← नवीनतम पेपर
💻 computer science

Security of Foundation-Model-Powered Embodied Agents: Attack Surfaces, Attacks, Defenses, and Evaluation

यह शोधपत्र फाउंडेशन-मॉडल-संचालित एम्बॉडीड एजेंट्स (embodied agents) का एक ट्रस्ट-बाउंड्री-केंद्रित सर्वेक्षण प्रस्तुत करता है जो सुरक्षा जोखिमों को पांच परतों और बारह अटैक सर्फेस में वर्गीकृत करता है, मेमोरी और मल्टी-एजेंट ट्रस्ट जैसे क्षेत्रों में अनुसंधान अंतराल को उजागर करने के लिए 58 हमलों और 61 सुरक्षा उपायों का विश्लेषण करता है, और मूल्यांकन एवं कंपोजिशनल डिफेंस (compositional defenses) के क्षेत्र में भविष्य की चुनौतियों को रेखांकित करता है।

मूल लेखक: Jiawei Liu, Jiacheng Guo, Tian Zhang, Yiwei Xu, Juan Wang, Jinlin Fan, Bowen Xiao

प्रकाशित 2026-08-18
📖 9 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Jiawei Liu, Jiacheng Guo, Tian Zhang, Yiwei Xu, Juan Wang, Jinlin Fan, Bowen Xiao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक ऐसे रोबोट की कल्पना करें जो केवल आदेशों की एक कठोर सूची का पालन नहीं करता, बल्कि भाषा, दृष्टि और अनुभव के माध्यम से दुनिया को समझता है। ये मशीनें, जिन्हें अक्सर एम्बोडीड एजेंट (embodied agents) कहा जाता है, हमारे स्वचालन (automation) के बारे में सोचने के तरीके को बदल रही हैं। हर संभावित स्थिति के लिए विशिष्ट चरणों के साथ प्रोग्राम किए जाने के बजाय, वे अपने परिवेश को समझने, यह तर्क लगाने कि क्या करना है, और अपने शरीर को कैसे हिलाना है, इसका निर्णय लेने के लिए शक्तिशाली फाउंडेशन मॉडल्स—विशाल मानवीय ज्ञान और दृश्य डेटा पर प्रशिक्षित प्रणालियों—का उपयोग करते हैं। एक रोबोट एक बिखरी हुई मेज को देख सकता है, यह समझ सकता है कि एक कप गिरने के खतरे में है, और फिर उसे बचाने के लिए गतिविधियों के एक क्रम की योजना बना सकता है, और यह सब बिना किसी इंसान द्वारा एक भी निर्देश टाइप किए। निश्चित प्रोग्रामिंग से लचीले, बुद्धिमान निर्णय लेने की ओर यह बदलाव रोबोट को हमारे घरों, अस्पतालों और कारखानों में लाने का वादा करता है। हालाँकि, यह नई स्वतंत्रता एक नए प्रकार का जोखिम भी लाती है। जब किसी मशीन के निर्णय उस जानकारी से संचालित होते हैं जिसे वह पढ़ती है, देखती है या याद करती है, तो वह जानकारी विफलता का एक संभावित बिंदु बन जाती है। यदि कोई हमलावर रोबोट की दुनिया की समझ को धोखा दे सकता है, तो वे मशीन को ऐसे तरीकों से कार्य करने के लिए मजबूर कर सकते हैं जो खतरनाक हों, भले ही रोबोट के भौतिक मोटर और गियर पूरी तरह से सुरक्षित हों।

वुहान विश्वविद्यालय के शोधकर्ताओं की एक टीम ने मानचित्रित किया है कि ये खतरे वास्तव में कहाँ स्थित हैं। उन्होंने इन बुद्धिमान रोबोटों पर हमला करने के 58 अलग-अलग तरीकों और उन्हें सुरक्षित करने के 61 अलग-अलग तरीकों का अध्ययन किया, जिससे इस उभरती तकनीक की सुरक्षा के लिए एक व्यापक मार्गदर्शिका तैयार हुई। उनका काम प्रकट करता है कि रोबोट सुरक्षा के बारे में सोचने के पुराने तरीके अब पर्याप्त नहीं हैं। अतीत में, एक रोबोट को सुरक्षित करने का अर्थ उसके तारों और उसके सॉफ़्टवेयर कोड को हैकर्स से बचाना था। आज, रोबोट के सबसे संवेदनशील हिस्से उसकी इंद्रियां और उसका मस्तिष्क हैं। शोधकर्ताओं ने पाया कि हमलावरों को नुकसान पहुँचाने के लिए रोबोट के ऑपरेटिंग सिस्टम में घुसने की आवश्यकता नहीं है; वे बस रोबोट के देखने के तरीके या उसे क्या बताया जा रहा है, उसे बदल सकते हैं। इन खतरों को एक स्पष्ट संरचना में व्यवस्थित करके, टीम ने दिखाया कि सबसे आम हमले रोबोट की आँखों और उसके हाथों को लक्षित करते हैं, जबकि सबसे आम बचाव रोबोट के हिलने-डुलने से ठीक पहले रखे जाते हैं। यह असंतुलन कई अन्य महत्वपूर्ण क्षेत्रों को असुरक्षित छोड़ देता है, जैसे कि रोबोट की दीर्घकालिक स्मृति और अन्य मशीनों के साथ उसका संचार।

शोधकर्ताओं ने एक रोबोट के जीवन के विभिन्न स्तरों को परिभाषित करने से शुरुआत की, उसके सॉफ़्टवेयर के निर्माण के क्षण से लेकर दुनिया के साथ उसके भौतिक संपर्क के क्षण तक। उन्होंने बारह विशिष्ट प्रवेश बिंदुओं की पहचान की जहाँ एक हमलावर पहली बार झूठ या चाल पेश कर सकता है। ये बहुत शुरुआत से लेकर, जहाँ रोबोट के सीखने के डेटा को तैनात करने से पहले ही दूषित किया जा सकता है, लेकर बिल्कुल अंत तक, जहाँ रोबोट की भौतिक गतिविधियों को सीधे हाईजैक किया जा सकता है, तक विस्तृत हैं। उनके कार्य का एक प्रमुख अंतर्दृष्टि यह है कि हमले की विधि, उस स्थान के समान नहीं है जहाँ वह प्रवेश करता है। उदाहरण के लिए, एक "बैकडोर" (backdoor) एक प्रकार का छिपा हुआ जाल है जिसे रोबोट के प्रशिक्षण डेटा में लगाया जा सकता है, लेकिन इसे बाद में उपयोगकर्ता द्वारा बोले गए एक विशिष्ट वाक्यांश या रोबोट को दिखाई गई एक विशिष्ट छवि द्वारा सक्रिय किया जा सकता है। शोधकर्ता तर्क देते हैं कि सुरक्षा विशेषज्ञों को इस बात पर ध्यान केंद्रित करना चाहिए कि हमला पहली बार रोबोट की विश्वसनीय दुनिया में कहाँ प्रवेश करता है, न कि केवल उस तकनीक पर जिसका उपयोग इसे पार करने के लिए किया गया है। यह अंतर समझने में मदद करता है कि रोबोट की स्मृति में एक छोटा सा झूठ अंततः एक बड़ी भौतिक गलती की ओर कैसे ले जा सकता है।

जब टीम ने वर्तमान अनुसंधान के परिदृश्य का विश्लेषण किया, तो एक स्पष्ट पैटर्न उभर कर आया। अधिकांश हमले अध्ययन रोबोट के दो विशिष्ट क्षेत्रों पर केंद्रित थे: रोबोट का मल्टीमॉडल धारणा (multimodal perception) और उसके एक्शन इंटरफेस। सरल शब्दों में, इसका अर्थ है कि अधिकांश शोधकर्ता रोबोट की आँखों को धोखा देने या उसे गलत वस्तु पकड़ने के लिए मजबूर करने की कोशिश कर रहे हैं। उन्होंने पाया कि आधे दर्ज हमलों ने रोबोट के सेंसरों, जैसे कैमरा या माइक्रोफोन, या उन संकेतों को लक्षित किया जो रोबोट को बताते हैं कि कैसे हिलना है। यह समझ में आता है क्योंकि ये डिजिटल मन और भौतिक शरीर के बीच सीधा लिंक हैं। यदि कोई हमलावर कैमरे को एक स्टॉप साइन को 'गो' साइन के रूप में देखने के लिए मूर्ख बना देता है, या रोबोट को यह विश्वास दिलाने के लिए छल करता है कि दीवार एक खुला स्थान है, तो इसके परिणाम तत्काल और भौतिक हो सकते हैं। इसी तरह, कई हमले उस अंतिम चरण को लक्षित करते हैं जहाँ रोबोट एक विशिष्ट गति का निर्णय लेता है, जैसे कि मोटर घुमाने या वजन उठाने का कमांड।

हालाँकि, बचाव एक अलग कहानी बताते हैं। शोधकर्ताओं ने पाया कि अधिकांश सुरक्षा उपाय प्रक्रिया के बिल्कुल अंत में केंद्रित हैं, रोबोट द्वारा क्रिया निष्पादित करने से ठीक पहले। यह एक गार्ड रखने जैसा है जो कारखाने से बाहर निकलने से पहले अंतिम उत्पाद की जाँच करता है, बजाय इसके कि कच्चे माल या डिज़ाइन योजनाओं की जाँच करे। जबकि यह "रनटाइम" (runtime) सुरक्षा महत्वपूर्ण है, यह रोबोट की सोच प्रक्रिया के शुरुआती चरणों को असुरक्षित छोड़ देती है। अध्ययन ने दिखाया कि रोबोट की दीर्घकालिक स्मृति, अन्य रोबोटों के साथ उसका संचार, और दुनिया के उसके आंतरिक मानचित्र की अखंडता के लिए बचाव आश्चर्यजनक रूप से दुर्लभ हैं। उदाहरण के लिए, इस बात पर बहुत कम अध्ययन हैं कि रोबोट की स्मृति को दूषित होने से कैसे बचाया जाए। यदि एक रोबोट किसी दुर्भावनापूर्ण स्रोत से एक गलत तथ्य सीखता है और उसे संग्रहीत करता है, तो वह झूठ उसके निर्णयों को लंबे समय तक प्रभावित कर सकता है, जिससे बार-बार त्रुटियाँ हो सकती हैं जिन्हें एक साधारण एक्शन-चेकर भी मिस कर सकता है।

टीम ने इन प्रणालियों के परीक्षण की अनूठी चुनौतियों पर भी प्रकाश डाला। एक टेक्स्ट-आधारित चैटबॉट के विपरीत, जिसे केवल अपने शब्दों के आधार पर आंका जाना चाहिए, एक एम्बोडीड रोबोट को उसके भौतिक कार्यों पर परीक्षण किया जाना चाहिए। एक रोबोट "कप को हिलाने" के दुर्भावनापूर्ण निर्देश का सफलतापूर्वक पालन कर सकता है, लेकिन यदि वह कप को गिरा देता है या फूलदान को टक्कर मार देता है, तो हमला उस तरह से सफल हुआ है जिसे टेक्स्ट-ओनली टेस्ट कभी नहीं पकड़ पाता। शोधकर्ताओं ने नोट किया कि कई वर्तमान अध्ययन कंप्यूटर सिमुलेशन पर निर्भर करते हैं, जो उपयोगी तो हैं लेकिन अक्सर भौतिक दुनिया की अव्यवस्थित वास्तविकता को पकड़ने में विफल रहते हैं, जैसे कि प्रकाश में बदलाव, कैमरा एंगल, या वास्तविक वस्तुओं की अप्रत्याशित प्रकृति। उन्होंने तर्क दिया कि सच्ची सुरक्षा के लिए रोबोट का वास्तविक वातावरण में परीक्षण आवश्यक है, जहाँ गलती के परिणाम मूर्त होते हैं। उन्होंने यह भी बताया कि जैसे-जैसे रोबोट समूहों में मिलकर काम करना शुरू करेंगे, जोखिम बढ़ता जाएगा। यदि एक टीम में एक रोबक समझौता किया जाता है, तो वह दूसरों में गलत जानकारी फैला सकता है, जिससे पूरा समूह विफल हो सकता है।

भविष्य की ओर देखते हुए, शोधकर्ता सुझाव देते हैं कि क्षेत्र को सरल सुधारों से आगे बढ़ने की आवश्यकता है। वे प्रस्तावित करते हैं कि भविष्य के रोबोटों को विश्वास की गहरी समझ के साथ डिज़ाइन किया जाना चाहिए। इसका अर्थ है कि रोबोट को प्राप्त होने वाली सूचना का प्रत्येक टुकड़ा—चाहे वह मानव आवाज हो, कैमरा इमेज हो, या दूसरे रोबोट से प्राप्त संदेश हो—अपने स्रोत और अपने अधिकार का एक लेबल वहन करना चाहिए। एक रोबोट को पता होना चाहिए कि दीवार पर लगा एक संकेत दुनिया का केवल एक विवरण है न कि उसके व्यवहार को बदलने का आदेश, जबकि एक मानव ऑपरेटर के प्रत्यक्ष आदेश को उच्च प्राथमिकता के साथ लिया जाना चाहिए। वे रोबोट की आंतरिक स्थिति को सत्यापित करने के बेहतर तरीकों पर भी जोर देते हैं। यदि एक रोबोट मानता है कि दरवाजा खुला है, तो यह जांचने का एक तरीका होना चाहिए कि क्या उसका यह विश्वास ठोस साक्ष्य पर आधारित है या किसी धोखे पर। लक्ष्य ऐसे सिस्टम बनाना है जहाँ सुरक्षा को हर स्तर पर बुना जाए, रोबोट के प्रशिक्षण में उपयोग किए गए डेटा से लेकर उसके हाथ की अंतिम गति तक।

लियू और उनके सहयोगियों का कार्य इस तेजी से विकसित होते क्षेत्र के लिए एक महत्वपूर्ण रोडमैप के रूप में कार्य करता है। हमले के प्रवेश बिंदु को हमले की विधि से अलग करके, उन्होंने बुद्धिमान मशीनों की कमजोरियों को समझने का एक स्पष्ट तरीका प्रदान किया है। उनके निष्कर्ष बताते हैं कि जबकि हम रोबोट को अंतिम सेकंड में गलत काम करने से रोकने में बेहतर हो रहे हैं, हम उन्हें पहले से ही गलत सोचने के लिए मूर्ख बनाने से रोकने में अभी तक कुशल नहीं हुए हैं। जैसे-जैसे ये मशीनें हमारे दैनिक जीवन में अधिक एकीकृत होती जा रही हैं, चुनौती यह सुनिश्चित करने की होगी कि उनकी सीखने और अनुकूलन करने की क्षमता उनकी सुरक्षा की कीमत पर न आए। आगे का रास्ता व्यक्तिगत छेदों को पैच करने से आगे बढ़कर एक ऐसा सिस्टम बनाने की ओर है जहाँ विश्वास को हर कदम पर सत्यापित किया जाता है, यह सुनिश्चित करते हुए कि रोबोट के कार्य मानवीय इरादे के अनुरूप रहें, यहाँ तक कि परिष्कृत धोखे के सामने भी।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →