When State Becomes an Attack Surface: State-Semantic Injection in LLM-Driven Embodied Agents
यह शोधपत्र "स्टेट-सिमेंटिक इंजेक्शन" (State-Semantic Injection) को प्रस्तुत करता है, जो एक नवीन हमला सतह (attack surface) है जहाँ हमलावर LLM-संचालित एम्बॉडीड एजेंटों द्वारा अनुभव की जाने वाली पर्यावरणीय अवस्था की जानकारी में हेरफेर करते हैं ताकि उनकी कार्य समझ, योजना और निष्पादन को दूषित किया जा सके, जिससे रोबोटिक प्रणालियों की सुरक्षा और विश्वसनीयता से समझौता किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसे रोबोट की कल्पना करें जो आपकी आवाज़ समझ सकता है, कमरे में चारों ओर देख सकता है, और आपकी मदद करने के लिए अपने हाथों को कैसे चलाना है, यह तय कर सकता है। ये मशीनें, जिन्हें अक्सर एम्बोडीड एजेंट (embodied agents) कहा जाता है, अब अधिक सामान्य होती जा रही हैं। वे केवल आदेशों की एक कठोर सूची का पालन नहीं करते हैं; इसके बजाय, वे यह तय करने के लिए कि आगे क्या करना है, शक्तिशाली भाषा मॉडलों (language models) का उपयोग करते हैं कि उन्होंने क्या देखा और आपने उनसे क्या पूछा। निर्णय लेने के लिए, रोबोट अपने परिवेश की एक मानसिक तस्वीर बनाता है, जिसमें यह नोट करता है कि वस्तुएं कहाँ हैं, वे क्या कहलाती हैं, और वे एक-दूसरे से कैसे संबंधित हैं। वह इस मानसिक तस्वीर को एक विश्वसनीय तथ्य के रूप में मानता है, जो एक ठोस आधार है जिस पर वह कप उठाने, दरवाजा खोलने या शेल्फ को व्यवस्थित करने की अपनी योजना बनाता है। यदि उस मानसिक तस्वीर में दी गई जानकारी गलत है, तो रोबोट की योजना भी गलत होगी। यह एक नए प्रकार का जोखिम पैदा करता है: क्या होगा यदि कोई चुपचाप रोबोट के मन में तथ्यों को बदल दे, बिना आपके द्वारा बोले गए शब्दों को बदले?
शोधकर्ता लंबे समय से जानते हैं कि आर्टिफिशियल इंटेलिजेंस को टेक्स्ट या छवियों में छिपे भ्रमित करने वाले निर्देशों द्वारा मूर्ख बनाया जा सकता है। लेकिन एक नया अध्ययन एक गहरा प्रश्न पूछता है कि जो रोबोट भौतिक दुनिया के साथ बातचीत करते हैं, उनके बारे में क्या। यह एक ऐसे परिदृश्य की खोज करता है जहाँ हमलावर रोबोट को कोई नकली कमांड चिल्लाकर नहीं देता, बल्कि उस विवरण को चुपचाप बदल देता है जिसका उपयोग रोबोट सोचने के लिए कर रहा है। शोधकर्ता जानना चाहते थे कि: यदि रोबोट को उसके वातावरण का गलत विवरण दिया जाता है, तो क्या वह उस झूठ पर विश्वास करेगा, अपनी योजना बदलेगा, और फिर वास्तव में वास्तविक दुनिया में गलत काम करेगा? उन्होंने पाया कि उत्तर 'हाँ' है, और रोबोट को गलत वस्तु उठाने या गलत स्थान पर जाने के लिए प्रेरित किया जा सकता है, भले ही मानव, जो आदेश दे रहा है, पूरी तरह से इस चाल से अनभिज्ञ रहे।
टीम ने, जिसका नेतृत्व वुहान यूनिवर्सिटी और यूनिवर्सिटी एट बफ़ेलो के वैज्ञानिकों ने किया, एक विधि विकसित की जिसे वे 'एनवायरनमेंट स्टेट-टेक्स्ट इंजेक्शन' (Environment State-Text Injection) कहते हैं। इसे समझने के लिए, एक रोबोट की कल्पना करें जिसे शेल्फ पर एक विशिष्ट पुस्तक खोजने का कार्य दिया गया है। सामान्यतः, रोबोट शेल्फ को देखता है, एक पुस्तक देखता है, और उसके स्थान को नोट करता है। इस प्रयोग में, शोधकर्ताओं ने रोबोट के सिस्टम के एक एकल भाग के साथ छेड़छाड़ की जो यह रिपोर्ट करने के लिए जिम्मेदार है कि उसने क्या देखा। उन्होंने मानव के अनुरोध को नहीं बदला, न ही उन्होंने रोबोट के मस्तिष्क या उसके मोटर्स को हैक किया। इसके बजाय, उन्होंने बस उस टेक्स्ट को बदल दिया जिसे रोबोट पुस्तक के बारेв पढ़ता है। उन्होंने पुस्तक के विवरण को किसी अन्य वस्तु, जैसे कि टमाटर के विवरण से बदल दिया, या उन्होंने पुस्तक के स्थान को शेल्फ के दूसरे स्थान पर बदल दिया। महत्वपूर्ण रूप से, उन्होंने यह सुनिश्चित किया कि यह गलत विवरण बिल्कुल रोबोट के सेंसर से प्राप्त एक सामान्य, ईमानदार रिपोर्ट जैसा दिखे। यह रोबोट को "टमाटर उठाओ" कहने वाला कमांड नहीं था; यह इस बारे में एक झूठ था कि रोबोट कथित तौर पर क्या देख रहा था।
शोधकर्ताओं ने इस विचार का तीन अलग-अलग सिम्युलेटेड वर्ल्ड्स (simulated worlds) में परीक्षण किया, जिनमें से प्रत्येक को एक वास्तविक घर या कार्यालय के वातावरण की नकल करने के लिए डिज़ाइन किया गया था। उन्होंने रोबोट के मस्तिष्क के रूप में कार्य करने के लिए उन्नत भाषा मॉडलों का उपयोग किया। एक परीक्षण में, रोबोट को मेज के केंद्र में एक ब्लॉक को ले जाने के लिए कहा गया था। शोधकर्ताओं ने स्टेट रिपोर्ट को बदलकर यह बताया कि ब्लॉक वास्तव में एक अलग ब्लॉक है। रोबोट ने, झूठी रिपोर्ट पर भरोसा करते हुए, गलत ब्लॉक को ले जाने की योजना बनाई। एक अन्य परीक्षण में, रोबोट को ब्रेड उठाने के लिए कहा गया था। शोधकर्ताओं ने स्टेट को बदलकर यह बताया कि ब्रेड वास्तव में एक टमाटर है। रोबोट ने फिर टमाटर उठाने की योजना बनाई। परिणाम चौंकाने वाले थे। जब गलत जानकारी रोबोट की प्लानिंग सिस्टम को दी गई, तो रोबोट ने लगभग हर मामले में नए लक्ष्य को अपना लिया। एक विशिष्ट सेटअप में, रोबोट ने झूठ के अनुसार अपनी योजना 100 प्रतिशत बार बदल दी।
हालाँकि, कहानी केवल रोबोट के मन बदलने पर समाप्त नहीं होती है। शोधकर्ताओं ने यह देखने के लिए भी निगरानी की कि क्या रोबोट वास्तव में भौतिक दुनिया में उस नई योजना को पूरा कर सकता है। यहीं पर परीक्षण अधिक कठिन हो गया। भले ही रोबोट ब्रेड के बजाय टमाटर उठाने का निर्णय ले ले, उसे अभी भी टमाटर तक पहुँचना होगा, और टमाटर को उठाने के लिए वास्तव में वहाँ होना चाहिए। अध्ययन में पाया गया कि जबकि रोबोट ने लगभग हमेशा अपनी योजना बदल ली, वह क्रिया को सफलतापूर्वक पूरा करने में हमेशा सफल नहीं हुआ। सिमुलेशन में, रोबोट ने लगभग 43 से 48 प्रतिशत समय सफलतापूर्वक गलत क्रिया को पूरा किया, जो वातावरण पर निर्भर करता है। योजना बदलने और क्रिया को सफलतापूर्वक करने के बीच का यह अंतर महत्वपूर्ण है। यह दिखाता है कि हालांकि रोबोट को एक अलग लक्ष्य के बारे में सोचने के लिए आसानी से मूर्ख बनाया जा सकता है, लेकिन भौतिक नियम अभी भी लागू होते हैं। रोबोट उस वस्तु को नहीं पकड़ सकता जो वहां नहीं है, या उस स्थान तक नहीं पहुँच सकता जो अवरुद्ध है।
यह सिद्ध करने के लिए कि यह केवल एक सिमुलेशन आर्टिफैक्ट (artifact) नहीं था, शोधकर्ताओं ने एक वास्तविक, भौतिक रोबोट पर भी इस विधि का परीक्षण किया। उन्होंने रोबोट को एक पथ का अनुसरण करने और अपने शुरुआती बिंदु पर लौटने का सरल निर्देश दिया। फिर उन्होंने रोबोट को उसके परिवेश के बारे में एक गलत रिपोर्ट दी, जिससे सुझाव मिला कि एक कंप्यूटर वास्तव में मौजूद स्थान से अलग स्थान पर है। रोबोट ने, उस झूठ पर विश्वास करते हुए, अपना रास्ता बदल लिया। अपने निर्देशानुसार लूप पूरा करने के बजाय, वह कंप्यूटर की ओर मुड़ा और अपने इच्छित मार्ग से भटक गया। इस प्रयोग ने पुष्टि की कि वातावरण के बारे में एक झूठ, जो रोबोट के आंतरिक स्टेट के माध्यम से दिया गया था, एक वास्तविक मशीन को उस तरीके से चलाने का कारण बन सकता था जो मानव ऑपरेटर का इरादा नहीं था।
अध्ययन ने इस विधि की तुलना रोबोट पर होने वाले अन्य ज्ञात हमलों से भी की। पिछले हमलों में अक्सर रोबोट को कोई छिपा हुआ कमांड चिल्लाकर देना या रोबॉट को सुरक्षा नियमों को अनदेखा करने के लिए मजबूर करने के लिए "जेलब्रेक" का उपयोग करना शामिल था। शोधकर्ताओं ने पाया कि पुराने तरीके भौतिक दुनिया में कुछ विशिष्ट करने के मामले में कम प्रभावी थे। नया तरीका बेहतर काम करता था क्योंकि इसने रोबोट के प्रोग्रामिंग से कमांड के साथ लड़ने की कोशिश नहीं की; इसके बजाय, इसने केवल उन तथ्यों को बदल दिया जिन पर रोबोट निर्भर करता है। यह शेफ पर चिल्लाने के बजाय रेसिपी में सामग्री बदलने जैसा था। रोबोट ने रेसिपी का पूरी तरह से पालन किया, लेकिन क्योंकि सामग्री गलत थी, इसलिए अंतिम व्यंजन वह नहीं था जो ग्राहक ने ऑर्डर किया था।
शोधकर्ता यह नोट करने में सावधानी बरतते हैं कि उनके अध्ययन ने क्या सिद्ध नहीं किया। उन्होंने यह नहीं दिखाया कि हमलावर मूल रूप से रोबोट के सिस्टम तक पहुँच कैसे प्राप्त कर सकता है। उन्होंने माना कि हमलावर के पास रोबोट की एक छोटी सी आंतरिक रिपोर्ट को बदलने का पहले से ही कोई तरीका है। उन्होंने यह भी दावा नहीं किया कि यह हर स्थिति में हर रोबोट के साथ होगा। उनका काम एक विशिष्ट प्रकार के रोबोट पर केंद्रित था जो कार्यों की योजना बनाने के लिए भाषा का उपयोग करता है। उन्होंने पाया कि इन मशीनों के लिए, जो रोबोट क्या सच समझता है और जो वास्तव में सच है, उसके बीच की रेखा बहुत पतली है। यदि उस रेखा को पार किया जाता है, तो रोबोट उस झूठ पर कार्य करेगा।
यह शोध मददगार मशीनों की अगली पीढ़ी में एक मौलिक भेद्यता (vulnerability) को उजागर करता है। जैसे-जैसे रोबोट हमारे घरों और कार्यस्थलों में एकीकृत होते जा रहे हैं, अपने वातावरण को समझने पर उनका निर्भर होना, एक सुरक्षा मुद्दा बन जाता है। यदि एक रोबोट अपने संसार के विवरण पर भरोसा नहीं कर सकता है, तो वह उस संसार में सुरक्षित रूप से कार्य करने के लिए भरोसेमंद नहीं हो सकता। अध्ययन बताता है कि इन मशीनों की सुरक्षा के लिए केवल उनके सॉफ्टवेयर को सुरक्षित करना ही पर्याप्त नहीं होगा; इसके लिए यह सुनिश्चित करना भी आवश्यक होगा कि निर्णय लेने के लिए उपयोग किए जाने वाले तथ्य वास्तविक हों। शोधकर्ता इस कार्य को जारी रखने की योजना बना रहे हैं, यह देखने के लिए कि ये हमले लंबी अवधि में और अधिक जटिल, बदलते वातावरण में कैसे काम करेंगे। फिलहाल, निष्कर्ष स्पष्ट है: एक रोबोट जो झूठ पर विश्वास करता है, वह उसी पर कार्य करेगा, और कभी-कभी, वह क्रिया हमारे सामने ही घटित होगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।