Targeting World Models to Compromise Robot Learning Pipelines
यह शोध पत्र प्रकट करता है कि वर्ल्ड मॉडल (world models), रोबोट लर्निंग में अपनी उपयोगिता के बावजूद, एक गुप्त डेटा पॉइजनिंग भेद्यता (data poisoning vulnerability) उत्पन्न करते हैं जहाँ सुरक्षित टेलीऑपरेटेड डेटासेट में इंजेक्ट किए गए दुर्भावनापूर्ण प्रॉम्प्ट या समझौता किए गए डायनेमिक्स खतरनाक सिंथेटिक प्रशिक्षण डेटा उत्पन्न कर सकते हैं, जो अंततः असुरक्षित रोबोटिक नीतियों की तैनाती का कारण बनते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को घर के काम करना सिखा रहे हैं। हर एक काम को अपने हाथों से रोबोट को दिखाने के बजाय (जो बहुत धीमा और महंगा है), आप एक "ड्रीम मशीन" (एक वर्ल्ड मॉडल) का उपयोग करने का निर्णय लेते हैं। यह मशीन एक ऐसा AI है जो एक रोबोट को काम करते हुए दिखाने वाले वीडियो को देख सकता है और फिर रोबोट को तेजी से सीखने में मदद करने के लिए हजारों नए, समान वीडियो की कल्पना या "सपनों में निर्माण" कर सकता है।
आपके द्वारा दिए गए पेपर में तर्क दिया गया है कि हालांकि यह ड्रीम मशीन एक शक्तिशाली उपकरण है, लेकिन इसमें एक गुप्त बैकडोर (secret backdoor) है जिसका उपयोग हैकर्स रोबोट को खतरनाक काम करने के लिए trick करने हेतु कर सकते हैं, भले ही मूल वीडियो पूरी तरह से सुरक्षित दिखते हों।
यह हमला कैसे काम करता है, इसे सरल उपमाओं के माध्यम से समझाया गया है:
सेटअप: सुरक्षित वीडियो और ड्रीम मशीन
कल्पना कीजिए कि एक दुर्भावनापूर्ण डेटा सप्लायर आपको एक वीडियो बेचता है जिसमें एक रोबोटिक हाथ धीरे से एक खिलौने को उठाकर बॉक्स में रख रहा है। मानवीय आंखों के लिए, वह वीडियो 100% सुरक्षित दिखता है। आप इस वीडियो को अपनी ड्रीम मशीन में फीड करते हैं, इस उम्मीद में कि यह आपके रोबोट के लिए अधिक अभ्यास वीडियो तैयार करेगी।
हमला: "विजुअल प्रॉम्प्ट हाइजैकिंग" (जादुई नोट)
शोधकर्ताओं ने पाया कि ड्रीम मशीन केवल वीडियो को "देखती" नहीं है; यह एक "नोट" (टेक्स्ट प्रॉम्प्ट) भी पढ़ती है जो इसे क्या करना है यह बताता है, जैसे "खिलौना उठाओ।"
हैकर की चाल यह है कि वीडियो के अंदर ही एक गुप्त नोट छिपा दिया जाए।
- रूपक (Metaphor): कल्पना करें कि वीडियो एक पेंटिंग है। हैकर कैनवास पर एक छोटा, अदृश्य संदेश पेंट करता है जिसे केवल ड्रीम मशीन अपनी विशेष AI आंखों से "देख" सकती है।
- चाल: जबकि इंसान एक नोट देखता है जिसमें लिखा है "खिलौना उठाओ," ड्रीम मशीन की AI आंखें छिपे हुए संदेश को "बम उठाओ" के रूप में पढ़ती हैं।
- परिणाम: ड्रीम मशीन नए वीडियो बनाना शुरू कर देती है जहाँ रोबोट एक बम उठाता है और उसे उपहार बॉक्स में रख देता है। रोबोट फिर इन नकली, खतरनाक सपनों से सीखता है और एक खतरनाक रोबोट बन जाता है, भले ही आपने जो मूल वीडियो खरीदा था वह पूरी तरह सुरक्षित था।
पेपर में पाया गया कि यह ट्रिक तब सबसे अच्छा काम करती है जब रोबोट भ्रमित हो या निर्देश अस्पष्ट हों (जैसे यह बताने के बिना कि कौन सा खिलौना उठाना है कि "खिलौना उठाओ")। यदि निर्देश बहुत विशिष्ट हैं, तो ड्रीम मशीन को धोखा देना कठिन होता है।
दूसरा हमला: "विजुअल ट्रांजिशन हाइजैकिंग" (टूटा हुआ कम्पास)
यह हमला एक अलग प्रकार की ड्रीम मशीन को लक्षित करता है जो यह अनुमान लगाती है कि रोबोट के हिलने-डुलने के बाद आगे क्या होगा।
- रूपक: कल्पना करें कि ड्रीम मशीन एक GPS है। आमतौर पर, यदि आप GPS को बाएं मुड़ने के लिए कहते हैं, तो यह आगे का रास्ता दिखाता है।
- चाल: हैकर शुरुआती वीडियो को थोड़ा बदल देता है ताकि GPS केवल तभी सही ढंग से काम करे जब आप दाएं मुड़ें। यदि आप बाएं मुड़ने की कोशिश करते हैं, तो GPS स्क्रीन पूरी तरह काली हो जाती है या एक अराजक मलबे जैसा दिखता है (इसे "प्रेडिक्शन कोलैप्स" कहा जाता है)।
- परिणाम: रोबोट यह सीखता है कि बाएं मुड़ना एक "बुरा विचार" है क्योंकि दुनिया गायब हो जाती है, लेकिन दाएं मुड़ना सुरक्षित है। रोबोट अब "बैकडोर" हो चुका है—वह केवल उस विशिष्ट कार्य को करेगा जिसे हैकर चाहता है, भले ही वह कार्य खतरनाक हो, सिर्फ उस "ब्लैक स्क्रीन" से बचने के लिए।
यह क्यों महत्वपूर्ण है
यह पेपर दिखाता है कि ये हमले अदृश्य (stealthy) हैं।
- पारंपरिक हमले एक बॉक्स में बम रखने की तरह हैं; यदि आप बॉक्स को ध्यान से देखते हैं, तो आपको बम दिख जाता है।
- ये हमले एक ऐसे बॉक्स के अंदर बम रखने की तरह हैं जो बिल्कुल कुकीज़ के बॉक्स जैसा दिखता है। बॉक्स सभी सुरक्षा निरीक्षणों में पास हो जाता है क्योंकि यह कुकीज़ जैसा दिखता है। बम केवल तभी "फटता" है (यानी रोबnya को खतरनाक रूप से कार्य करने के लिए मजबूर करता है) जब ड्रीम मशीन इसे प्रोसेस करती है।
मुख्य निष्कर्ष (The Bottom Line)
लेखकों ने इन विचारों का परीक्षण नवीनतम AI मॉडल्स (जैसे Cosmos-Predict) पर किया और पाया कि:
- टेक्स्ट-आधारित ड्रीम मशीनें आसानी से धोखा खा सकती हैं यदि निर्देश अस्पष्ट हैं या दृश्य उस दृश्य से थोड़ा अलग है जिस पर AI को प्रशिक्षित किया गया था।
- एक्शन-आधारित ड्रीम मशीनें सभी कार्यों को छोड़कर केवल एक को अनदेखा करने के लिए मजबूर की जा सकती हैं, जो प्रभावी रूप से रोबोट के निर्णय लेने की प्रक्रिया को हाईजैक कर लेती हैं।
पेपर निष्कर्ष निकालता है कि जबकि वर्ल्ड मॉडल्स समय और पैसा बचाने के लिए बेहतरीन हैं, वे रोबोट लर्निंग सप्लाई चेन में एक नया, अदृश्य भेद्यता (vulnerability) पैदा करते हैं। हमें यह सुनिश्चित करने से पहले कि हम अपने रोबोट को व्यवहार करना सिखाने के लिए इन "ड्रीम मशीनों" पर भरोसा कर सकें, उन्हें अधिक सुरक्षित बनाने के तरीके खोजने होंगे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।