🤖 machine learning

Attacking the Trusted Imagination: Oracle-Level Integrity Attacks on Imagine-then-Act World Models

यह शोध पत्र 'इमेजिन-देन-एक्ट' (imagine-then-act) वर्ल्ड मॉडल्स में "ट्रस्टेड इमेजिनेशन" (trusted imagination) को एक महत्वपूर्ण भेद्यता के रूप में पहचानता है जहाँ हमलावर सुरक्षा प्रणालियों को बायपास करने और कार्यों को विफल करने के लिए भविष्य के लेटेंट ट्रेजेक्टरीज (latent trajectories) को आसानी से दूषित कर सकते हैं, और साथ ही एक पैरामीटर-मुक्त डीनॉइज़र डिटेक्टर (denoiser detector) प्रस्तावित करता है जो ऐसे ऑफ-मैनिफोल्ड (off-manifold) व्यवधानों के विरुद्ध पूर्ण पहचान प्राप्त करता है।

मूल लेखक: Linghan Chen, Kaiyan Ji, Minyu Guo

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Linghan Chen, Kaiyan Ji, Minyu Guo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "विश्वसनीय सपना" (The Trusted Dream)

कल्पना कीजिए कि एक रोबोट है जो केवल वही नहीं करता जो वह अभी देख रहा है, बल्कि वह पहले यह भी सपना देखता है कि अगले कुछ सेकंड में क्या होने वाला है। वह भविष्य की एक मानसिक फिल्म (जिसे "कल्पना" या "imagination" कहा जाता है) बनाता है, उस फिल्म की जांच करता है, और फिर उस सपने के आधार पर निर्णय लेता है कि उसे क्या करना चाहिए।

यह पेपर तर्क देता है कि हालांकि रोबोट का वास्तविक शरीर (उसकी "रिएक्टिव पॉलिसी") मजबूत है और उसे धोखा देना कठिन है, लेकिन उसका सपना अविश्वसनीय रूप से नाजुक है। यदि आप सपने को बिगाड़ सकते हैं, तो आप रोबोट को एक भयानक निर्णय लेने के लिए मजबूर कर सकते, भले ही रोबोट का शरीर पूरी तरह से ठीक से काम कर रहा हो।

रोबोट के दो प्रकार

लेखक बताते हैं कि रोबोट इन सपनों का उपयोग दो तरीकों से करता है:

"रिएक्टिव" रोबोट (सुरक्षित वाला):
- यह कैसे काम करता है: यह भविष्य के बारे में सपना देखता है, लेकिन यह सपने का उपयोग केवल एक त्वरित संकेत के रूप में करता है। यह लगातार वास्तविक दुनिया की जांच करता है कि क्या उसका सपना सही था। यदि सपना कहता है "कूद जाओ" लेकिन वास्तविक दुनिया कहती है "वहाँ एक दीवार है," तो रोबोट सपने को अनदेखा कर देता है और रुक जाता है।
- परिणाम: भले ही कोई हमलावर सपने को बिगाड़ दे, रोबोट ठीक रहता है। वह बस खराब सपने को अनदेखा कर देता है और अपना काम जारी रखता है। पेपर इसे एक "नल रिजल्ट" (null result) कहता है—यह उबाऊ है क्योंकि रोबोट के वास्तविक कार्य पर कुछ भी बुरा नहीं होता।
"ओरेकल" रोबोट (कमजोर वाला):
- यह कैसे काम करता है: यह रोबोट अपने सपने को परम सत्य मानता है। यह कार्य करने से पहले वास्तविक दुनिया की जांच नहीं करता। यह पूछता है, "मेरा सपना क्या कहता है कि क्या होने वाला है?" और फिर उस भविष्यवाणी पर कार्य करता है। यह एक सुरक्षा द्वार की तरह है जो कहता है, "यदि सपना कहता है 'सुरक्षित', तो हम दरवाजा खोलते हैं," बिना बाहर देखे।
- परिणाम: यही इसकी कमजोरी है। यदि आप सपने को भ्रष्ट कर देते हैं, तो रोबोट एक झूठ पर कार्य करता है। पेपर दिखाता है कि इस प्रकार के रोबोट के लिए, कैमरा इनपुट में एक बहुत ही सूक्ष्म, लगभग अदृश्य बदलाव एक सफल कार्य को पूरी तरह से विफलता में बदल सकता है।

हमला: सपने के साथ छेड़छाड़ करना

शोधकर्ताओं ने इस "सपना देखने" की प्रक्रिया को हैक करने का एक तरीका खोजा है।

विधि: वे रोबोट जो छवि देखता है, उसमें एक बहुत ही सूक्ष्म, अदृश्य मात्रा में "शोर" (noise/static) जोड़ते हैं। चूंकि रोबोट का मस्तिष्क ऐसे गणित के साथ बना है जो सहज गणनाओं (differentiable) की अनुमति देता है, शोधकर्ता प्रोजेक्टेड ग्रेडिएंट डिसेंट (Projected Gradient Descent) नामक तकनीक का उपयोग कर सकते हैं।
उपमा: कल्पना कीजिए कि रोबोट का सपना एक मानचित्र (map) है। शोधकर्ताओं को पूरा मानचित्र फिर से बनाने की आवश्यकता नहीं है; उन्हें बस शुरुआती बिंदु को थोड़ा सा खिसकाने की आवश्यकता है। क्योंकि मानचित्र आपस में जुड़ा हुआ है, वह छोटा सा धक्का भविष्य के अनुमानित पथ को पूरी तरह से बदल देता है।
असममिति (मुख्य निष्कर्ष):
- सपने को तोड़ना आसान है: सपने को "गलत" जगह पर धकेलना बहुत आसान है। शोधकर्ताओं ने पाया कि वे केवल रैंडम शोर जोड़ने की तुलना में सपने को 60 गुना अधिक प्रभावी ढंग से भ्रष्ट कर सकते हैं। सपना एक धुंधला, निरर्थक ढेर बन जाता है।
- सपने को नियंत्रित करना कठिन है: सपने को किसी विशिष्ट नए दृश्य (जैसे रोबोट को यह सपना दिखाना कि वह वास्तव में रसोई में है जबकि वह वास्तव में गैरेज में है) की ओर ले जाना बहुत कठिन है। सपना सटीक रूप से निर्देशित होने का विरोध करता है। यह एक भारी पत्थर को धक्का देकर किसी विशिष्ट स्थान पर ले जाने की कोशिश करने जैसा है; आप उसे रास्ते से आसानी से हटा सकते हैं, लेकिन आप उसे पूरी तरह से लक्षित नहीं कर सकते।

बचाव: "स्निफर डॉग" (The Sniffer Dog)

चूंकि शोधकर्ता जानते हैं कि एक भ्रष्ट सपना कैसा दिखता है (यह वास्तविकता के प्राकृतिक पथ को छोड़ देता है), उन्होंने एक डिटेक्टर बनाया है।

यह कैसे काम करता है: वे एक "डिनोइज़र" (denoiser - एक उपकरण जो धुंधली छवियों को साफ करने की कोशिश करता है) का उपयोग करके सपने की जांच करते हैं। यदि सपना एक प्राकृतिक, साफ भविष्यवाणी है, तो डिनोइज़र खुश रहता है। यदि सपने के साथ छेड़छाड़ की गई है, तो डिनोइज़र भ्रमित हो जाता है और इसे फ्लैग (flag) कर देता है।
परिणाम: यह डिटेक्टर अविश्वसनीय रूप से अच्छा है। इसने 100% हैक किए गए सपनों को पकड़ा (AUC 1.0)।
पेंच (The Catch): शोधकर्ताओं ने एक "अनुकूली हमलावर" (adaptive attacker) बनाने की कोशिश की जो डिटेक्टर से हमले को छिपाने की कोशिश करता है। उन्होंने पाया कि हमले को छिपाने के लिए, हमलावर को हमला करना बंद करना होगा। आप सपने को भ्रष्ट भी नहीं कर सकते और उसे प्राकृतिक भी नहीं रख सकते। बचाव काम करता है।

वास्तविक दुनिया का परीक्षण

शोधकर्ताओं ने इसका परीक्षण LaDi-WM नामक एक विशिष्ट रोबोट सिस्टम पर किया जो अपनी चालों की योजना बनाने के लिए अपने सपने (एक "ओरेकल") का उपयोग करता है।

परिणाम: जब उन्होंने सपने पर बहुत कम शोर (इतना कम कि मानव इसे नोटिस भी न कर सके) के साथ हमला किया, तो रोबोट की सफलता दर 70% से गिरकर 5% रह गई।
तुलना: यदि उन्होंने समान मात्रा में रैंडम शोर (लक्षित हमला नहीं) जोड़ा होता, तो रोबोट ठीक से काम करता (70%)। यह साबित करता है कि हमला केवल "कैमरे को तोड़ना" नहीं था; यह विशेष रूप से रोबोट की कल्पना को तोड़ने के बारे में था।

सारांश

समस्या: जो रोबोट अपने स्वयं के "भविष्य के अनुमानों" पर भरोसा करते हैं, वे असुरक्षित हैं।
हमला: आप इनपुट में सूक्ष्म, अदृश्य परिवर्तनों के साथ इन भविष्यवाणियों को आसानी से बिगाड़ सकते हैं।
बचाव: आप इन टूटे हुए अनुमानों को आसानी से पहचान सकते हैं क्योंकि वे "अप्राकृतिक" दिखते हैं।
सबक: सिर्फ इसलिए कि एक रोबोट का शरीर मजबूत है, इसका मतलब यह नहीं है कि उसका मस्तिष्क (या उसका प्लानर) सुरक्षित है। यदि रोबोट भविष्य की एक विश्वसनीय भविष्यवाणी पर निर्भर करता है, तो वह भविष्यवाणी एक नया, खतरनाक कमजोर बिंदु है।

तकनीकी सारांश: विश्वसनीय कल्पना पर हमला (Attacking the Trusted Imagination)

समस्या विवरण (Problem Statement)

हाल के विजन-लैंग्वेज-एक्शन (VLA) पॉलिसियाँ तेजी से एक "कल्पना-फिर-कार्य" (imagine-then-act) आर्किटेक्चर को अपना रही हैं, जहाँ एक वर्ल्ड-एक्शन मॉडल (WAM) पहले भविष्य के दृश्य निरूपणों ( $\tilde{z}$ ) के एक लेटेंट प्रक्षेपवक्र (latent trajectory) को उत्पन्न करता है, और फिर एक्शन पॉलिसी को इसके आधार पर संचालित करता है। जबकि पूर्ववर्ती एडवरसेरियल शोध रिएक्टिव पॉलिसी के ऑब्जर्वेशन-टू-एक्शन पाथवे पर हमलों पर ध्यान केंद्रित करते हैं, यह शोध पत्र एक नए, विशिष्ट हमले की सतह की पहचान करता है: वह विश्वसनीय कल्पना (trusted imagination) जिसे डाउनस्ट्रीम ओरैकल्स (oracles) द्वारा उपभोग किया जाता है।

लेखक तर्क देते हैं कि जबकि रिएक्टिव पॉलिसियाँ एक वास्तविक क्लोज्ड-लूप में निष्पादित होती हैं जहाँ पर्यावरणीय फीडबैक त्रुटियों को सुधारता है, डाउनस्ट्रीम ओरैकल्स (जैसे सुरक्षा गेट, विजुअल मॉडल-प्रिडिक्टिव-कंट्रोल (MPC) प्लानर्स, या "इमेजिन-देन-चेक" वेरीफायर) WAM की कल्पित भविष्य ( $\tilde{z}$ ) को बिना किसी वास्तविक दुनिया के सुधारात्मक संकेतों के एक विश्वसनीय भविष्यवाणी के रूप में मानते हैं। फलस्वरूप, रिएक्टिव पॉलिसी की मजबूती (robustness) उन प्रणालियों की मजबूती का संकेत नहीं देती जो WAM की कल्पना पर निर्भर करती हैं। मुख्य घटना एक असममितता (asymmetry) है: कल्पना को दूषित करना (उसे उसके प्राकृतिक मैनिफोल्ड से बाहर धकेलना) आसान है, लेकिन उसे मैनिफोल्ड पर एक विशिष्ट लक्ष्य की ओर सटीक रूप से निर्देशित करना कठिन है।

कार्यप्रणाली (Methodology)

थ्रेट मॉडल (Threat Model)

लेखक एक क्षमता-आधारित, व्हाइट-बॉक्स थ्रेट मॉडल अपनाते हैं:

हमलावर की क्षमताएं: हमलावर के पास WRAM और एनकोडर तक पूर्ण पहुंच है (केर्फ़क्स सिद्धांत/Kerckhoffs's principle) और वह वर्तमान कैमरा ऑब्जर्वेशन $o$ को एक $\ell_\infty$ -बाउंडेड परटर्बेशन $\delta$ ( $\|\delta\|_\infty \leq \epsilon$ ) के साथ बाधित कर सकता है।
प्रतिबंध: हमलावर मॉडल के वेट्स (weights) को संशोधित नहीं कर सकता, ओरकल के आंतरिक कार्यों तक नहीं पहुँच सकता, या वास्तविक भविष्य को देख नहीं सकता।
डिफरेंशिएबिलिटी (Differentiability): यह हमला इस तथ्य का लाभ उठाता है कि निरंतर डिफ्यूजन-आधारित WAMs के लिए, ऑब्जर्वेशन से कल्पित भविष्य ( $o \to \tilde{z}$ ) का मानचित्र एंड-टू-एंड डिफरेंशिएबल है (कोई डिस्क्रीट वेक्टर क्वांटाइजेशन या इन-प्लेस कैश राइट्स नहीं), जो वास्तविक प्रोजेक्टेड ग्रेडिएंट डिसेंट (PGD) को सक्षम बनाता है।

हमले के उद्देश्य (Attack Objectives)

शोध पत्र दो हमले के उद्देश्यों को परिभाषित करता है (डेफिनेशन 2):

अनटारगेटेड करप्शन (Untargeted Corruption): एडवरसेरियल इमेजिनेशन $\tilde{z}_{adv}$ और क्लीन इमेजिनेशन $\tilde{z}_{clean}$ के बीच विचलन को अधिकतम करता है, जिसके लिए उनके कोसाइन सिमिलरिटी (cosine similarity) को न्यूनतम किया जाता है। इसका उद्देश्य $\tilde{z}$ को उसके प्राकृतिक-भविष्य के मैनिफोल्ड से बाहर धकेलना है।
टारगेटेड स्टीयरिंग (Targeted Steering): हमलावर द्वारा चुने गए एक विशिष्ट लक्ष्य $\tilde{z}_{tgt}$ (जैसे कि एक अलग दृश्य या निर्देश) की ओर $\tilde{z}_{adv}$ को ले जाने का प्रयास करता है।

डिटेक्शन मैकेनिज्म (Detection Mechanism)

लेखक एक पैरामीटर-फ्री डिनोइज़र सेल्फ-कंसिस्टेंसी डिटेक्टर (denoiser self-consistency detector) प्रस्तावित करते हैं। चूंकि दूषित कल्पना स्वाभाविक रूप से "ऑफ-मैनिफोल्ड" (प्राकृतिक भविष्य के निम्न-आयामी मैनिफोल्ड से विचलित) होती है, डिटेक्टर छोटे शोर स्तरों पर औसत भविष्य-फ्रेम वेलोसिटी-प्रेडिक्शन नॉर्म (norm) को मापता है। एक उच्च नॉर्म यह दर्शाता है कि सैंपल ऑफ-मैनिफोल्ड है और संभवतः दूषित है। इस डिटेक्टर को किसी क्लीन रेफरेंस की आवश्यकता नहीं है।

मुख्य योगदान (Key Contributions)

नई हमले की सतह (New Attack Surface): इमजिन-देन-एक्ट WAMs की विश्वसनीय कल्पना के विरुद्ध पहला व्हाइट-बॉक्स इंटीग्रिटी हमला। लेखक प्रदर्शित करते हैं कि ऑब्जर्वेशन-टू-इमेजिनेशन मैप भविष्य के लेटेंट पर वास्तविक ग्रेडिएंट-आधारित हमलों की अनुमति देता है।
असममितता तंत्र (Asymmetry Mechanism): यह शोध पत्र स्थापित करता है कि अनटारगेटेड करप्शन काफी आसान है (रैंडम नॉइज़ की तुलना में लगभग 60 गुना अधिक मजबूत) और दृश्य रूप से दिखाई देता है, जबकि किसी भी दृश्य की ओर लक्षित स्टीयरिंग सख्ती से सीमित है। यह असममितता डिकोडेड-फ्रेम साक्ष्य द्वारा निर्धारित होती है, न कि केवल लेटेंट कोसाइन सिमिलरिटी द्वारा।
मजबूत रक्षा (Robust Defense): एक पैरामीटर-फ्री डिनोइज़र डिटेक्टर क्लीन और एडवरसेरियल इमेजिनेशन के बीच अंतर करने में 1.0 का AUC प्राप्त करता है। महत्वपूर्ण बात यह है कि यह रक्षा एडेप्टिव हमलावरों के खिलाफ भी प्रभावी है; एक हमलावर जो मैनिफोल्ड पर रहकर डिटेक्शन से बचने का प्रयास करता है, उसे कल्पना को दूषित करने की क्षमता छोड़नी पड़ती है।
टास्क-लेवल नल बनाम ओरकल फेलियर (Task-Level Null vs. Oracle Failure): शोध पत्र एक "ऑनेस्ट नल" प्रदान करता है जो दिखाता है कि रिएक्टिव पॉलिसियाँ दूषित कल्पना के प्रति मजबूत रहती हैं (सफलता दर मुश्किल से गिरती है)। हालांकि, यह एक नेटिव इमेजिनेशन-ड्रिवन MPC में पहले एडवरसेरी-स्पेसिफिक रियल टास्क फेलियर को प्रदर्शित करता है, जहाँ दूषित $\tilde{z}$ पर ओरकल का विश्वास विनाशकारी निर्णय लेने का कारण बनता है।

प्रयोगात्मक परिणाम (Experimental Results)

अध्ययन इमेजिनेशन-टू-एक्शन कपलिंग के तीन लक्ष्यों का मूल्यांकन करता है: RynnVLA-002 (डिस्कनेक्टेड कपलिंग), LingBot-VA (कमजोर कपलिंग/ओरल), और LaDi-WM (मजबूत नेटिव कपलिंग)।

अनटारगेटेड करप्शन: LingBot-VA पर, अनटारगेटेड हमलों ने रैंडम नॉइज़ की तुलना में 60 $\times$ तक अधिक भ्रष्टाचार प्राप्त किया। $\epsilon=0.1$ पर, एक फिडेलिटी वेरीफायर 0% फाल्स पॉजिटिव के साथ 100% मामलों में "अनट्रस्टवर्दी" (अविश्वसनीय) में बदल गया। डिकोडेड फ्रेम्स ने दृश्य रूप से दिखने वाले आर्टिफैक्ट्स (स्मियरिंग, घोस्टिंग) दिखाए।
टारगेटेड स्टीयरिंग: जबकि लेटेंट कोसाइन मेट्रिक्स ने कुछ स्टीयरिंग का सुझाव दिया, डिकोडेड फ्रेम्स और वेरीफायर ने दिखाया कि वास्तव में अलग दृश्य की ओर स्टीयरिंग सीमित थी। क्रॉस-सीन लक्ष्यों के लिए, क्लोज किया गया गैप केवल ~0.2 था, और वेरीफायर ने 0/8 मामलों में एडवरसेरियल इमेजिनेशन को सही ढंग से खारिज कर दिया।
डिटेक्शन: डिनोइज़र सेल्फ-कंसिस्टेंसी डिटेक्टर ने $\epsilon \geq 0.2$ पर AUC 1.0 प्राप्त किया। सरफेस स्टैटिस्टिक्स (RMS, max-abs) हमले का पता लगाने में विफल रहे, जिससे पुष्टि होती है कि हमला $\ell_\infty$ बजट के भीतर रहता है जबकि ऑफ-मैनिफोल्ड चला जाता है।
एडेप्टिव हमलावर: जब हमलावरों ने करप्शन और डिटेक्शन स्कोर को मिलाने वाले लॉस को कम किया, तो डिटेक्शन से बचने के लिए करप्शन में महत्वपूर्ण कमी (0.279 से 0.064 तक) आवश्यक थी, जो सिद्ध करता है कि रक्षा बनी रहती है।
रियल टास्क फेलियर (LaDi-WM MPC): एक सैंपलिंग MPC सेटअप में, एडवरसेरियल करप्शन के कारण सफलता दर में गिरावट आई। $\epsilon=0.01$ पर, रैंडम नॉइज़ ने ~0.70 की सफलता दर बनाए रखी (क्लीन के समान), जबकि एडवरसेरियल हमले ने सफलता दर को घटाकर 0.05 कर दिया (Fisher $p < 10^{-4}$ )। यह "एडवरसेरी-स्पेसिफिक विंडो" प्रदर्शित करता है कि ओरकल का कल्पना पर भरोसा एक अद्वितीय भेद्यता पैदा करता है जो रिएक्टिव पॉलिसी में मौजूद नहीं है।

महत्व और दावे (Significance and Claims)

शोध पत्र दावा करता है कि पॉलिसी मजबूती (policy robustness) सिस्टम मजबूती (system robustness) के बराबर नहीं होती जब सिस्टम एक विश्वसनीय कल्पना पर निर्भर करता है। केंद्रीय विचार यह है कि "विश्वसनीय कल्पना" डाउनस्ट्रीम ओरैकल्स (प्लानर्स, वेरीफायर, सेफ्टी गेट्स) के लिए एक महत्वपूर्ण भेद्यता है जिनके पास वास्तविक दुनिया के सुधारात्मक संकेत नहीं होते हैं।

इसका महत्व निम्नलिखित में निहित है:

यह पहचानना कि "इमेजिन-देन-एक्ट" प्रतिमान एक विशिष्ट हमले की सतह पेश करता है जो एक्शन पाथवे से अलग है।
यह प्रदर्शित करना कि जबकि रिएक्टिव पॉलिसियाँ आंतरिक फीचर्स के भ्रष्टाचार को सहन कर सकती हैं, वे सिस्टम जो इन फीचर्स को भविष्यवाणियों के रूप में उपयोग करते हैं (ओरैकल्स), एडवरसेरी-स्पेसिफिक विफलताओं का सामना करते हैं।
यह दिखाना कि भ्रष्टाचार की अंतर्निहित "ऑफ-मैनिफोल्ड" प्रकृति एक अत्यधिक प्रभावी, पैरामीटर-फ्री डिटेक्शन की अनुमति देती है, यहाँ तक कि एडेप्टिव हमलावरों के खिलाफ भी।

लेखक स्पष्ट रूप से सीमाओं का उल्लेख करते हैं: मूल्यांकन सिमुलेशन-आधारित (LIBERO-10) है, लक्षित स्टीयरिंग सीमित है (दृश्य को मनमाने ढंग से नियंत्रित नहीं किया जा सकता), और "उपलब्धता" प्रभाव (टास्क सक्सेस ड्रॉप) सांख्यिकीय रूप से महत्वपूर्ण है लेकिन शुरुआती पायलट अनुमानों की तुलना में मध्यम परिमाण का है। कार्य यह निष्कर्ष निकालता है कि प्राथमिक खतरा ओरकल की निर्णय लेने की प्रक्रिया के भ्रष्टाचार का है, न कि पॉलिसी के व्यवहार के मनमाने अपहरण का।