🤖 AI

Test-time Adversarial Takeover: A Real-time Hijacking Interface against Robotic Diffusion Policies

यह शोध पत्र टेस्ट-टाइम एडवर्सरियल टेकओवर (TAKO) को प्रस्तुत करता है, जो एक नवीन हमला है जो कैमरा स्ट्रीम में एक सीखे हुए यूनिवर्सल विजुअल पैचेस के वोकैबुलरी को इंजेक्ट करके फ्रोजन रोबोटिक डिफ्यूजन पॉलिसीज़ को हाईजैक करता है, जिससे मानव ऑपरेटरों को विविध कार्यों और आर्किटेक्चर में मनचाहे उद्देश्यों की ओर रोबोट को रिमोटली स्टीयर करने में 100% सफलता प्राप्त करने में सक्षम बनाता है।

मूल लेखक: Zi Yin, Peilin Chai, Siyuan Huang, Zhanhao Hu

प्रकाशित 2026-06-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zi Yin, Peilin Chai, Siyuan Huang, Zhanhao Hu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "टेस्ट-टाइम एडवरसेरियल टेकओवर" (Test-time Adversarial Takeover) पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

मुख्य विचार: रोबोट के "दिमाग" का अपहरण करना

कल्पना कीजिए कि आपके पास एक बहुत ही कुशल रोबोट शेफ है। इसे एक बेहतरीन स्टेक पकाने के लिए प्रशिक्षित किया गया है। यह मांस को देखता है, तापमान की जाँच करता है, और अपने हाथों को सटीकता से चलाता है। आप इस पर काम करने के लिए भरोसा करते हैं।

अब, कल्पना कीजिए कि एक हैकर रोबोट के पैर तोड़ने या उसकी स्क्रीन को तोड़ने की कोशिश नहीं करता है। इसके बजाय, वह रोबोट के कैमरे के सामने खड़ा होता है और एक छोटा, विशिष्ट स्टिकर दिखाता है।

जब रोबोट उस स्टिकर को देखता है, तो उसका दिमाग भ्रमित हो जाता है। वह काम करना बंद नहीं करता; वह खाना बनाना जारी रखता है। लेकिन स्टेक पकाने के बजाय, वह अचानक सब्जियां काटने लगता है, फिर एक बर्तन में चम्मच चलाने लगता है, फिर एक पैनकेक पलटने लगता है—एक ऐसी क्रमबद्ध प्रक्रिया में जिसे हैकर ने चुना है।

हैकर ने रोब besteht नहीं है; उसने उसे हाइजैक (hijack) कर लिया है। उसने एक स्वायत्त (autonomous) शेफ को एक रिमोट-कंट्रोल कठपुतली में बदल दिया है, जिसका उपयोग एक छोटे से दृश्य ट्रिक (visual trick) के माध्यम से किया गया है जिसे रोबोट अनदेखा नहीं कर सकता।

यह पेपर इस हमले को TAKO (टेस्ट-टाइम एडवरसेरियल टेकओवर) कहता है।

समस्या: पिछले हमले "कमजोर" क्यों थे?

इस पेपर से पहले, हैकर्स आमतौर पर रोबोट को बाधित (disrupt) करने की कोशिश करते थे।

पुराना तरीका: एक हैकर फर्श पर एक अजीब पैटर्न रख देता था ताकि रोबot लड़खड़ा जाए, या एक तेज़ रोशनी चमका देता था ताकि वह पूरी तरह से काम करना बंद कर दे।
लक्ष्य: विफलता पैदा करना। "रोबोट को क्रैश कराओ।"
सीमा: यह कार पर पत्थर फेंकने जैसा है। यह कार को रोक देता है, लेकिन आप उसे वहां नहीं ले जा सकते जहाँ आप जाना चाहते हैं। आप बस उसे रोक देते हैं।

लेखक कहते हैं: "क्या होगा अगर हम कार चलाना चाहते हैं? क्या होगा अगर हम रोबोट को किसी ऐसी विशिष्ट जगह ले जाना चाहते हैं जहाँ जाने के लिए उसे कभी प्रशिक्षित नहीं किया गया था?"

समाधान: "एक्शन वोकैबुलरी" (Action Vocabulary)

लेखकों ने पाया कि डिफ्यूजन-आधारित रोबोट (वे प्रकार जो अपने अगले कदम को "सपनों" में देखने के लिए AI का उपयोग करते हैं) में एक विशिष्ट कमजोरी होती है। वे अपने कैमरों के माध्यम से जो देखते हैं, उस पर बहुत अधिक निर्भर करते हैं।

रोबोट को रोकने की कोशिश करने के बजाय, हैकर्स ने एक स्टिकर की शब्दावली (vocabulary of stickers) बनाई।

इसे चार बटनों वाले रिमोट कंट्रोल की तरह समझें: ऊपर, नीचे, बाएँ, दाएँ।

स्टिकर: हैकर्स ने चार विशिष्ट, पुन: प्रयोज्य चित्र (patches) डिज़ाइन किए।
- स्टिकर A रोबोट को बताता है: "आगे बढ़ो।"
- स्टिकर B रोबोट को बताता है: "बाएँ जाओ।"
- स्टिकर C रोबोट को बताता: "दाएँ जाओ।"
- स्टिकर D रोबोट को बताता है: "पीछे जाओ।"
जादू: ये स्टिकर रोबोट की किसी भी स्थिति में काम करते हैं। इससे कोई फर्क नहीं पड़ता कि रोबोट किचन में है या गलियारे में; यदि आप उसे स्टिकर A दिखाते हैं, तो वह आगे बढ़ने की कोशिश करेगा।
टेकओवर: एक मानव ऑपरेटर कीबोर्ड पकड़े हुए है। वह "बाएँ" दबाता है, और रोबोट बाएँ जाता है। वह "आगे" दबाता है, और रोबोट आगे बढ़ता है। स्टिकर को तेज़ी से बदलकर, मानव ऑपरेटर किसी भी रास्ते को बना सकता है, भले ही रोबोट को वहां जाने के लिए कभी प्रशिक्षित न किया गया हो।

यह कैसे काम करता है (इसका "सीक्रेट सॉस")

पेपर बताता है कि यह इसलिए काम करता है क्योंकि ये रोबोट कैसे "सोचते" हैं।

रोबोट की प्रक्रिया: रोबोट कैमरे को देखता है, फिर एक जटिल गणितीय प्रक्रिया (जिसे "डिफ्यूजन" कहा जाता है) चलाता है ताकि यह तय किया जा सके कि आगे क्या करना है। वह यह कदम-दर-कदम करता है, जैसे प्याज की परतें उतारना।
हैक: हैकर रोबोट द्वारा प्याज की परतें उतारना शुरू करने से पहले ही कैमरे के फीड में अपना स्टिकर डाल देता है।
परिणाम: क्योंकि स्टिकर शुरुआत में ही मौजूद है, यह रोबोट की पूरी विचार प्रक्रिया को प्रभावित (bias) करता है। रोबोट सोचता है, "ओह, मुझे वह स्टिकर दिख रहा है, इसलिए मुझे आगे बढ़ना चाहिए।" रोबोट का अपना आंतरिक तर्क इस विचार को पुख्ता करता है, जिससे गति सुचारू और स्वाभाविक हो जाती है, भले ही उसे एक इंसान द्वारा नियंत्रित किया जा रहा हो।

"पुराना तरीका" क्यों विफल रहा

पेपर ने रोबोट को हैक करने के एक "प्राकृतिक" तरीके का परीक्षण किया: टारगेट पॉलिसी मैचिंग (Target Policy Matching)।

विचार: "यदि मैं चाहता हूँ कि रोबोट किचन में जाए, तो मैं ठीक वही गणना करूँगा जो रोबोट को किचन तक पहुँचने के लिए करना चाहिए, और फिर उसे वैसा करने के लिए धोखा दूँगा।"
विफलता: यह पूरी तरह से विफल रहा। रोबोट को विशिष्ट स्थानों पर जाने के लिए प्रशिक्षित किया गया था। यदि आप उसे किसी नए स्थान (जैसे कि वह किचन जिसे उसने कभी नहीं देखा) पर जाने के लिए कहते, तो वह भ्रमित हो जाता और विफल हो जाता। वह सामान्यीकरण (generalize) नहीं कर सका।
TAKO की सफलता: TAKO पद्धति ने रोबोट को किसी विशिष्ट गंतव्य के लिए धोखा देने की कोशिश नहीं की। इसने बस रोबोट को सरल निर्देश दिए ("बाएँ जाओ")। मानव ऑपरेटर ने वास्तविक समय में नेविगेट करने के लिए निर्देशों को बदला। रोबोट बस सरल निर्देशों का पालन करता रहा।

प्रयोग: क्या यह काम कर गया?

लेखकों ने कंप्यूटर सिमुलेशन और वास्तविक दुनिया दोनों में चार अलग-अलग प्रकार के रोबोटों पर इसका परीक्षण किया:

PushT: एक रोबोटिक हाथ जो T-आकार के ब्लॉक को धकेलता है।
DeliverDrone: एक पैकेज डिलीवर करने वाला सिम्युलेटेड ड्रोन।
SimNav: घर के अंदर चलने वाला एक सिम्युलेटेड रोबोट।
RealNav: एक गलियारे में चलता हुआ एक वास्तविक भौतिक रोबोट (iRobot Create 3)।

परिणाम:

पुराने हमले: रोबोट को नई जगहों पर ले जाने में 0% सफलता।
TAKO हमला: 100% सफलता। मानव ऑपरेटर रोबोट को किसी भी लक्ष्य तक ले जा सकते थे, जो रोबोट के पथ के साथ "S", "P", "I", और "N" जैसे आकार बना रहे थे।

निचोड़

यह पेपर एक डरावने नए सुरक्षा जोखिम को उजागर करता है। यह दिखाता है कि हमें रोबोट को नियंत्रित करने के लिए उसके कोड को तोड़ने की आवश्यकता नहीं है। हमें बस उसे सही तस्वीर दिखानी है।

पहले: हैकर्स रोबोट को विफल कर सकते थे।
अब: हैकर्स स्टीयरिंग व्हील छीन सकते हैं और रोबोट को जहाँ चाहें वहाँ ले जा सकते हैं, जिससे एक स्वायत्त मशीन एक रिमोट-कंट्रोल खिलौना बन जाती है।

लेखक चेतावनी देते हैं कि यह एक मौलिक दोष है कि ये AI रोबोट दुनिया को कैसे "देखते" हैं, और यह समस्या को "क्या रोबोट टूट जाएगा?" से बदलकर "क्या कोई रोबोट चुरा सकता है?" में बदल देता है।

तकनीकी सारांश: टेस्ट-टाइम एडवर्सरियल टेकोवर (TAKO)

समस्या विवरण

डिफ्यूजन-आधारित एक्शन जनरेशन (action generation) एम्बोडीड एआई (embodied AI) का एक मौलिक घटक बन गया है, विशेष रूप से उन विज़ुओमोटर पॉलिसियों (visuomotor policies) में जो विज़ुअल कंडीशनिंग (जैसे ResNets या ViTs के माध्यम से) पर निर्भर करती हैं। जबकि रोबोट पॉलिसियों पर मौजूदा एडवर्सरियल शोध विघटन (disruption) पर केंद्रित रहा है—अर्थात, कार्यों की विफलता या अनियमित व्यवहार का कारण बनने के लिए ऑब्जर्वेशन को बाधित करना—यह शोध पत्र एक अधिक गंभीर थ्रेट मॉडल की पहचान करता है: टेस्ट-टाइम एडवर्सरियल टेकोवर (TAKO)।

TAKO परिदृश्य में, हमलावर केवल पॉलिसी को बाधित नहीं करता, बल्कि उसे हाईजैक कर लेता है, जिससे वह एक फ्रीज़्ड (frozen) रोबोट पॉलिसी को रिमोटली संचालित उपकरण में बदलने के लिए एक वास्तविक समय (real-time) स्टीयरिंग इंटरफेस प्राप्त कर लेता है। हमलावर का लक्ष्य कैमरा स्ट्रीम में इंजेक्ट किए गए पुन: प्रयोज्य यूनिवर्सल एडवर्सरियल पैच (universal adversarial patches) के एक छोटे वोकैबुलरी (vocabulary) के बीच स्विच करके, हमलावर द्वारा परिभाषित मनमाने प्रक्षेपवक्र (trajectories) बनाना है। यह सुरक्षा चिंता को आकस्मिक विफलता से हटाकर अनधिकृत, निरंतर नियंत्रण की ओर ले जाता है।

यह शोध पत्र तर्क देता है कि इस खतरे के लिए एक स्वाभाविक बेसलाइन, टारगेट-पॉलिसी मैचिंग (TPM), मौलिक रूप से त्रुटिपूर्ण है। TPM एक ऐसे व्यवधान (perturbation) को अनुकूलित करने का प्रयास करता है जो एक टारगेट-शिफ्टेड पॉलिसी के कार्यों से मेल खाता हो। हालाँकि, यह विफल रहता है क्योंकि:

आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) पैथोलॉजी: विशिष्ट लक्ष्यों पर प्रशिक्षित पीड़ित (victim) पॉलिसी, जब लक्ष्य को OOD कॉन्फ़िगरेशन में स्थानांतरित किया जाता है, तो वांछित व्यवहार उत्पन्न करने में विश्वसनीय नहीं होती है।
संचयी विचलन (Accumulative Drift): एक रिसीडिंग-होराइज़न (receding-horizon) परिनियोजन में, प्रशिक्षण के समय अनुकूलित एक स्थिर संदर्भ पॉलिसी, लंबे समय तक निष्पादन के दौरान विचलन को ठीक नहीं कर सकती है, जिससे लक्ष्य से विचलन होता है।

कार्यप्रणाली (Methodology)

प्रस्तावित TAKO फ्रेमवर्क दो चरणों में कार्य करता है: ऑफलाइन ऑप्टिमाइज़ेशन और ऑनलाइन कंपोजिशनल डिप्लॉयमेंट।

1. ऑफलाइन ऑप्टिमाइज़ेशन: यूनिवर्सल पैच वोकैबुलरी

एक विशिष्ट लक्ष्य प्रक्षेपवक्र (target trajectory) से मेल खाने के बजाय, हमलावर "यूनिवर्सल एडवर्सरियल पैच" की एक "वोकैबुलरी" सीखता है। प्रत्येक पैच एक दिशात्मक एक्शन प्रिमिटिव (जैसे "आगे बढ़ें," "बाएं बढ़ें") के अनुरूप होता है।

उद्देश्य: पैच को एक विशिष्ट लक्ष्य अवस्था से मेल खाने के बजाय, पॉलिसी के एक्शन आउटपुट में एक सुसंगत दिशात्मक पूर्वाग्रह (directional bias) उत्पन्न करने के लिए अनुकूलित किया जाता है।
लॉस फंक्शन (Loss Function): एक दिशात्मक लॉस को एक विशिष्ट अक्ष (जैसे $x$ या $y$ ) के साथ एक्शन सीक्वेंस के माध्य बदलाव (mean shift) को अधिकतम करने के लिए परिभाषित किया गया है:
$\mathcal{L}_c(\delta_c) = -\sigma_c \cdot \mathbb{E}_{o \sim \mathcal{D}} \left[ \frac{1}{H_a} \sum_{t'=1}^{H_a} \hat{a}_{t', d_c}(o, \delta_c) \right]$
जहाँ $\sigma_c$ वांछित दिशा का चिह्न है, $d_c$ एक्शन अक्ष है, और $\hat{a}$ पैच्ड ऑब्जर्वेशन द्वारा उत्पन्न एक्शन सीक्वेंस है।
डिफरेंशिएबल इन्फरेंस (Differentiable Inference): ग्रेडिएंट्स को फ्रीज़्ड डिफ्यूजन इन्फरेंस चेन (विज़न एनकोडर और डीनॉइज़र सहित) के माध्यम से पैच पैरामीटर्स तक बैकप्रोपैगेट किया जाता है। यह विभिन्न इन्फरेंस परिवारों (DDPM, DDIM, और Flow Matching) में काम करता है क्योंकि व्यवधान विज़ुअल कंडीशनिंग पाथवे पर कार्य करता है, जो इटरेटिव डीनॉइजिंग प्रक्रिया को बायस (bias) करता है।

2. ऑनलाइन कंपोजिशनल डिप्लॉयमेंट

टेस्ट-टाइम पर, हमलावर के पास अनुकूलित वोकैबुलरी $\{\delta^*_c\}$ होती है।

कंट्रोल इंटरफेस: एक मानव ऑपरेटर (या स्वचालित एजेंट) वर्तमान स्थिति के आधार पर प्रत्येक रीप्लानिंग स्टेप पर वोकैबुलरी से एक कमांड $u_t$ (या "नो पैच" स्थिति) चुनता है।
क्लोज्ड-लूप करेक्शन: ओपन-लूप हमलों के विपरीत, ऑपरेटर ड्रिफ्ट को ठीक करने के लिए रीयल-टाइम में पैच बदल सकता है। पीड़ित पॉलिसी पैच्ड इमेज को एक क्लीन इनपुट मानती है, जिससे ऑपरेटर के चुने हुए प्रक्षेपवक्र का पालन करते हुए सुचारू एक्शन सीक्वेंस उत्पन्न होते हैं।
तंत्र (Mechanism): यह हमला इस तथ्य का लाभ उठाता है कि विज़ुअल कंडीशनिंग के माध्यम से पेश किया गया एडवर्सरियल बायस, इटरेटिव जेनेरेटिव इन्फरेंस के दौरान पर्याप्त रूप से बना रहता है, जो पॉलिसी को उसके प्रशिक्षित व्यवहार से दूर हमलावर की वांछित दिशा की ओर मोड़ देता है।

मुख्य योगदान

नया एडवर्सरियल प्रतिमान (Paradigm): यह पेपर TAKO को पेश करता है, जो उद्देश्य को पॉलिसी विफलता का कारण बनाने से बदलकर, पॉलिसी व्यवहार पर निरंतर, ऑपरेटर-नियंत्रणीय अधिकार प्राप्त करने की ओर ले जाता है।
स्टीयरिंग इंटरफेस: यह प्रदर्शित करता है कि डिफ्यूजन-आधारित विज़ुओमोटर पॉलिसियाँ एक सरल स्टीयरिंग इंटरफेस स्वीकार करती हैं: अनुकूलित पैच की एक पूर्व-अनुकूलित वोकैबुलरी जिसे मनमाने प्रक्षेपवक्र बनाने के लिए ऑनलाइन स्विच किया जा सकता है।
सामान्यीकरण (Generalizability): TAKO टेकओवर प्रतिमान को टास्क या आर्किटेक्चर-विशिष्ट नहीं माना गया है। यह निम्नलिखित पर काम करता है:
- टास्क: 2D मैनिपुलेशन (PushT), सिम्युलेटेड एरियल डिलीवरी (DeliverDrone), सिम्युलेटेड ग्राउंड नेविगेशन (SimNav), और फिजिकल-वर्ल्ड ग्राउंड नेविगेशन (RealNav)।
- एनकोडर: ResNet-18 और EfficientNet-B0 + Transformer।
- इन्फरेंस फैमिली: DDPM, DDIM, और Flow Matching।

प्रयोगात्मक परिणाम

लेखकों ने चार कार्यों के लिए TPM बेसलाइन और मूल क्लीन पॉलिसियों के विरुद्ध TAKO का मूल्यांकन किया।

बेसलाइन विफलता: TPM बेसलाइन ने सभी कार्यों में 0% सफलता (0/40 ट्रायल्स) प्राप्त की। पीड़ित पॉलिसियाँ शिफ्टेड टारगेट कॉन्फ़िगरेशन के लिए सामान्यीकरण करने में विफल रहीं, और स्थिर संदर्भ प्रक्षेपवक्रों में विचलन (drift) जमा हो गया।
TAKO सफलता: TAKO इंटरफेस का उपयोग करने वाले मानव ऑपरेटरों ने हमलावर-परिभाषित लक्ष्यों तक रोबोट को स्टीयर करने में 100% सफलता (40/40 ट्रायल्स) प्राप्त की, जो प्रशिक्षण वितरण का हिस्सा नहीं थे।
दिशात्मक पूर्वाग्रह (Directional Bias): अनुकूलित पैच निरंतर दिशात्मक पूर्वाग्रह उत्पन्न करते हैं, जिसकी सफलता दर कार्य और इन्फरेंस विधि के आधार पर ~65% से 100% के बीच रही, जो पुष्टि करती है कि पैच एक पुन: प्रयोज्य एक्शन वोकैबुलरी के रूप में कार्य करते हैं।
भौतिक वास्तविकता (Physical Realizability): हमले को भौतिक iRobot Create 3 प्लेटफॉर्म (RealNav) पर सफलतापूर्वक प्रदर्शित किया गया, जिससे सिद्ध होता है कि यह भेद्यता सिमुलेशन से परे है।

महत्व और दावे

यह पेपर दावा करता है कि TAKO एक सुरक्षा समस्या (आकस्मिक विफलता को रोकना) से सुरक्षा (Security) समस्या (अनधिकृत टेकओवर को रोकना) की ओर एक महत्वपूर्ण बदलाव का प्रतिनिधित्व करता है।

संरचनात्मक भेद्यता: निष्कर्ष बताते हैं कि विज़ुअल कंडीशनिंग के माध्यम से पेश किया गया एडवर्सरियल बायस, जेनेरेटिव इन्फरेंस के दौरान निरंतर स्टीयरिंग का समर्थन करने के लिए पर्याप्त रूप से बना रह सकता है। यह भेद्यता डिफ्यूजन पॉलिसियों की संरचना के प्रति अंतर्निहित है जो विज़ुअल कंडीशनिंग पर निर्भर करती हैं, चाहे विशिष्ट डीनॉइजिंग एल्गोरिदम कोई भी हो।
सीमाएँ: लेखक नोट करते हैं कि उनके प्रयोग ऑफलाइन ऑप्टिमाइज़ेशन के लिए व्हाइट-बॉक्स एक्सेस और पैच के डिजिटल इंजेक्शन को मानते हैं। वे स्वीकार करते हैं कि भौतिक पैच या ब्लैक-बॉक्स ऑप्टिमाइज़ेशन के माध्यम से इस टेकओवर को साकार करना भविष्य के कार्य के लिए एक दिशा है।
निहितार्थ: यह कार्य जेनेरेटिव रोबोट पॉलिसियों के लिए मजबूत मूल्यांकन विधियों, रक्षा (जैसे इनपुट-स्पेस विसंगति का पता लगाना या विज़ुअल एनकोडर पर प्रमाणित मजबूती), और सुरक्षा तंत्रों की आवश्यकता को प्रेरित करता है। लेखक इस बात पर जोर देते हैं कि ऐसे हमलों के लिए आवश्यक घटक (यूनिवर्सल एडवर्सरियल पैच, डिफरेंशिएबल डिफ्यूजन इन्फरेंस) पहले से ही सार्वजनिक साहित्य में मौजूद हैं, जिससे यह प्रेरित हमलावरों के लिए एक संभावित खतरा बनता है।