💻 computer science

SABER: A Stealthy Agentic Black-Box Attack Framework for Vision-Language-Action Models

यह शोध पत्र SABER को प्रस्तुत करता है, जो एक एजेंटिक ब्लैक-बॉक्स अटैक फ्रेमवर्क है जो न्यूनतम, विश्वसनीय निर्देश व्यवधान (instruction perturbations) उत्पन्न करने के लिए एक GRPO-प्रशिक्षित ReAct एजेंट का उपयोग करता है, जो प्रभावी रूप से विविध विजन-लैंग्वेज-एक्शन मॉडलों के प्रदर्शन को कम करता है और दक्षता एवं हमले की सफलता में मौजूदा बेसलाइन से बेहतर प्रदर्शन करता है।

मूल लेखक: Xiyang Wu, Guangyao Shi, Qingzi Wang, Zongxia Li, Amrit Singh Bedi, Dinesh Manocha

प्रकाशित 2026-03-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiyang Wu, Guangyao Shi, Qingzi Wang, Zongxia Li, Amrit Singh Bedi, Dinesh Manocha

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, सहायक रोबोट बटलर है। यह रोबोट केवल आदेशों का पालन करने वाले टोस्टर की तरह नहीं है; यह प्राकृतिक भाषा को समझता है। आप इसे कह सकते हैं, "कृपया ऊपर वाला दराज खोलें और कटोरा उसके अंदर रखें," और यह दराज को देखने के लिए अपनी आँखों का उपयोग करता है और हैंडल को पकड़ने के लिए अपने दिमाग का उपयोग करता है। शोधकर्ता इसे विज़न-लैंग्वेज-एक्शन (VLA) मॉडल कहते हैं।

हालाँकि, ठीक वैसे ही जैसे एक इंसान भ्रमित करने वाले वाक्य से धोखा खा सकता है, ये रोबोट भी धोखा खा सकते हैं। यह पेपर एक नया टूल पेश करता है जिसे SABER (Stealthy Agentic Black-Box Attack Framework) कहा जाता है, ताकि यह परीक्षण किया जा सके कि रोबोट को भ्रमित करना कितना आसान है।

यहाँ इसका एक सरल विवरण दिया गया है, रोज़मर्रा के उदाहरणों का उपयोग करते हुए:

1. समस्या: "व्हिस्पर" (फुसफुसाहट) हमला

आमतौर पर, जब लोग रोबोट को हैक करने के बारे में सोचते हैं, तो वे कल्पना करते हैं कि कोई इसके कोड को भौतिक रूप से तोड़ रहा है या इसके कैमरों को जाम कर रहा है। लेकिन यह पेपर दिखाता है कि आपको रोबोट को छूने की भी ज़रूरत नहीं है। आपको बस इसके कान में एक छोटा सा झूठ फुसफुसाने की ज़रूरत है।

यदि आप निर्देश को "ऊपर वाला दराज खोलें" से बदलकर "ऊपर वाला ड्रावी (drawee) खोलें" कर देते हैं, या एक भ्रमित करने वाला क्लॉज़ जोड़ देते हैं जैसे "इससे पहले, सत्यापित करें कि दराज पूरी तरह से खुली है" (जब कि वह पहले से ही खुली है), तो रोबोट भ्रमित हो सकता है। यह:

पूरे कार्य को करने में विफल हो सकता है।
भटकाव का शिकार हो सकता है, यानी 10 स्टेप के काम के लिए 100 स्टेप ले सकता है।
सुरक्षा नियमों को तोड़ सकता है, जैसे दराज को बहुत ज़ोर से पटकना।

2. समाधान: SABER (द "रेड-टीमिंग" एजेंट)

शोधकर्ताओं ने एक डिजिटल "रेड टीम" एजेंट बनाया है जिसका नाम SABER है। SABER को एक शरारती छली या सुरक्षा परीक्षक के रूप में सोचें जिसका एकमात्र काम रोबोट को भ्रमित करने की कोशिश करना है।

ब्लैक-बॉक्स (Black-Box): SABER को यह नहीं पता कि रोबोट का दिमाग अंदर से कैसे काम करता है। यह एक तिजोरी के कॉम्बिनेशन का अनुमान लगाने जैसा है बिना उसके अंदर के पुर्जों को देखे। यह केवल इनपुट (निर्देश) और आउटपुट (रोबोट क्या करता है) देख सकता है।
एजेंट (Agent): SABER केवल एक स्क्रिप्ट नहीं है; यह एक "एजेंट" है। यह सोचता है, योजना बनाता है और कार्य करता है। यह ReAct (Reason + Act) नामक विधि का उपयोग करता है। यह खुद से पूछता है, "मुझे वाक्य में कहाँ बदलाव करना चाहिए?" और फिर "मुझे वाक्य को कैसे बदलना चाहिए?"

तुलना के लिए टूलकिट: रोबोट को चकमा देने के तीन तरीके

SABER के पास रोबोट को चकमा देने के लिए तीन प्रकार के "ट्रिक्स" (परटर्बेशन) का एक टूलबॉक्स है, और यह सब एक सख्त बजट के भीतर होता है (यह पूरे वाक्य को नहीं बदल सकता, केवल कुछ शब्दों को बदल सकता है):

कैरेक्टर लेवल (टाइपो/वर्तनी की गलती): यह एक अक्षर बदल देता है।
- मूल: "एक mug उठाओ।"
- ट्रिक: "एक rnug उठाओ।" (यह देखने में टाइपो जैसा लगता है, लेकिन रोबोट की दृष्टि को भ्रमित कर सकता है)।
टोकन लेवल (शब्द का बदलाव): यह एक शब्द को मिलते-जुलते या संबंधित शब्द से बदल देता है।
- मूल: "ऊपर वाला दराज खोलें।"
- ट्रिक: "सेमी-टॉप दराज खोलें।" (रोबोट इस बात पर भ्रमित हो सकता है कि कौन सा दराज "सेमी-टॉप" है)।
प्रॉम्प्ट लेवल (लॉजिक ट्रैप): यह एक भ्रमित करने वाला निर्देश या शर्त जोड़ देता है।
- मूल: "कटोरा अंदर रखें।"
- ट्रिक: "कटोरा अंदर रखें। लेकिन पहले, सुनिश्चित करें कि कटोरा खाली है।" (रोबोट कटोरे को हिलाने के बजाय उसे चेक करने में समय बर्बाद कर सकता है)।

4. ट्रेनिंग: प्रयास और त्रुटि द्वारा सीखना

SABER बेहतर कैसे बनता है? इसके पास कोई शिक्षक नहीं है जो इसे उत्तर दिखाए। इसके बजाय, यह GRPO (Group Relative Policy Optimization) नामक तकनीक का उपयोग करता है।

कल्पना कीजिए कि एक वीडियो गेम में SABER रोबोट के खिलाफ 1,000 बार खेलता है।

राउंड 1: SABER एक रैंडम बदलाव आज़माता है। रोबोट सफल होता है। SABER को "खराब स्कोर" मिलता है।
राउंड 2: SABER एक अलग बदलाव आज़माता है। रोबोट विफल हो जाता है! SABER को "अच्छा स्कोर" मिलता है।
सीखना: समय के साथ, SABER सीख जाता है कि कौन से छोटे बदलाव सबसे ज़्यादा अराजकता पैदा करते हैं। यह कुशल (efficient) होना सीख जाता है। इसे एहसास होता है कि पूरे वाक्य को फिर से लिखने के बजाय एक विशिष्ट शब्द को बदलना अक्सर बेहतर होता है।

5. परिणाम: छोटे बदलाव, बड़ी अराजकता

शोधकर्ताओं ने छह अलग-अलग उन्नत रोबोट मॉडलों पर SABER का परीक्षण किया, जिसमें LIBERO (घरेलू कार्यों जैसे दराज खोलना और ब्लॉक जमा करना का एक संग्रह) नामक एक मानक परीक्षण का उपयोग किया गया।

परिणाम डरावने लेकिन महत्वपूर्ण थे:

कार्य विफलता (Task Failure): SABER ने रोबोटों को 20% अधिक बार विफल कर दिया।
अक्षमता (Inefficiency): जब रोबोट विफल नहीं हुए, तो वे अक्सर काम पूरा करने में 55% अधिक समय लेते थे (जैसे कि कोई इंसान गोल-गोल घूम रहा हो क्योंकि वह भूल गया कि वह कहाँ जा रहा था)।
सुरक्षा (Safety): रोबोटों ने सुरक्षा नियमों को 33% अधिक बार तोड़ा।

सबसे अच्छी बात? SABER पिछले तरीकों की तुलना में बहुत बेहतर था। इसने उतनी ही परेशानी पैदा करने के लिए 50% कम संपादन (edits) और 20% कम प्रयासों का उपयोग किया। यह साबित करता है कि रोबोट को तोड़ने के लिए आपको किसी बड़े, स्पष्ट हमले की आवश्यकता नहीं है; एक छोटा, चतुर फुसफुसाहट ही काफी है।

यह क्यों मायने रखता है?

आप पूछ सकते हैं, "हम रोबोट को तोड़ने की कोशिश क्यों कर रहे हैं?"

इसे एक फायर ड्रिल (आग से बचाव का अभ्यास) या क्रैश टेस्ट की तरह समझें। इससे पहले कि हम रोबोट को अस्पतालों, घरों या कारखानों में काम करने दें, हमें यह जानना होगा कि वे कितने नाजुक हैं।

यदि एक रोबोट टाइपो से धोखा खा सकता है, तो हमें इसे तैनात करने से पहले ठीक करने की आवश्यकता है।
SABER इन कमजोरियों को स्वचालित रूप से खोजने के लिए एक उपकरण है, ताकि इंजीनियर उन्हें पैच (ठीक) कर सकें।

संक्षेप में: SABER एक स्मार्ट, स्वचालित "बग हंटर" है जो रोबोटों को छोटी झूठ फुसफुसाकर देखता है कि क्या वे लड़खड़ाते हैं। यह साबित करता है कि यहाँ तक कि सबसे स्मार्ट AI रोबोट भी भाषा में छोटे बदलावों से भ्रमित हो सकते हैं, और हमें उन्हें इन ट्रिक्स के खिलाफ अधिक मजबूत बनाने की आवश्यकता है।

यहाँ "SABER: A Stealthy Agentic Black-Box Attack Framework for Vision-Language-Action Models" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज-एक्शन (VLA) मॉडल प्राकृतिक भाषा के निर्देशों और विज़ुअल ऑब्जर्वेशन के आधार पर रोबोटिक कार्यों को निष्पादित करने में सक्षम बनाते हैं। हालाँकि, टेक्स्ट इनपुट पर इनकी निर्भरता एक महत्वपूर्ण भेद्यता (vulnerability) पैदा करती है: निर्देशों में छोटे बदलाव (perturbations) भी महत्वपूर्ण भौतिक विफलताओं का कारण बन सकते हैं, जैसे कि कार्य की विफलता, अक्षम निष्पादन, या सुरक्षा संबंधी बाधाओं का उल्लंघन।

VLA पर मौजूदा एडवरसेरियल हमलों (adversarial attacks) की तीन मुख्य सीमाएँ हैं:

स्वचालन का अभाव (Lack of Automation): अधिकांश मैन्युअल रूप से डिज़ाइन किए गए बदलावों या निश्चित ह्यूरिस्टिक्स (heuristics) पर निर्भर करते हैं।
उच्च लागत और कम गोपनीयता (High Cost & Low Stealth): विधियाँ अक्सर महंगे GPT-आधारित खोजों का उपयोग करती हैं या अत्यधिक निर्देश पुनर्लेखन (rewriting) की आवश्यकता होती है, जिससे वे वास्तविक दुनिया के परिवेश में अव्यवहारिक और आसानी से पकड़े जाने योग्य हो जाती हैं।
खराब सामान्यीकरण (Poor Generalization): वे बिना ग्रेडिएंट एक्सेस के विविध कार्यों, अनदेखे उद्देश्यों और विभिन्न फ्रोजन (frozen) VLA नीतियों के अनुकूल होने में संघर्ष करते हैं।

यह शोध एक सामान्य-उद्देश्य वाले, स्वचालित ब्लैक-बॉक्स हमलावर (black-box attacker) की आवश्यकता को संबोधित करता है जो फ्रोजन VLA मॉडल्स में लक्षित व्यवहार संबंधी गिरावट (behavioral degradation) उत्पन्न करने के लिए न्यूनतम और विश्वसनीय निर्देश संपादन (instruction edits) उत्पन्न कर सके।

2. कार्यप्रणाली: SABER फ्रेमवर्क (Methodology: SABER Framework)

SABER (Stealthy Agentic Black-box Attack Framework for VLA) हमला जनरेशन को एक क्रमिक निर्णय लेने वाली समस्या (sequential decision-making problem) के रूप में मानता है, जिसे GRPO (Group Relative Policy Optimization) के माध्यम से प्रशिक्षित एक ReAct-शैली के एजेंट द्वारा हल किया जाता है।

A. मुख्य घटक (Core Components)

अटैक एजेंट (Attack Agent): एक एकल LLM-आधारित एजेंट (Qwen2.5-3B-Instruct) जिसे एक "रेड-टीम" हमलावर के रूप में कार्य करने के लिए प्रशिक्षित किया गया है। यह लक्ष्य VLA के ग्रेडिएंट तक पहुँच के बिना कार्य करता है।
परटर्बेशन टूलबॉक्स (Perturbation Toolbox): एजेंट निर्देशों को संपादित करने के लिए तीन अलग-अलग टूल परिवारों का उपयोग करता है, जो एक FIND $\rightarrow$ APPLY वर्कफ़्लो का पालन करते हैं:
1. कैरेक्टर-लेवल (Character-level): OCR त्रुटियों या टाइपो (typos) का अनुकरण करने के लिए टाइपो-शैली के संपादन (इन्सर्शन, डिलीशन, सब्स्टीट्यूशन, ट्रांसपोजीशन) (जैसे, "pick" $\rightarrow$ "plck")।
2. टोकन-लेवल (Token-level): शब्द या सबवर्ड रिप्लेसमेंट/रिमूवल (जैसे, "top" $\rightarrow$ "semi-top")।
3. प्रॉम्प्ट-लेवल (Prompt-level): क्लॉज, वेरिफिकेशन स्टेप्स, या अतिरिक्त बाधाओं का इंजेक्शन (जैसे, "पहले जांच लें कि दराज खुली है या नहीं")।
प्रशिक्षण उद्देश्य (Training Objective): एजेंट एक रिवॉर्ड फंक्शन $J_{atk}$ को ऑप्टिमाइज़ करता है जो एडवरसेरियल प्रभावशीलता (adversarial effectiveness) और गोपनीयता (stealth) के बीच संतुलन बनाता है:
$J_{atk}(\psi) = \mathbb{E}[R_O(\delta; \tau) - \lambda P_{stealth}(\delta)]$
जहाँ $R_O$ एक विशिष्ट उद्देश्य (कार्य विफलता, एक्शन इन्फ्लेशन, या कंस्ट्रेंट वायलेशन) प्राप्त करने के लिए रिवॉर्ड है, और $P_{stealth}$ अत्यधिक टूल कॉल्स और कैरेक्टर संपादन को दंडित (penalize) करता है।

B. प्रशिक्षण पाइपलाइन (Training Pipeline)

प्रशिक्षण दो चरणों वाली प्रक्रिया का पालन करता है:

कोल्ड-स्टार्ट (SFT): एजेंट को शुरू में एक फ्रोजन GPT मॉडल द्वारा उत्पन्न टूल-यूज़ ट्रेजेक्टरीज पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से फाइन-ट्यून किया जाता है। यह सुनिश्चित करता है कि सुदृढीकरण लर्निंग (RL) शुरू होने से पहले एजेंट वैध टूल-कॉलिंग सिंटैक्स और FIND $\rightarrow$ APPLY प्रोटोकॉल सीख ले।
एजेंटिक RL (GRPO): एजेंट को GRPO का उपयोग करके ऑप्टिमाइज़ किया जाता है। प्रत्येक चरण में, एक ही परिदृश्य के लिए कई अटैक रोलआउट जेनरेट किए जाते हैं। एजेंट क्लीन बेसलाइन की तुलना में अंतिम परिणाम (सफलता/विफलता, एक्शन लंबाई, कंस्ट्रेंट वायलेशन) के आधार पर इन रोलआउट्स के सापेक्ष लाभ (relative advantage) से सीखता है।

3. प्रमुख योगदान (Key Contributions)

ब्लैक-बॉक्स VLA हमलों का निरूपण: लेखकों ने इंस्ट्रक्शन-ओनली हमलों को बाउंडेड एडिट बजट के तहत रोबोटिक व्यवहार संबंधी उद्देश्यों पर एक कंस्ट्रेंड ऑप्टिमाइज़ेशन समस्या के रूप में तैयार किया है, जो सरल टेक्स्ट-आउटपुट हमलों से आगे बढ़कर भौतिक व्यवहार हमलों की ओर बढ़ता है।
एजेंटिक अटैक दृष्टिकोण: वे एक नया फ्रेमवर्क प्रस्तावित करते हैं जहाँ एक एकल GRPO-प्रशिक्षित एजेंट कैरेक्टर, टोकन और प्रॉम्प्ट-लेवल परटर्बेशन को अनुकूल रूप से संयोजित करता है। यह मॉडल-विशिष्ट रीडिज़ाइन या ग्रेडिएंट एक्सेस की आवश्यकता को समाप्त करता है।
व्यापक मूल्यांकन: इस फ्रेमवर्क का मूल्यांकन छह अत्याधुनिक VLA मॉडल्स (जिसमें $\pi_0$ , $\pi_0.5$ , X-VLA, GR00T-N1.5, DeepThinkVLA, और InternVLA-M1 शामिल हैं) पर LIBERO बेंचमार्क के माध्यम से किया गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

SABER का परीक्षण तीन अटैक उद्देश्यों के विरुद्ध किया गया था: टास्क फेलियर (Task Failure), एक्शन इन्फ्लेशन (Action Inflation) (अनावश्यक रूप से लंबी सीक्वेंस), और कंस्ट्रेंट वायलेशन (Constraint Violation)।

प्रदर्शन में गिरावट (Performance Degradation): छह VLA मॉडल्स में, SABER ने हासिल किया:
- टास्क सक्सेस रेट में 20.6% की कमी।
- एक्शन-सीक्वेंस की लंबाई में 55% की वृद्धि।
- कंस्ट्रेंट वायलेशन में 33% की वृद्धि।
दक्षता और गोपनीयता (Efficiency & Stealth): समान टूल इंटरफेस का उपयोग करने वाले मजबूत GPT-आधारित बेसलाइन्स की तुलना में, SABER काफी अधिक कुशल था:
- 21.1% कम टूल कॉल्स।
- 54.7% कम कैरेक्टर एडिट्स।
  यह दर्शाता है कि RL-प्रशिक्षित एजेंट "हाई-लीवरेज" परटर्बेशन सीखता है जो न्यूनतम बदलावों के साथ अधिकतम नुकसान पहुँचाते हैं।
एब्लेशन स्टडीज (Ablation Studies):
- कोल्ड-स्टार्ट की आवश्यकता: SFT कोल्ड-स्टार्ट स्टेज को हटाने से अटैक सक्सेस रेट (ASR) में 5.8% की गिरावट आई। SFT के बिना, एजेंट कम लागत वाले लेकिन अप्रभावी व्यवहारों की ओर झुक गया, जिससे वह वैध अटैक पैटर्न खोजने में विफल रहा।
- रणनीति विकास (Strategy Evolution): शुरुआती प्रशिक्षण व्यापक प्रॉम्प्ट-लेवल संपादन पर निर्भर था, जबकि अंतिम पॉलिसी चुनिंदा टोकन-लेवल संपादन की ओर स्थानांतरित हो गई, जो प्रभावशीलता बनाए रखते हुए गोपनीयता को सुरक्षित रखती है।

5. महत्व और प्रभाव (Significance and Impact)

रेड-टीमिंग टूल: SABER रोबोटिक फाउंडेशन मॉडल्स के तनाव परीक्षण (stress-testing) के लिए एक स्केलेबल, स्वचालित टूल प्रदान करता है, जो उन विफलता मोड (जैसे असुरक्षित व्यवहार या अक्षमता) को उजागर करता है जिन्हें स्टेटिक प्रॉम्प्ट हमले मिस कर देते हैं।
भेद्यता अंतर्दृष्टि (Vulnerability Insight): परिणाम सिद्ध करते हैं कि छोटे, विश्वसनीय निर्देश संपादन रोबोट के निष्पादन को काफी हद तक खराब करने के लिए पर्याप्त हैं, जो एम्बोडीड AI (embodied AI) में लैंग्वेज इंटरफेस की नाजुकता को उजागर करते हैं।
मेथोडोलॉजिकल एडवांस: यह ब्लैक-बॉक्स सुरक्षा मूल्यांकन के लिए एजेंटिक RL की प्रभावकारिता को प्रदर्शित करता है, जो दिखाता है कि एक एजेंट ग्रेडिएंट एक्सेस के बिना जटिल, विलंबित पुरस्कारों (physical robot outcomes) को ऑप्टिमाइज़ करने के लिए डिस्क्रीट एक्शन स्पेस (टूल कॉल्स) में नेविगेट करना सीख सकता है।

सीमाएं और भविष्य का कार्य (Limitations & Future Work):
वर्तमान में, SABER सिमुलेशन में केवल टेक्स्ट-ओनली परटर्बेशन तक सीमित है। भविष्य के कार्यों में मल्टीमॉडल सेटिंग्स (विज़न और लैंग्वेज को संयुक्त रूप से परटर्ब करना) में हमलों का विस्तार करना और VLA मॉडल्स के इंटरमीडिएट रीजनिंग प्रोसेस (चेन-ऑफ-थॉट) को लक्षित करना शामिल है।