← नवीनतम पेपर
🤖 machine learning

Reasoning as a Double-Edged Sword: Architecture and Cross-Stage Robustness in Vision-Language-Action Models

यह शोध पत्र इस अंतर्ज्ञान को चुनौती देता है कि तर्क (reasoning) विजन-लैंग्वेज-एक्शन मॉडलों में मजबूती (robustness) को बढ़ाता है, यह प्रदर्शित करते हुए कि लेटेंट-इटरेटिव रीजनिंग आर्किटेक्चर, नॉन-रीजनिंग या टेक्स्ट-आधारित चेन-ऑफ-थॉट मॉडलों की तुलना में संरचनात्मक रूप से विक्षोभों (perturbations) के प्रति अधिक नाजुक हैं, और साथ ही यह भी प्रकट करता है कि सुरक्षा संकेतों के रूप में रीजनिंग आउटपुट की निगरानी करने वाली वर्तमान विधियाँ एडेप्टिव हमलों के तहत विफल हो जाती हैं।

मूल लेखक: Tuan Duong Trinh, Naveed Akhtar, Basim Azam

प्रकाशित 2026-07-21
📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Tuan Duong Trinh, Naveed Akhtar, Basim Azam

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक ऐसा रोबोट बना रहे हैं जो दुनिया को देख सके, बोले गए आदेश को समझ सके और फिर किसी कार्य को करने के लिए अपने हाथ को हिला सके। लंबे समय तक, इंजीनियरों ने यह माना कि रोबोट को सुरक्षित और स्मार्ट बनाने का सबसे अच्छा तरीका उन्हें हिलने से पहले एक "सोचने वाला चरण" (thinking step) देना है। यह एक इंसान से पूछने जैसा है, "क्या आप लाल कप उठा सकते हैं?" और यह उम्मीद करना कि वह व्यक्ति रुककर सोचेगा, "ठीक है, मुझे एक लाल कप दिख रहा है, मुझे अपना हाथ दाईं ओर ले जाना है, और उसे पकड़ना है," इससे पहले कि वह वास्तव में कार्य करे। इस विचार को विज़न-लैंग्वेज-एक्शन (VLA) कहा जाता है। "विज़न" (Vision) वाला हिस्सा रोबोट की आँखें हैं, "लैंग्वेज" (Language) वाला हिस्सा उसका दिमाग है जो शब्दों को समझता है, और "एक्शन" (Action) वाला हिस्सा उसके हाथ-पैर चलाने वाली मांसपेशियां हैं। बड़ी उम्मीद यह थी कि यदि रोबोट सोचने के लिए रुकता है, तो वह कैमरा फीड में होने वाली अजीब गड़बड़ियों या चालों को अनदेखा करने में बेहतर होगा, ठीक वैसे ही जैसे एक इंसान यह महसूस कर सकता है कि, "रुको, वह छाया नकली लग रही है, मुझे उस पर ठोकर नहीं खानी चाहिए," जबकि एक रिफ्लेक्स (त्वरित प्रतिक्रिया) आपको अचानक उछलने पर मजबूर कर सकती है।

लेकिन यहाँ करोड़ों का सवाल है: क्या वास्तव में सोचने के लिए रुकना रोबोट को अधिक सावधान बनाता है, या क्या यह अनजाने में रोबोट को तब अधिक भ्रमित कर देता है जब चीजें गलत होती हैं? यह शोध पत्र (paper) ठीक इसी सवाल की गहराई में जाता है। शोधकर्ता यह देखना चाहते थे कि क्या एक "सोचने वाली परत" (thinking layer) त्रुटियों के खिलाफ एक ढाल के रूप में कार्य करती है, या क्या यह वास्तव में एक दोधारी तलवार है जो रोबोट के प्रदर्शन को तब काट देती है जब दुनिया अस्त-व्यस्त हो जाती है। उन्होंने इसे तीन अलग-अलग प्रकार के रोबोट दिमागों को विभिन्न प्रकार के "शोर" (noise)—जैसे टीवी स्क्रीन पर दिखने वाली स्टेटिक या उलझे हुए निर्देशों—के साथ टेस्ट किया, यह देखने के लिए कि कौन सा काम करता रहा और कौन सा बिखर गया।


द ग्रेट रोबोट ब्रेन-ऑफ: सोचना बनाम कार्य करना

शोधकर्ताओं ने यह देखने के लिए तीन अलग-अलग रोबोट "व्यक्तित्वों" के बीच मुकाबला कराया कि वे मुश्किलों को कैसे संभालते हैं। कल्पना कीजिए कि ये तीन रोबोट एक आभासी कमरे में पहेली सुलझाने की कोशिश कर रहे हैं।

  1. "रिफ्लेक्स" रोबोट (OpenVLA-OFT): यह रोबोट वास्तव में सोचता नहीं है। यह तस्वीर देखता है, आदेश सुनता है, और तुरंत अपना हाथ हिलाता है। यह तेज़ और सीधा है।
  2. "टॉकर" रोबोट (DeepThinkVLA): यह रोबोट हिलने से पहले थोड़ा रुकता है और अपने लिए एक छोटा नोट लिखता है। यह कहता है, "ठीक है, मुझे टमाटर सॉस उठाने और उसे टोकरी में रखने की आवश्यकता है।" यह एक टेक्स्ट चेन-ऑफ-थॉट (text chain-of-thought) का उपयोग कर रहा है, वास्तव में अपनी योजना लिख रहा है।
  3. "मेडिटेटर" रोबोट (RD-VLA): यह रोबोट सबसे जटिल है। यह नोट्स नहीं लिखता; इसके बजाय, यह अपने दिमाग में एक शांत, अदृश्य लूप चलाता है, कार्य करने से पहले एक छिपे हुए स्थान में समस्या के बारे में बार-बार सोचता है। यह ऐसा है जैसे वह कार्य करने से पहले अपने दिमाग में 12 बार उस चाल का सिमुलेशन (simulation) चला रहा है।

वैज्ञानिकों ने इन रोबोट्स के इनपुट के साथ छेड़छाड़ करके उन्हें टेस्ट करने का निर्णय लिया। उन्होंने दो मुख्य प्रकार के "हमलों" का परीक्षण किया:

  • "स्टेटिक" हमला (Gaussian Noise): कल्पना कीजिए कि रोबोट के कैमरा लेंस पर धुंधली स्टेटिक की एक परत डाल दी गई है, जैसे खराब टीवी सिग्नल।
  • "हैकर" हमला (PGD-10): यह एक बहुत ही स्मार्ट, गणनात्मक चाल है जहाँ एक कंप्यूटर रोबोट की दृष्टि को भ्रमित करने के लिए आवश्यक सटीक सूक्ष्म पिक्सेल परिवर्तनों का पता लगा लेता है, जैसे कि एक जादू का खेल जो रोबोट की आँखों को लाल कप को नीला दिखाने के लिए मजबूर कर देता है।

चौंकाने वाला परिणाम: विचारक बिखर जाता है

आप अनुमान लगा सकते हैं कि जो रोबोट सबसे अधिक सोचता है (मेडिटेटर), वही सबसे कठिन होगा। आखिरकार, यदि आपके पास अपना काम दोबारा जांचने का समय है, तो आपको अधिक सुरक्षित होना चाहिए, है ना?

गलत।

इन सिमुलेशन में, मेडिटेटर रोबोट (RD-VLA) पूरी तरह से बिखर गया। जब वैज्ञानिकों ने कैमरा में थोड़ी सी भी स्टेटिक शोर डाली, तो इस रोबोट की सफलता दर लगभग 90% से गिरकर 14.8% रह गई। जब उन्होंने सुपर-स्मार्ट "हैकर" हमले का उपयोग किया, तो मेडिटेटर सफल ही नहीं हुआ—0.0% सफलता। यह वैसा ही था जैसे कोई व्यक्ति गणित की समस्या हल करने की कोशिश कर रहा हो और कोई उसके कान में बकवास फुसफुसा रहा हो; वह जितना अधिक सोचने की कोशिश करता है, उतना ही अधिक भ्रमित होता जाता है।

इस बीच, अन्य दो रोबोट बहुत मजबूत रहे। टॉकर रोबोट (टेक्स्ट नोट्स के साथ) और रिफ्लेक्स रोबोट (बिना सोचे) दोनों ने अपनी स्थिति बनाए रखी। स्टेटिक शोर के तहत रिफ्लेक्स रोबोट 89.0% सफलता पर रहा, और टॉकर रोबोट तो इससे भी बेहतर 92.7% पर था। हैकर हमले के तहत भी, टॉकर रोबोट 49.8% बार सफल रहा, जबकि रिफ्लेक्स रोबोट 18.2% तक पहुँच सका। हालाँकि, मेडिटेटर पूरी तरह खत्म हो गया।

"सोचने वाला" क्यों विफल हुआ?

शोधकर्ताओं ने पूछा: "क्या मेडिटेटर इसलिए विफल हो रहा है क्योंकि वह बहुत अधिक बार सोचता है? शायद अगर वह 12 बार सोचता है, तो क्या वह गलती को 12 गुना बड़ा बना देता है?"

उन्होंने यह बदलकर परीक्षण किया कि रोबोट कितनी बार सोचता है (8 से 12 बार तक)। आश्चर्यजनक रूप से, इससे कोई फर्क नहीं पड़ा। रोबोट उतना ही बुरी तरह विफल हुआ चाहे वह 8 बार सोचे या 12 बार। इससे यह साबित हुआ कि समस्या यह नहीं थी कि रोबोट अपनी गलतियों को "कंपाउंड" (बढ़ा) कर रहा था क्योंकि वह बहुत अधिक सोच रहा था। इसके बजाय, समस्या संरचनात्मक (structural) थी। मेडिटेटर के दिमाग की बनावट—विशेष रूप से वह छिपी हुई, लूपिंग सोचने की प्रक्रिया—स्वाभाविक रूप से नाजुक थी। यह ताश के पत्तों के घर जैसा था जो एक कमजोर नींव पर बना था; आप कितनी भी सावधानी से पत्ते सजा लें, यदि हवा चली तो पूरा ढांचा ढहने के लिए ही बना है।

क्या हम "सोचने" का उपयोग रोबोट को बचाने के लिए कर सकते हैं?

चूँकि टॉकर रोबोट अपनी योजना लिखता है ("टमाटर सॉस उठाओ"), शोधकर्ताओं ने सोचा: क्या हम बस उस योजना को पढ़ सकते हैं और देख सकते हैं कि क्या वह समझ में आती है? यदि योजना कहती है "टमाटर उठाओ" लेकिन कैमरा "नीला कप" दिखाता है, तो शायद हम रोबोट को टकराने से पहले रोक सकते हैं।

उन्होंने एक "सेफ्टी मॉनिटर" बनाया जो रोबोट की टेक्स्ट योजना को पढ़ता है और जाँचता है कि क्या वह क्रिया से मेल खाती है।

  • अच्छी खबर: यदि रोबोट की योजना केवल बेतरतीब ढंग से बिखरी हुई है (जैसे कोई टाइपो), तो मॉनिटर इसे लगभग पूरी तरह से पकड़ लेता है (99.6% डिटेक्शन रेट)।
  • बुरी खबर: जब एक स्मार्ट हैकर द्वारा हमला किया जाता है जो जानता है कि मॉनिटर मौजूद है, तो रोबमान (robot) ऐसी योजना लिखना सीख जाता है जो मॉनिटर के लिए एकदम सही दिखती है लेकिन वास्तव में गलत होती है। इस "फेयर फाइट" परिदृश्य में, मॉनिटर की समस्या को पकड़ने की क्षमता गिरकर 49.3% हो गई—जो कि लगभग अंदाज़ा लगाने जैसा है, जैसे सिक्का उछालना।

यहाँ तक कि जब उन्होंने इस टेक्स्ट-चेकर को "मूवमेंट-चेकर" (यह देखना कि क्या रोबोट का हाथ अजीब तरह से हिल रहा है) के साथ मिलाया, तो परिणाम वही रहा। चाहे उन्होंने दोनों चेक्स को कैसे भी मिलाया हो, वे रोबोट को नहीं बचा सके। वे केवल रोबोट को हिलने से रोकने में सक्षम थे, जिसका अर्थ था कि रोबोट भी सफल नहीं हुआ।

निष्कर्ष (The Takeaway)

यह शोध पत्र हमें कोई नया सुपर-रोबोट या कोई जादुई समाधान नहीं दे रहा है। इसके बजाय, यह हमें एक बहुत ही महत्वपूर्ण वास्तविकता का अहसास कराता है।

  1. सोचना हमेशा सुरक्षित नहीं होता: एक जटिल "सोचने वाला लूप" (जैसे मेडिटेटर) जोड़ने से वास्तव में रोबोट अधिक असुरक्षित हो सकता है, कम नहीं। यह नाजुकता डिज़ाइन में ही बनी हुई है, न कि केवल बहुत अधिक सोचने का दुष्प्रभाव।
  2. योजना की जाँच करना कोई रामबाण नहीं है: हालांकि रोबोट के विचारों को पढ़ना सुरक्षा का एक अच्छा विचार लगता है, लेकिन एक स्मार्ट हमलावर आसानी से चेकर को धोखा दे सकता है। यदि रोबोट पर हमला हो रहा है, तो वह "योजना" जो वह लिखता है, भले ही वह मॉनिटर के लिए एकदम सही दिखे, लेकिन वह रोबोट को आपदा की ओर ले जा सकती है।
  3. एक सीमा (The Ceiling): शोधकर्ताओं ने सुरक्षा की एक "सीमा" पाई। इन विशिष्ट, कठिन परीक्षणों के तहत, केवल रोबोट के आउटपुट (चाहे वह टेक्स्ट हो या उसकी गति) की जाँच करने से रोबोट को उस स्तर से अधिक सुरक्षित नहीं बनाया जा सका जो बिना चेक के था।

संक्षेप में, यदि आप एक ऐसा रोबोट चाहते हैं जो गड़बड़ियों के प्रति मजबूत हो, तो केवल एक "सोचने वाला चरण" जोड़ना ही उत्तर नहीं हो सकता है। वास्तव में, कुछ प्रकार के रोबोट के लिए, यह बिल्कुल उसके विपरीत हो सकता है जो आप चाहते हैं। सुरक्षित रोबोटों का मार्ग केवल उन्हें अधिक सोचने के लिए बनाने से कहीं अधिक होगा; इसके लिए उन्हें बुनियादी स्तर से फिर से सोचने (rethinking) की आवश्यकता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →