💻 computer science

Self-Improving VLA Policies: Selected Diffusion Noise for Spurious-Robust Action Smoothing

यह शोधपत्र सिलेक्टेड डिफ्यूजन नॉइज़ (SDN) को प्रस्तुत करता है, जो एक ट्रेनिंग-फ्री टेस्ट-टाइम विधि है जो स्प्यूरियस विजुअल कोरिलेशन को कम करने और सिमुलेशन एवं वास्तविक दुनिया के रोबोटिक कार्यों में एक्शन जिटर को कम करने के लिए शोर वेक्टर्स (noise vectors) को गतिशील रूप से चुनकर डिफ्यूजन-आधारित विजन-लैंग्वेज-एक्शन पॉलिसियों की मजबूती और सफलता दर को बढ़ाता है।

मूल लेखक: Duc Minh Nguyen, Bao-Ngoc Dao, Tung M. Luu, Binh Gia Nguyen, Vinh Tong, Anji Liu, Vu N. Duong, Dung D. Le, Daniel Sonntag, Trung Le, Ngan Le, Jan Peter, An Thai Le, Minh Nhat Vu, Mathias Niepert, Khoa

प्रकाशित 2026-06-15

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Duc Minh Nguyen, Bao-Ngoc Dao, Tung M. Luu, Binh Gia Nguyen, Vinh Tong, Anji Liu, Vu N. Duong, Dung D. Le, Daniel Sonntag, Trung Le, Ngan Le, Jan Peter, An Thai Le, Minh Nhat Vu, Mathias Niepert, Khoa D. Doan, Duy M. H. Nguyen, Vien Anh Ngo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली रोबोट शेफ है। इस शेफ ने लाखों कुकिंग वीडियो देखे हैं और यह आपके द्वारा मांगी गई लगभग कोई भी डिश बना सकता है। हालाँकि, एक ऐसे इंसान की तरह जिसने रेसिपी तो याद कर ली है लेकिन सामग्री को पूरी तरह से नहीं समझा है, यह रोबोट कभी-कभी भ्रमित हो जाता है।

समस्या: रोबोट के "हैलुसिनेशन" (Hallucinations) और "जिटर्स" (Jitters)
यह पेपर रोबोट के विफल होने के दो मुख्य तरीकों की पहचान करता है:

"घोस्ट" (Ghost) गलती: कभी-कभी, रोबोट मेज की ओर देखता है, एक गाजर देखता है, और उसे प्लेट पर रखने की गति शुरू कर देता है। लेकिन अगर गाजर अचानक गायब हो जाती है (या अगर रोबट को बस ऐसा लगता है कि वह वहां है जबकि वह नहीं है), तो रोबोट फिर भी आगे बढ़ता रहता है। यह वैसा ही है जैसे कोई व्यक्ति कप के लिए हाथ बढ़ा रहा हो जो वहां है ही नहीं, इस विश्वास के साथ कि वह अभी भी उसके हाथ में है। रोबोट "विजुअल शॉर्टकट्स" या गलत अनुमानों पर निर्भर है बजाय इसके कि वह वास्तव में वस्तु को देख रहा हो।
"जिटरी" (Jittery) गलती: भले ही रोबोट को पता हो कि क्या करना है, लेकिन उसकी हरकतें डगमगाती हुई, झटकेदार या हिंसक हो सकती हैं। वह अपने हाथ को इतनी तेजी से हिलाने की कोशिश कर सकता है कि ऐसा लगे जैसे उसे दौरा पड़ रहा हो, जो रोबोट के शारीरिक स्वास्थ्य और सुरक्षा के लिए बुरा है।

समाधान: "सिलेक्टेड डिफ्यूजन नॉइज़" (Selected Diffusion Noise - SDN)
लेखक एक चतुर, मुफ्त अपग्रेड प्रस्तावित करते हैं जिसे SDN कहा जाता है। उस रोबोट के दिमाग को एक रेडियो की तरह समझें जो अगला कदम उठाने का निर्णय लेने के लिए "स्टैटिक नॉइज़" (static noise) से सिग्नल प्राप्त करता है। आमतौर पर, रोबोट जो भी पहला सिग्नल सुनता है, उसे चुन लेता है।

SDN इस खेल को बदल देता है क्योंकि यह उस स्टैटिक नॉइज़ को एक रिमोट कंट्रोल की तरह मानता है। केवल एक सिग्नल सुनने के बजाय, रोबोट कई अलग-अलग "क्या-होता-अगर" (what-if) परिदृश्यों को उत्पन्न करता है (जैसे एक ही क्रिया के 12 अलग-अलग संस्करणों को आज़माना) और फिर सबसे अच्छे वाले को चुनने के लिए एक सख्त संपादक की तरह काम करता है।

यहाँ बताया गया है कि SDN कैसे काम करता है, जिसमें दो सरल फिल्टर शामिल हैं:

फ़िल्टर 1: "क्या मैं चीज़ें देख रहा हूँ?" टेस्ट (ग्राउंडिंग)

रोबोट खुद से पूछता है: "यदि मैं यह मान लूँ कि जिस वस्तु को मुझे पकड़ना है वह वहाँ नहीं है, तो क्या मैं फिर भी उसे पकड़ने की कोशिश करूँगा?"

यह कैसे काम करता है: रोबोट एक सिमुलेशन चलाता है जहाँ वह डिजिटल रूप से लक्षित वस्तु को "ब्लैक आउट" कर देता है (जैसे गाजर पर एक काला स्टिकर लगा देना)।
तर्क: यदि रोबोट गाजर को पकड़ने की कोशिश करता रहता है भले ही वह ढकी हुई हो, तो वह 'हैलुसिनेट' कर रहा है। वह वास्तविक वस्तु को देखने के बजाय बैकग्राउंड के संकेतों (जैसे प्लेट) पर निर्भर है। SDN इन "हैलुसिनेटिंग" अनुमानों को हटा देता है।
परिणाम: रोबोट केवल उन्हीं क्रियाओं को रखता है जो केवल तभी तर्कसंगत होती हैं जब वस्तु वास्तव में दिखाई दे रही हो।

फ़िल्टर 2: "स्मूथ ऑपरेटर" (Smooth Operator) टेस्ट (स्टेबिलिटी)

रोबोट फिर शेष बचे हुए अच्छे अनुमानों को देखता है और पूछता है: "इनमें से कौन सी हरकत सबसे सुचारू (smooth) दिखती है?"

यह कैसे काम करता है: यह गति की "झटकेदार प्रकृति" (jerkiness) की गणना करता है। यह किसी भी ऐसी क्रिया को खारिज कर देता है जिसमें अचानक, हिंसक रुकना या शुरू होना शामिल हो।
परिणाम: यह उस क्रिया को चुनता है जो पानी की तरह बहती है, जिससे यह सुनिश्चित होता है कि रोबोट हिले या अपने जोड़ों को नुकसान पहुँचाए।

परिणाम
इस दो-चरणीय फिल्टर का उपयोग करके, रोबोट बिना किसी नए प्रशिक्षण या नई चीजें सीखे बहुत अधिक विश्वसनीय हो जाता है।

सिमुलेशन में: रोबोट पहले की तुलना में लगभग 8% अधिक बार सफल रहा।
वास्तविक दुनिया में: सफलता दर में 10% की वृद्धि हुई, और उसकी हरकतें स्पष्ट रूप से अधिक सुचारू और कम डगमगाती हुई हो गईं।

यह क्यों महत्वपूर्ण है
पिछले अधिकांश तरीकों ने रोबोट को भारी बाहरी कंप्यूटर जोड़कर या रोबोट के दिमाग को बदलकर ठीक करने की कोशिश की (जो महंगा और जोखिम भरा है)। SDN अलग है: यह एक "प्लग-एंड-प्ले" ट्रिक है जो रोबोट के सोचने के दौरान ही होती है। यह रोबोट के दिमाग को नहीं बदलता है; यह बस रोबोट को उन कई विचारों में से सबसे अच्छा विचार चुनने में मदद करता है जो उसके पास पहले से ही मौजूद हैं।

संक्षेप में, SDN रोबोट को कार्य करने से पहले अपनी दृष्टि को दोबारा जांचने और अपनी हरकतों को सुचारू बनाने की शिक्षा देता है, जिससे वह एक सुरक्षित और अधिक सफल कार्यकर्ता बन जाता है।

तकनीकी सारांश: स्प्यूरियस-रोबस्ट एक्शन स्मूथिंग के लिए चयनित डिफ्यूजन नॉइज़ (Selected Diffusion Noise)

समस्या विवरण (Problem Statement)

डिफ्यूजन-आधारित विज़न-लैंग्वेज-एक्शन (VLA) नीतियां, जैसे कि $\pi_0$ और GR00T, विशाल डेटासेट्स पर स्केल करके रोबोटिक मैनिपुलेशन में उल्लेखनीय सामान्यीकरण (generalization) प्रदर्शित कर चुकी हैं। हालांकि, ये फाउंडेशन पॉलिसियाँ आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सेटिंग्स में दो महत्वपूर्ण विफलता मोड दिखाती हैं:

स्प्यूरियस विजुअल कोरिलेशन (भ्रम/Hallucinations): मॉडल अक्सर आकस्मिक एक्सपर्ट वेरिएंस या बैकग्राउंड संकेतों पर ओवरफिट हो जाते हैं। उदाहरण के तौर पर, एक रोबोट "प्लेस" (वस्तु रखने) के प्रक्षेपवक्र (trajectory) को तब भी जारी रख सकता है जब ग्रैस्प (पकड़ने की प्रक्रिया) विफल हो गई हो, क्योंकि वह वास्तविक वस्तु की स्थिति के बजाय किसी "विजुअल शॉर्टकट" (जैसे बैकग्राउंड कॉन्टेक्स्ट) पर निर्भर करता है।
काइनेमैटिक अस्थिरता (Kinematic Instability): नीतियां अक्सर भौतिक व्यवहार्यता (physical feasibility) के बजाय सिमेंटिक लाइक्लीहुड (semantic likelihood) को प्राथमिकता देती हैं, जिससे ऐसे प्रक्षेपवक्र उत्पन्न होते हैं जिनमें उच्च जर्क (अचानक त्वरण परिवर्तन) या दोलन (oscillatory) वाली गति होती है। ये "झटकेदार" क्रियाएं यांत्रिक टूट-फूट का कारण बन सकती हैं और भौतिक व्यवधानों के तहत अस्थिर व्यवहार पैदा कर सकती हैं।

वर्तमान समाधान, जैसे कि क्लासिफायर-फ्री गाइडेंस (CFG), बेस्ट-ऑफ-N सैंपलिंग, या नॉन-गौसियन प्रायर्स, अक्सर बाहरी इवैल्यूएटर्स (जैसे विज़न-लैंग्वेज मॉडल्स) पर निर्भर करते हैं, जिनके लिए महंगी रिट्रेनिंग की आवश्यकता होती है, या वे हीयुरिस्टिक पैरामीटर हेरफेर पर निर्भर करते हैं जो सीधे भौतिक स्मूथनेस को संबोधित नहीं करते हैं। इसके अतिरिक्त, पॉलिसी कॉन्ट्रास्टिव डिकोडिंग (PCD) जैसे तरीकों के लिए नकारात्मक अवलोकनों (negative observations) को सिम्युलेट करने के लिए गहन इमेज इनपेंटिंग की आवश्यकता होती है। एक ऐसे ट्रेनिंग-फ्री, टेस्ट-टाइम मैकेनिज्म की आवश्यकता है जो मॉडल मापदंडों को बदले बिना या सहायक नेटवर्क की आवश्यकता के बिना स्वायत्त रूप से एक्शन डिस्ट्रीब्यूशन को रिफाइन कर सके।

कार्यप्रणाली: चयनित डिफ्यूजन नॉइज़ (SDN)

लेखक सेलेक्टेड डिफ्यूजन नॉइज़ (SDN) का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री, प्लग-एंड-प्ले फ्रेमवर्क है जो प्रारंभिक डिफ्यूजन नॉइज़ वेक्टर ( $A_0$ ) को एक नियंत्रणीय डिग्री ऑफ फ्रीडम के रूप में मानता है। एक एकल प्रक्षेपवक्र को स्टेप-बाय-स्टेप निर्देशित करने के बजाय, SDN विभिन्न नॉइज़ सीड्स से उत्पन्न कई कैंडिडेट ट्रेजेक्टरीज पर एक ग्लोबल सर्च करता है, जिन्हें दो-चरणीय पदानुक्रमित चयन प्रक्रिया (two-stage hierarchical selection process) के माध्यम से फ़िल्टर किया जाता है।

1. चरण 1: कॉन्ट्रास्टिव ग्राउंडिंग फ़िल्टर (विजुअल रोबस्टनेस)

इस चरण का उद्देश्य उन "भ्रमित" नॉइज़ सीड्स को हटाना है जो स्प्यूरियस बैकग्राउंड संकेतों पर निर्भर करते हैं।

कैंडिडेट जनरेशन: प्रत्येक इन्फरेंस स्टेप पर, पॉलिसी एक्शन चंक्स के दो सेट जेनरेट करती है:
- पॉजिटिव सेट ( $G$ ): मूल ऑब्जर्वेशन ( $o$ ) और इंस्ट्रक्शन ( $\ell$ ) से जेनरेट किया गया।
- नेगेटिव सेट ( $B$ ): एक "कन्फ्यूज्ड" इनपुट ( $o_{neg}$ ) से जेनरेट किया गया जहाँ लक्षित वस्तु को ज़ीरो-मास्क किया गया है। यह मास्किंग PCD जैसे पिछले कार्यों में उपयोग की जाने वाली इमेज इनपेंटिंग की तुलना में कम्प्यूटेशनल रूप से सस्ती है।
स्कोरिंग मैकेनिज्म: यह विधि स्थानीय घनत्व अनुमान के लिए एक नॉन-पैरामीट्रिक $k$ $k$ -नेयरेस्ट नेबर ( $k$ $k$ -NN) का उपयोग करती है ताकि ग्राउंडिंग स्कोर ( $R_{ground}$ $R_{g r o u n d}$ ) की गणना की जा सके।
- एक ग्राउंडेड एक्शन पॉजिटिव सेट में सघन (dense) होना चाहिए (कार्य-संरेखित) लेकिन नेगेटिव सेट में विरल (sparse) होना चाहिए (विफलता-प्रवण)।
- स्कोर को स्थानीय दूरियों के अंतर के रूप में अनुमानित किया जाता है: $R^{(i)}_{ground} = d^{(i)}_B - d^{(i)}_G$ , जहाँ $d$ $k$ निकटतम पड़ोसियों तक औसत दूरी है।
- उम्मीदवारों को इस स्कोर द्वारा रैंक किया जाता है, और शीर्ष- $M$ को बरकरार रखा जाता है। यह प्रभावी रूप से उन उम्मीदवारों को फ़िल्टर करता है जो वस्तु अदृश्य होने पर भी उच्च-विश्वास वाली क्रियाएं उत्पन्न करते हैं।

2. चरण 2: काइनेमैटिक स्टेबिलिटी रिफाइनमेंट (फिजिकल स्मूथनेस)

यह चरण सुनिश्चित करता है कि चुना गया प्रक्षेपवक्र भौतिक रूप से व्यवहार्य और सुचारू (smooth) है।

एक्सटेंडेड होराइजन: उन विलंबित दोलनों (delayed oscillations) का पता लगाने के लिए जो छोटे विंडोज़ में दिखाई नहीं देते, यह विधि निष्पादन क्षितिज (execution horizon) से लंबे एक्शन चंक्स का मूल्यांकन करती है।
स्मूथनेस मेट्रिक: यह विधि जर्क RMS ( $S(A_i)$ ) को कम करती है, जो एक्शन सीक्वेंस के तीसरे क्रम के परिमित अंतर (discrete jerk) को मापता है।
चयन: अंतिम एक्शन $A^*$ को शीर्ष- $M$ ग्राउंडेड सेट के उस कैंडिडेट के रूप में चुना जाता है जो जर्क मेट्रिक को न्यूनतम करता है:
$A^* = \arg \min_{A_i \in G_M} S(A_i)$

मुख्य योगदान

सेल्फ-डायग्नोस्टिक लेटेंट स्टीयरिंग: यह पेपर एक ऐसा मैकेनिज्म पेश करता है जो मूल और ऑब्जेक्ट-मास्क्ड व्यूज के बीच पॉलिसी आउटपुट्स की तुलना करके "भ्रमित" नॉइज़ सीड्स की पहचान और उन्हें फ़िल्टर कर सकता है। यह बिना रिट्रेनिंग के मॉडल को स्प्यूरियस विजुअल कोरिलेशन से दूर ले जाता है।
ड्यूल-ऑब्जेक्टिव ऑप्टिमाइजेशन: SDN विजुअल ग्राउंडिंग को काइनेमैटिक स्टेबिलिटी के साथ एकीकृत करता है। यह अविश्वसनीय एक्शन सेट्स से अलगाव (separation) को अधिकतम करने और उच्च-जर्क, दोलन वाली गतियों को समाप्त करने के लिए एक स्मूथनेस मेट्रिक को न्यूनतम करने का कार्य एक साथ करता है।
प्लग-एंड-प्ले एन्हांसमेंट: इस फ्रेमवर्क को विविध डिफ्यूजन-आधारित VLA बैकबोन ( $\pi_0$ , GR00T-N1.5, GR00ट-N1.6) और बेंचमार्क (Google Robot, Widow-X, और वास्तविक दुनिया के ALOHA रोबोट) पर सत्यापित किया गया है। यह बिना किसी सहायक नेटवर्क, पैरामीटर अपडेट या रियल-टाइम इमेज इनपेंटिंग के निरंतर सफलता दर में वृद्धि और बेहतर भौतिक विश्वसनीयता प्रदान करता है।

प्रयोगात्मक परिणाम

लेखकों ने सिम्युलेशन बेंचमार्क (SIMPLER) और वास्तविक दुनिया के रोबोटिक कार्यों पर SDN का मूल्यांकन किया।

सिमुलेशन प्रदर्शन:
- GR00T-N1.6 का उपयोग करते हुए Google Robot और Widow-X प्लेटफॉर्म पर, SDN ने औसत सफलता दर में +5.1% का सुधार किया (54.5% तक पहुँचते हुए), जिसमें "Open Drawer" जैसे विशिष्ट कार्यों में सफलता दर तीन गुना बढ़ गई (4.0% $\to$ 14.0%)।
- $\pi_0$ मॉडल पर, SDN ने नौ कार्यों में सफलता दर में 8.7% का औसत सुधार प्राप्त किया, जिसने CFG, WNG, ACG और PCD जैसे बेसलाइन्स को पीछे छोड़ दिया। विशेष रूप से, जबकि कुछ बेसलाइन्स ने विशिष्ट कार्यों पर प्रदर्शन बिगाड़ा, SDN ने सभी क्षेत्रों में गैर-नकारात्मक लाभ के साथ "डू-नो-हार्म" (कोई नुकसान न पहुँचाने वाला) गुण प्रदर्शित किया।
वास्तविक दुनिया का प्रदर्शन:
- ALOHA रोबोट (GR00T-N1.5) पर तैनात होने पर, SDN ने औसत सफलता दर 48.33% प्राप्त की, जो वैनिला मॉडल की तुलना में 18.33% का पूर्ण सुधार है।
- मोशन क्वालिटी: बेसलाइन्स (जैसे ACG) के विपरीत जो जर्क और एक्शन टोटल वेरिएशन (ATV) को काफी बढ़ा देते हैं, SDN ने इन मेट्रिक्स को वैनिला बेसलाइन से भी नीचे कम कर दिया (उदाहरण के लिए, जर्क 12.45 से घटकर 11.8 हो गया), जिससे सुचारू और यांत्रिक रूप से सुरक्षित प्रक्षेपवलय सुनिश्चित हुआ।
दक्षता: SDN इमेज इनपेंटिंग के महंगे कम्प्यूटेशनल भार से बचकर, डायरेक्ट ऑब्जेक्ट मास्किंग का उपयोग करके PCD की तुलना में 1.53 $\times$ तेज़ संचालित होता है।

महत्व और दावे

पेपर का दावा है कि डिफ्यूजन नॉइज़ सिलेक्शन टेस्ट-टाइम पर VLA पॉलिसियों को बढ़ाने के लिए एक प्रभावी और सामान्य तंत्र के रूप में कार्य करता है। मौजूदा बिलियन-पैरामीटर मॉडल्स को फाइन-ट्यून करने की भारी कम्प्यूटेशनल लागत या बाहरी इवैल्यूएटर्स पर निर्भरता के बिना, डिफ्यूजन नॉइज़ स्पेस का उपयोग करके, SDN विजुअल हैलुसिनेशन और काइनेमैटिक अस्थिरता की दोहरी चुनौतियों का समाधान करता है।

लेखक जोर देते हैं कि उनका दृष्टिकोण सीमित दायरे (modest scope) में है: यह एक ट्रेनिंग-फ्री रैपर है जो मौजूदा फ्रोजन मॉडल्स में सुधार करता है। वे सीमाओं को स्वीकार करते हैं, यह नोट करते हुए कि वर्तमान ऑब्जेक्ट-सेंट्रिक मास्किंग सभी प्रकार के हैलुसिनेशन (जैसे डायनेमिक लाइटिंग या टेक्सचर शिफ्ट द्वारा प्रेरित) को कैप्चर नहीं कर सकती है और निश्चित संख्या में नॉइज़ कैंडिडेट्स अलग-अलग कार्य जटिलताओं के अनुकूल होने की क्षमता को सीमित करते हैं। हालांकि, परिणाम बताते हैं कि डिफ्यूजन नॉइज़ को एक नियंत्रणीय डिग्री ऑफ फ्रीडम के रूप में मानना, वास्तविक दुनिया में जनरलिस्ट रोबोट पॉलिसियों की विश्वसनीयता में सुधार करने का एक मजबूत मार्ग प्रदान करता है।