💻 computer science

Denoising Tells When to Replan: Denoising-Variance Adaptive Chunking for Flow-Based Robot Policies

यह शोध पत्र DVAC का प्रस्ताव करता है, जो एक टेस्ट-टाइम विधि है जो फ्लो-आधारित नीतियों में डीनॉइजिंग वेरिएंस (denoising variance) की निगरानी करके एक्शन चंक निष्पादन लंबाई को अनुकूल रूप से निर्धारित करता है, जिससे विविध मैनिपुलेशन बेंचमार्क में कार्य सफलता में सुधार होता है और अनावश्यक रीप्लानिंग कम होती है।

मूल लेखक: Xiangdong Feng, Yuxuan Cheng, Chen Shi, Boyao Han, Yuxuan Yan, Yitong Hong, Zhuotao Tian, Li Jiang

प्रकाशित 2026-06-03

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiangdong Feng, Yuxuan Cheng, Chen Shi, Boyao Han, Yuxuan Yan, Yitong Hong, Zhuotao Tian, Li Jiang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कोई जटिल कार्य करना सिखा रहे हैं, जैसे कि ब्लॉक्स को एक के ऊपर एक रखना या ड्रिंक डालना। रोबोट की गति को सुचारू बनाने के लिए, कंप्यूटर उसे केवल "हाथ आगे बढ़ाओ" नहीं बताता। इसके बजाय, यह एक साथ भविष्य की गतिविधियों का एक पूरा हिस्सा (chunk) अनुमानित करता है—मान लीजिए अगले 20 कदम—और फिर कंप्यूटर से नए निर्देश मांगने से पहले उन सभी को निष्पादित (execute) करता है।

यह कुशल है, लेकिन इसमें एक दोष है: रोबोट को उन 20 कदमों की सूची पर कब तक भरोसा करना चाहिए?

यदि रोबोट एक खाली कमरे में चल रहा है (एक "अनुमानित" चरण), तो वह सुरक्षित रूप से उन 20 कदमों की पूरी सूची पर भरोसा कर सकता है।
लेकिन यदि रोबोट एक फिसलन भरे कप को पकड़ने वाला है या चाबी को ताले में डालने वाला है (एक "सटीकता" चरण), तो 20 कदम पहले बनाई गई सूची पर भरोसा करना खतरनाक है। उसे रुकना होगा, फिर से देखना होगा और तुरंत एक नई योजना के लिए पूछना होगा।

वर्तमान में, अधिकांश रोबट एक निश्चित नियम का उपयोग करते हैं: "हमेशा 10 कदम चलाएं, फिर रुकें और एक नई योजना मांगें।" यह कार चलाने और यह तय करने जैसा है कि आप ठीक हर 10 सेकंड में अपने रियरव्यू मिरर को देखेंगे, चाहे आप एक सीधी हाईवे पर हों या एक भीड़भाड़ वाले, घुमावदार बाजार में नेविगेट कर रहे हों।

मुख्य विचार: "रोबोट के मस्तिष्क की बात सुनें"

इस शोध पत्र के लेखकों ने खोजा कि आधुनिक "फ्लो-बेस्ड" रोबट मस्तिष्क कैसे काम करते हैं। ये रोबोट केवल उत्तर नहीं देते; वे एक डिनोइजिंग (denoising) प्रक्रिया से गुजरते हैं। इसे एक मूर्तिकार की तरह समझें जो एक खुरदरे पत्थर के ब्लॉक (शोर/noise) से शुरुआत करता है और धीरे-धीरे अंतिम मूर्ति को प्रकट करने के लिए उसे तराशता है।

जैसे-जैसे रोबोट अपनी योजना को "तराशता" है, वह मध्यवर्ती अनुमान (intermediate guesses) लगाता है। लेखक ने पाया कि:

जब चीजें आसान होती हैं (खाली स्थान में घूमना), तो रोबोट के अनुमान योजना को परिष्कृत (refine) करते समय बहुत स्थिर और सुसंगत होते जाते हैं।
जब चीजें कठिन होती हैं (वस्तुओं को छूना, सटीकता की आवश्यकता होना), तो रोबोट के अनुमान सबसे अच्छे कदम को समझने की कोशिश में बहुत अधिक डगमगाते और उतार-चढ़ाव दिखाते हैं।

अंतर्दृष्टि (Insight): रोबोट की सोचने की प्रक्रिया में "डगमगाहट" (variance) का स्तर हमें यह संकेत देता है कि कब रुकना है और फिर से योजना बनानी है।

समाधान: DVAC (डिनोइजिंग-वेरिएंस एडेप्टिव चंकिंग)

टीम ने DVAC नामक एक विधि बनाई। एक निश्चित टाइमर या स्टेप काउंट का उपयोग करने के बजाय, DVAC एक स्मार्ट सुपरवाइजर की तरह काम करता है जो वास्तविक समय में रोबोट के मस्तिष्क की निगरानी करता है।

रूपक (Metaphor): कल्पना करें कि आप एक बच्चे को कहानी सुना रहे हैं।
- यदि कहानी उबाऊ और अनुमानित है ("बिल्ली चटाई पर बैठी है"), तो आप पूछने से पहले कि "क्या आप और सुनना चाहते हैं?", एक पूरा पैराग्राफ पढ़ सकते हैं।
- यदि कहानी रोमांचक और भ्रमित करने वाली हो जाती है ("अचानक ड्रैगन दिखाई दिया!"), तो आप तुरंत पढ़ना बंद कर देते हैं, बच्चे की ओर देखते हैं, और पूछते हैं, "अब हमें क्या करना चाहिए?"
DVAC कैसे काम करता है:
1. यह रोबोट के एक्शन प्लान को अंतिम रूप देते समय उसके "डगमगाहट" (variance) पर नज़र रखता है।
2. यदि डगमगाहट कम है (योजना स्थिर है), तो यह रोबोट को क्रियाओं का एक लंबा हिस्सा निष्पादित करने देता है।
3. यदि डगमगाहट अचानक बढ़ जाती है (योजना अस्थिर है), तो यह कहता है, "रुको! योजना का वह हिस्सा बहुत अनिश्चित है।" यह सूची के केवल सुरक्षित, स्थिर हिस्से को निष्पादित करता है और तुरंत रोबोट से कठिन हिस्से के लिए एक नई योजना बनाने को कहता है।
4. यह स्वचालित रूप से अपनी संवेदनशीलता को भी समायोजित करता है। यदि रोबोट एक सामान्य रूप से "डगमगाते" वातावरण में है, तो DVAC अधिक उदार हो जाता है; यदि वह "स्थिर" वातावरण में है, तो यह अधिक सख्त हो जाता है।

उन्होंने क्या पाया

टीम ने कई रोबोट सिमुलेशन बेंचमार्क (जैसे LIBERO, RoboTwin, और CALVIN) और यहाँ तक कि वास्तविक भौतिक रोबोटों पर इसका परीक्षण किया।

बेहतर सफलता: रोबोट कार्यों को पूरा करने में बेहतर हुए। उदाहरण के लिए, एक बेंचमार्क पर, सफलता दर 94.75% से बढ़कर 98.00% हो गई।
कम चिंता: रोबोटों को बार-बार रुकने और मदद मांगने की आवश्यकता नहीं पड़ी। उन्होंने "रीप्लान" (replan) करने की संख्या में लगभग 43% की कमी की।
वास्तविक दुनिया का प्रमाण: क्यूब्स को स्टैक करने या टेस्ट ट्यूब को हिलाने जैसे कार्यों को करने वाले वास्तविक रोबोटों पर, DVAC ने रोबोटों को निश्चित नियमों का उपयोग करने वाले रोबोटों की तुलना में तेज़ और अधिक सफल बनाया।

सारांश

संक्षेप में, यह शोध पत्र कहता है: अनुमान न लगाएं कि कब रुकना है; रोबोट की अपनी सोचने की प्रक्रिया को बताने दें। यह सुनकर कि रोबोट के अनुमान कितने "आत्मविश्वासी" या "डगमगाते" हैं, हम ऐसे रोबोट बना सकते हैं जो अधिक कुशल (बिना रुके अधिक काम करना) और अधिक सावधान (ठीक उसी समय रुकना जब चीजें कठिन हो जाएं) दोनों हों।

तकनीकी सारांश: डीनॉइज़िंग-वैरिएंस एडेप्टिव चंकिंग (DVAC)

1. समस्या विवरण

फ्लो-आधारित रोबोटिक पॉलिसियाँ, जैसे कि डिफ्यूजन या फ्लो मैचिंग का उपयोग करने वाली, निरंतर एक्शन सीक्वेंस उत्पन्न करने के लिए मानक बन गई हैं। एक सामान्य परिनियोजन रणनीति एक्शन चंकिंग (action chunking) है, जहाँ पॉलिसी भविष्य के एक्शन का एक अनुक्रम (sequence) अनुमानित करती है, और इस अनुक्रम के एक प्रीफ़िक्स (prefix) को पॉलिसी के पुन: नियोजन (replan) करने से पहले निष्पादित किया जाता है। जबकि चंकिंग टेम्पोरल कोहेरेंस (temporal coherence) में सुधार करती है और इन्फरेंस लागत को कम करती है, वर्तमान कार्यान्वयन एक निश्चित निष्पादन क्षितिज (fixed execution horizon) पर निर्भर करते हैं (जैसे, हमेशा अनुमानित 50 में से पहले 10 एक्शन को निष्पादित करना)।

यह निश्चित दृष्टिकोण एक अंतर्निहित ट्रेड-ऑफ (trade-off) बनाता है:

अनुमानित चरण (जैसे, मुक्त स्थान में हाथ की गति) दक्षता बनाए रखने के लिए कम बार पुन: नियोजन की आवश्यकता रखते हैं।
परिशुद्धता-महत्वपूर्ण चरण (जैसे, संपर्क-समृद्ध इंटरैक्शन, वस्तु हेरफेर) त्रुटियों को सुधारने के लिए बार-बार पुन: नियोजन की आवश्यकता रखते हैं।
एक स्थिर क्षितिज इन विविध गतिकी (dynamics) के अनुकूल नहीं हो सकता है, जिससे या तो अक्षम अत्यधिक पुन: नियोजन होता है या महत्वपूर्ण कार्यों के दौरान जोखिम भरा कम पुन: नियोजन होता है। मौजूदा अनुकूलन विधियों के लिए अक्सर अतिरिक्त कैंडिडेट चंक्स, अतिरिक्त चयन ह्यूरिस्टिक्स, या कार्य-विशिष्ट प्रशिक्षण की आवश्यकता होती है, जो परिनियोजन को जटिल बनाता है।

2. कार्यप्रणाली: DVAC

लेखक डीनॉइज़िंग-वैरिएंस एडेप्टिव चंकिंग (DVAC) का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री, टेस्ट-टाइम फ्रेमवर्क है जो फ्लो-आधारित पॉलिसी की इन्फरेंस प्रक्रिया की आंतरिक गतिकी के आधार पर निष्पादन क्षितिज को गतिशील रूप से निर्धारित करता है।

मुख्य अंतर्दृष्टि:
फ्लो मैचिंग इन्फरेंस के दौरान, पॉलिसी एक शोरयुक्त (noisy) एक्शन चंक को एक स्वच्छ एक्शन अनुमान में परिष्कृत करने के लिए पुनरावृत्ति (iteratively) करती है। लेखक देखते हैं कि अंतिम डीनॉइज़िंग चरणों के दौरान मध्यवर्ती स्वच्छ-एक्शन अनुमानों ( $\hat{x}_0$ ) की वैरिएंस (variance) कार्य चरण की स्थिरता के एक आंतरिक संकेत के रूप में कार्य करती है:

कम वैरिएंस: अनुमानित गति चरणों के दौरान होता है, जो स्थिर भविष्यवाणियों को दर्शाता है।
उच्च वैरिएंस: संपर्क-समृद्ध या परिशुद्धता-संवेदनशील संचालन के दौरान होता है, जो अनिश्चितता और पुन: नियोजन की आवश्यकता को दर्शाता है।

एल्गोरिदम अवलोकन:

वैरिएंस अनुमान: $H$ क्षितिज वाले एक अनुमानित एक्शन चंक के लिए, DVAC डीनॉइज़िंग प्रक्रिया के अंतिम $L$ चरणों की निगरानी करता है। यह प्रत्येक भविष्य के एक्शन इंडेक्स $k$ के लिए स्वच्छ-एक्शन अनुमानों का वैरिएंस ( $V_s(k)$ ) की गणना करता है।
थ्रेशोल्डिंग (Thresholding): एक निश्चित संख्यात्मक थ्रेशोल्ड (जो कार्यों और रोलआउट्स के बीच भिन्न होता है) का उपयोग करने के बजाय, DVAC एक स्केल-एडेप्टिव थ्रेशोल्ड ( $\tau_s$ ) का उपयोग करता है। यह स्थानीय माध्य ( $\mu_s$ ) और मानक विचलन ( $\sigma_s$ ) की गणना करने के लिए हाल के वैरिएंस सांख्यिकी के एक रोलिंग बफर को बनाए रखता है। थ्रेशोल्ड को $\tau_s = \mu_s + \alpha\sigma_s$ के रूप में सेट किया गया है, जहाँ $\alpha$ अनिश्चितता सहनशीलता को परिभाषित करने वाला एक हाइपरपैरामीटर है।
अनुकूली निष्पादन (Adaptive Execution): पॉलिसी उन क्रियाओं के सबसे लंबे प्रीफ़िक्स को निष्पादित करती है जहाँ वैरिएंस थ्रेशोल्ड से नीचे रहता है। एक बार जब वैरिएंस $\tau_s$ से अधिक हो जाता है (जो एक आगामी अस्थिर चरण का संकेत देता है), तो निष्पादन रुक जाता है और पॉलिसी एक पुन: नियोजन (replan) ट्रिगर करती है।
बाधाएं: स्थिरता सुनिश्चित करने और अत्यधिक पुन: नियोजन को रोकने के लिए निष्पादन लंबाई को न्यूनतम ( $N_{min}$ ) और अधिकतम ( $N_{max}$ ) सीमाओं द्वारा बांधा गया है।

3. मुख्य योगदान

आंतरिक संकेत की पहचान: यह पेपर स्थापित करता है कि डीनॉइज़िंग अभिसरण स्थिरता (convergence stability) फ्लो-आधारित पॉलिसियों में एडेप्टिव निष्पादन के लिए एक अंतर्निहित, ट्रेनिंग-फ्री संकेत है, जो सीधे संपर्क-समृद्ध और परिशुद्धता-संवेदनशील कार्य चरणों के साथ सह-संबंधित है।
DVAC फ्रेमवर्क: एक प्लग-एंड-प्ले, ट्रेनिंग-फ्री इन्फरेंस-टाइम विधि का प्रस्ताव जो डीनॉइज़िंग वैरिएंस और एक ऑनलाइन स्केल-एडेप्टिव थ्रेशोल्ड का उपयोग करके निष्पादन क्षितिज को अनुकूलित करती है।
अनुभवजन्य सत्यापन (Empirical Validation): कई बेंचमार्क (LIBERO, RoboTwin, CALVIN) और विविध फ्लो-आधारित बैकबोन ( $\pi_0.5$ , Qwen2.5-VL, और GR00T सहित) के माध्यम से व्यापक मूल्यांकन।

4. प्रयोगात्मक परिणाम

लेखकों ने फिक्स्ड-होराइजन बेसलाइन्स और अन्य एडेप्टिव विधियों के विरुद्ध सिम्युलेशन बेंचमार्क और वास्तविक हार्डवेयर पर DVAC का मूल्यांकन किया।

LIBERO बेंचमार्क: $\pi_0.5$ -आधारित पॉलिसी का उपयोग करते हुए, DVAC ने औसत सफलता दर को 94.75% से बढ़ाकर 98.00% कर दिया और पुन: नियोजन की आवृत्ति को 43.0% कम कर दिया (32.6 से 18.6 पुन: नियोजन प्रति एपिसोड)। इसने AAC और AutoHorizon जैसे अन्य एडेप्टिव बेसलाइन्स को पछाड़ दिया।
RoboTwin और CALVIN: DVAC ने RoboTwin पर औसत सफलता दर को 0.359 से बढ़ाकर 0.416 कर दिया और CALVIN-5 पर औसत पूर्ण किए गए सबटास्क को 3.905 से बढ़ाकर 4.040 कर दिया। विशेष रूप से, फिक्स्ड-थ्रेशोल्ड वेरिएंट CALVIN पर खराब प्रदर्शन करते रहे, जो DVAC के स्केल-एडेप्टिव डिज़ाइन की आवश्यकता को उजागर करता है।
बैकबोन ट्रांसफ़रेबिलिटी: पद्धति ने बिना रिट्रेनिंग के विभिन्न मॉडल आर्किटेक्चर (जैसे, Qwen2.5-VL और Qwen3-VL-GR00T) में प्रदर्शन में सुधार के साथ "प्लग-एंड-प्ले" क्षमताओं का प्रदर्शन किया।
वास्तविक दुनिया का हेरफेर: क्यूब रखने, स्टैकिंग और टेस्ट ट्यूब को हिलाने जैसे कार्यों में शामिल कार्यों में, DVAC ने लगातार फिक्स्ड-होराइजन बेसलाइन्स (जैसे, क्यूब प्लेसमेंट के लिए 0.867 बनाम 0.800) की तुलना में उच्च सफलता दर प्राप्त की, जबकि कार्य समय और पुन: नियोजन गणनाओं को काफी कम कर दिया।
चरण सहसंबंध (Phase Correlation): विश्लेषण ने पुष्टि की कि DVAC ने ऑपरेशन-सेंसिटिव चरणों के दौरान निष्पादन क्षितिज को सफलतापूर्वक छोटा किया और मूविंग चरणों के दौरान इसे बढ़ाया, जो सैद्धांतिक प्रेरणा के अनुरूप है।

5. महत्व और दावे

पेपर का दावा है कि DVAC चंक्ड रोबोटिक पॉलिसियों के कॉन्फिडेंस-अवेयर परिनियोजन के लिए एक सरल लेकिन प्रभावी तंत्र प्रदान करता है। डीनॉइज़िंग ट्रेजेक्टरी का लाभ उठाकर, जो इन्फरेंस के दौरान पहले से ही कंप्यूट की जाती है, DVAC निम्नलिखित की आवश्यकता को समाप्त करता है:

अतिरिक्त प्रशिक्षण।
अतिरिक्त कैंडिडेट एक्शन जनरेशन।
संख्यात्मक थ्रेशोल्ड का कार्य-विशिष्ट ट्यूनिंग।

लेखक तर्क देते हैं कि डीनॉइज़िंग स्थिरता एक आसानी से उपलब्ध, अंतर्निहित संकेत है जो पॉलिसियों को डायनेमिक रिस्पॉन्सिवनेस (आवश्यकता पड़ने पर पुन: नियोजन) और इन्फरेंस एफिशिएंसी (स्थिर होने पर लंबे चंक्स निष्पादित करना) के बीच संतुलन बनाने की अनुमति देता है। यह दृष्टिकोण बार-बार पुन: नियोजन के कम्प्यूटेशनल ओवरहेड को कम करते हुए कार्य सफलता में सुधार करता है, जो बड़े पैमाने की विसुओमोटर (visuomotor) पॉलिसियों के परिनियोजन में एक महत्वपूर्ण बाधा को संबोधित करता है।

स्वीकृत सीमाएं:
लेखक नोट करते हैं कि DVAC एक कैलिब्रेटेड अनिश्चितता अनुमान के बजाय एक अनुभवजन्य प्रॉक्सी के रूप में डीनॉइज़िंग वैरिएंस का उपयोग करता है। यह वर्तमान में उन फ्लो-आधारित या डिफ्यूजन-शैली की पॉलिसियों तक सीमित है जो मध्यवर्ती ट्रेजेक्टरी को प्रदर्शित करती हैं और इन आंतरिक अवस्थाओं तक पहुंच मानती हैं। वास्तविक दुनिया का मूल्यांकन कार्य विविधता और एम्बॉडमेंट स्केल में सीमित था।