🤖 AI

Learning Native Continuation for Action Chunking Flow Policies

यह शोध पत्र लेगैटो (Legato) को पेश करता है, जो एक्शन-चंक्ड विजन लैंग्वेज एक्शन मॉडल्स के लिए एक ट्रेनिंग-टाइम निरंतरता विधि (continuation method) है, जो फ्लो डायनेमिक्स को नया रूप देती है और स्मूथ एवं अधिक सुसंगत प्रक्षेपवक्र (trajectories) उत्पन्न करने के लिए रैंडमाइज्ड शेड्यूल कंडीशनिंग का उपयोग करती है, जिससे यह वास्तविक दुनिया के मैनिपुलेशन कार्यों में मौजूदा रियल-टाइम चंकिंग दृष्टिकोणों से बेहतर प्रदर्शन करती है।

मूल लेखक: Yufeng Liu, Hang Yu, Juntu Zhao, Bocheng Li, Di Zhang, Mingzhu Li, Wenxuan Wu, Yingdong Hu, Junyuan Xie, Junliang Guo, Dequan Wang, Yang Gao

प्रकाशित 2026-05-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yufeng Liu, Hang Yu, Juntu Zhao, Bocheng Li, Di Zhang, Mingzhu Li, Wenxuan Wu, Yingdong Hu, Junyuan Xie, Junliang Guo, Dequan Wang, Yang Gao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल कार्य करना सिखा रहे हैं, जैसे कि एक कप से दूसरे कप में पानी डालना। इसे करने के लिए, रोबोट एक "मस्तिष्क" (एक विजन-लैंग्वेज-एक्शन मॉडल) का उपयोग करता है जो दृश्य को देखता है और निर्णय लेता है कि आगे क्या करना है।

हालाँकि, यह मस्तिष्क धीमा है। यह इतना तेज़ नहीं सोच सकता कि हर मिलीसेकंड में रोबोट को नया निर्देश दे सके। इसलिए, इंजीनियर एक ट्रिक का उपयोग करते हैं जिसे "एक्शन चंकिंग" (Action Chunking) कहा जाता है। एक बार में एक निर्देश देने के बजाय, यह भविष्य की गतिविधियों का एक पूरा "चंक" (जैसे, अगले 2 सेकंड की गति) एक साथ अनुमानित करता है।

समस्या: "स्टटर" (Stutter - हकलाहट/झटका)

यह पेपर इस खामी की पहचान करता है कि वर्तमान में इन चंक्स को कैसे जोड़ा जाता है।

कल्पना कीजिए कि आप एक गलियारे में चल रहे हैं। आप एक कदम उठाते हैं, फिर दूसरा। यदि आप अपने अगले तीन कदमों की योजना एक साथ बनाते हैं, तो आप सुचारू रूप से चल सकते हैं। लेकिन जब आप अपने उन तीन कदमों को पूरा करते हैं और अगले तीन कदमों की योजना बनानी होती है, तो आपके मस्तिष्क को रुकना पड़ता है, पुनर्मूल्यांकन करना पड़ता है, और एक नई योजना शुरू करनी पड़ती है।

वर्तमान रोबोटों में, यह ठहराव एक "स्टटर" या "हिचकी" का कारण बनता है जहाँ एक चंक समाप्त होता है और दूसरा शुरू होता है। इससे रोबोट:

हिचकिचा सकता है (एक पल के लिए जम सकता है)।
अचानक किसी अलग दिशा में झटका ले सकता है।
अपना मन बदल सकता है कि कौन सा हाथ इस्तेमाल करना है या किस वस्तु को पकड़ना है।

पेपर इसे "स्प्यूरियस मल्टीमॉडल स्विचिंग" (Spurious Multimodal Switching) कहता है। सरल भाषा में: ट्रांजिशन पॉइंट्स (बदलाव के बिंदुओं) पर रोबोट भ्रमित हो जाता है और विभिन्न संभावित कार्यों के बीच झूलने लगता है, जिससे उसकी गति झटकेदार और अस्वाभाविक लगने लगती है।

पुराना समाधान: "रियल-टाइम चंकिंग" (RTC)

पिछले प्रयास, जिन्हें रियल-टाइम चंकिंग (RTC) कहा जाता था, एक "पोस्ट-इट नोट रिमाइंडर" की तरह थे।

जब रोबोट एक चंक पूरा करता है, तो सिस्टम उसके द्वारा किए गए पिछले कुछ मूव्स को देखता है।
यह सुनिश्चित करता है कि नया चंक ठीक वहीं से शुरू हो जहाँ पिछला समाप्त हुआ था।
खामी: यह एक बाहरी नियम है जिसे रोबoret ने सोचने के बाद लागू किया जाता है। यह एक चित्रकार को यह बताने जैसा है कि, "सुनिश्चित करें कि आपका अगला ब्रशस्ट्रोक पिछले वाले से जुड़ जाए," लेकिन चित्रकार ने यह नहीं सीखा कि स्वाभाविक रूप से कैसे जुड़ना है। रोबोट अभी भी आंतरिक रूप से भ्रमित होता है, जिससे हिचकिचाहट और झटकेदार हरकतें होती हैं।

नया समाधान: "लेगाटो" (Legato)

लेखकों ने "लेगाटो" नामक एक नया तरीका प्रस्तावित किया है (इसका नाम एक संगीत शब्द से लिया गया है जिसका अर्थ है "सुचारू रूप से जुड़ा हुआ")।

केवल अंत में एक नियम जोड़ने के बजाय, लेगाटो रोबोट के मस्तिष्क को सिखाता है कि डॉट्स को कैसे जोड़ना है जबकि वह सीख रहा होता है।

यह इस प्रकार काम करता है, एक रचनात्मक उपमा का उपयोग करते हुए:

1. "ट्रेनिंग विद ट्रेनिंग व्हील्स" (प्रशिक्षण के दौरान सहायता) की उपमा
कल्पना कीजिए कि एक बच्चे को साइकिल चलाना सिखा रहे हैं।

पुराना तरीका (RTC): आप उन्हें चलाने देते हैं, और यदि वे मोड़ के अंत में डगमगाते हैं, तो आप हैंडल को पकड़ते हैं और उन्हें सीधा करने के लिए मजबूर करते हैं। वे आपके द्वारा ठीक किए जाने पर निर्भर रहना सीख जाते हैं।
लेगाटो का तरीका: आप उन्हें मोड़ के दौरान संतुलन महसूस करना सिखाते हैं। आप उन्हें एक "शेड्यूल" देते हैं कि उन्हें हर सेकंड कितनी सहायता की आवश्यकता है। जैसे-जैसे वे मोड़ में आगे बढ़ते हैं, आप धीरे-धीरे अपना हाथ हटा लेते हैं, लेकिन आप पूरे समय उनका मार्गदर्शन करते हैं।

2. "स्मूथ रैंप" बनाम "हार्ड वॉल"
लेगाटो एक "शेड्यूल-शेप्ड" मार्गदर्शन का उपयोग करता है।

जब रोबोट एक नया चंक शुरू करता है, तो वह जानता है कि पिछला चंक किस बिंदु पर समाप्त हुआ था।
लेगाटो रोबोट को बताता है: "इस नए चंक के पहले हिस्से के लिए, तुम्हें ठीक से पिछले पथ का पालन करना होगा।"
फिर, यह धीरे से कहता है: "ठीक है, अब तुम थोड़ा भटक सकते हो और अपने स्वयं के विकल्प चुन सकते हो।"
अंत में: "अब तुम बाकी की गति की योजना बनाने के लिए स्वतंत्र हो।"

यह एक "स्मूथ रैंप" (चिकनी ढलान) की तरह स्वतंत्रता प्रदान करता है, न कि एक "हार्ड वॉल" (कठोर दीवार) की तरह जहाँ रोबोट को अचानक गियर बदलने के लिए मजबूर होना पड़ता है।

3. "नेटिव स्किल" (जन्मजात कौशल)
लेगाटो का सबसे महत्वपूर्ण हिस्सा यह है कि यह रोबोट के आंतरिक "प्रवाह" को बदल देता है। यह रोबोट के मस्तिष्क के भीतर गणित को इस तरह से नया आकार देता है कि चंक्स को जोड़ना सोचने के एक स्वाभाविक हिस्से के रूप में विकसित होता है।

यह केवल अतीत के साथ मेल खाने के लिए मजबूर नहीं करता; यह रोबोट को सिखाता है कि अतीत के साथ सुसंगत रहना सबसे आसान और तार्किक रास्ता है।
यह रोबोट को हिचकिचाने या अलग-अलग विचारों के बीच झूलने (मल्टीमॉडल स्विचिंग) से रोकता है।

परिणाम

शोधकर्ताओं ने वास्तविक रोबोटों पर पांच अलग-अलग कार्यों को करके इसका परीक्षण किया: कटोरे रखना, चीजें डालना, वस्तुओं को उठाना, दराज खोलना और तौलिये को मोड़ना।

सुचारू हरकतें: लेगाटो के रोबोट पानी की एक धारा की तरह सहजता से चले, जबकि पुराने तरीके से वे झटकेदार कदमों की तरह चले।
तेजी से पूर्णता: क्योंकि रोबोट "चंक बाउंड्रीज़" (चंक सीमाओं) पर हिचकिचाया या रुका नहीं, इसलिए उन्होंने कार्य लगभग 10% तेजी से पूरे किए।
कम भ्रम: रोबोट अपने प्लान पर टिके रहे (जैसे, "मैं अपने बाएं हाथ का उपयोग करूँगा") बजाय इसके कि वे इधर-उधर डगमगाते रहें।

सारांश

"एक्शन चंकिंग" को एक रोबोट द्वारा अपनी गति की योजना बनाने के लिए फोटो लेने के रूप में समझें।

समस्या: फोटो पूरी तरह से एक सीध में नहीं होते, इसलिए फिल्म झटकेदार दिखती है।
पुराना समाधान: आप फोटो लेने के बाद उन्हें जोड़ने की कोशिश करते हैं (RTC), लेकिन झटका बना रहता है।
लेगाटो: आप कैमरे को सिखाते हैं कि फोटो कैसे ली जाए ताकि वे शूटिंग के दौरान स्वाभाविक रूप से एक सीध में आ सकें। परिणाम एक सुचारू, निरंतर फिल्म है जहाँ रोबोट आत्मविश्वास और शालीनता के साथ चलता है।

तकनीकी सारांश: लेगेटो (Legato) – एक्शन चंकिंग फ्लो पॉलिसीज़ के लिए नेटिव कंटीन्यूएशन सीखना

1. समस्या विवरण

विज़न लैंग्वेज एक्शन (VLA) मॉडल का वास्तविक दुनिया की रोबोटिक्स में उपयोग तेजी से बढ़ रहा है, जहाँ एक्शन चंकिंग (action chunking) एक प्रमुख रणनीति है। यह एक ऐसी रणनीति है जहाँ मॉडल एक ही इन्फरेंस स्टेप में भविष्य के एक्शन वेक्टर्स के एक अनुक्रम (sequence) की भविष्यवाणी करता है। हालाँकि चंकिंग इन्फरेंस लागत को कम करती है और उच्च-आवृत्ति नियंत्रण (high-frequency control) सक्षम करती है, लेकिन यह एक मौलिक दोष भी लाती है: चंक सीमाओं पर विच्छेदन (discontinuities at chunk boundaries)।

ये विच्छेदन दो प्राथमिक कारकों से उत्पन्न होते हैं:

इन्फरेंस विलंब (Inference Delay): अगले चंक को कंप्यूट करने में लगने वाला समय वर्तमान चंक के निष्पादन और अगले चंक के निर्माण के बीच एक अंतराल पैदा करता है।
अंतर्निहित बहुविधता (Intrinsic Multimodality): फ्लो-आधारित पॉलिसियाँ अक्सर मल्टीमॉडल वितरण प्रदर्शित करती हैं, जिससे "स्पूरियस मल्टीमॉडल स्विचिंग" (spurious multimodal switching) होती है, जहाँ पॉलिसी चंक्स के बीच अपने इच्छित एक्शन मोड को अचानक बदल देती है।

रियल-टाइम चंकिंग (RTC) जैसे मौजूदा समाधान इसे इन्फरेंस-टाइम इनपेंटिंग (inpainting) लागू करके कम करने का प्रयास करते हैं, जो नए चंक्स को पिछले एक्शन्स के साथ आंशिक रूप से ओवरलैप करने के लिए बाध्य करता है। हालाँकि, RTC एक बाहरी तंत्र है जिसे केवल इन्फरेंस के समय लागू किया जाता है। क्योंकि पॉलिसी को स्वयं इस निरंतरता (continuation) को संभालने के लिए प्रशिक्षित नहीं किया गया है, इसलिए यह हिचकिचाहट, अचानक दिशा परिवर्तन और ऐसे प्रक्षेप पथों (trajectories) के प्रति संवेदनशील बनी रहती है जो स्वाभाविक रूप से सुचारू (smooth) नहीं होते। पेपर का तर्क है कि स्थिर चंक्ड निष्पादन के लिए निरंतरता का एक नेटिव, सीखा हुआ गुण (native, learned property) होना आवश्यक है।

2. कार्यप्रणाली: लेगेटो (Legato)

लेखक लेगेटो का प्रस्ताव करते हैं, जो एक्शन-चंक्ड फ्लो-आधारित VLA पॉलिसियों के लिए एक ट्रेनिंग-टाइम कंटीन्यूएशन फ्रेमवर्क है। लेगेटो पर-स्टेप गाइडेंस (per-step guidance) के तहत प्रशिक्षण और इन्फरेंस के बीच निरंतरता सुनिश्चित करने के लिए सीखे गए फ्लो डायनेमिक्स को पुनर्गठित करके कंटीन्यूशन तंत्र को आंतरिक बनाता है।

मुख्य घटक

प्रभावी निरंतरता के लिए लेगेटो दो महत्वपूर्ण आवश्यकताओं को संबोधित करता है:

पर-स्टेप गाइडेंस (Per-Step Guidance): गाइडेंस को केवल इनिशियलाइजेशन के समय ही नहीं, बल्कि सभी डिनोइजिंग स्टेप्स में बार-बार लागू किया जाना चाहिए।
प्रशिक्षण-इन्फरेंस निरंतरता (Training-Inference Consistency): प्रशिक्षण के दौरान सीखे गए डायनेमिक्स को इन्फरेंस के दौरान उपयोग किए जाने वाले डायनेमिक्स से मेल खाना चाहिए।

A. शेड्यूल-शेप्ड गाइडेंस (Schedule-Shaped Guidance)

लेगेटो एक्शन चंक होराइजन $H$ पर एक गाइडेंस शेड्यूल $\omega \in [0, 1]^H$ पेश करता है। यह शेड्यूल तीन मापदंडों द्वारा परिभाषित है:

$d$ : इन्फरेंस विलंब (फुल गाइडेंस प्रीफिक्स)।
$s$ : प्रति चक्र निष्पादित लंबाई (executed length)।
$r$ : रैम्प-डाउन लंबाई जहाँ गाइडेंस की शक्ति कम हो जाती है।
ये संतुष्ट करते हैं $r + s + d = H$ ।

हार्ड-क्लैंपिंग प्रीफिक्स (जैसा कि ट्रेनिंग-टाइम RTC में होता है) के बजाय, लेगेटो एक स्मूथ शेड्यूल का उपयोग करता है: यह चंक की शुरुआत को ज्ञात एक्शन्स (प्रशिक्षण के दौरान ग्राउंड ट्रुथ, इन्फरेंस के दौरान पिछला चंक प्रीफिक्स) से बांधता है और धीरे-धीरे गाइडेंस की शक्ति को शून्य तक कम करता है। यह एक एक्शन-नॉइज़ मिश्रण (action-noise mixture) के माध्यम से प्राप्त किया जाता है:
$\epsilon_{eff} = (1 - \omega) \odot \epsilon + \omega \odot A$
जहाँ $\epsilon$ नॉइज़ है और $A$ रेफरेंस एक्शन है।

B. फ्लो डायनेमिक्स का पुनर्गठन (Reshaping Flow Dynamics)

स्टैंडर्ड फ्लो मैचिंग एक वेलोसिटी फील्ड $u_{FM}$ को प्रशिक्षित करता है जो नॉइज़ को एक्शन्स में ले जाता है। हालाँकि, इन्फरेंस के समय पर-स्टेप गाइडेंस लागू करने से एक अलग डायनेमिक सिस्टम प्रेरित होता है। प्रशिक्षण-इन्फरेंस मिसमैच को समाप्त करने के लिए, लेगेटो बार-बार होने वाली पर-स्टेप गाइडेंस द्वारा प्रेरित सटीक निरंतर-समय डायनेमिक्स को व्युत्पन्न करता है और टारगेट वेलोसिटी फील्ड को पुनर्गठित करता है।

नेटवर्क को एक संशोधित टारगेट वेलोसिटी $v_{target}$ की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है:
$v_{target}(t, A, \epsilon, \omega) = (1 - \kappa \odot (1 - t)) \odot (A - \epsilon)$
जहाँ $\kappa = \omega / \Delta t$ । यह नीति को बिना किसी बाहरी हस्तक्षेप के नेटिव रूप से शेड्यूल-शेप्ड गाइडेंस का समर्थन करने की अनुमति देता है।

C. रैंडमाइज्ड शेड्यूल कंडीशनिंग (Randomized Schedule Conditioning)

विभिन्न हार्डवेयर और रनटाइम ऑप्टिमाइज़ेशन के दौरान अलग-अलग इन्फरेंस विलंब को संभालने के लिए, लेगेटो प्रशिक्षण के दौरान शेड्यूल मापदंडों ( $d, r$ ) को रैंडमाइज करता है। पॉलिसी को शेड्यूल $\omega$ (एक फीचर के रूप में जोड़ा गया) पर स्पष्ट रूप से कंडीशन किया जाता है। यह एक एकल मॉडल को विभिन्न हार्डवेयर और लेटेंसी स्थितियों के अनुकूल होने और इन्फरेंस के समय प्रक्षेप पथ की सुगमता (smoothness) और ओवरलैप निरंतरता के बीच संतुलन को नियंत्रित करने में सक्षम बनाता है।

3. मुख्य योगदान

लेगेटो फ्रेमवर्क: एक ट्रेनिंग-टाइम कंटीन्यूएशन फ्रेमवर्क जो फ्लो डायनेमिक्स को पुनर्गठित करके सख्त प्रशिक्षण-इन्फरेंस निरंतरता बनाए रखते हुए पर-स्टेप, शेड्यूल-शेप्ड गाइडेंस को सक्षम करता है।
रैंडमाइज्ड शेड्यूल कंडीशनिंग: विभिन्न इन्फरेंस विलंब को संभालने और प्रक्षेप पथ की सुगमता पर नियंत्रण प्रदान करने के लिए एक तंत्र, जो मॉडल को विभिन्न हार्डवेयर और लेटेंसी स्थितियों में सामान्य (generalize) होने की अनुमति देता है।
अनुभवजन्य सत्यापन (Empirical Validation): वास्तविक दुनिया के कार्यों पर व्यापक प्रयोग जो दर्शाते हैं कि निरंतरता को एक नेटिव पॉलिसी प्रॉपर्टी के रूप में सीखना, इन्फरेंस-टाइम सुधार विधियों से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने एक ड्यूल-आर्म रोबोट का उपयोग करके पाँच वास्तविक दुनिया के हेरफेर कार्यों (कटोरों को स्टैकिंग करना, पोरिंग, पिक-एंड-प्लेस, ड्रॉर खोलना, टॉवल फोल्डिंग) पर लेगेटो का मूल्यांकन किया।

प्रदर्शन मेट्रिक्स

कार्य पूर्णता समय (Task Completion Time): लेगेटो ने लगातार RTC की तुलना में कम पूर्णता समय (लगभग 10% सुधार) प्राप्त किया।
प्रक्षेप पथ सुगमता (Trajectory Smoothness): लेगेटो ने काफी अधिक सुचारू प्रक्षेप पथ उत्पन्न किए, जिसका प्रमाण निम्न NSPARC (नेगेटिव स्पेक्ट्रल आर्क लेंथ) और ओवरलैप RMSE मानों से मिलता है।
स्पूरियस मल्टीमॉडल स्विचिंग: लेगेटो ने हिचकिचाहट और अचानक दिशा परिवर्तनों को कम किया, जिससे अधिक सुसंगत ग्रैस्प गोल्स और आर्म सिलेक्शन संभव हुआ।

तुलनात्मक विश्लेषण

बनाम RTC: लेगेटो ने गति और सुगमता के मामले में सभी पाँच कार्यों में RTC से बेहतर प्रदर्शन किया।
बनाम ट्रेनिंग-टाइम RTC: लेगेटो ने उस बेसलाइन से बेहतर प्रदर्शन किया जो प्रशिक्षण के दौरान हार्ड प्रीफिक्स बाधाएं लागू करती है। लेखक इस सफलता का श्रेय लेगेटो द्वारा फ्लो डायनेमिक्स के पुनर्गठन को देते हैं, जो बार-बार होने वाली गाइडेंस के प्रभावी डिनोइजिंग व्यवहार के साथ बेहतर तालमेल बिठाता है।
सामान्यीकरण (Generalization): विधि ने विभिन्न VLA बैकबोन ( $\pi_0, \pi_0.5, \text{Gr00t N1.6}$ ) और विभिन्न इन्फरेंस विलंबों के बीच मजबूती प्रदर्शित की।

5. महत्व और दावे

पेपर का दावा है कि लेगेटो एक्शन चंकिंग निरंतरता को एक बाहरी, इन्फरेंस-टाइम सुधार के बजाय एक नेटिव, सीखे गए गुण के रूप में देखने की दिशा में एक बदलाव का प्रतिनिधित्व करता है।

अंतर्निहित सुगमता (Intrinsic Smoothness): फ्लो डायनेमिक्स को पुनर्गठित करके, लेगेटो यह सुनिश्चित करता है कि पॉलिसी स्वाभाविक रूप से समझती है कि चंक्स के बीच कैसे संक्रमण करना है, जिससे मल्टीमॉडल स्विचिंग से जुड़ी "जिटर" (jitter) और हिचकिचाहट कम हो जाती है।
दक्षता (Efficiency):ness: हिचकिचाहट और दिशा परिवर्तनों में कमी सीधे वास्तविक दुनिया के परिदृश्यों में तेज़ कार्य पूर्णता समय में परिवर्तित होती है।
अनुकूलन क्षमता (Adaptability): रैंडमाइज्ड शेड्यूल कंडीशनिंग का उपयोग एक एकल मॉडल को विभिन्न हार्डवेयर वातावरणों में तैनात करने की अनुमति देता है जिनमें अलग-अलग इन्फरेंस विलंब होते हैं, जो व्यावहारिक रोबोटिक परिनियोजन के लिए एक महत्वपूर्ण आवश्यकता है।

लेखक निष्कर्ष निकालते हैं कि जबकि वर्तमान फॉर्मूलेशन डिनोइजिंग स्टेप्स को ट्रेनिंग-टाइम स्पेसिफिकेशन तक सीमित करते हैं, प्रस्तावित विधि सफलतापूर्वक यह प्रदर्शित करती है कि कंटीन्यूएशन डायनेमिक्स को सीखना हार्ड बाधाओं को लागू करने की तुलना में बेहतर है, जो वास्तविक दुनिया के सुचारू और कुशल रोबोटिक नियंत्रण की ओर एक मजबूत मार्ग प्रदान करता है।