💻 computer science

ACG: Action Coherence Guidance for Flow-based Vision-Language-Action models

यह शोध पत्र एक्शन कोहेरेंस गाइडेंस (ACG) को प्रस्तुत करता है, जो एक ट्रेनिंग-फ्री टेस्ट-टाइम एल्गोरिदम है जो विविध मैनिपुलेशन कार्यों के दौरान तैनाती के समय एक्शन नॉइज़ को कम करके और कोहेरेंस में सुधार करके फ्लो-आधारित विजन-लैंग्वेज-एक्शन मॉडल्स की स्थिरता और सफलता दर को बढ़ाता है।

मूल लेखक: Minho Park, Kinam Kim, Junha Hyung, Hyojin Jang, Hoiyeong Jin, Jooyeol Yun, Hojoon Lee, Jaegul Choo

प्रकाशित 2026-03-26

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Minho Park, Kinam Kim, Junha Hyung, Hyojin Jang, Hoiyeong Jin, Jooyeol Yun, Hojoon Lee, Jaegul Choo

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक बहुत ही नाजुक काम करना सिखा रहे हैं, जैसे कि एक स्ट्रॉबेरी को बिना कुचले उठाना या रिमोट कंट्रोल का एक छोटा सा बटन दबाना। आप रोबोट को एक वीडियो दिखाते हैं जिसमें एक इंसान इसे पूरी तरह से सही तरीके से कर रहा है। लेकिन यहाँ एक पेंच है: सबसे अच्छे इंसान भी छोटी-मोटी गलतियाँ कर सकते हैं। हम शायद एक सेकंड के लिए हिचकिचा सकते हैं, हमारे हाथ थोड़े कांप सकते हैं, या हम अजीब तरह से रुक सकते हैं।

जब एक रोबोट इन वीडियो से सीखता है, तो यह उस छात्र की तरह होता है जो रटने में बहुत ज्यादा माहिर है। वह केवल मुख्य विचार को नहीं सीखता; वह अपने शिक्षक की घबराहट और हाथों की थरथराहट को भी याद कर लेता है। जब रोबोट अकेले इस काम को करने की कोशिश करता है, तो वह उन छोटी गलतियों की नकल करता है। परिणाम स्वरूप, रोबोट का हाथ झटके लेता है, डगमगाता है, या अपने रास्ते से भटक जाता है, जिससे वह स्ट्रॉबेरी गिरा देता है या बटन दबाने में चूक जाता है।

यह शोध पत्र इस समस्या को ठीक करने के लिए एक्शन कोहेरेंस गाइडेंस (Action Coherence Guidance - ACG) नामक एक चतुर तकनीक पेश करता है। यह कैसे काम करता है, इसे कुछ रोजमर्रा के उदाहरणों के साथ समझाया गया है:

समस्या: "कांपते हाथ" का प्रभाव (The "Shaky Hand" Effect)

सोचिए कि रोबोट का मस्तिष्क एक बहुत ही प्रतिभाशाली कलाकार है। यदि आप उस कलाकार से एक चिकनी, बहती हुई रेखा खींचने को कहें, लेकिन आप उसे बार-बार एक ऐसा संदर्भ चित्र दिखाते रहें जिसमें अनजाने में छोटी-छोटी लहरें या टेढ़ापन है, तो कलाकार अंततः वैसी ही लहरें बनाना शुरू कर देगा। रोबोटिक्स में, इसे एक्शन कोहेरेंस (action coherence) की कमी कहा जाता है। रोबोट की गतिविधियाँ सुचारू नहीं होतीं; वे झटकेदार और अस्थिर होती हैं।

समाधान: "एंटी-टीचर" (The "Anti-Teacher")

आमतौर पर, किसी गलती को ठीक करने के लिए, आप रोबोट की गतिविधियों को गलती करने के बाद सुधारने की कोशिश कर सकते हैं (जैसे कि एक कांपते हुए वीडियो को धुंधला करने के लिए फिल्टर का उपयोग करना)। लेकिन लेखकों ने महसूस किया कि यह एक डगमगाती मेज को ठीक करने के लिए उसके पैरों को घिसकर छोटा करने जैसा है—इससे अक्सर मेज का आकार बिगड़ जाता है।

इसके बजाय, उन्होंने एक स्मार्ट विचार निकाला: रोबोट को यह सिखाएं कि क्या नहीं करना है।

एक "खराब" संस्करण बनाएं: शोधकर्ताओं ने रोबोट के मस्तिष्क को लिया और जानबूझकर उसकी समय के साथ "खुद से बात करने" की क्षमता को बाधित कर दिया। कल्पना कीजिए कि लोगों का एक समूह एक कतार में चलने की कोशिश कर रहा है। यदि वे अपने सामने वाले व्यक्ति को देख या सुन नहीं सकते, तो वे सभी लड़खड़ाएंगे और अराजक, झटकेदार दिशाओं में चलेंगे। शोधकर्ताओं ने रोबोट के साथ बिल्कुल यही किया: उन्होंने उसे एक "कांपती और असंगत" गति उत्पन्न करने के लिए मजबूर किया।
"विपरीत" धक्का: अब, रोबोट के दिमाग में दो आवाजें हैं:
- आवाज A: मूल मस्तिष्क, जो कार्य करने की कोशिश कर रहा है लेकिन थोड़ा बहुत कांपते हुए मानवीय वीडियो से प्रभावित है।
- आवाज B: "एंटी-टीचर", जो जानबूझकर एक अराजक और झटकेदार गड़बड़ी पैदा कर रहा है।
मार्गदर्शन (Guidance): ACG एल्गोरिदम दोनों आवाजों को सुनता है। यह कहता है, "ठीक है, आवाज B बहुत बुरा और झटकेदार काम कर रही है। आइए रोबोट को आवाज B की बिल्कुल विपरीत दिशा में धकेलें।"

रोबोट को "अराजकता" से दूर धकेलकर, वह स्वाभाविक रूप से "सुचारूता" की ओर खिंचा चला जाता है। यह भीड़ भरे कमरे में चलने जैसा है: यदि आप जानते हैं कि बाधाएं कहाँ हैं, तो आप स्वाभाविक रूप से भीड़ के बीच से सुचारू रूप से निकलने के लिए विपरीत दिशा में कदम रख सकते हैं।

यह एक बड़ी बात क्यों है

कोई अतिरिक्त प्रशिक्षण नहीं: सबसे अच्छी बात यह है कि उन्हें रोबोट को फिर से प्रशिक्षित करने या उसे हजारों नए वीडियो दिखाने की आवश्यकता नहीं पड़ी। उन्होंने बस काम करते समय (टेस्ट टाइम पर) रोबोट के सोचने के तरीके को बदल दिया। यह रोबोट को काम शुरू करने से ठीक पहले शोर-रद्द करने वाले (noise-canceling) हेडफ़ोन देने जैसा है।
सटीकता मायने रखती है: यह विशेष रूप से "बारीक" (fine-grained) कार्यों के लिए महत्वपूर्ण है। यदि रोबोट केवल एक बॉक्स को A से B तक ले जा रहा है, तो थोड़ा सा डगमगाना मायने नहीं रखता। लेकिन यदि वह सुई में धागा डाल रहा है या एक छोटा बटन दबा रहा है, तो वह डगमगाहट विफलता का कारण बनती है। ACG रोबोट की गतिविधियों को रेशम के रिबन की तरह चिकना बना देता है।
वास्तविक परिणाम: जब उन्होंने रोबोट द्वारा स्ट्रॉबेरी चुनने या टिक-टैक-टो खेलने जैसे कार्यों का परीक्षण किया, तो सफलता दर में काफी उछाल आया। रोबोटों ने लड़खड़ाना बंद कर दिया और एक पेशेवर के आत्मविश्वास के साथ काम करना शुरू कर दिया।

निष्कर्ष (The Bottom Line)

यह शोध पत्र मूल रूप से कह रहा है: "केवल रोबोट की गलतियों को होने के बाद सुधारने की कोशिश न करें। इसके बजाय, रोबोट को दिखाएं कि एक 'खराब' गतिविधि कैसी दिखती है, और उसे उस बिल्कुल विपरीत दिशा में जाने के लिए कहें।"

यह सरल तरकीब एक झटकेदार, घबराए हुए रोबोट को एक सुचारू, आत्मविश्वासी ऑपरेटर में बदल देती है, और वह भी बिना महीनों के पुन: प्रशिक्षण के। यह एक घबराए हुए गायक को यह कहने जैसा है, "उस ऊंचे सुर के बारे में मत सोचो जिसे तुम गलत गा सकते हो; बस उस सुर के बारे में सोचो जिसे तुम गाना चाहते हो, और बुरे सुर को अनदेखा करो," और अचानक, प्रदर्शन एकदम सटीक हो जाता है।

यहाँ "ACG: Action Coherence Guidance for Flow-based Vision-Language-Action models" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

संदर्भ (Context): फ्लो मैचिंग (Flow matching) और डिफ्यूजन मॉडल (Diffusion models) विजन-लैंग्वेज-एक्शन (VLA) रोबोट्स के लिए स्टेट-ऑफ-द-आर्ट पॉलिसियाँ बन गए हैं, जो विविध कार्यों में मजबूत सामान्यीकरण (generalization) सक्षम करते हैं। ये मॉडल आमतौर पर मानव प्रदर्शनों (human demonstrations) पर इमिटेशन लर्निंग के माध्यम से प्रशिक्षित किए जाते हैं।

चुनौती (The Challenge): अपनी जेनेरेटिव क्षमता के बावजूद, ये मॉडल मानव प्रदर्शनों में निहित शोर (noise) के प्रति अत्यधिक संवेदनशील होते हैं (जैसे कि झटके, रुकना, या कंपन/jitter)। क्योंकि फ्लो-आधारित मॉडलों की क्षमता (capacity) बहुत अधिक होती है, वे अक्सर इन खामियों को याद (memorize) कर लेते हैं, जिससे एक्शन कोहेरेंस (Action Coherence) का नुकसान होता है।

एक्शन कोहेरेंस (Action Coherence): इसे क्रमिक क्रियाओं (successive actions) की सुगमता (smoothness) और टेम्पोरल निरंतरता (temporal consistency) के रूप में परिभाषित किया गया है।
कम कोहेरेंस के परिणाम (Consequences of Low Coherence):
1. अस्थिरता (Instability): महत्वपूर्ण क्षणों पर अस्थिर क्रियाएं (जैसे कि किसी वस्तु के पास फंबल करना)।
2. ट्रैजेक्टरी ड्रिफ्ट (Trajectory Drift): समय के साथ मामूली शोर जमा हो जाता है, जिससे रोबोट वांछित अवस्था से भटक जाता है।
3. विनाशकारी विफलता (Catastrophic Failure): सूक्ष्म हेरफेर (fine-grained manipulation) में (जैसे बटन दबाना, या चीज़ों को फिट करना), सटीकता की कमी कार्य की विफलता का कारण बनती है।

मौजूदा समाधान जैसे एक्शन चंकिंग (Action Chunking) (एक साथ कई स्टेप्स जेनरेट करना) या टेम्पोरल एनसेम्बलिंग (Temporal Ensembling) अक्सर एक ही चंक के भीतर कोहेरेंस को खत्म करने में विफल रहते हैं या उच्च इन्फरेंस ओवरहेड (inference overhead) का कारण बनते हैं। इसके अलावा, क्लासिफायर-फ्री गाइडेंस (Classifier-Free Guidance - CFG) जैसी मानक तकनीकें अक्सर VLA संदर्भों में विफल रहती हैं क्योंकि भाषा की शर्तों (language conditions) को हटाने से बेहतर कोहेरेंस के बजाय अस्थिर व्यवहार उत्पन्न होता है।

2. कार्यप्रणाली: एक्शन कोहेरेंस गाइडेंस (Methodology: Action Coherence Guidance - ACG)

लेखक ACG का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री, टेस्ट-टाइम गाइडेंस एल्गोरिदम है जो मॉडल को असंयमित (incoherent) व्यवहारों से दूर ले जाकर एक्शन कोहेरेंस में सुधार करता है।

मुख्य अवधारणा (Core Concept)

ACG नेगेटिव गाइडेंस (negative guidance) के सिद्धांत का लाभ उठाता है। एक "बेहतर" वितरण की ओर मार्गदर्शन करने के बजाय (जैसा कि CFG टेक्स्ट कंडीशन की ओर मार्गदर्शन करता है), ACG जानबूझकर एक असंयमित (incoherent) वेक्टर फील्ड का निर्माण करता है और सैंपलिंग प्रक्रिया को इस असंयमता की विपरीत दिशा में निर्देशित करता है।

तकनीकी कार्यान्वयन (Technical Implementation)

असंयमित वेक्टर फील्ड ( $v^{IC}_\theta$ ) का निर्माण:
- फ्लो मैचिंग पॉलिसी एक ट्रांसफार्मर आर्किटेक्चर का उपयोग करती है जहाँ सेल्फ-अटेंशन (self-attention) परतें एक्शन टोकन को एक-दूसरे के साथ संवाद करने की अनुमति देकर टेम्पोरल कोहेरेंस सुनिश्चित करती हैं।
- एक असंयमित संस्करण बनाने के लिए, लेखक मानक सेल्फ-अटेंशन मैप को एक आइडेंटिटी अटेंशन मैप (Identity Attention Map) से बदल देते हैं।
- गणितीय रूप से, $Attn(Q, K, V) = \text{softmax}(\frac{QK^T}{\sqrt{d}})V$ के बजाय, वे $Attn^{IC}(Q, K, V) = I \cdot V = V$ का उपयोग करते हैं।
- यह प्रत्येक एक्शन टोकन को केवल स्वयं पर ध्यान केंद्रित करने के लिए मजबूर करता है, जिससे टेम्पोरल समन्वय टूट जाता है और एक टेम्पोरली इनकोहेरेंट एक्शन सीक्वेंस उत्पन्न होता है।
गाइडेंस फॉर्मूलेशन (Guidance Formulation):
- ACG एक गाइडेड वेक्टर फील्ड $v^{ACG}_\theta$ को परिभाषित करता है जो मूल पॉलिसी वेक्टर ( $v_\theta$ ) और असंयमित वेक्टर ( $v^{IC}_\theta$ ) को जोड़ता है:
  $v^{ACG}_\theta = (1 + \lambda)v_\theta - \lambda v^{IC}_\theta$
- यहाँ, $\lambda$ गाइडेंस स्केल है। असंयमित वेक्टर को घटाकर, मॉडल को अस्थिर और असंबद्ध व्यवहारों से दूर और स्थिर, सुसंगत ट्रैजेक्टरी की ओर धकेला जाता है।
इन्फरेंस प्रक्रिया (Inference Process):
- यह विधि फ्लो मैचिंग इंटीग्रेशन (Euler integration) के दौरान डिनोइजिंग स्टेप्स में लागू की जाती है।
- इसके लिए असंयमित वेक्टर की गणना के लिए एक दूसरे फॉरवर्ड पास (second forward pass) की आवश्यकता होती है, लेकिन लेखक बताते हैं कि शुरुआती परतों के आउटपुट को कैश करके और विशिष्ट सेल्फ-अटेंशन परतों (जैसे, लेयर्स 4–6) को बदलकर, कंप्यूटेशनल ओवरहेड को बेसलाइन के लगभग 1.5x तक कम किया जा सकता है।

3. प्रमुख योगदान (Key Contributions)

नया गाइडेंस स्ट्रैटेजी: रोबोट कंट्रोल के लिए विशेष रूप से इंट्रा-चंक एक्शन कोहेरेंस (intra-chunk action coherence) (एक एकल जेनरेट किए गए एक्शन ब्लॉक के भीतर सुगमता) को लक्षित करने वाली परटर्बेशन गाइडेंस (perturbation guidance) को पेश करने वाला पहला कार्य।
ट्रेनिंग-फ्री समाधान: ACG को किसी अतिरिक्त प्रशिक्षण या फाइन-ट्यूनिंग की आवश्यकता नहीं है; यह एक प्लग-एंड-प्ले इन्फरेंस-टाइम संशोधन है।
मैकेनिज्म की खोज: यह प्रदर्शित करता है कि सेल्फ-अटेंशन को बाधित करना (आइडेंटिटी मैपिंग के माध्यम से) कोहेरेंस के लिए एक "नेगेटिव" संदर्भ सिंथेसाइज करने का एक प्रभावी तरीका है, जो साधारण नॉइज़ इंजेक्शन या मानक CFG से बेहतर है।
सामान्यीकरण (Generalizability): यह विधि मॉडल-अग्नोस्टिक है और किसी भी फ्लो-आधारित VLA मॉडल पर लागू होती है जो एक्शन टोकन्स पर सेल्फ-अटेंशन का उपयोग करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन बेंचमार्क पर ACG का मूल्यांकन किया: RoboCasa (सिमुलेशन, 24 कार्य), DexMimicGen (सिमुलेशन, द्विपक्षीय कार्य), और SO-101 (वास्तविक दुनिया में पिक-एंड-प्लेस)।

मात्रात्मक प्रदर्शन (Quantitative Performance)

सफलता दर (Success Rates): ACG ने सभी डोमेन में बेसलाइन्स को लगातार पछाड़ दिया।
- RoboCasa: वैनिला GR00T-N1 की तुलना में +6.7% सुधार।
- DexMG: +3.4% सुधार।
- वास्तविक दुनिया (SO-101): भारी लाभ, जिसमें पिक-एंड-प्लेस कार्यों पर +28.8% और सूक्ष्म "बटन प्रेस" कार्यों पर +23.1% का सुधार शामिल है।
बेसलाइन्स के साथ तुलना:
- इसने एक्शन स्मूथिंग (Action Smoothing) (गौसियन फिल्टर) और एनसेम्बलिंग (Ensembling) (कई सैंपल्स का औसत) को पीछे छोड़ दिया, जो अक्सर बारीक विवरणों को धुंधला कर देते हैं या हिचकिचाहट पैदा करते हैं।
- इसने क्लासिफायर-फ्री गाइडेंस (CFG) को भी पछाड़ दिया, जो मैनिपुलेशन कार्यों में कोहेरेंस सुधारने में विफल रहा।
- इसने व्हाइट नॉइज़ गाइडेंस (WNG) को भी पीछे छोड़ दिया, जो अक्सर कोहेरेंस के लिए सटीकता का बलिदान देता है।

एक्शन कोहेरेंस मेट्रिक्स (Action Coherence Metrics)

मेट्रिक्स: एक्शन टोटल वेरिएशन (ATV) और जर्कRMS (JerkRMS) (रूट मीन स्क्वायर जर्क) का उपयोग करके मापा गया।
परिणाम: ACG ने सबसे कम JerkRMS (वैनिला के 1.353 के मुकाबले 1.156) प्राप्त किया, जो काफी अधिक सुचारू (smoother) गति का संकेत देता है।
गुणात्मक (Qualitative): विज़ुअलाइज़ेशन ने दिखाया कि ACG स्थिर, सीधी ट्रैजेक्टरी जेनरेट करता है, जबकि बेसलाइन्स में जिटर (jitter), हिचकिचाहट या ट्रैजेक्टरी ड्रिफ्ट दिखाई दिया।

एब्लेशन स्टडीज (Ablation Studies)

हाइपरपैरामीटर्स: प्रदर्शन उच्च गाइडेंस स्केल (एक बिंदु तक) के साथ बेहतर हुआ और मध्य-से-बाद की सेल्फ-अटेंशन परतों (लेयर्स 4–6) को बाधित करने से सुधार हुआ।
इंट्रा बनाम इंटर-चंक: ACG (इंट्रा-चंक कोहेरेंस पर ध्यान केंद्रित करते हुए) उन विधियों की तुलना में अधिक महत्वपूर्ण साबित हुआ जो केवल इंटर-चंक निरंतरता (जैसे Self-GAD) पर ध्यान केंद्रित करती हैं, हालांकि दोनों को मिलाने से सर्वोत्तम परिणाम मिले।
मॉडल सामान्यीकरण: ACG ने $\pi_0$ और SmolVLA जैसे अन्य VLA मॉडलों पर भी प्रदर्शन में सुधार किया।

5. महत्व और प्रभाव (Significance and Impact)

रोबोटिक्स में विश्वसनीयता: ACG जेनेरेटिव पॉलिसियों को तैनात करने में एक महत्वपूर्ण बाधा को संबोधित करता है: "तर्कसंगत क्रियाएं जेनरेट करने" और "स्थिर, निष्पादन योग्य क्रियाएं जेनरेट करने" के बीच का अंतर। यह सूक्ष्म हेरफेर के लिए फ्लो-आधारित पॉलिसियों को काफी अधिक मजबूत बनाता है।
दक्षता (Efficiency): पुन: प्रशिक्षण (retraining) से बचकर और आंशिक लेयर परटर्बेशन के माध्यम से इन्फरेंस ओवरहेड को कम करके, ACG वास्तविक दुनिया में तैनाती के लिए एक व्यावहारिक समाधान प्रदान करता है।
पैराडाइम शिफ्ट (Paradigm Shift): यह शोध पत्र सुझाव देता है कि टेस्ट-टाइम गाइडेंस का उपयोग केवल टेक्स्ट कंडीशन (जैसा कि इमेज जनरेशन में होता है) के पालन के लिए ही नहीं, बल्कि रोबोटिक्स में सुगमता और स्थिरता जैसे भौतिक बाधाओं को लागू करने के लिए भी किया जाना चाहिए।
भविष्य की दिशाएं: लेखक चंक सीमाओं (chunk boundaries) के पार कोहेरेंस गाइडेंस को विस्तारित करने और गहरे नेटवर्क के लिए परटर्बेशन रणनीति को अनुकूलित करने को भविष्य के अनुसंधान के प्रमुख क्षेत्रों के रूप में पहचानते हैं।

निष्कर्षतः, ACG VLA मॉडलों की जेनेरेटिव प्रक्रिया को "साफ करने" के लिए एक सरल लेकिन शक्तिशाली तंत्र प्रदान करता है, जो शोर भरे, कंपन वाले अनुमानों को बिना किसी महंगे पुन: प्रशिक्षण के सुचारू, विश्वसनीय और उच्च-सफलता-दर वाले रोबोटिक व्यवहारों में बदल देता है।