🤖 AI

Hybrid Training for Vision-Language-Action Models

यह शोध पत्र हाइब्रिड ट्रेनिंग (HyT) को प्रस्तुत करता है, जो विजन-लैंग्वेज-एक्शन मॉडल्स के लिए एक ऐसा फ्रेमवर्क है जो प्रदर्शन में सुधार करने के लिए प्रशिक्षण के दौरान चेन-ऑफ-थॉट रीजनिंग का लाभ उठाता है, जबकि लेटेंसी को कम करने और वास्तविक दुनिया में उपयोगिता बढ़ाने के लिए मॉडल को इन्फरेंस के दौरान थॉट जनरेशन को छोड़ने की अनुमति देता है।

मूल लेखक: Pietro Mazzaglia, Cansu Sancaktar, Markus Peschl, Daniel Dijkman

प्रकाशित 2026-05-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pietro Mazzaglia, Cansu Sancaktar, Markus Peschl, Daniel Dijkman

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को घर के काम करना सिखा रहे हैं, जैसे कि एक लाल ब्लॉक उठाना और उसे एक कप में रखना।

पुराना तरीका: "सोचने वाला" बनाम "करने वाला"
हाल ही में, शोधकर्ताओं ने रोबोट को हिलने-डुलने से पहले ज़ोर से "सोचना" सिखाने की कोशिश की। यह एक छात्र को समीकरण हल करने से पहले अपने गणित के चरणों को लिखने के लिए कहने जैसा है। इस "चेन-ऑफ-थॉट" (CoT) दृष्टिकोण ने रोबोट को स्मार्ट बनाया और कठिन समस्याओं को हल करने में मदद की। हालाँकि, इसमें एक बड़ी समस्या थी: यह धीमा था।

ठीक वैसे ही जैसे एक छात्र किसी साधारण प्रश्न का उत्तर देने से पहले अपने हर विचार को लिखने में 10 मिनट लगा देता है, ये रोबोट वास्तविक जीवन के लिए बहुत धीमे थे। यदि एक रोबोट को हर एक गतिविधि से पहले कुछ सेकंड रुककर "सोचना" पड़ता है, तो वह उन कार्यों के लिए बेकार हो जाता है जिनमें तेज़ प्रतिक्रिया की आवश्यकता होती है, जैसे कि गिरती हुई वस्तु को पकड़ना या कन्वेयर बेल्ट पर सुचारू रूप से चलना।

नया समाधान: हाइब्रिड ट्रेनिंग (HyT)
लेखकों ने एक सरल प्रश्न पूछा: क्या रोबोट को वास्तव में काम करते समय ज़ोर से "सोचने" की आवश्यकता है, या उन्हें केवल उनके प्रशिक्षण के दौरान सोचने का तरीका सीखना था?

उन्होंने हाइब्रिड ट्रेनिंग (HyT) नामक एक विधि विकसित की। यह कैसे काम करता है, इसके लिए एक सरल उपमा का उपयोग करते हैं:

कल्पना कीजिए कि एक कुकिंग स्कूल (खाना पकाने का स्कूल) है।

पुराना तरीका (ECoT): शेफ (रोबोट) को खाना पकाते समय हर एक कटिंग और स्टिरिंग (चलाने) के लिए एक विस्तृत रेसिपी लिखने और अपने तर्क को समझाने के लिए मजबूर किया जाता है। यह उन्हें एक महान शेफ तो बनाता है, लेकिन वे बहुत धीरे खाना पकाते हैं।
हाइब्रिड तरीका (HyT): शेफ को एक विशेष तरीके से प्रशिक्षित किया जाता है।
- कभी-कभी, वे रेसिपी लिखने और अपने विचारों को समझाने का अभ्यास करते हैं (क्यों को समझना)।
- कभी-कभी, वे किसी और द्वारा लिखी गई रेसिपी का पालन करने का अभ्यास करते हैं।
- सबसे महत्वपूर्ण बात यह है कि वे सिर्फ खाना पकाने (क्रिया करने) का अभ्यास करते हैं, जबकि उन्होंने उस तर्क संबंधी ज्ञान को पहले ही आत्मसात कर लिया होता है।

परिणाम: "कुशल अंतर्ज्ञान" (Skilled Intuition)
पेपर का दावा है कि प्रशिक्षण के दौरान रोबोट को "सोचने" के लिए प्रशिक्षित करके, रोबोट एक प्रकार का कुशल अंतर्ज्ञान विकसित करता है। यह एक मास्टर शेफ की तरह है जिसे अब रेसिपी पढ़ने या खुद से बात करने की आवश्यकता नहीं है; वह बस ठीक जानता है कि क्या करना है क्योंकि उसने सोचने की प्रक्रिया का इतना अभ्यास किया है।

जब रोबोट के काम करने का समय आता है (इन्फरेंस टाइम):

वह "सोचने" वाले चरण को छोड़ देता है। वह सीधे क्रिया की ओर बढ़ता है।
यह तेज़ है। यह एक मानक रोबोट की गति से चलता है (सोचने वाले रोबोटों की तुलना में लगभग 3 गुना तेज़)।
यह स्मार्ट है। क्योंकि इसने "सोचने" के अभ्यास से सीखा है, इसलिए यह उन रोबोटों की तुलना में बेहतर प्रदर्शन करता है जिन्हें कभी सोचने के लिए नहीं सिखाया गया था, भले ही यह काम करते समय ज़ोर से नहीं सोच रहा है।

रोबोट के "तीन मोड"
हाइब्रिड ट्रेनिंग का दिलचस्प हिस्सा यह है कि रोब सहित लचीला है। आप इसे एक विशिष्ट निर्देश टोकन (एक छोटा कीवर्ड) देकर बता सकते कि इसे कौन सा "मोड" उपयोग करना है:

"एक्ट" (Act) मोड: रोबोट बस तेज़ी से काम करता है। (वास्तविक दुनिया के उपयोग के लिए डिफ़ॉल्ट)।
"थिंक" (Think) मोड: रोबोट रुकता है और अपनी योजना को ज़ोर से समझाता है। (उपयोगी यदि कोई इंसान देखना चाहता है कि रोबोट क्या सोच रहा है)।
"फॉलो" (Follow) मोड: रोबोट अपने विचारों को अनदेखा करता है और सख्ती से इंसान के विस्तृत निर्देशों का पालन करता है।

प्रयोग क्या दिखाते हैं
टीम ने कंप्यूटर सिमुलेशन और एक वास्तविक रोबोट आर्म (UFactory xArm 6) पर इसका परीक्षण किया।

सिमुलेशन में: हाइब्रिड-प्रशिक्षित रोबोट मानक रोबोटों की तुलना में जटिल स्टैकिंग और प्लेसमेंट कार्यों में बेहतर थे, और वे "सोचने" वाले रोबोटों की तुलना में बहुत तेज़ थे।
वास्तविक दुनिया में: एक वास्तविक मेज पर वास्तविक वस्तुओं (जैसे केले, क्यूब्स और मग) के साथ, हाइब्रिड रोबोट 63% बार सफल रहा, जबकि मानक रोबोट केवल 41% बार सफल रहा। यह विशेष रूप से उन नई, कठिन स्थितियों को संभालने में बेहतर था जिन्हें उसने पहले नहीं देखा था।

मुख्य निष्कर्ष
पेपर निष्कर्ष निकालता है कि "सोचना" सीखने के लिए एक शक्तिशाली उपकरण है, लेकिन यह करने के लिए एक उपकरण नहीं होना चाहिए। हाइब्रिड ट्रेनिंग का उपयोग करके, हम रोबोट को जटिल तर्क को आत्मसात करने के लिए सिखा सकते हैं ताकि वे तेज़ी से और कुशलता से कार्य कर सकें, जिससे हमें दोनों दुनिया का सर्वश्रेष्ठ मिलता है: एक विचारक की बुद्धिमत्ता और एक कर्ता की गति।

तकनीकी सारांश: विजन-लैंग्वेज-एक्शन मॉडल्स के लिए हाइब्रिड ट्रेनिंग (Hybrid Training)

समस्या विवरण (Problem Statement)

विजन-लैंग्वेज-एक्शन (VLA) मॉडल सामान्यist रोबोटिक नियंत्रण के लिए एक आशाजनक दृष्टिकोण के रूप में उभरे हैं, जो रोबोटिक डेटासेट पर फाइन-ट्यून किए गए बड़े प्री-ट्रेंड विजन-लैंग्वेज मॉडल्स (VLMs) का लाभ उठाते हैं। हालांकि, प्रदर्शन और इन्फरेंस दक्षता (inference efficiency) के बीच एक महत्वपूर्ण बाधा मौजूद है। हालिया रणनीतियाँ, जैसे कि एम्बॉडीड चेन-ऑफ-थॉट (ECoT), कार्यों को निष्पादित करने से पहले मध्यवर्ती भाषाई "विचारों" (तर्क संबंधी ट्रेसेस) को उत्पन्न करने के लिए मॉडल को प्रशिक्षित करके प्रदर्शन में सुधार करती हैं। जबकि ये मध्यवर्ती आउटपुट एजेंट के नियोजन (planning) और सामान्यीकरण (generalization) को बढ़ाते हैं, वे इन्फरेंस लेटेंसी (latency) को भी काफी बढ़ा देते हैं। वास्तविक दुनिया के रोबोटिक हेरफेर (manipulation) में, जहाँ कार्यों के लिए क्रियाओं के लंबे अनुक्रमों की आवश्यकता होती है, यह देरी उपयोगिता और नियंत्रण आवृत्ति (control frequency) को नकारात्मक रूप से प्रभावित करती है।

यह कार्य जिस केंद्रीय प्रश्न को संबोधित करता है वह है: क्या VLAs में प्रदर्शन सुधार प्राप्त करने के लिए लंबी चेन्स-ऑफ-थॉट (chains-of-thought) का उत्पादन करना एक सख्त पूर्व शर्त है? लेखक यह परिकल्पना करते हैं कि CoT से होने वाला प्रदर्शन लाभ परीक्षण-समय (test-time) पर विचारों के उत्पादन से नहीं, बल्कि प्रशिक्षण के दौरान तर्क पैटर्न के आंतरिककरण (internalization) से आता है। वे प्रस्तावित करते हैं कि मॉडल "कुशल अंतर्ज्ञान" (skilled intuition) विकसित कर सकते हैं (जो मानव संज्ञान में सिस्टम 1 थिंकिंग के समान है) जो उन्हें उच्च सटीकता के साथ सीधे कार्यों की भविष्यवाणी करने की अनुमति देता है, क्योंकि उन्होंने प्रशिक्षण चरण के दौरान रीजनिंग ट्रेसेस से सीखा है।

कार्यप्रणाली: हाइब्रिड ट्रेनिंग (HyT)

यह शोध पत्र हाइब्रिड ट्रेनिंग (HyT) पेश करता है, जो एक ऐसा ढांचा है जिसे VLAs को रीजनिंग ट्रेसेस से सीखने में सक्षम बनाने के लिए डिज़ाइन किया गया है, जबकि उनमें तेज़, प्रत्यक्ष एक्शन इन्फरेंस बनाए रखने की क्षमता भी बनी रहे।

मुख्य अवधारणा (Core Concept)

HyT एक एकल मॉडल को एक मोडैलिटी वेरिएबल ( $m$ ) के आधार पर कई कंडीशनल डिस्ट्रीब्यूशंस सीखने में सक्षम बनाता है। "सोचने" (ECोT) और "कार्य करने" (मानक VLA) के लिए अलग-अलग मॉडल प्रशिक्षित करने के बजाय, HyT तीन अलग-अलग मोड को संभालने के लिए एकल पैरामीटर सेट ( $\theta$ ) को संयुक्त रूप से अनुकूलित करता है:

एक्ट मोड ( $m_a$ ): मॉडल केवल अवलोकन और कार्य विवरण के आधार पर सीधे कार्यों की भविष्यवाणी करता है ( $p(a_t | x_t, l)$ )। यह मानक VLA इन्फरेंस की नकल करता है।
थिंक मोड ( $m_\tau$ ): मॉडल पहले मध्यवर्ती विचार ( $\tau_t$ ) की भविष्यवाणी करता है और फिर उन विचारों के आधार पर कार्यों की भविष्यवाणी करता है ( $p(a_t, \tau_t | x_t, l)$ ), जो ECoT के समान है।
फॉलो मोड ( $m_f$ ): मॉडल एक बाहरी स्रोत (जैसे मानव या ओरेकल) से प्रदान किए गए विचारों/निर्देशों के आधार पर कार्यों की भविष्यवाणी करता है, जो एक पदानुक्रमित प्रणाली (hierarchical system) में लो-लेवल पॉलिसी के रूप में कार्य करता है ( $p(a_t | x_t, \tau_t, l)$ )।

प्रशिक्षण उद्देश्य (Training Objective)

प्रशिक्षण उद्देश्य प्रत्येक डिस्ट्रीब्यूशन के नेगेटिव लॉग-लाइक्लीहुड लॉस के भारित योग (weighted sum) के रूप में तैयार किया गया है:
$\min_{\theta} \mathcal{L}_{hyt}(\theta) = w_\alpha \mathcal{L}_{act}(\theta) + w_\tau \mathcal{L}_{think}(\theta) + w_f \mathcal{L}_{follow}(\theta)$

बैच वेरिएबिलिटी (variability) को कम करने से बचने के लिए (जो तब होता यदि प्रत्येक डेटा पॉइंट में तीनों मोड शामिल होते), लेखक एक मोंटे कार्लो अनुमान (Monte Carlo estimate) का उपयोग करते हैं। प्रशिक्षण के दौरान, प्रत्येक बैच के लिए, मॉडल गुणांकों ( $w_\alpha, w_\tau, w_f$ ) द्वारा परिभाषित संभावनाओं के अनुसार इनपुट और आउटपुट को सैंपल करता है। प्रयोगों में, लेखक $\{w_\alpha: 0.25, w_\tau: 0.5, w_f: 0.25\}$ गुणांकों का उपयोग करते हैं, जो रीजनिंग ट्रेसेस से लर्निंग सिग्नल को अधिकतम करने के लिए "थिंक" डिस्ट्रीब्यूशन को प्राथमिकता देते हैं।

इन्फरेंस लचीलापन (Inference Flexibility)

परीक्षण के समय (test-time), मॉडल के व्यवहार को नियंत्रित करने के लिए मोडैलिटी वेरिएबल को स्पष्ट रूप से सेट किया जाता है:

डिफ़ॉल्ट (Act): मॉडल को सीधे कार्य आउटपुट करने के लिए $m = \langle act \rangle$ के साथ निर्देश दिया जाता है। यह मानक VLAs की इन्फरेंस गति (लगभग 3 Hz A100 GPUs पर) बनाए रखता है जबकि प्रशिक्षण के दौरान आंतरिक रूप से सीखे गए ज्ञान का लाभ उठाता है।
वैकल्पिक मोड: मॉडल को व्याख्यात्मकता (interpretability) के लिए "थिंक" मोड में या किसी ओरेकल या मानव द्वारा दिए गए सूक्ष्म निर्देशों को निष्पादित करने के लिए "फॉलो" मोड में स्विच किया जा सकता है।

प्रमुख योगदान (Key Contributions)

HyT फ्रेमवर्क: एक नया प्रशिक्षण रणनीति जो मानक VLA प्रशिक्षण, ECoT और पदानुक्रमित निर्देश-अनुपालन (instruction-following) को एक ही मॉडल आर्किटेक्चर में एकीकृत करता है।
प्रशिक्षण और इन्फरेंस का अलगाव: यह प्रदर्शन कि मॉडल प्रशिक्षण के दौरान रीजनिंग ट्रेसेस (CoT) से सीख सकते हैं लेकिन इन्फरेंस के दौरान सीधे कार्यों को निष्पादित कर सकते हैं, जो बिना किसी इन्फरेंस लेटेंसी के रीजनिंग प्रक्रिया को मॉडल के आंतरिक प्रतिनिधित्व में प्रभावी रूप से "डिस्टिल" (distill) करता है।
लचीले इन्फरेंस मोड: एक ही मॉडल के भीतर प्रत्यक्ष एक्शन प्रेडिक्शन, थॉट जनरेशन और इंस्ट्रक्शन फॉलोइंग के बीच गतिशील रूप से स्विच करने की क्षमता, जो गति और व्याख्यात्मकता के बीच एक ट्रेड-ऑफ प्रदान करती है।
अनुभवजन्य सत्यापन (Empirical Validation): सिम्युलेटेड बेंचमार्क्स (ClevrSkills, LIBERO) और वास्तविक दुनिया के रोबोटिक कार्यों (UFactory xArm 6) में व्यापक मूल्यांकन।

प्रयोगात्मक परिणाम (Experimental Results)

सिम्युलेटेड बेंचमार्क्स

ClevrSkills: HyT-प्रशिक्षित मॉडल लगातार मानक VLAs से बेहतर प्रदर्शन करते हैं और सभी डेटासेट आकारों (300 से 3000 प्रदर्शनों) में आम तौर पर ECoT और पदानुक्रमित (HiRobot) बेसलाइन से आगे निकल जाते हैं। विशेष रूप से, HyT ने जटिल, लॉन्ग-होरिजन कार्यों पर सबसे महत्वपूर्ण लाभ दिखाया।
- इन्फरेंस स्पीड: HyT और मानक VLAs ने ~3 Hz हासिल किया, जबकि ECoT 3 गुना धीमा था और HiRobot 4 गुना धीमा था।
- डेटा दक्षता: छोटे डेटासेट (300 डेमो) पर प्रशिक्षित HyT मॉडल बेसलाइन की तुलना में बेहतर प्रदर्शन दिखाते हैं, जो यह सुझाव देता है कि जब डेटा कम हो तो "थिंक" डिस्ट्रीब्यूशन एक मजबूत प्रशिक्षण सिग्नल प्रदान करता है।
LIBERO: जब इसे OFT (ऑप्टिमाइज्ड फाइन-ट्यूनिंग) रेसिपी के साथ जोड़ा गया, तो HyT ने "Goal" और "Long" टास्क सूट्स में स्टेट-ऑफ-द-आर्ट परिणाम प्राप्त किए, जो अन्य CoT-आधारित और मानक VLA दृष्टिकोणों से बेहतर रहे।

वास्तविक दुनिया के प्रयोग

सेटअप: प्रयोग एक दो-फिंगर ग्रिपर के साथ UFactory xArm 6 पर किए गए।
प्रदर्शन: HyT ने OpenVLA बेसलाइन को काफी पीछे छोड़ दिया, OpenVLA के 41% की तुलना में 63% समग्र सफलता दर प्राप्त की।
सामान्यीकरण (Generalization): प्रदर्शन का अंतर आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) कार्यों में सबसे अधिक स्पष्ट था (54% बनाम 29%), जो इंगित करता है कि HyT मॉडल की नवीन ऑब्जेक्ट अरेंजमेंट और परिदृश्यों में सामान्य करने की क्षमता में सुधार करता है।
गुणात्मक विश्लेषण: OpenVLA की तुलना में HyT मॉडल पिक-एंड-प्लेस स्थितियों तक पहुँचने में उच्च सटीकता और ऑब्जेक्ट सिलेक्शन में कम त्रुटियां प्रदर्शित करते हैं।

एब्लेशन स्टडीज (Ablation Studies)

गुणांक (Coefficients): पाया गया कि "थिंक" डिस्ट्रीब्यूशन छोटे डेटासेट के लिए महत्वपूर्ण था, जबकि "फॉलो" डिस्ट्रीब्यूशन ने प्रदर्शन में सुधार किया जब मॉडल को बाहरी ओरेकल निर्देशों का पालन करने की आवश्यकता थी।
इन्फरेंस मोड: मूल्यांकित सेटिंग्स में, "act" और "think" मोड समान प्रदर्शन देते हैं, जो इस परिकल्पना का समर्थन करते हैं कि प्रिमिटिव मैनिपुलेशन कार्यों के लिए टेस्ट-टाइम पर मध्यवर्ती विचार जनरेशन अनिवार्य नहीं है।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि VLAs में CoT तकनीकों का प्राथमिक उपयोग मॉडल के सीखे गए प्रतिनिधित्व (learned representations) को सुधारना है, न कि निष्पादन के दौरान एक अनिवार्य मध्यवर्ती चरण के रूप में कार्य करना। तर्क के पैटर्न को आंतरिक रूप से आत्मसात करके, मॉडल एक "विशेषज्ञ अंतर्ज्ञान" विकसित करता है जो उच्च-आवृत्ति नियंत्रण के लिए सक्षम बनाता है।

लेखक HyT को एक स्केलेबल समाधान के रूप में प्रस्तुत करते हैं जो उच्च-प्रदर्शन वाले तर्क (reasoning) और वास्तविक समय के रोबोटिक नियंत्रण के बीच के अंतर को पाटता है। उनका तर्क है कि हालांकि उन्नत मेमोरी या तर्क की आवश्यकता वाले जटिल कार्यों को अभी भी टेस्ट-टाइम CoT से लाभ हो सकता है, लेकिन कई मानक मैनिपुलेशन कार्यों को रीजनिंग-आधारित प्रशिक्षण का लाभ उठाकर कम इन्फरेंस लागत के साथ मजबूती से हल किया जा सकता है। यह ढांचा उच्च-प्रदर्शन वाले VLAs को वास्तविक दुनिया के परिवेश में तैनात करने का एक व्यावहारिक मार्ग प्रदान करता है जहाँ लेटेंसी महत्वपूर्ण है, बिना रीजनिंग-आधारित प्रशिक्षण के सामान्यीकरण लाभों से समझौता किए।