💻 computer science

DyGRO-VLA: Cross-Task Scaling of Vision-Language-Action Models via Dynamic Grouped Residual Optimization

यह शोध पत्र DyGRO-VLA प्रस्तुत करता है, जो एक दो-चरणीय अनुकूलन ढांचा (two-stage optimization framework) है जो क्रॉस-टास्क लेटेंट रिप्रेजेंटेशन्स को कैप्चर करके और 'मिक्सचर-ऑफ-आरएल-रेसिडुअल्स' के माध्यम से पॉलिसी ऑप्टिमाइज़ेशन को गतिशील रूप से परिष्कृत करके विभिन्न कार्यों में विजन-लैंग्वेज-एक्शन मॉडल्स की सामान्यीकरण क्षमता को बढ़ाता है, जिससे हस्तक्षेप कम होता है और वितरण बदलाव (distribution shifts) के तहत प्रदर्शन में सुधार होता है।

मूल लेखक: Sixu Lin, Yunpeng Qing, Litao Liu, Ming Zhou, Ruixing Jin, Xiaoyi Fan, Guiliang Liu

प्रकाशित 2026-05-19

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sixu Lin, Yunpeng Qing, Litao Liu, Ming Zhou, Ruixing Jin, Xiaoyi Fan, Guiliang Liu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को "हर काम में माहिर" (master of all trades) बनने के लिए सिखाने की कोशिश कर रहे हैं। आप चाहते हैं कि वह खाना बना सके, सफाई कर सके, नल की लीकेज ठीक कर सके और एक शेल्फ बना सके, और यह सब एक ही दिमाग का उपयोग करके कर सके। यही VLA (Vision-Language-Action) मॉडल्स का लक्ष्य है: ऐसे रोबोट जो देख सकते हैं, भाषा समझ सकते हैं और काम करने के लिए अपने हाथों को हिला सकते हैं।

हालाँकि, एक बड़ी समस्या है। जब शोधकर्ता Reinforcement Learning (RL) का उपयोग करके रोबोट को बेहतर बनाने की कोशिश करते हैं—जो कि एक ऐसी विधि है जहाँ रोबोट 'ट्रायल एंड एरर' (प्रयास और त्रुटि) से सीखता है, और सफलता मिलने पर उसे एक "इनाम" मिलता है—तो वे अक्सर एक विरोधाभास का सामना करते हैं।

समस्या: "स्पेशलिस्ट" का जाल (The "Specialist" Trap)

सोचिए कि रोबोट का दिमाग ज्ञान का एक पुस्तकालय (library) है। जब आप इसे पहली बार प्रशिक्षित करते हैं, तो यह सामान्य नियम सीखता है (जैसे "किसी वस्तु को पकड़ना")। लेकिन जब आप RL का उपयोग करके इसे एक विशिष्ट कार्य सिखाना शुरू करते हैं, जैसे "लाल ब्लॉक को एक के ऊपर एक रखना," तो रोबोट उस एक काम पर इतना केंद्रित हो जाता है कि वह अपने स्वयं के पुस्तकालय को ही फिर से लिखना शुरू कर देता है।

यह एक ऐसे छात्र की तरह है जो गणित की परीक्षा के लिए इतनी मेहनत से पढ़ाई करता है कि वह पढ़ना ही भूल जाता है। इस शोध पत्र में इसे "Catastrophic Forgetting" (विनाशकारी विस्मृति) कहा गया है।

पुराना तरीका: यदि आप रोबोट को 10 अलग-अलग कार्यों पर प्रशिक्षित करते हैं, तो वह एक काम में तो अच्छा हो जाता है लेकिन बाकी नौ काम भूल जाता है। जैसे-जैसे आप कार्य जोड़ते जाते हैं, समग्र रूप से उसका प्रदर्शन खराब होता जाता है। यह 20 गेंदों को हवा में उछालने (juggle) की कोशिश करने जैसा है; अंततः, आप उन सभी को गिरा देते हैं क्योंकि आपका दिमाग एक साथ बहुत सारी चीजों में विशेषज्ञ बनने की कोशिश कर रहा होता है।

समाधान: DyGRO-VLA

लेखक एक नया तरीका प्रस्तावित करते हैं जिसे DyGRO-VLA कहा जाता है। यह कैसे काम करता है, इसे समझने के लिए, एक व्यस्त रसोई चलाने वाले "मास्टर शेफ" की कल्पना करें।

चरण 1: "मास्टर शेफ" (Offline Pre-training)

सबसे पहले, रोबोट एक विशाल वीडियो लाइब्रेरी से सीखता है जिसमें मनुष्यों को विभिन्न प्रकार के कार्य करते हुए दिखाया गया है।

चाल (The Trick): केवल हर वीडियो को रटने के बजाय, रोबोट यह सीखना सीखता है कि "शोर" (noise) को कैसे फ़िल्टर किया जाए। यह उन चीजों को अनदेखा कर देता है जो हिलने-डुलने के लिए महत्वपूर्ण नहीं हैं (जैसे दीवारों का रंग या रोशनी) और केवल आवश्यक जानकारी पर ध्यान केंद्रित करता है (कप कहाँ है, वह कितना भारी है)।
उपमा (The Analogy): यह मास्टर शेफ के खाना पकाने के बुनियादी सिद्धांतों सीखने जैसा है। वे सीखते हैं कि "गर्मी चीज़ को पिघला देती है" और "चाकू काटते हैं," चाहे वे पिज्जा बना रहे हों या सूप। यह एक साझा आधार (shared foundation) बनाता है जो हर चीज़ के लिए काम करता है।

चरण 2: "विशेषज्ञों की टीम" (Online Fine-tuning)

अब, रोबोट को वास्तविक दुनिया में विशिष्ट कार्यों में बेहतर होने की आवश्यकता है। मास्टर शेफ के दिमाग को फिर से लिखने के बजाय, DyGRO-VLA विशेषज्ञ सहायकों की एक टीम (जिन्हें "Residual Experts" कहा जाता है) जोड़ता है।

यह कैसे काम करता है: मास्टर शेफ (बेस मॉडल) क्या करना है, इस पर एक अनुमान लगाता है। फिर, एक "रूटर" (हेड शेफ की तरह) वर्तमान कार्य को देखता है और पूछता है, "इस विशिष्ट काम के लिए सबसे अच्छा सहायक कौन है?"
- यदि कार्य "कटोरियाँ सजाना" है, तो रूटर "स्टैकिंग असिस्टेंट" को बुलाता है।
- यदि कार्य "कील ठोकना" है, तो रूटर "हैमरिंग असिस्टेंट" को बुलाता है।
जादू: ये सहायक मास्टर शेफ की योजना में केवल छोटे सुधार (residuals) करते हैं। वे पूरी किताब को फिर से नहीं लिखते; वे बस एक स्टिकी नोट जोड़ते हैं जिसमें लिखा होता है, "अपना हाथ 2 इंच बाईं ओर ले जाएं।"
यह क्यों मदद करता है: क्योंकि मास्टर शेफ का दिमाग काफी हद तक अछूता रहता है, इसलिए रोबोट अन्य कार्यों को करना नहीं भूलता है। "स्टैकिंग असिस्टेंट" दूसरे "हैमरिंग असिस्टेंट" के काम में बाधा नहीं डालता है। वे एक-दूसरे के रास्ते में आए बिना मिलकर काम करते हैं।

परिणाम

शोधकर्ताओं ने दो प्रमुख रोबोट चुनौतियों पर इसका परीक्षण किया:

LIBERO: एक डिजिटल टेस्ट सूट जिसमें 130 अलग-अलग कार्य हैं (जैसे वस्तुओं को हिलाना, सजाना, या कार्यों के लंबे क्रम)।
RoboTwin2: एक वास्तविक दुनिया का परीक्षण जिसमें एक दोहरे हाथ वाला (dual-arm) रोबोट है।

परिणाम:

बाकी सबसे बेहतर: DyGRO-VLA ने सभी अन्य शीर्ष तरीकों को पछाड़ दिया। कठिन कार्यों (कार्यों के लंबे क्रम) पर, इसने सफलता की दर में लगभग 10% का सुधार किया।
वास्तविक दुनिया में सफलता: जब वे रोबोट को कंप्यूटर सिमुलेशन से एक वास्तविक भौतिक रोबोट में ले गए, तब भी इसने प्रतिस्पर्धा से बेहतर प्रदर्शन किया, और बोतलों को उठाने और कटोरियों को सजाने जैसे कार्यों को सफलतापूर्वक पूरा किया।

सारांश

सरल शब्दों में, पिछले तरीकों ने रोबोट को हर कार्य के लिए एक "सुपर-स्पेशलिस्ट" बनाने की कोशिश की, जिससे वह बाकी सब कुछ भूल गया। DyGRO-VLA रोबोट को एक "जनरलिस्ट" (मास्टर शेफ) बनाए रखता है और केवल आवश्यकता पड़ने पर मदद के लिए विशेषज्ञों की एक गतिशील टीम को नियुक्त करता है। इस तरह, रोबोट कुछ भी भूले बिना हर चीज़ में बेहतर होता जाता है।

तकनीकी सारांश: DyGRO-VLA

1. समस्या विवरण (Problem Statement)

यह शोध पत्र सामान्यवादी रोबोटिक हेरफेर (generalist robot manipulation) के लिए विजन-लैंग्वेज-एक्शन (VLA) मॉडल के प्रशिक्षण में एक महत्वपूर्ण स्केलेबिलिटी बाधा को संबोधित करता है। जबकि हालिया सुदृढीकरण शिक्षण (Reinforcement Learning - RL) की प्रगति ने व्यक्तिगत कार्यों के लिए नियंत्रण सटीकता और सफलता दरों में सुधार किया है, मल्टी-टास्क सेटिंग्स में प्री-ट्रेनिंग के बाद RL लागू करने से अक्सर कैटास्ट्रोस्ट्रोफिक फॉरगेटिंग (catastrophic forgetting) और क्रॉस-टास्क इंटरफेरेंस (cross-task interference) होता है।

LIBERO बेंचमार्क पर अनुभवजन्य विश्लेषण (Empirical analysis) से पता चलता है कि जैसे-जैसे कार्यों की संख्या बढ़ती है, मानक RL ऑप्टिमाइज़र (जैसे, Soft Actor-Critic) प्रदर्शन में गिरावट (degrade) करते हैं। विशेष रूप से:

रिप्रेजेंटेशन डिस्टॉर्शन (Representation Distortion): सिंगल-टास्क RL फाइन-ट्यूनिंग प्री-ट्रेनिंग के दौरान सीखे गए साझा फीचर स्पेस को विकृत कर देती है, जिससे टास्क-विशिष्ट अनुभवों को अलग कर दिया जाता है और अन्य कार्यों के साथ संरेखण (alignment) कम हो जाता है।
प्रदर्शन में गिरावट (Performance Degradation): विशिष्ट कार्यों के लिए अनुकूलित मॉडल अक्सर असंबंधित कार्यों पर महत्वपूर्ण प्रदर्शन गिरावट का शिकार होते हैं, और जैसे-जैसे टास्क काउंट बढ़ता है, मल्टी-टास्क RL प्रशिक्षण तेजी से अस्थिर होता जाता है।
ट्रेड-ऑफ (The Trade-off): विशिष्ट कार्यों पर उच्च निपुणता (dexterity) प्राप्त करने और जनरललिस्ट रोबोटों के लिए आवश्यक क्रॉस-टास्क सामान्यीकरण (generalizability) बनाए रखने के बीच एक मौलिक संघर्ष है।

2. कार्यप्रणाली: DyGRO-VLA

डेक्सटेरिटी और जनरलाइज़ेबिलिटी के बीच के ट्रेड-ऑफ को हल करने के लिए, लेखक DyGRO-VLA (डायनेमिक ग्रुप्ड रेसिडुअल ऑप्टिमाइजेशन) प्रस्तावित करते हैं, जो एक दो-चरणीय अनुकूलन ढांचा (two-stage optimization framework) है।

चरण 1: इंफॉर्मेशन बॉटलनेक (IB) के साथ ऑफलाइन प्री-ट्रेनिंग

पहला चरण ऑफलाइन प्रदर्शनों (demonstrations) से एक मजबूत, साझा क्रॉस-टास्क लेटेंट रिप्रेजेंटेशन $p(z|o)$ सीखने पर केंद्रित है।

आर्किटेक्चर: विजुअल ऑब्जर्वेशन और लैंग्वेज इंस्ट्रक्शन को एनकोड करने के लिए एक VLM बैकबोन (DINOv2, SigLIP, Qwen2.5-0.5B) का उपयोग करता है, जिसे प्रोप्रियोसेप्टिव डेटा के साथ फ्यूज किया गया है।
उद्देश्य: मॉडल को वेरिएशनल इंफॉर्मेशन बॉटलनेक (VIB) ऑब्जेक्टिव का उपयोग करके प्रशिक्षित किया जाता है। लक्ष्य लेटेंट रिप्रेजेंटेशन $Z$ और एक्शन $A$ के बीच म्यूचुअल इंफॉर्मेशन ( $I(Z; A)$ ) को अधिकतम करना है, जबकि ऑब्जर्वेशन $O$ और $Z$ के बीच म्यूचुअल इंफॉर्मेशन ( $I(O; Z)$ ) को न्यूनतम करना है।
तंत्र (Mechanism): यह एनकोडर को केवल कार्य-प्रासंगिक जानकारी (जैसे, ऑब्जेक्ट ज्योमेट्री, स्पेशियल रिलेशंस) बनाए रखने के लिए मजबूर करता है और अनावश्यक कारकों (जैसे, बैकग्राउंड क्लटर, लाइटिंग) को हटा देता है, जिससे एक कॉम्पैक्ट लेटेंट स्पेस बनता है जो सामान्यीकरण के लिए उपयुक्त है।
लॉस (Loss): IB ऑब्जेक्टिव को सुलभ बनाने के लिए एक वेरिएशनल लोअर बाउंड निकाला जाता है, जिसमें म्यूचुअल इंफॉर्मेशन टर्म्स का अनुमान लगाने के लिए एक न्यूरल क्रिटिक $T_\psi$ शामिल है।

चरण 2: मिक्सचर-ऑफ-RL-रेसिडुअल्स (MoRR) के माध्यम से ऑनलाइन फाइनट्यूनिंग

दूसरा चरण चरण 1 में सीखी गई साझा रिप्रेजेंटेशन को बाधित किए बिना मल्टी-टास्क प्रदर्शन के लिए पॉलिसी को अनुकूलित करता है।

रेसिडुअल लर्निंग (Residual Learning): बेस पॉलिसी को सीधे अपडेट करने के बजाय, RL ऑप्टिमाइज़र बेस एक्शन चंक ( $a_{base}$ ) को रिफाइन करने के लिए एक रेसिड्यू ( $\Delta a$ ) की भविष्यवाणी करता है। यह प्री-ट्रेंड प्रायर को सुरक्षित रखते हुए टास्क-विशिष्ट सुधारों की अनुमति देता है।
डायनेमिक रूटिंग (MoE): कई कार्यों को संभालने के लिए, फ्रेमवर्क $N$ $N$ रेसिड्यूल एक्सपर्ट्स के साथ एक मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) आर्किटेक्चर का उपयोग करता है।
- टास्क एम्बेडिंग्स: एक कॉन्ट्रास्टिव लर्निंग ऑब्जेक्टिव ( $L_{CL}$ ) टास्क एम्बेडिंग्स ( $\tilde{z}_T$ ) को सीखता है जो टास्क-आइडेंटिफिकेशन पैटर्न को एनकोड करते हैं, जो निर्णय-प्रासंगिक लेटेंट $z$ से अलग हैं।
- रूटर (Router): गेटिंग नेटवर्क दिए गए टास्क एम्बेडिंग पर कंडीशन होकर डायनेमिक रूप से किसी विशेष कार्य के लिए टॉप- $m$ एक्सपर्ट्स को चुनता है और उन्हें वेट देता है।
ट्रेनिंग ऑब्जेक्टिव्स: कुल लॉस निम्नलिखित को जोड़ता है:
1. RL लॉस ( $L_{RL}$ ): ऑगमेंटेड पॉलिसी के लिए स्टैंडर्ड एक्टर-क्रिटिक लॉस।
2. कॉन्ट्रैस्टिव लॉस ( $L_{CL}$ ): सुनिश्चित करता है कि टास्क एम्बेडिंग्स रूटिंग के लिए डिस्क्रिमिनेटिव हों।
3. लोड बैलेंसिंग ( $L_{LB}$ ): एक्सपर्ट कोलैप्स को रोकने और MoE के संतुलित उपयोग को सुनिश्चित करने के लिए एक एंट्रॉपी-आधारित रेगुलराइज़र।
डिफिकल्टी-अवेयर सैंपलिंग: ट्रेनिंग प्रक्रिया अंडर-सॉल्व किए गए कार्यों की ओर सैंपलिंग को बायस करती है ताकि चुनौतीपूर्ण परिदृश्यों पर ध्यान केंद्रित किया जा सके।

3. प्रमुख योगदान

RL की सीमाओं का विश्लेषण: पेपर अनुभवजन्य साक्ष्य प्रदान करता है जो दर्शाता है कि मानक RL पोस्ट-ट्रेनिंग मल्टी-टास्क VLA सेटिंग्स में कैटास्ट्रोफिक फॉरगेटिंग और रिप्रेजेंटेशन डिस्टॉर्शन का कारण बनती है, जो क्रॉस-टास्क फीचर प्रिजर्वेशन की आवश्यकता को रेखांकित करती है।
DyGRO-VLA फ्रेमवर्क: एक नवीन दो-चरणीय ढांचे का परिचय जो ऑनलाइन फाइन-ट्यूनिंग के लिए इंफॉर्मेशन बॉटलनेक प्री-ट्रेनिंग को डायनेमिक मिक्सचर-ऑफ-RL-रेसिडुअल्स के साथ जोड़ता है।
डायनेमिक ग्रुप्ड ऑप्टिमाइजेशन: एक रूटिंग मैकेनिज्म का डिज़ाइन जो टास्क एम्बेडिंग्स के आधार पर स्पेशलाइज्ड RL एक्सपर्ट्स को डायनेमिक रूप से कंपोज़ करता है, जो विविध कार्यों के बीच ग्रेडिएंट कॉन्फ्लिक्ट्स को प्रभावी ढंग से कम करता है।
व्यापक सत्यापन: LIBERO (130 कार्य), RoboTwin2 (ड्यूल-आर्म), और रियल-वर्ल्ड Sim2Real ट्रांसफर पर व्यापक मूल्यांकन, जो स्टेट-ऑफ-द-आर्ट बेसलाइन्स पर निरंतर सुधार प्रदर्शित करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने Octo, OpenVLA, $\pi_0$ , और विभिन्न RL फाइन-ट्यूनिंग विधियों सहित मजबूत बेसलाइन्स के विरुद्ध LIBERO और RoboTwin2 बेंचमार्क पर DyGRO-VLA का मूल्यांकन किया।

LIBERO बेंचमार्क:
- DyGRO-VLA ने सभी सूट्स में 97.1% औसत सफलता दर हासिल की, जो ऑफलाइन बेस मॉडल की तुलना में +4.4% बेहतर है।
- चुनौतीपूर्ण LIBERO-Long सूट पर उल्लेखनीय सुधार देखा गया, जहाँ सफलता दर 85.2% से बढ़कर 95.0% (+9.8% एब्सोल्यूट गेन) हो गई।
- इसने अन्य RL-आधारित बेसलाइन्स (जैसे, TGRPO, VLA-RL, RIPT-VLA) को पीछे छोड़ दिया जो मल्टी-टास्क को-ट्रेनिंग के साथ संघर्ष करते हैं।
ग्रेडिएंट कॉन्फ्लिक्ट एनालिसिस: ग्रेडिएंट कोसाइन सिमिलरिटी के विज़ुअलाइज़ेशन ने दिखाया कि जहाँ मानक MLP रेसिड्यूअल्स टास्क ग्रुप्स के बीच मजबूत नेगेटिव कोरिलेशन (कॉन्फ्लिक्ट) दिखाते हैं, वहीं DyGRO-VLA का MoRR इन कॉन्फ्लिक्ट्स को काफी कम करता है जबकि इंट्रा-ग्रुप सिनर्जी बनाए रखता है।
एब्लेशन स्टडीज (Ablation Studies):
- IB ऑब्जेक्टिव या कॉन्ट्रैस्टिव लर्निंग ऑब्जेक्टिव को हटाने से प्रदर्शन में गिरावट आई, जो साझा रिप्रेजेंटेशन लर्निंग और डिस्क्रिमिनेटिव रूटिंग की आवश्यकता की पुष्टि करता है।
- एक्सपर्ट्स की संख्या बढ़ाने (1 से 8 तक) से प्रदर्शन में लगातार सुधार हुआ, जिसमें 8 एक्सपर्ट्स ने सर्वश्रेष्ठ परिणाम दिए।
रियल-वर्ल्ड (RoboTwin2):
- Sim2Real ट्रांसफर में, DyGRO-VLA ने सर्वश्रेष्ठ समग्र सिमुलेशन सफलता (79.2%) प्राप्त की और रियल-वर्ल्ड ट्रायल्स में RFT बेसलाइन्स को पछाड़ दिया, विशेष रूप से जटिल द्विपक्षीय (bimanual) और लॉन्ग-होरिज़न कार्यों पर।

5. महत्व और दावे

पेपर का दावा है कि DyGRO-VLA कुशल मल्टी-टास्क सुदृढीकरण फाइन-ट्यूनिंग के लिए एक स्केलेबल और मजबूत समाधान प्रदान करता है। इसका प्राथमिक महत्व है:

जनरलाइजेशन को सुरक्षित रखना: लर्निंग ऑफ शेयर्ड रिप्रेजेंटेशन को टास्क-विशिष्ट रिफाइनमेंट (रेसिड्यूअल लर्निंग के माध्यम से) से अलग करके, यह RL ऑप्टिमाइज़र्स के "ओवरफिटिंग" को रोकता है जो आमतौर पर मल्टी-टास्क VLA ट्रेनिंग को प्रभावित करता है।
गैप को पाटना: यह हाई-परफॉरमेंस सिंगल-टास्क कंट्रोल और जनरललिस्ट रोबोटों के लिए आवश्यक जनरलाइजेशन क्षमताओं के बीच के अंतर को सफलतापूर्वक पाटता है।
व्यावहारिक अनुप्रयोग: विधि यह प्रदर्शित करती है कि जटिल, मल्टी-टास्क RL पॉलिसियों को कैटास्ट्रोफिक फॉरगेटिंग के बिना वास्तविक दुनिया के रोबोटिक सिस्टम में प्रभावी ढंग से स्थानांतरित किया जा सकता है।

लेखक सीमाओं को स्वीकार करते हैं, जिसमें ऑनलाइन ट्रेनिंग के दौरान रिवॉर्ड स्पर्सिटी (reward sparsity) के प्रति संवेदनशीलता, रूटिंग के लिए ज्ञात टास्क आइडेंटिटीज पर निर्भरता, और विविध एम्बॉडिमेंट्स (embodiments) के लिए व्यापक वास्तविक दुनिया के मूल्यांकन की आवश्यकता शामिल है। हालांकि, वे DyGRO-VLA को एक यूनिफाइड मॉडल के साथ विविध वास्तविक दुनिया के कार्यों को संभालने में सक्षम जनरल-पर्पस रोबोटिक सिस्टम की दिशा में एक मौलिक कदम के रूप में प्रस्तुत करते हैं।