💻 computer science

Beyond Imitation: Reinforcement Learning-Based Sim-Real Co-Training for VLA Models

यह शोध पत्र RL-Co का प्रस्ताव करता है, जो एक सुदृढीकरण शिक्षण (reinforcement learning) आधारित सिम-रियल को-ट्रेनिंग फ्रेमवर्क है जो वास्तविक और सिम्युलेटेड डेटा के मिश्रित डेटा पर सुपरवाइज्ड फाइन-ट्यूनिंग को वास्तविक दुनिया के डेटा द्वारा एंकर किए गए इंटरैक्टिव सिमुलेशन फाइन-ट्यूनिंग के साथ जोड़ता है, जिससे विजन-लैंग्वेज-एक्शन मॉडल्स के लिए वास्तविक दुनिया की सफलता दर, सामान्यीकरण और डेटा दक्षता में महत्वपूर्ण सुधार प्राप्त होता है।

मूल लेखक: Liangzhi Shi, Shuaihang Chen, Feng Gao, Yinuo Chen, Kang Chen, Tonghe Zhang, Hongzhi Zang, Weinan Zhang, Chao Yu, Yu Wang

प्रकाशित 2026-03-09

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Liangzhi Shi, Shuaihang Chen, Feng Gao, Yinuo Chen, Kang Chen, Tonghe Zhang, Hongzhi Zang, Weinan Zhang, Chao Yu, Yu Wang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को घर के काम करना सिखाने की कोशिश कर रहे हैं, जैसे कि एक कप उठाना या दराज खोलना। आपके पास इसे सिखाने के दो मुख्य तरीके हैं:

"वास्तविक दुनिया" विधि (The "Real World" Method): आप रोबोट के हाथ को हजारों बार शारीरिक रूप से गाइड करते हैं, और हर हरकत को रिकॉर्ड करते हैं। यह सटीक है लेकिन अविश्वसनीय रूप से धीमा, महंगा और खतरनाक है (सोचिए, रोबोट को सिखाते समय उसका हाथ टूट जाए)।
"वीडियो गेम" विधि (The "Video Game" Method): आप रोबोट को एक आदर्श कंप्यूटर सिमुलेशन में सिखाते हैं। यह बिना कुछ तोड़े या खराब किए सेकंडों में लाखों बार अभ्यास कर सकता है। लेकिन, जब रोबोट गेम से बाहर निकलकर वास्तविक दुनिया में कदम रखता है, तो वह भ्रमित हो जाता है क्योंकि लाइटिंग, बनावट (textures) और भौतिक विज्ञान (physics) थोड़ा अलग होता है।

लंबे समय तक, शोधकर्ताओं ने इन दोनों विधियों को मिलाने की कोशिश की, जिसमें उन्होंने बस रोबोट को असली वीडियो और गेम वीडियो का मिश्रण दिखाया। वे इसे "को-ट्रेनिंग" (Co-training) कहते थे। लेकिन एक समस्या थी: रोबोट केवल वीडियो को रट रहा था। यह वैसा ही था जैसे कोई छात्र अभ्यास टेस्ट के लिए उत्तर कुंजी (answer key) रट लेता है लेकिन वास्तव में गणित को नहीं समझता। जब टेस्ट के सवाल थोड़े भी बदल जाते थे (एक नई वस्तु, एक अलग कोण), तो रोबोट विफल हो जाता था।

नया विचार: "अनुकरण से परे" (Beyond Imitation)

यह पेपर एक नई विधि पेश करता है जिसे RL-Co (रीइन्फोर्समेंट लर्निंग को-ट्रेनिंग) कहा जाता है। केवल वीडियो रटने के बजाय, यह रोबोट को वीडियो गेम में खेलने, असफल होने और सीखने की अनुमति देता है, जबकि वास्तविक दुनिया के ज्ञान का एक "सुरक्षा जाल" (safety net) बनाए रखता है।

यह कैसे काम करता है, इसे एक सरल उदाहरण से समझते हैं:

उदाहरण: पायलट प्रशिक्षण कार्यक्रम

एक रोबोट को प्रशिक्षित करना एक पायलट को प्रशिक्षित करने जैसा समझें।

1. पुराना तरीका (SFT - सुपरवाइज्ड फाइन-ट्यूनिंग):
आप छात्र पायलट को एक मास्टर पायलट द्वारा विमान को पूरी तरह से लैंड कराने का वीडियो दिखाते हैं। छात्र उन हरकतों की हुबहू नकल करने की कोशिश करता है।

समस्या: यदि अचानक हवा का एक झोंका आता है (वास्तविक दुनिया में बदलाव), तो छात्र घबरा जाता है क्योंकि उसने केवल स्क्रिप्ट रटी थी, उसने यह नहीं सीखा कि प्रतिक्रिया कैसे देनी है।

2. नया तरीका (RL-Co):
प्रशिक्षण दो चरणों में होता है:

चरण 1: ग्राउंड स्कूल (वार्म-अप)
सबसे पहले, आप छात्र को वीडियो का मिश्रण दिखाते हैं: कुछ असली पायलटों के और कुछ फ्लाइट सिम्युलेटर के। यह उन्हें वास्तविक दुनिया और गेम दोनों में एक "अच्छी लैंडिंग" कैसी दिखती है, इसकी बुनियादी समझ देता है। इससे उन्हें एक ठोस आधार मिलता है।
चरण 2: फ्लाइट सिम्युलेटर (जादुई कदम)
अब, आप छात्र को फ्लाइट सिम्युलेटर में रखते हैं। लेकिन केवल देखने के बजाय, आप उन्हें विमान उड़ाने देते हैं।
- वे लैंड करने की कोशिश करते हैं।
- वे क्रैश हो जाते हैं।
- कंप्यूटर कहता है, "ओह, यह बुरा था।"
- वे फीडबैक के आधार पर अपने कंट्रोल्स को एडजस्ट करते हुए फिर से प्रयास करते हैं।
- वे लाखों बार अभ्यास करते हैं, यह सीखते हुए कि टर्बुलेंस (हवा के झोंके), खराब मौसम और इंजन फेलियर को कैसे संभालना है।
ट्विस्ट (सुरक्षा जाल):
आमतौर पर, यदि आप किसी पायलट को केवल सिम्युलेटर में प्रशिक्षित करते हैं, तो वे वास्तविक विमान की विशिष्ट खूबियों को संभालना भूल सकते हैं। इसे ठीक करने के लिए, शोधकर्ता एक नियम जोड़ते हैं: हर बार जब छात्र सिम्युलेटर में कोई नया तरीका सीखता है, तो उसे कुछ वास्तविक लैंडिंग वीडियो भी देखने होंगे।
- यह एक "एंकर" (लंगर) की तरह काम करता है। यह छात्र को गेम में अजीबोगली नई रणनीतियों को खोजते समय वास्तविक दुनिया के नियमों को भूलने से रोकता है।

यह एक बड़ी बात क्यों है?

इस पेपर का परीक्षण दो अलग-अलग रोबोट "मस्तिष्क" (जिन्हें OpenVLA और $\pi_0.5$ कहा जाता है) और चार अलग-अलग कार्यों (वस्तुओं को उठाना, क्यूब्स को धकेलना, दराज खोलना/बंद करना) पर किया गया।

परिणाम सरल भाषा में यहाँ दिए गए हैं:

बेहतर सफलता दर: इस नई विधि से प्रशिक्षित रोबोट काम पूरा करने में बहुत अधिक सक्षम थे। उदाहरण के लिए, एक कार्य पर, वे 20% सफलता दर से बढ़कर 60% से अधिक हो गए।
सरप्राइज संभालने में बेहतर: यदि आप मेज पर एक नया ऑब्जेक्ट (जो उन्होंने पहले नहीं देखा था) रखते हैं या रोबोट की शुरुआती स्थिति बदल देते हैं, तो नया तरीका पुराने तरीकों की तुलना में बहुत बेहतर ढंग से काम करता है। यह उस पायलट की तरह है जिसने शांत दिन के बजाय तूफान में उड़ना सीखा है।
डेटा दक्षता (Data Efficiency): यह सबसे बड़ी जीत है। पुराने तरीकों को अच्छा बनने के लिए सैकड़ों वास्तविक वीडियो की आवश्यकता थी। नया तरीका केवल 20 वास्तविक वीडियो का उपयोग करके बेहतर परिणाम प्राप्त करता है क्योंकि इसने सारा भारी काम सिम्युलेटर में किया।

निष्कर्ष

यह पेपर रोबोटिक्स की एक बड़ी बाधा को हल करता है। यह दिखाता है कि हमें रोबोट को सिखाने के लिए लाखों महंगे और खतरनाक वास्तविक दुनिया के प्रदर्शनों को इकट्ठा करने की आवश्यकता नहीं है। इसके बजाय, हम:

उन्हें वास्तविक दुनिया का थोड़ा सा ज्ञान दे सकते हैं।
उन्हें वीडियो गेम में खेलने और सीखने दे सकते हैं जहाँ वे सुरक्षित रूप से असफल हो सकते हैं।
एक छोटा "सुरक्षा जाल" (real-world data) रख सकते हैं ताकि वे वास्तविक होना न भूलें।

यह एक ऐसे रोबोट के बीच का अंतर है जो केवल इंसान की नकल करता है, और एक ऐसे रोबोट के बीच जो यह समझता है कि काम को कैसे पूरा करना है, भले ही चीजें गलत हो जाएं।

यहाँ शोध पत्र "Beyond Imitation: Reinforcement Learning–Based Sim–Real Co-Training for VLA Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज-एक्शन (VLA) मॉडल रोबोटिक मैनिपुलेशन में आशाजनक रहे हैं, लेकिन वे दो महत्वपूर्ण बाधाओं का सामना करते हैं:

डेटा की कमी (Data Scarcity): बड़े पैमाने पर, उच्च-गुणवत्ता वाले वास्तविक दुनिया के रोबोटिक प्रदर्शन (demonstrations) एकत्र करना महंगा, समय लेने वाला और खतरनाक है।
वर्तमान को-ट्रेनिंग की सीमाएँ: मौजूदा विधियाँ जो सिमुलेशन और वास्तविक डेटा को जोड़ती हैं, मुख्य रूप से सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) (इमिटेशन लर्निंग) पर निर्भर करती हैं। ये विधियाँ सिमुलेशन को प्रदर्शनों के एक स्थिर स्रोत के रूप में मानती हैं। वे सिमुलेशन के मुख्य लाभ का लाभ उठाने में विफल रहती हैं: स्केलेबल, क्लोज्ड-लूप इंटरेक्शन (closed-loop interaction) का समर्थन करने की क्षमता। परिणामस्वरूप, SFT-आधारित को-ट्रेनिंग डिस्ट्रीब्यूशन शिफ्ट के तहत संचयी त्रुटियों (compounding errors) से ग्रस्त होती है और अक्सर नवीन दृश्यों या कार्य विविधताओं में सामान्यीकरण करने में विफल रहती है। इसके अलावा, शुद्ध सिमुलेशन-आधारित सुदृढीकरण शिक्षण (Reinforcement Learning - RL) अक्सर सिम-टू-रियल गैप और वास्तविक दुनिया के व्यवहारों के विनाशकारी विस्मरण (catastrophic forgetting) के कारण वास्तविक दुनिया में स्थानांतरित होने में विफल रहता है।

2. कार्यप्रणाली: RL-Co फ्रेमवर्क (Methodology: RL-Co Framework)

लेखक RL-Co का प्रस्ताव करते हैं, जो एक दो-चरणीय फ्रेमवर्क है जो इंटरैक्टिव सिमुलेशन का लाभ उठाता है और साथ ही नीति (policy) को वास्तविक दुनिया की क्षमताओं के साथ स्थिर (anchor) करता है।

चरण I: इनिशियलाइजेशन के लिए SFT को-ट्रेनिंग (Stage I: SFT Co-Training for Initialization)

लक्ष्य: नीति को वास्तविक दुनिया के ज्ञान और सिमुलेशन डायनेमिक्स दोनों में एक मजबूत आधार के साथ इनिशियलाइज करना।
प्रक्रिया: प्री-ट्रेंड VLA मॉडल को वास्तविक दुनिया के प्रदर्शनों ( $D_{real}$ ) और सिमुलेटेड प्रदर्शनों ( $D_{sim}$ ) के मिश्रण का उपयोग करके फाइन-ट्यून किया जाता है।
उद्देश्य: एक भारित (weighted) SFT लॉस को कम करना:
$L_{SFT}(\theta) = \alpha L_{SFT}(\theta; D_{sim}) + (1 - \alpha) L_{SFT}(\theta; D_{real})$
उद्देश्य: यह चरण कार्य-विशिष्ट वास्तविक दुनिया के ज्ञान को इंजेक्ट करता है और यह सुनिश्चित करता है कि नीति में सिमुलेशन में एक गैर-तुच्छ (non-trivial) सफलता दर हो, जिससे RL के लिए एक स्थिर शुरुआती बिंदु प्राप्त होता है।

चरण II: रियल-रेगुलराइज्ड RL को-ट्रेनिंग (Stage II: Real-Regularized RL Co-Training)

लक्ष्य: वास्तविक दुनिया की क्षमताओं को खोने से बचाते हुए, सिमुलेशन वातावरण में इंटरैक्टिव एक्सप्लोरेशन के माध्यम से नीति के प्रदर्शन में सुधार करना।
प्रक्रिया: नीति सिमुलेशन वातावरण के भीतर सुदृढीकरण शिक्षण (जैसे PPO या Flow-आधारित RL) से गुजरती है।
मुख्य नवाचार: कैटास्ट्रोफिक फॉरगेटिंग (जहाँ मॉडल सिमुलेशन रिवार्ड्स के लिए अनुकूलन करते समय वास्तविक दुनिया के व्यवहारों को भूल जाता है) को कम करने के लिए, RL अपडेट स्टेप के दौरान वास्तविक डेटा ( $D_{real}$ ) का उपयोग करके एक सहायक सुपरवाइज्ड लॉस (auxiliary supervised loss) जोड़ा जाता है।
उद्देश्य: कुल लॉस फंक्शन RL ऑब्जेक्टिव ( $L_{RL}$ ) और रियल-वर्ल्ड रेगुलराइजेशन टर्म को जोड़ता है:
$L_{total} = L_{RL} + \beta L_{SFT}(\theta; D_{real})$
जहाँ $\beta$ , सिमुलेशन में एक्सप्लोरेशन और वास्तविक दुनिया के व्यवहार के संरक्षण के बीच संतुलन बनाता है।

3. मुख्य योगदान (Key Contributions)

नया प्रतिमान (Novel Paradigm): यह शोध पत्र स्थिर इमिटेशन (SFT-आधारित को-ट्रेनिंग) से इंटरैक्टिव को-ट्रेनिंग की ओर एक बदलाव पेश करता है, जो वास्तविक डेटा के साथ नीति को ग्राउंड (ground) करते हुए सिमुलेशन स्पेस को सक्रिय रूप से एक्सप्लोर करने के लिए RL का उपयोग करता है।
कैटास्ट्रोफिक फॉरगेटिंग का शमन: लेखक एक सरल लेकिन प्रभावी तंत्र (RL के दौरान वास्तविक डेटा पर सहायक SFT लॉस) का प्रस्ताव करते हैं ताकि नीति को एंकर किया जा सके, यह सुनिश्चित करते हुए कि सिमुलेशन सुधारों से वास्तविक दुनिया के प्रदर्शन में गिरावट न आए।
सामान्य आर्किटेक्चर: यह फ्रेमवर्क मॉडल-एग्नोस्टिक है और इसे दो अलग-अलग VLA आर्किटेक्चर पर मान्य किया गया है: OpenVLA (नेक्स्ट-टोकन प्रेडिक्शन) और $\pi_0.5$ (फ्लो-मैचिंग आधारित)।
स्केलेबिलिटी: यह विधि प्रदर्शित करती है कि उच्च-फिडेलिटी सिम-टू-रियल ट्रांसफर अनिवार्य नहीं है; यहाँ तक कि दृश्य विसंगतियों (visual discrepancies) के बावजूद, RL की इंटरैक्टिव प्रकृति और वास्तविक-डेटा एंकरिंग मिलकर बेहतर परिणाम देती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस फ्रेमवर्क का मूल्यांकन फ्रैंका एमिका पांडा (Franka Emika Panda) रोबोट का उपयोग करके चार टेबलटॉप मैनिपुलेशन कार्यों (Pick and Place, Push Cube, Open Drawer, Close Drawer) पर किया गया।

प्रदर्शन में वृद्धि (Performance Gains):
- OpenVLA: RL-Co ने वास्तविक-केवल फाइन-ट्यूनिंग की तुलना में वास्तविक दुनिया की सफलता दर में 24% की पूर्ण (absolute) सुधार हासिल किया।
- $\pi_0.5$ : RL-Co ने वास्तविक-केवल फाइन-ट्यूनिंग पर 20% का पूर्ण सुधार प्राप्त किया।
- RL-Co ने सभी कार्यों और मॉडलों में "Real-Only SFT" और "SFT-आधारित Sim-Real Co-Training" दोनों को लगातार पीछे छोड़ दिया।
सामान्यीकरण (Generalization):
- अनदेखे ऑब्जेक्ट श्रेणियों और अनदेखे प्रारंभिक अवस्थाओं के तहत, RL-Co ने काफी अधिक मजबूती दिखाई। उदाहरण के लिए, अनदेखे ऑब्जेक्ट्स के साथ $\pi_0.5$ मॉडल पर, RL-Co के लिए सफलता दर में केवल 25% की गिरावट आई, जबकि Real-Only ट्रेनिंग के लिए यह गिरावट 47% थी।
डेटा दक्षता (Data Efficiency):
- RL-Co ने उत्कृष्ट डेटा दक्षता प्रदर्शित की। केवल 20 वास्तविक-दुनिया के प्रदर्शनों के साथ प्रशिक्षित RL-Co मॉडल, 200 वास्तविक-दुनिया के प्रदर्शनों के साथ प्रशिक्षित बेसलाइन विधियों से बेहतर प्रदर्शन करता है।
एब्लेशन अध्ययन (Ablation Studies):
- चरण I की आवश्यकता: (सिमुलेशन SFT इनिशियलाइजेशन के बिना) सीधे एक रियल-ओनली पॉलिसी से RL शुरू करने के परिणामस्वरूप सिमुलेशन में लगभग शून्य सैंपल एफिशिएंसी देखी गई।
- रेगुलराइजेशन की आवश्यकता: चरण II के दौरान वास्तविक-विश्व SFT लॉस को हटाने से वास्तविक दुनिया की सफलता में भारी गिरावट (~81% से ~40%) आई, जो कैटास्ट्रोफिक फॉरगेटिंग को रोकने में रेगुलराइजेशन टर्म की महत्वपूर्ण भूमिका की पुष्टि करता है।

5. महत्व और प्रभाव (Significance and Impact)

इमिटेशन से परे (Beyond Imitation): यह शोध पत्र सिद्ध करता है कि VLA मॉडल स्थिर इमिटेशन लर्निंग की सीमाओं से ऊपर उठ सकते हैं, बशर्ते कि प्रशिक्षण को वास्तविक दुनिया के डेटा द्वारा एंकर किया जाए।
व्यावहारिक तैनाती (Practical Deployment): महंगे वास्तविक दुनिया के प्रदर्शनों पर निर्भरता को काफी कम करके, RL-Co मजबूत VLA मॉडल तैनात करने के लिए एक स्केलेबल मार्ग प्रदान करता है।
गैप को पाटना (Bridging the Gap): यह सिमुलेशन की विजुअल फिडेलिटी को पूर्ण करने के बजाय, सिमुलेशन का उपयोग पॉलिसी ऑप्टिमाइजेशन के लिए और वास्तविक डेटा का उपयोग पॉलिसी एंकरिंग के लिए करके "सिम-टू-रियल" गैप को संबोधित करता है, जो जटिल मैनिपुलेशन कार्यों के लिए एक अधिक व्यावहारिक दृष्टिकोण है।

संक्षेप में, RL-Co VLA मॉडल को प्रशिक्षित करने के लिए एक नया मानक स्थापित करता है, यह प्रदर्शित करते हुए कि सिमुलेशन-आधारित इंटरेक्शन और वास्तविक-विश्व रेगुलराइजेशन का संयोजन ऐसी नीतियां प्रदान करता है जो केवल इमिटेशन द्वारा प्रशिक्षित नीतियों की तुलना में अधिक सफल, अधिक सामान्यीकरण योग्य और अधिक डेटा-कुशल होती हैं।