🤖 AI

RePO-VLA: Recovery-Driven Policy Optimization for Vision-Language-Action Models

RePO-VLA एक रिकवरी-ड्रिवन पॉलिसी ऑप्टिमाइज़ेशन फ्रेमवर्क है जो विजन-लैंग्वेज-एक्शन मॉडल्स के लिए है, जो सफलता, विफलता और रिकवरी ट्रेजेक्टरीज के बीच अंतर करके लॉन्ग-होरइज़न, कॉन्टैक्ट-रिच मैनिपुलेशन में मजबूती को बढ़ाता है ताकि एक वैल्यू-कंडीशन्ड पॉलिसी को प्रशिक्षित किया जा सके जो बिना किसी ऑनलाइन फेल्योर डिटेक्टर के स्वायत्त रूप से निष्पादन ड्रिफ्ट (execution drift) को ठीक करने में सक्षम हो।

मूल लेखक: Weijia Liufu, Xiaoyu Guo, Ruiyi Chen, Jingzhi Liu, Kaidong Zhang, Xiwen Liang, Jianqi Lin, Dawei Sun, Yuze Wang, Rongtao Xu, Bingqian Lin, Bowen Yang, Tongtong Cao, Bowen Peng, Dongyu Zhang, Guangrun

प्रकाशित 2026-05-12

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Weijia Liufu, Xiaoyu Guo, Ruiyi Chen, Jingzhi Liu, Kaidong Zhang, Xiwen Liang, Jianqi Lin, Dawei Sun, Yuze Wang, Rongtao Xu, Bingqian Lin, Bowen Yang, Tongtong Cao, Bowen Peng, Dongyu Zhang, Guangrun Wang, Min Wang, Liang Lin, Xiaodan Liang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को जटिल भोजन बनाना या एक नाजुक तौलिया मोड़ना सिखा रहे हैं। आप उसे एक वीडियो दिखाते हैं जिसमें एक इंसान इसे पूरी तरह से कर रहा है। रोबोट वीडियो देखता है, सीखता है और आपकी नकल करने की कोशिश करता है।

समस्या: "परफेक्ट रेसिपी" का जाल
वर्तमान रोबट (जिन्हें विजन-लैंग्वेज-एक्शन मॉडल कहा जाता है) परफेक्ट वीडियो की नकल करने में बहुत अच्छे होते हैं। लेकिन जीवन अव्यवस्थित है। यदि रोबोट एक चम्मच गिरा देता है, गीले फर्श पर फिसल जाता है, या एक कप को अजीब कोण पर पकड़ लेता है, तो वह भ्रमित हो जाता है। क्योंकि उसे केवल परफेक्ट वीडियो पर प्रशिक्षित किया गया था, इसलिए उसे नहीं पता कि गलत होने पर क्या करना है। वह बस मूल "परफेक्ट" स्क्रिप्ट का पालन करने की कोशिश करता रहता है, भले ही स्थिति बदल गई हो, जिससे दुर्घटना हो जाती है। यह उस ड्राइवर की तरह है जिसने केवल खाली हाईवे पर गाड़ी चलाना सीखा है; जैसे ही कोई गड्ढा आता है, उसे नहीं पता कि स्टीयरिंग कैसे घुमाना है।

समाधान: RePO-VLA (द रिकवरी कोच)
यह शोध पत्र एक नई विधि पेश करता है जिसे RePO-VLA कहा जाता है। केवल रोबोट को परफेक्ट वीडियो दिखाने के बजाय, यह तरीका रोबोट को तीन विशिष्ट चीजें सिखाता है:

सफलता (Success): इसे सही तरीके से कैसे करें।
विफलता (Failure): जब चीजें गलत होती हैं तो क्या होता है।
रिकवरी (Recovery): गलती को कैसे सुधारें और वापस पटरी पर कैसे आएं।

इसे एक जिम्नास्ट को प्रशिक्षित करने की तरह समझें। आप उन्हें केवल एक परफेक्ट लैंडिंग नहीं दिखाते। आप उन्हें यह भी दिखाते हैं कि वे गिरते हैं, और फिर उन्हें खुद को संभालकर वापस उठते हुए भी दिखाते हैं। रोबोट सीखता है कि गिरना दुनिया का अंत नहीं है; यह केवल रणनीति बदलने का एक संकेत है।

यह कैसे काम करता है: तीन सरल चरण

"फ्रेश स्टार्ट" ट्रिक (रिकवरी-अवेयर इनिशियलाइजेशन)
जब कोई रोबोट गिरता है, तो वह अक्सर उस गलती को याद रखता है जिसके कारण वह गिरा था। यदि आप उसे समस्या ठीक करने के लिए कहते हैं, तो वह अपनी गलती को अपने दिमाग में दोहराने में फंस सकता है।

समाधान: RePO-VLA वीडियो के "रिकवरी" वाले हिस्से को लेता है और "गलती" वाले हिस्से को काट देता है। यह सुधार शुरू होने से ठीक पहले रोबोट की मेमोरी को रीसेट कर देता है। यह रोबोट को यह बताने जैसा है, "कैसे गिरे उसे भूल जाओ। बस यह देखो कि तुम अभी कहाँ हो और वापस कैसे उठना है, यह पता लगाओ।" यह रोबोट को गिरने के कारण और समाधान के बीच भ्रमित होने से रोकता है।

"प्रोग्रेस थर्मामीटर" (सिमेंटिक वैल्यू फंक्शन)
यह सिस्टम वीडियो के हर क्षण को एक "स्कोर" देता है।

हाई स्कोर (1.0): आप लक्ष्य की ओर बढ़ रहे हैं।
लो स्कोर (0.0): आप लक्ष्य से दूर जा रहे हैं या दुर्घटना होने वाली है।
जादू: यदि रोबोट फिसलता है, तो स्कोर गिर जाता है। लेकिन यदि वह फिसलन को ठीक करने लगता है, तो स्कोर वापस ऊपर चला जाता है। रोबोट इस "थर्मामीटर" को देखना सीखता है। यदि स्कोर कम है, तो वह जानता है कि अपना वर्तमान प्लान रोकना है और स्कोर को वापस हाई करने के लिए एक अलग चाल चलनी है। वह यह अंतर करना सीख जाता है कि "कड़ी मेहनत कर रहा हूँ पर असफल हो रहा हूँ" और "वास्तव में समस्या को ठीक कर रहा हूँ" के बीच।

"गोल-ओरिएंटेड" ड्राइव (वैल्यू-कंडीशन्ड रिफाइनमेंट)
जब रोबोट वास्तव में वास्तविक दुनिया में काम कर रहा होता है, तो सिस्टम उसे कहता है: "उच्चतम संभव स्कोर (1.0) के लिए लक्ष्य रखें।"

यदि रोबोट रास्ते से भटक जाता है, तो "स्कोर" गिर जाता है। क्योंकि रोबोट को हाई स्कोर के पीछे भागने के लिए प्रशिक्षित किया गया है, वह स्वचालित रूप से "रिकवरी मोड" में स्विच कर जाता है ताकि सुरक्षित पथ पर वापस आ सके। उसे किसी इंसान द्वारा "रुको!" चिल्लाने या किसी विशेष सेंसर द्वारा क्रैश का पता लगाने की आवश्यकता नहीं होती। वह बस स्कोर को गिरते हुए देखता है और सहज रूप से खुद को ठीक करता है।

परीक्षण: FRBench
यह साबित करने के लिए कि यह काम करता है, शोधकर्ताओं ने FRBench नामक एक परीक्षण बनाया। कल्पना कीजिए कि एक वीडियो गेम है जहाँ रोबोट पानी डालने या तौलिया मोड़ने की कोशिश कर रहा है, लेकिन गेम मास्टर चुपके से रोबोट को धक्का देता है या वस्तु को फिसलने देता है।

पुराने रोबोट: धक्का दिए जाने पर, वे हवा में पानी डालने की कोशिश करते रहे या तौलिया गलत तरीके से मोड़ते रहे, जिससे अंततः वे विफल हो गए।
RePO-VLA रोबोट: धक्का दिए जाने पर, इसने महसूस किया कि स्कोर गिर रहा है, इसने खराब मूव को रोका, और पानी डालने या तौलिया मोड़ने का एक नया तरीका खोजा, और सफलतापूर्वक कार्य पूरा किया।

परिणाम
परीक्षणों में, पुराने रोबोट चीजें गलत होने पर केवल 20% बार सफल होते थे। नया RePO-VLA रोबोट लगभग 75% बार सफल रहा। वास्तविक रोबोटों के साथ वास्तविक दुनिया के परीक्षणों में, इसने 80% तक सफलता प्राप्त की।

संक्षेप में
RePO-VLA रोबोट को सिखाता है कि विफलता केवल डेटा है। गलतियों को तोड़कर, यादों को रीसेट करके और रोबोट को एक "स्कोर" के पीछे भागने के लिए देकर, यह एक नाजुक रोबोट को एक लचीले रोबोट में बदल देता है जो अपनी समस्याओं को खुद ठीक कर सकता है। यह एक ऐसे छात्र के बीच का अंतर है जो उत्तर कुंजी रट लेता है और एक ऐसे छात्र के बीच का अंतर है जो यह सीखता है कि प्रश्न बदलने पर भी समस्या को कैसे हल किया जाए।

तकनीकी सारांश: RePO-VLA

समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज-एक्शन (VLA) मॉडल सामान्य-उद्देश्य वाले रोबोट नियंत्रण में उन्नत हुए हैं, लेकिन वे दीर्घ-क्षित (long-horizon), संपर्क-समृद्ध (contact-rich) हेरफेर कार्यों में अभी भी नाजुक बने हुए हैं। वर्तमान दृष्टिकोण सफल प्रदर्शनों (demonstrations) पर अत्यधिक सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) पर निर्भर करते हैं, जिससे एक "विफलता-उपयोग अंध बिंदु" (failure-utilization blind spot) उत्पन्न होता है। जब निष्पादन विचलन (execution drift) होता है—जैसे ग्रैस्प पोज विचलन, वस्तु का फिसलना, या समय संबंधी त्रुटियां—तो मानक VLA के पास सुधार करने के लिए पर्याप्त पर्यवेक्षण (supervision) का अभाव होता है। इसके अलावा, मौजूदा विधियाँ अक्सर विफल रोलआउट्स को पूरी तरह से त्याग देती हैं, यह अनदेखा करते हुए कि उनके प्रारंभिक चरणों में वैध दृष्टिकोण व्यवहार (approach behaviors) हो सकते हैं। इसके विपरीत, पूरे रिकवरी प्रक्षेप पथों (recovery trajectories) की लापरवाही से नकल करना (जिसमें विफलता का इतिहास और सुधारात्मक क्रियाएं दोनों शामिल हैं) 'कॉज़ल कन्फ्यूजन' (causal confusion) की ओर ले जाता है, जहाँ नीति (policy) वर्तमान प्रतिकूल स्थिति पर प्रतिक्रिया करने के बजाय, पिछले त्रुटिपूर्ण इतिहास को रिकवरी एक्शन के साथ जोड़ने के लिए सीख लेती है।

कार्यप्रणाली: RePO-VLA (Methodology: RePO-VLA)

RePO-VLA (रिकवरी-ड्रिवन पॉलिसी ऑप्टिमाइजेशन फॉर विज़न-लैंग्वेज-एक्शन मॉडल) एक ढांचा है जिसे एक एकीकृत प्रगति संकेत (unified progress signal) के तहत सफल, विफल और रिकवरी प्रक्षेप पथों से सीखने के लिए डिज़ाइन किया गया है। यह दो विशिष्ट चरणों में संचालित होता है:

1. रिकवरी-अवेयर इनिशियलाइजेशन (RAI)

पहला चरण "कॉज़ल कन्फ्यूजन" की समस्या को संबोधित करता है जहाँ एक नीति यह सीख सकती है कि एक विशिष्ट विफलता इतिहास रिकवरी के लिए एक आवश्यक ट्रिगर है।

हिस्ट्री रिसेट के साथ प्रक्षेप पथ स्लाइसिंग (TSHR): मूल रिकवरी प्रक्षेप पथों को विफलता प्रीफिक्स (failure prefix) को हटाने के लिए स्लाइस किया जाता है। सुधारात्मक खंड के प्रारंभ में ऑब्जर्वेशन हिस्ट्री बफर को रीसेट कर दिया जाता है। यह नीति को रिकवरी को एक विशिष्ट गलती के पुनरावृत्ति के रूप में नहीं, बल्कि वर्तमान प्रतिकूल स्थिति (जैसे खाली ग्रिपर या गलत संरेखित वस्तु) के आधार पर एक स्थिति-सशर्त कौशल (state-conditioned skill) के रूप में सीखने के लिए मजबूर करता है।
प्रशिक्षण (Training): नीति को विशेषज्ञ प्रदर्शनों और इन रिसेट रिकवरी खंडों ( $D_{expert} \cup D_{reset}^{rec}$ ) के मिश्रण पर फाइन-ट्यून किया जाता है, जो नाममात्र के अनुकरण (nominal imitation) और रिकवरी लर्निंग के बीच संतुलन बनाता है।

2. वैल्यू-कंडीशन्ड रिफाइनमेंट (VCR)

दूसरा चरण पूर्ण रोलिंग हिस्ट्री (विफलता प्रीफिक्स सहित) को बहाल करता है और उपयोगी, ड्रिफ्टिंग और सुधारात्मक व्यवहारों के बीच अंतर करने के लिए एक सघन सेमेंटिक वैल्यू सिग्नल पेश करता है।

प्रोग्रेस-अवेयर सेमेंटिक वैल्यू फंक्शन (PAS-VF): एक हल्का एडॉप्टर नेटवर्क स्पैटियो-टेम्पोरल वीडियो फीचर्स को एक साझा सेमेंटिक मैनिफोल्ड में लैंग्वेज इंस्ट्रक्शन्स के साथ संरेखित करता है। यह वर्तमान प्रक्षेप पथ प्रीफिक्स और सफल संदर्भ प्रक्षेप पथों के क्लस्टर के बीच कोसाइन सिमिलरिटी को मापकर कार्य प्रगति का अनुमान लगाने के लिए सीखता है।
सघन लेबलिंग (Dense Labeling):
- सफलता/रिकवरी: प्रगति बनाए रखने या बहाल करने वाले फ्रेम्स को $v_t = 1.0$ के रूप में लेबल किया जाता है।
- त्रुटि खंड (Error Segments): प्रतिकूल स्थितियों की ओर ले जाने वाले प्रीफिक्स को $v_t = 0.0$ के रूप में लेबल किया जाता है ताकि उन्हें सुधारात्मक क्रियाओं के साथ औसत (averaging) न किया जाए।
- शुद्ध विफलताएं (Pure Failures): शुरुआती काइनेमैटिक प्रायर्स (kinematic priors) को एक रिलायबिलिटी डिके मैकेनिज्म ( $v_t = V(\tau_{fail}) \cdot (1 - t/T)^\alpha$ ) के माध्यम से संरक्षित किया जाता है, जबकि टर्मिनल ब्रेकडाउन को कम महत्व दिया जाता है।
वैल्यू-कंडीशन्ड ट्रेनिंग: नीति को एक वैल्यू टोकन ( $e_{val}$ ) के साथ संवर्धित किया जाता है जो सघन लेबल से प्राप्त होता है। प्रशिक्षण के दौरान, नीति वांछित वैल्यू के आधार पर अलग-अलग एक्शन मोड में मैप करने के लिए समान प्रतिकूल ऑब्जर्वेशन और हिस्ट्री को सीखती है।
डिप्लॉयमेंट (Deployment): अनुमान (inference) के समय, नीति मानक रोलिंग हिस्ट्री बफर (बिना रिसेट के) का उपयोग करती है, लेकिन वैल्यू टोकन को $v = 1.0$ पर स्थिर रखती है। यह एक्शन डिस्ट्रीब्यूशन को सीखे गए "सफलता मैनिफोल्ड" की ओर पक्षपाती बनाता है, जिससे ऑनलाइन फेलियर डिटेक्टर या ह्यूरिस्टिक रिट्राय नियमों के बिना स्वायत्त रिकवरी संभव होती है।

मुख्य योगदान (Key Contributions)

RePO-VLA फ्रेमवर्क: एक दो-चरणीय (RAI + VCR) आर्किटेक्चर जो विफल रोलआउट्स का संरचनात्मक रूप से पुन: उपयोग करता है। यह हिस्ट्री रिसेटिंग के माध्यम से कॉज़ल कन्फ्यूजन को समाप्त करता है और सघन प्रोग्रेस लेबल के माध्यम से वैल्यू-डिफरेंशिएटेड एक्शन्स को सक्षम बनाता है।
FRBench: एक नया बेंचमार्क जो स्टैंडर्डाइज्ड एरर इंजेक्शन (E1–E4: समयपूर्व क्लोज, ग्रैस्प स्लिप, पोजीशन ऑफसेट, ओरिएंटेशन मिसमैच) के साथ रिकवरी मूल्यांकन की सुविधा देता है और एक चरण-आधारित प्रोटोकॉल प्रदान करता है जो सिमुलेशन (RoboTwin) और वास्तविक दुनिया के द्विपक्षीय (bimanual) कार्यों में नाममात्र दक्षता को सुधारात्मक क्षमता से अलग करता है।
अनुभवजन्य सत्यापन (Empirical Validation): यह प्रदर्शित किया गया कि स्पष्ट रिकवरी पर्यवेक्षण और सघन वैल्यू मार्गदर्शन मजबूती में काफी सुधार करता है। पेपर एक सकारात्मक स्केलिंग ट्रेंड दिखाता है जहाँ रिकवरी डेटा का घनत्व बढ़ाने से प्रदर्शन में और सुधार होता है।

प्रयोगात्मक परिणाम (Experimental Results)

सिमुलेशन (FRBench-Sim): 46 द्विपक्षीय कार्यों में, RePO-VLA ने इंजेक्ट की गई विफलताओं के तहत बेसलाइन्स ( $\pi_0, \pi_0.5,$ और $RDT$ सहित) को महत्वपूर्ण रूप से पीछे छोड़ दिया। एडवर्सरियल परटर्बेशन्स के साथ रैंडमाइज्ड सेटिंग्स में, RePO-VLA ने 43.0% की औसत सफलता दर हासिल की, जबकि $\pi_0.5$ बेसलाइन के लिए यह 15.4% थी।
वास्तविक दुनिया का मूल्यांकन: डोबोट X-ट्रेनर आर्म्स पर पानी डालने, खाना पकाने और तौलिया मोड़ने जैसे कार्यों के लिए परीक्षण किया गया।
- एडवर्सरियल परटर्बेशन्स के तहत, बेसलाइन $\pi_0.5$ ने 20.0% सफलता प्राप्त की, जबकि RePO-VLA (केवल फेज I) ने 37.5% तक पहुँच प्राप्त की।
- डेटा स्केलिंग: रिकवरी डेटा घनत्व को 1x से 4x तक बढ़ाने से प्रदर्शन में और सुधार हुआ। फुल (4x) वेरिएंट ने एडवर्सरियल स्थितियों के तहत 75% सफलता प्राप्त की, जो फेज I बेसलाइन से बेहतर है और यह दर्शाता है कि विफलता-रिकवरी पड़ोस का सघन कवरेज महत्वपूर्ण है।
एब्लेशन स्टडीज (Ablation Studies): पुष्टि की गई कि कॉज़ल कन्फ्यूजन को रोकने के लिए हिस्ट्री रिसेटिंग (TSHR) आवश्यक है और वैल्यू कंडीशनिंग ( $v=1.0$ ) एक स्थिर कंट्रोल सिग्नल प्रदान करती है जो ह्यूरिस्टिक रिट्राय से बेहतर है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि RePO-VLA विफलताओं के उपयोग के तरीके को मौलिक रूप से बदलकर वर्तमान VLA मॉडलों की नाजुकता को संबोधित करता है। विफलताओं को केवल त्याग देने या रिकवरी एपिसोड को समान रूप से सकारात्मक मानने के बजाय, यह ढांचा उन्हें अलग-अलग सेमेंटिक भूमिकाओं में विभाजित करता है:

विफलताओं के उपयोगी प्रीफिक्स को काइनेमैटिक प्रायर्स के रूप में बनाए रखा जाता है।
टर्मिनल ब्रेकडाउन को सुरक्षित रूप से कम महत्व दिया जाता है।
सुधारात्मक क्रियाओं को एक स्थिति-सशर्त कौशल के रूप में सीखा जाता है, जो उस विशिष्ट विफलता इतिहास से स्वतंत्र है जिसने उन्हें प्रेरित किया था।

लेखकों का तर्क है कि यह दृष्टिकोण एक एकल नीति को मॉड्यूल बदलने या बाहरी फेलियर डिटेक्टरों पर निर्भर रहने के बिना, नाममात्र निष्पादन और स्वायत्त रिकवरी दोनों को संभालने की अनुमति देता है। परिणाम बताते हैं कि विश्वसनीय दीर्घ-क्षित हेरफेर के लिए, विशेष रूप से संपर्क-समृद्ध वातावरण में, ड्रिफ्ट से उबरने की क्षमता नाममात्र योजना को निष्पादित करने की क्षमता जितनी ही महत्वपूर्ण है, और इस क्षमता को मिश्रित-गुणवत्ता वाले इंटरैक्शन डेटा से सीधे सीखा जा सकता है।