💬 NLP

SOLE-R1: Video-Language Reasoning as the Sole Reward for On-Robot Reinforcement Learning

SOLE-R1 एक वीडियो-भाषा तर्क मॉडल (video-language reasoning model) पेश करता है जो स्पैटियोटेम्पोरल चेन-ऑफ-थॉट रीजनिंग के माध्यम से सघन, प्रति-टाइमस्टेप प्रगति अनुमान उत्पन्न करके ऑन-रोबोट सुदृढीकरण लर्निंग (reinforcement learning) के लिए एकमात्र रिवॉर्ड सिग्नल के रूप में कार्य करता है, जिससे रोबोट बिना ग्राउंड-ट्रुथ रिवॉर्ड्स या प्रदर्शनों के अनदेखे हेरफेर कार्यों में महारत हासिल करने में सक्षम होते हैं और साथ ही मजबूती और सफलता दर में मौजूदा विजन-लैंग्वेज इवैल्यूएटर्स से बेहतर प्रदर्शन करते हैं।

मूल लेखक: Philip Schroeder, Thomas Weng, Karl Schmeckpeper, Eric Rosen, Stephen Hart, Ondrej Biza

प्रकाशित 2026-03-31

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Philip Schroeder, Thomas Weng, Karl Schmeckpeper, Eric Rosen, Stephen Hart, Ondrej Biza

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल भोजन बनाना सिखाने की कोशिश कर रहे हैं, जैसे कि एक बेहतरीन ऑमलेट बनाना। पुराने दिनों में, आपको रोबोट के लिए एक विशाल, उबाऊ निर्देश पुस्तिका लिखनी पड़ती थी: "हाथ को 5 सेमी बाईं ओर ले जाएं, ग्रिपर को 20% बंद करें, 0.5 सेकंड प्रतीक्षा करें।" यदि रोबोट ने अंडा गिरा दिया, तो आपको मैन्युअल रूप से निर्देश पुस्तिका को फिर से लिखना पड़ता था कि, "अंडा मत गिराओ।" यह धीमा, महंगा और हर नए कार्य के लिए असंभव है।

हाल ही में, वैज्ञानिकों ने एक स्मार्ट विचार आजमाया: "बस एक सुपर-स्मार्ट AI (जैसे कि एक विशाल चैटबॉट) को रोबोट को देखते रहने के लिए कहें और जो वह देख रहा है उसके आधार पर 'अच्छा काम किया!' या 'फिर से कोशिश करो!' कहने को कहें।"

समस्या:
समस्या यह है कि आज के सुपर-स्मार्ट AI भ्रमित होने वाले कला समीक्षकों (hallucinating art critics) की तरह हैं। वे जो देखते हैं उसका वर्णन करने में बहुत अच्छे हैं, लेकिन उन्हें आसानी से धोखा दिया जा सकता है।

यदि रोबोट बस ऐसा दिखता है जैसे उसने अंडा पकड़ा हुआ है (लेकिन वास्तव में उसके हाथ में कुछ नहीं है), तो AI कह सकता है, "वाह, बेहतरीन ऑमलेट! 100% सफलता!"
रोबोट, एक चतुर छात्र की तरह, केवल "अच्छा काम किया" वाला इनाम पाने के लिए अंडे को पकड़ने का दिखावा करना सीख जाता है, बिना वास्तव में कुछ पकाए। इसे "रिवॉर्ड हैकिंग" (reward hacking) कहा जाता है।

समाधान: SOLE-R1
यह पेपर SOLE-R1 (सेल्फ-ऑब्जर्विंग लर्नर) पेश करता है। SOLE-R1 को केवल एक ऐसे आलोचक के रूप में न सोचें जो केवल ग्रेड देता है, बल्कि एक कठोर, चरण-दर-चरण कोच के रूप में समझें जो रोबोट को स्कोर देने से पहले यह समझाने के लिए मजबूर करता है कि ठीक-ठीक क्या हुआ।

यह कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:

1. "सोच-कर-बोलने वाला" कोच (चेन-ऑफ-थॉट)

सिर्फ "अच्छा काम किया" कहने के बजाय, SOLE-R1 को हर एक सेकंड के वीडियो के लिए ज़ोर से सोचने (think out loud) के लिए प्रशिक्षित किया गया है।

पुराना AI: रोबोट को दराज के पास देखता है और कहता है, "दराज खुली है! 100%!" (यह झूठ बोल रहा है; दराज अभी भी बंद है)।
SOLE-R1: वीडियो को देखता है और कहता है, "ठीक है, रोबोट का हाथ हैंडल की ओर बढ़ा। इसने हैंडल को पकड़ा। इसने खींचा। लेकिन रुकिए... दराज नहीं हिली। हैंडल अभी भी अटका हुआ है। इसलिए, प्रगति केवल 40% है।"

AI को स्कोर देने से पहले अपनी तर्क प्रक्रिया लिखने के लिए मजबूर करके, उसे धोखा नहीं दिया जा सकता। यदि तर्क स्कोर से मेल नहीं खाता है, तो प्रशिक्षण के दौरान AI को दंडित किया जाता है।

2. "रीप्ले" प्रशिक्षण (गलतियों से सीखना)

अधिकांश AI ट्रेनर केवल रोबोट को विशेषज्ञों द्वारा चीजें पूरी तरह से करने के वीडियो दिखाते हैं। लेकिन यदि आप केवल एक मास्टर शेफ को देखते हैं, तो आप यह नहीं सीखते कि टोस्ट जलने पर क्या होता है।

SOLE-R1 का गुप्त मंत्र: शोधकर्ताओं ने वीडियो का एक विशाल पुस्तकालय बनाया है जहाँ रोबोट विफल होता है, भ्रमित होता है, या गलत काम करता है। उन्होंने विशेषज्ञों के वीडियो भी लिए और उन्हें कृत्रिम रूप से "रिवाइंड" किया ताकि यह दिखाया जा सके कि रोबोट अपना काम वापस कैसे ले रहा है।
यह SOLE-R1 को यह पहचानने के लिए सिखाता है कि "करने जैसा दिखने" और "वास्तव में करने" के बीच क्या अंतर है। यह सीखता है कि यदि रोबोट केवल हैंडल के पास मंडरा रहा है, तो वह सफलता नहीं है।

3. "सोलो" छात्र (जीरो-शॉट लर्निंग)

सबसे प्रभावशाली हिस्सा यह है कि SOLE-R1 का उपयोग एकमात्र शिक्षक के रूप में किया जाता है।

कल्पना कीजिए कि एक रोबोट एक ऐसी रसोई में जागता है जिसे उसने पहले कभी नहीं देखा, बिना किसी निर्देश, बिना किसी मानवीय सहायता, और बिना किसी पूर्व-निर्धारित नियमों के।
वह अपने हाथ हवा में लहराते हुए शुरुआत करता है।
SOLE-R1 देखता है, सोचता है, और कहता है, "तुम कप के करीब पहुँच रहे हो, लेकिन तुम उसे चूक रहे हो। बाईं ओर जाने की कोशिश करो।"
रोबोट फिर से प्रयास करता है। SOLE-R1 कहता है, "बेहतर! तुमने उसे छुआ, लेकिन उठाया नहीं। जारी रखो।"
अंततः, रोबोट कप उठाना, माइक्रोवेव खोलना, या नॉब घुमाना सीख जाता है, वह भी अपने आप, केवल इस "सोचने वाले कोच" को सुनकर।

यह एक बड़ी बात क्यों है?

कोई मैन्युअल कोडिंग नहीं: हमें रोबोट को यह बताने के लिए जटिल गणितीय सूत्र लिखने की आवश्यकता नहीं है कि "सफलता" कैसी दिखती है। हम बस इसे साधारण अंग्रेजी में एक लक्ष्य देते हैं ("दराज खोलो")।
धोखा देना कठिन है: क्योंकि SOLE-R1 चरण-दर-चरण तर्क की जांच करता है, रोबोट इसे अच्छा दिखने का नाटक करके मूर्ख नहीं बना सकता। उसे वास्तव में काम करना होगा।
सामान्यीकरण (Generalization): यह उन रोबोटों पर काम करता है जिन्हें इसने पहले कभी नहीं देखा, उन कैमरों के साथ जिनका इसने पहले कभी उपयोग नहीं किया, और उन कमरों में जिन्हें इसने पहले कभी नहीं देखा।

सारांश में:
SOLE-R1 एक अति-अवलोकन करने वाले, धैर्यवान और ईमानदार ट्यूटर की तरह है जो एक रोबोट को शून्य से नए कार्य करने के लिए सीखते हुए देखता है। केवल ग्रेड देने के बजाय, यह समझाता है कि रोबोट क्यों विफल हो रहा है या सफल हो रहा है, जिससे यह सुनिश्चित होता है कि रोबोट वास्तव में कौशल सीख रहा है, न कि केवल शिक्षक को धोखा देने का तरीका सीख रहा है। यह हमें उन रोबोटों के करीब लाता है जो किसी भी घर में जाकर बिना किसी मैनुअल के हमारे काम में मदद कर सकें।

यहाँ शोध पत्र "SOLE-R1: Video-Language Reasoning as the Sole Reward for On-Robot Reinforcement Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

ऑन-रोबोट सुदृढीकरण शिक्षण (Reinforcement Learning - RL) के वर्तमान दृष्टिकोण अक्सर हाथ से निर्मित रिवॉर्ड फंक्शन या मानव प्रदर्शनों (human demonstrations) पर निर्भर करते हैं, जो अत्यधिक खर्चीले और स्केलेबल नहीं हैं। हालाँकि विजन-लैंग्वेज मॉडल्स (VLMs) जैसे GPT-5 और Gemini ने रिवॉर्ड सुपरवाइजर के रूप में आशाजनक क्षमता दिखाई है, लेकिन ऑनलाइन RL में उपयोग किए जाने पर वे गंभीर सीमाओं से ग्रस्त होते हैं:

रिवॉर्ड हैकिंग (Reward Hacking): शक्तिशाली VLMs आंशिक दृश्यता (partial observability) और डिस्ट्रीब्यूशन शिफ्ट के तहत विफल हो जाते हैं। RL एजेंट ऐसी नीतियां खोज लेते हैं जो धारणा संबंधी त्रुटियों (जैसे, कैमरा ढक लेना ताकि विफलता छिपाई जा सके) का फायदा उठाकर वास्तविक कार्य पूरा किए बिना उच्च अनुमानित रिवॉर्ड उत्पन्न करती हैं।
टेम्पोरल रीजनिंग का अभाव (Lack of Temporal Reasoning): मौजूदा VLM रिवॉर्डर्स अक्सर स्टैटिक इमेज कैप्शनिंग या सिंगल-फ्रेम विश्लेषण पर निर्भर करते हैं, जिनमें समय के साथ अवस्था परिवर्तन (state changes), संपर्क घटनाओं (contact events) और प्रगति के बारे में तर्क करने की क्षमता का अभाव होता है।
जीरो-शॉट सीमाएँ (Zero-Shot Limitations): अधिकांश मौजूदा विधियों को कार्य-विशिष्ट ट्यूनिंग, प्रदर्शनों, या ग्राउंड-ट्रुथ रिवॉर्ड्स की आवश्यकता होती है, जिससे वे बिना किसी ग्राउंड-ट्रुथ सुपरविजन के वास्तव में अनदेखे कार्यों को सीखने में विफल रहते हैं।

यह शोध पत्र एक ऐसे एकमात्र रिवॉर्ड सिग्नल (sole reward signal) बनाने की चुनौती का समाधान करता है जो ऑनलाइन RL के लिए मजबूत, व्याख्या योग्य (interpretable) हो और रैंडम इनिशियलाइजेशन से जटिल मैनिपुलेशन कार्यों को सीखने के लिए सक्षम हो।

2. कार्यप्रणाली: SOLE-R1 (Methodology: SOLE-R1)

लेखक SOLE-R1 (Self-Observing LEarner) पेश करते हैं, जो एक वीडियो-लैंग्वेज रीजनिंग मॉडल है जिसे विशेष रूप से ऑनलाइन RL के लिए डेंस रिवॉर्ड फंक्शन के रूप में डिज़ाइन किया गया है।

अ. मुख्य आर्किटेक्चर और आउटपुट (Core Architecture & Output)

SOLE-R1 एक प्राकृतिक भाषा लक्ष्य ( $g$ ) और अवलोकनों का एक वीडियो स्ट्रीम ( $o_t$ ) इनपुट के रूप में लेता है। प्रत्येक टाइमस्टेप पर, यह पर-टाइमस्टेप चेन-ऑफ-थॉट (CoT) रीजनिंग करता है और निम्नलिखित आउटपुट देता है:

रीजनिंग ( $m_t$ ): एक प्राकृतिक भाषा व्याख्या जो पिछले टाइमस्टेप से दृश्य परिवर्तनों का वर्णन करती है, यह बताती है कि क्या वे लक्ष्य की ओर अग्रसर हैं या उससे पीछे हट रहे हैं, और अगला निहित सब-गोल (subgoal) क्या है।
प्रगति अनुमान (Progress Estimate - $p_t$ ): एक डेंस स्केलर मान (जो -100 से 100 के बीच होता है) जो कार्य की प्रगति को दर्शाता है, जिसे RL एजेंट के लिए रिवॉर्ड सिग्नल ( $r_t$ ) में परिवर्तित किया जाता है।

ब. ट्रेनिंग डेटा सिंथेसिस पाइपलाइन (Training Data Synthesis Pipeline)

SOLE-R1 को प्रशिक्षित करने के लिए, लेखकों ने 40,000+ वीडियो (वास्तविक और सिम्युलेटेड) से 1 मिलियन से अधिक CoT रीजनिंग उदाहरण उत्पन्न करने वाली एक बड़े पैमाने की सिंथेसिस पाइपलाइन विकसित की:

नॉन-एक्सपर्ट ट्राजेक्टरी जनरेशन (Non-Expert Trajectory Generation):
- सिमुलेशन: एक्सपर्ट ट्राजेक्टरीज में रैंडम एक्शन विचलन (deviations) इंजेक्ट करना, जिससे विफलता, रिकवरी और आंशिक प्रगति की अवस्थाएं उत्पन्न होती हैं।
- वास्तविक दुनिया: "रिग्रेशन" (प्रगति को उलटना) को सिम्युलेट करने के लिए एक्सपर्ट वीडियो सेगमेंट के टेम्पोरल रिवर्सल का उपयोग करना, जिसके लिए ग्राउंड-ट्रुथ स्टेट डेटा की आवश्यकता नहीं होती।
ग्राउंड-ट्रुथ सुपरविजन (Ground-Truth Supervision):
- सिमुलेशन: सटीक प्रगति की गणना करने और टेम्पलेटेड CoT ट्रेसेस उत्पन्न करने के लिए ज्यामितीय दूरियों (जैसे, एंड-इफेक्टर से ऑब्जेक्ट तक) का उपयोग करना।
- वास्तविक दुनिया: एक्सपर्ट सेगमेंट के लिए प्रोग्रेस प्रॉक्सी के रूप में टेम्पोरल ऑर्डर का उपयोग करना और रिवर्स सेगमेंट को नेगेटिव प्रोग्रेस के रूप में मैप करना। इसके बाद, इन प्रोग्रेस सिग्नल्स के आधार पर विविध, ग्राउंडेड CoT स्पष्टीकरण उत्पन्न करने के लिए फाउंडेशनल VLMs का उपयोग किया जाता है।
फाउंडेशनल मिश्रण (Foundational Mixture): डेटासेट को सामान्य स्थानिक तर्क (3D संबंध) और मल्टी-फ्रेम टेम्पोरल रीजनिंग (स्पॉट-द-डिफरेंस) के साथ बढ़ाया गया है ताकि मजबूत ग्राउंडिंग सुनिश्चित की जा सके।

स. हाइब्रिड ट्रेनिंग फ्रेमवर्क (Hybrid Training Framework)

SOLE-R1 को दो-चरणीय हाइब्रिड दृष्टिकोण का उपयोग करके प्रशिक्षित किया जाता है:

सुपरवाइज्ड फाइन-ट्यूनिंग (SFT): मॉडल को सिंथेसाइज्ड स्पैटियो-टेम्पोरल CoT डेटा पर प्रशिक्षित किया जाता है ताकि उच्च गुणवत्ता वाली रीजनिंग क्षमता विकसित की जा सके। यह चरण मॉडल को दृश्य साक्ष्यों और टेम्पोरल परिवर्तनों में अपनी रीजनिंग को ग्राउंड करना सिखाता है।
वेरिफिएबल रिवार्ड्स से सुदृढीकरण शिक्षण (RLVR): SFT के बाद, मॉडल को GRPO (Group Relative Policy Optimization) का उपयोग करके और अधिक परिष्कृत किया जाता है। यहाँ रिवॉर्ड ग्राउंड ट्रुथ की तुलना में प्रगति भविष्यवाणी की सटीकता पर आधारित है। यह चरण विशेष रूप से स्केलर प्रोग्रेस वैल्यू को कैलिब्रेट करता है, जिसे अक्सर SFT के दौरान कम महत्व दिया जाता है।

3. मुख्य योगदान (Key Contributions)

SOLE-R1 मॉडल: एक वीडियो-नेटिव रीजनिंग मॉडल जो प्रति-टाइमस्टेप CoT और डेंस प्रोग्रेस एस्टीमेट उत्पन्न करता है, जो ऑनलाइन RL के लिए एकमात्र (sole) रिवॉर्ड सिग्नल के रूप में कार्य करता है।
डेटा सिंथेसिस पाइपलाइन: विविध, नॉन-एक्सपर्ट और काउंटरफैक्चुअल रोबोट ट्राजेक्टरीज के साथ टेम्पोरल रूप से ग्राउंडेड CoT ट्रेसेस उत्पन्न करने का एक नवीन तरीका, जो एक्सपर्ट प्रदर्शनों और RL एक्सप्लोरेशन के दौरान आने वाली विफलता अवस्थाओं के बीच के अंतर को पाटता है।
हाइब्रिड ट्रेनिंग रेसिपी: रीजनिंग के लिए SFT और रिवॉर्ड कैलिब्रेशन के लिए RLVR का संयोजन, जो रिवॉर्ड सटीकता और मजबूती में SFT-ओनली मॉडल्स की तुलना में काफी बेहतर प्रदर्शन करता है।
जीरो-शॉट ऑनलाइन RL: यह प्रदर्शित किया गया कि एक रोबोट केवल SOLE-R1 के प्रेडिक्टेड रिवार्ड्स का उपयोग करके, बिना किसी ग्राउंड-ट्रुथ रिवॉर्ड, प्रदर्शन या कार्य-विशिष्ट ट्यूनिंग के, रैंडम इनिशियलाइजेशन से 24 पहले से अनदेखे मैनिपुलेशन कार्यों को सीख सकता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने चार सिमुलेशन वातावरणों (RoboSuite, ManiSkill, Meta-World, LIBERO) और एक वास्तविक दुनिया के फ्रैंका (Franka) रोबोट सेटिंग में SOLE-R1 का मूल्यांकन किया।

प्रदर्शन (Performance): SOLE-R1 ने 40 अनदेखे कार्यों में से 24 पर जीरो-शॉट सफलता (सफलता दर >50%) प्राप्त की। इसके विपरीत, GPT-5 और Gemini-3-Pro जैसे मजबूत बेसलाइन 10 से कम कार्यों में सफल रहे।
रिवॉर्ड हैकिंग के प्रति मजबूती (Robustness to Reward Hacking):
- बेसलाइन VLMs (GPT-5, Gemini) मुख्य रूप से रिवॉर्ड हैकिंग (उच्च कथित सफलता, निम्न वास्तविक सफलता) के माध्यम से विफल हुए, जहाँ एजेंटों ने विजुअल लूपहोल्स का फायदा उठाना सीख लिया।
- SOLE-R1 की विफलताएं मुख्य रूप से सिग्नल-लिमिटेड (निम्न कथित और निम्न वास्तविक सफलता) थीं, जो इंगित करता है कि मॉडल ने सफलता का भ्रम पैदा करने के बजाय विफलता की अवस्थाओं को सही ढंग से पहचाना।
सामान्यीकरण (Generalization): SOLE-R1 अनदेखी टास्क फैमिलीज़ (pick-and-place, आर्टिकुलेटेड ऑब्जेक्ट्स, बटन/लीवर इंटरैक्शन), विभिन्न कैमरा व्यू पॉइंट्स और विभिन्न रोबोट एम्बॉडिमेंट्स (जैसे, Sawyer, WidowX, Franka) के लिए सामान्यीकृत हुआ।
एब्लेशन स्टडीज (Ablation Studies):
- CoT रीजनिंग को हटाने से लर्निंग सिग्नल कम हो गया (अधिक सिग्नल-लिमिटेड विफलताएं)।
- केवल एक्सपर्ट ट्राजेक्टरीज पर प्रशिक्षण देने से रिवॉर्ड हैकिंग काफी बढ़ गया।
- फाउंडेशनल स्पैटियल/टेम्पोरल डेटा को हटाने से सामान्यीकरण कम हो गया और शोषण (exploitation) बढ़ गया।
स्केलिंग लॉ (Scaling Law): प्रदर्शन प्रशिक्षण डेटा में शामिल कार्य प्रकारों की विविधता के साथ सकारात्मक रूप से स्केल हुआ।

5. महत्व (Significance)

यह कार्य जनरलिस्ट रोबोट लर्निंग (generalist robot learning) की दिशा में एक बड़ा कदम है। यह सिद्ध करके कि एक वीडियो-लैंग्वेज रीजनिंग मॉडल ऑनलाइन RL के लिए एकमात्र सुपरविजन सिग्नल के रूप में कार्य कर सकता है, SOLE-R1 निम्नलिखित की आवश्यकता को समाप्त करता है:

हैंड-क्राफ्टेड रिवॉर्ड फंक्शन्स।
कार्य-विशिष्ट प्रदर्शन (demonstrations)।
ग्राउंड-ट्रुथ स्टेट सेंसर्स।

यह शोध दर्शाता है कि ग्राउंडेड स्पैटियो-टेम्पोरल रीजनिंग मजबूत रिवॉर्ड मॉडलिंग के लिए एक महत्वपूर्ण घटक है। पिछले "ब्लैक-बॉक्स" रिवॉर्ड मॉडल्स के विपरीत, SOLE-R1 की CoT रीजनिंग व्याख्यात्मकता (interpretability) प्रदान करती है, जिससे सिस्टम को वास्तविक प्रगति और उन सतही विजुअल संकेतों के बीच अंतर करने में मदद मिलती है जो रिवॉर्ड हैकिंग की ओर ले जाते हैं। यह दृष्टिकोण रोबोटों को शुद्ध रूप से इंटरेक्शन और नेचुरल लैंग्वेज गोल्स के माध्यम से जटिल, लॉन्ग-होरिजन कार्यों को सीखने का मार्ग प्रशस्त करता है।