🤖 machine learning

TimeRewarder: Learning Dense Reward from Passive Videos via Frame-wise Temporal Distance

TimeRewarder एक स्केलेबल विधि है जो फ्रेम-वार टेम्पोरल दूरियों को मॉडल करके पैसिव वीडियो से डेंस रिवॉर्ड सिग्नल सीखती है, जिससे सुदृढीकरण सीखने वाले (reinforcement learning) एजेंट स्पार्स-रिवॉर्ड रोबोटिक कार्यों पर उच्च सैंपल दक्षता के साथ और बिना मैनुअल रिवॉर्ड इंजीनियरिंग के लगभग पूर्ण सफलता प्राप्त करने में सक्षम होते हैं।

मूल लेखक: Yuyang Liu, Chuan Wen, Yihang Hu, Dinesh Jayaraman, Yang Gao

प्रकाशित 2026-04-14

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuyang Liu, Chuan Wen, Yihang Hu, Dinesh Jayaraman, Yang Gao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को कॉफी का एक बेहतरीन कप बनाना सिखाने की कोशिश कर रहे हैं। रोबोट बुद्धिमान है, लेकिन उसे अभी तक यह नहीं पता कि इसे कैसे करना है।

रोबोटिक्स की दुनिया में, एक रोबोट को सिखाने के लिए आमतौर पर एक मानव शिक्षक को एक बहुत ही विशिष्ट नियम पुस्तिका (जिसे "रिवॉर्ड फंक्शन" कहा जाता है) लिखने की आवश्यकता होती है। शिक्षक को कहना होगा, "यदि आप कप को 1 इंच बाईं ओर ले जाते हैं, तो 1 अंक प्राप्त करें। यदि आप कॉफी गिरा देते हैं, तो 100 अंक काट लें।" यह अविश्वसनीय रूप से कठिन, समय लेने वाला और अक्सर असंभव होता है। यदि नियम थोड़े भी गलत हो जाएं, तो रोबोट या तो गलत चीज़ सीख लेता है या पूरी तरह से हार मान लेता है।

TimeRewarder एक नया तरीका है जो इस समस्या का समाधान करता है। यह रोबोट को वीडियो देखकर सीखने की अनुमति देता है, ठीक वैसे ही जैसे एक मानव प्रशिक्षु (apprentice) एक मास्टर बरिस्ता को देखकर सीखता है।

यह कैसे काम करता है, यहाँ सरल उपमाओं के साथ समझाया गया है:

1. समस्या: "मूक" (Silent) वीडियो

आमतौर पर, जब हम किसी को कॉफी बनाते हुए देखते हैं, तो हम क्रियाएं (जैसे डालना, मिलाना) तो देखते हैं, लेकिन हम स्कोर नहीं देख पाते। वीडियो रोबोट को यह नहीं बताता कि, "अच्छा काम किया, आप काम पूरा होने के 5% करीब हैं।" इस फीडबैक के बिना, रोबोट एक ऐसे छात्र की तरह है जो बिना उत्तर कुंजी (answer key) के परीक्षा दे रहा है; उसे अंत तक पता नहीं चलता कि वह बेहतर कर रहा है या खराब हो रहा है (जब तक कि कॉफी आखिरकार बन नहीं जाती या गिर नहीं जाती)।

2. समाधान: "टाइम-ट्रैवल" जासूस

TimeRewarder एक वीडियो को देखता है और एक सरल प्रश्न पूछता है: "समय में इन दो क्षणों के बीच कितनी दूरी है?"

उपमा: कल्पना कीजिए कि आप एक व्यक्ति को पहाड़ी पर चढ़ते हुए देखने का एक वीडियो देख रहे हैं।
- यदि आप एक फ्रेम देखते हैं जहाँ वे नीचे हैं और एक फ्रेम जहाँ वे ऊपर हैं, तो TimeRewarder सीखता है कि ये समय में दूर (far apart) हैं।
- यदि आप दो फ्रेम देखते हैं जहाँ वे बस एक कदम चल रहे हैं, तो TimeRewarder सीखता है कि ये समय में बहुत करीब (very close) हैं।
- यदि व्यक्ति फिसल जाता है और पहाड़ी से नीचे की ओर लुढ़क जाता है, तो TimeRewarder सीखता है कि यह नकारात्मक समय (negative time) है (पीछे की ओर जाना)।

समय की इस "दूरी" का अनुमान लगाकर, रोबोट स्वचालित रूप से प्रगति (progress) को समझ जाता है। वह समझ जाता है: "आह, जिस फ्रेम में कप आधा भरा है, वह उस फ्रेम की तुलना में लक्ष्य के अधिक करीब है जिसमें वह खाली है।"

3. समय को अंकों में बदलना (The Reward)

एक बार जब रोबोट "समय की दूरी" को समझ लेता है, तो वह हर एक कदम के लिए एक स्कोर में बदल देता है।

आगे बढ़ रहे हैं? आपको थोड़े सकारात्मक अंक मिलते हैं।
स्थिर हैं? आपको शून्य अंक मिलते हैं।
पीछे जा रहे हैं (फिसल रहे हैं)? आपको नकारात्मक अंक मिलते हैं।

यह एक सघन पुरस्कार (dense reward) बनाता है। कार्य के अंत में "अच्छा काम किया!" या "असफल!" मिलने का इंतज़ार करने के बजाय, रोबोट को हर एक क्षण में एक छोटा सा "अच्छा काम किया!" या "फिर से प्रयास करें" का संकेत मिलता है। यह एक GPS की तरह है जो केवल यह नहीं कहता कि "आपने मोड़ छोड़ दिया," बल्कि लगातार फुसफुसाता रहता है, "आप मार्ग से 10 फीट दूर हैं, अब बाईं ओर मुड़ें," और लगातार मार्गदर्शन करता है।

4. यह विशेष क्यों है: "उल्टा" (Backwards) वाला तरीका

अधिकांश AI तरीके यह अनुमान लगाने की कोशिश करते हैं कि "लक्ष्य" कैसा दिखता है। TimeRewarder इसलिए चतुर है क्योंकि इसे पहले से लक्ष्य जानने की आवश्यकता नहीं है। यह बस इतना जानता है कि समय आगे बढ़ता है।

उपमा: कल्पना कीजिए कि आप एक कांच के टूटने का वीडियो देख रहे हैं। भले ही आप नहीं जानते कि वह क्यों टूटा, आप जानते हैं कि फर्श पर बिखरे हुए टुकड़े कांच के साबुत होने के बाद आए।
TimeRewarder इसी तर्क का उपयोग करता है। यदि रोबोट कुछ ऐसा करने की कोशिश करता है जो कार्य को "उल्टा करने" जैसा दिखता है (जैसे नट को खोलने के बजाय उसे वापस लगा देना), तो मॉडल पहचान लेता है कि यह "समय में पीछे जाने" जैसा है और इसे नकारात्मक स्कोर देता है। यह रोबोट को बिना किसी के यह बताए कि गलती क्या है, गलतियाँ करने से रोकता है।

5. परिणाम: अजनबियों से सीखना

शोधकर्ताओं ने इसका परीक्षण 10 अलग-अलग रोबोट कार्यों (जैसे दराज खोलना, बटन दबाना, या बास्केटबॉल खेलना) पर किया।

जादू: उन्होंने रोबोट को मनुष्यों द्वारा किए गए कार्यों के वीडियो दिखाए (भले ही वे अलग कैमरों या कोणों से लिए गए हों)। रोबोट ने पहले कभी मानव हाथ नहीं देखा था, केवल रोबोट का हाथ देखा था।
परिणाम: रोबोट ने उन रोबोटों की तुलना में तेजी से और बेहतर सीखा जिन्हें जटिल नियम पुस्तिकाएं लिखने वाले मनुष्यों द्वारा सिखाया गया था। वास्तव में, 10 में से 9 कार्यों में, रोबोट ने केवल 200,000 प्रयासों में कार्य को पूरी तरह से करना सीख लिया, जो "परफेक्ट" मानव-निर्मित नियमों को भी पीछे छोड़ गया।

सारांश

TimeRewarder एक ऐसे रोबोट की तरह है जो एक फिल्म देखकर और कहानी को सहजता से समझकर सीखता है। इसे स्क्रिप्ट राइटर की आवश्यकता नहीं है जो इसे बताए कि "सही" चालें क्या हैं। यह बस इतना समझता है कि समय आगे की ओर बहता है, और यदि यह कहानी की दिशा में आगे बढ़ता है, तो यह अच्छा कर रहा है। यदि यह पीछे की ओर जाता है, तो यह बुरा कर रहा है।

यह रोबोट को सिखाना बहुत सस्ता, तेज़ और स्केलेबल बनाता है, क्योंकि अब हम उन्हें नए कौशल सिखाने के लिए इंटरनेट से कोई भी वीडियो उपयोग कर सकते हैं, बजाय इसके कि उन्हें यह बताने के लिए महीनों तक कोड लिखा जाए कि उन्हें कैसे हिलना-डुलना है।

यहाँ "TimeRewarder: Learning Dense Reward from Passive Videos via Frame-wise Temporal Distance" शोध पत्र का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रोबोटिक्स में सुदृढीकरण शिक्षण (Reinforcement Learning - RL) अक्सर रिवॉर्ड डिज़ाइन बॉटलनेक (reward design bottleneck) से ग्रस्त रहता है। मैन्युअल रूप से सघन (dense), कार्य-निर्देशित रिवॉर्ड फंक्शन डिजाइन करना श्रमसाध्य है, इसके लिए महत्वपूर्ण डोमेन विशेषज्ञता की आवश्यकता होती है, और यह स्केलेबिलिटी की कमी रखता है। जबकि स्पार्स रिवॉर्ड्स (जैसे, एपिसोड के अंत में बाइनरी सफलता/विफलता) प्राप्त करना आसान है, वे सैंपल दक्षता (sample efficiency) में कमी लाते हैं और जटिल हेरफेर कार्यों (manipulation tasks) को सीखना कठिन बना देते हैं।

मौजूदा स्वचालित रिवॉर्ड लर्निंग विधियों को विशिष्ट सीमाओं का सामना करना पड़ता है:

एक्शन रिकवरी (Action Recovery): इसके लिए इनवर्स डायनेमिक्स सीखने की आवश्यकता होती है, जो डेटा-गहन है और एक्सप्लोरेशन की गुणवत्ता के प्रति संवेदनशील है।
इन्वर्स आरएल (Inverse RL) / GAIL: ये अक्सर प्रशिक्षण अस्थिरता, उच्च कम्प्यूटेशनल लागत, या रिवॉर्ड हैकिंग से ग्रस्त होते हैं।
प्रोग्रेस-आधारित विधियाँ (Progress-based Methods): पिछली दृष्टिकोणों (जैसे, VIP, Rank2Reward) में अक्सर लक्ष्य-कंडीशनिंग पर निर्भरता होती है, उनमें स्पष्ट रूप से टेम्पोरल 'दूरी' (temporal distance) का अभाव होता है (वे केवल क्रम पर ध्यान केंद्रित करते हैं), या वे RL एक्सप्लोरेशन के दौरान सब-ऑप्टिमल व्यवहारों (रिग्रेशन/विफलता) को संभालने में विफल रहते हैं।

मुख्य चुनौती: पैसिव वीडियो (passive videos) (जिनमें कोई एक्शन लेबल या विशेषाधिकार प्राप्त स्टेट जानकारी नहीं होती है) से स्वचालित रूप से सघन, स्टेप-वाइज रिवॉर्ड सिग्नल कैसे प्राप्त किए जाएं, जो एक एजेंट को जटिल कार्यों को कुशलतापूर्वक सीखने के लिए निर्देशित कर सके, भले ही एजेंट का प्रक्षेपवक्र (trajectory) विशेषज्ञ प्रदर्शनों से विचलित हो जाए।

2. कार्यप्रणाली: TimeRewarder

TimeRewarder एक ऐसा फ्रेमवर्क है जो विशेषज्ञ वीडियो में फ्रेम के बीच टेम्पोरल डिस्टेंस (temporal distance) को मॉडल करके एक सघन रिवॉर्ड फंक्शन सीखता है। यह दो चरणों में कार्य करता है:

A. प्रशिक्षण चरण: टेम्पोरल डिस्टेंस सीखना

यह विधि किसी भी दो फ्रेमों $(o_u, o_v)$ के बीच सामान्यीकृत टेम्पोरल डिस्टेंस को प्रेडिक्ट करने के लिए एक प्रोग्रेस मॉडल $F_\theta$ को प्रशिक्षित करती है।

इनपुट: एक्शन-मुक्त विशेषज्ञ वीडियो से फ्रेम के जोड़े।
टारगेट: सामान्यीकृत टेम्पोरल डिस्टेंस $d_{uv} = \frac{v - u}{T - 1}$ $d_{uv} = \frac{v - u}{T - 1}$ , जहाँ $T$ $T$ प्रक्षेपवक्र की लंबाई है। रेंज $[-1, 1]$ $[- 1, 1]$ है।
- धनात्मक मान लक्ष्य की ओर आगे की प्रगति को दर्शाते हैं।
- ऋणात्मक मान पीछे की ओर की प्रगति (रिग्रेशन) को दर्शाते हैं।
प्रमुख डिज़ाइन सिद्धांत:
1. इम्प्लिसिट नेगेटिव सैंपलिंग (Implicit Negative Sampling): फ्रेम जोड़ों को रिवर्स ऑर्डर ( $u > v$ ) में सैंपल करने की अनुमति देकर, मॉडल बिना किसी स्पष्ट विफलता लेबल के रिग्रेसिव या सब-ऑप्टिमल व्यवहारों को नेगेटिव रिवॉर्ड असाइन करना सीखता है। यह एक एंटी-सिमेट्रिक संरचना को लागू करता है, जिससे ट्रिवियल मेमोराइजेशन (trivial memorization) रुकता है।
2. वेटेड पेयर सैंपलिंग (Weighted Pair Sampling): सूक्ष्म रिज़ॉल्यूशन सुनिश्चित करने के लिए, मॉडल को छोटे टेम्पोरल अंतराल की ओर झुकाव ( $P(\Delta) \propto 1/\Delta$ ) के साथ प्रशिक्षित किया जाता है। यह मॉडल को केवल मोटे प्रक्षेपवक्र संरेखण के बजाय सूक्ष्म, स्टेप-लेवल प्रगति को कैप्चर करने के लिए मजबूर करता है।
3. टू-हॉट डिसक्रेटाइजेशन (Two-Hot Discretization): डायरेक्ट रिग्रेशन के बजाय, निरंतर दूरी $[-1, 1]$ को $K$ बिन्स (डिफ़ॉल्ट $K=20$ ) में "टू-हॉट" वितरण का उपयोग करके डिस्क्रीट किया जाता है (दो निकटतम बिन्स में मास असाइन करना)। यह संख्यात्मक स्थिरता में सुधार करता है और सफलता तथा सफलता के निकट वाले राज्यों के बीच स्पष्ट सीमाओं को बनाए रखता है।
आर्किटेक्चर: फ्रेम को एनकोड करने के लिए CLIP-प्रीट्रेंड ViT-B बैकबोन का उपयोग करता है, जिसके बाद डिस्क्रीटाइज्ड डिस्ट्रीब्यूशन प्रेडिक्ट करने के लिए एक लीनियर लेयर का उपयोग किया जाता है।

B. सुदृढीकरण शिक्षण चरण (Reinforcement Learning Phase)

एक बार प्रशिक्षित होने के बाद, $F_\theta$ डाउनस्ट्रीम RL के लिए एक प्रॉक्सी रिवॉर्ड फंक्शन के रूप में कार्य करता है।

सघन रिवॉर्ड गणना: एजेंट के ट्रांजिशन $(o_t, o_{t+1})$ के लिए, रिवॉर्ड प्रेडिक्टेड टेम्पोरल डिस्टेंस है: $r_{TR} = F_\theta(o_t, o_{t+1})$ ।
संयुक्त रिवॉर्ड (Combined Reward): अंतिम रिवॉर्ड सघन प्रोग्रेस सिग्नल को एक स्पार्स बाइनरी सक्सेस सिग्नल के साथ जोड़ता है:
$r_t = r_{TR}(o_t, o_{t+1}) + \alpha \cdot r_{success}(o_t)$
जहाँ $\alpha$ एक एडेप्टिव वेटिंग फैक्टर है।
सामान्यीकरण (Generalization): क्योंकि मॉडल केवल एक विशिष्ट लक्ष्य छवि से पिक्सेल मिलान करने के बजाय प्रगति की संरचना (टेम्पोरल डिस्टेंस) को सीखता है, यह अनदेखे प्रक्षेपवक्रों (unseen trajectories) को भी उचित रिवॉर्ड दे सकता है, जिसमें आंशिक प्रगति या मामूली विचलन शामिल हैं।

3. प्रमुख योगदान

नया रिवॉर्ड फॉर्मूलेशन: केवल क्रम या निश्चित लक्ष्य की दूरी का अनुमान लगाने के बजाय, फ्रेमों के बीच साइंड टेम्पोरल डिस्टेंस (signed temporal distances) को प्रेडिक्ट करके सघन रिवॉर्ड सीखने का प्रस्ताव देता है। यह स्वाभाविक रूप से प्रगति और रिग्रेशन दोनों को संभालता है।
पैसिव वीडियो स्केलेबिलिटी: यह प्रदर्शित करता है कि बिना एक्शन एनोटेशन के, केवल पैसिव वीडियो (रोबोट डेमो या मानव वीडियो) से उच्च-गुणवत्ता वाले रिवॉर्ड सीखे जा सकते हैं, जिससे मैन्युअल रिवॉर्ड इंजीनियरिंग की आवश्यकता काफी कम हो जाती है।
सब-ऑप्टिमल व्यवहार जागरूकता: इम्प्लिसिट नेगेटिव सैंपलिंग के माध्यम से, यह विधि उन सब-ऑप्टिमल व्यवहारों (जैसे, लूप, स्टाल, या विफल ग्रैस्प) को प्रभावी ढंग से दंडित करती है जो RL एक्सप्लोरेशन में आम हैं, जो कि पूर्ववर्ती प्रोग्रेस-आधारित विधियों में अक्सर गायब होता है।
क्रॉस-डोमेन जनरलाइजेशन: यह विषम वीडियो स्रोतों (जैसे, रोबोट डेमो को वास्तविक दुनिया के मानव वीडियो के साथ जोड़ना) का लाभ उठाकर पॉलिसी लर्निंग में सुधार करने की क्षमता दिखाता है, भले ही इन-डोमेन डेटा कम हो।

4. प्रयोगात्मक परिणाम

लेखकों ने 100 विशेषज्ञ प्रदर्शनों के साथ 10 चुनौतीपूर्ण Meta-World मैनिपुलेशन कार्यों (जैसे, दरवाजा खोलना, बास्केटबॉल, दराज खोलना) पर TimeRewarder का मूल्यांकन किया।

बेसलाइन्स के मुकाबले प्रदर्शन: TimeRewarder ने अंतिम सफलता दर और सैंपल दक्षता दोनों के मामले में 10 में से 9 कार्यों पर 8 बेसलाइन्स (जिसमें VIP, Rank2Reward, PROGRESSOR, OT-आधारित विधियाँ और GAIL शामिल हैं) को पछाड़ दिया।
सैंपल एफिशिएंसी: प्रत्येक कार्य के लिए केवल 200,000 एनवायरनमेंट इंटरैक्शंस के साथ लगभग पूर्ण सफलता प्राप्त की।
मैन्युअल रिवॉर्ड से बेहतर: उल्लेखनीय रूप से, TimeRewarder ने 9 कार्यों पर मैन्युअल रूप से डिज़ाइन किए गए सघन एनवायरनमेंट रिवॉर्ड्स (जिन्हें अक्सर ऊपरी सीमा माना जाता है) से बेहतर प्रदर्शन किया। लेखक इस सफलता का श्रेय इसे देते हैं क्योंकि मैन्युअल रिवॉर्ड्स में अक्सर प्री-कॉन्टैक्ट प्रोग्रेस पर सूक्ष्म फीडबैक की कमी होती है, जबकि TimeRewarder वीडियो से वृद्धिशील प्रगति को कैप्चर करता है।
क्रॉस-डोमेन लर्निंग: केवल 1 इन-डोमेन रोबोट डेमो + 20 वास्तविक दुनिया के मानव वीडियो का उपयोग करने वाले प्रयोगों में, TimeRewarder ने अकेले किसी भी स्रोत की तुलना में प्रदर्शन में महत्वपूर्ण सुधार दिखाया, जो एम्बॉडमेंट (embodiment) और डोमेन शिफ्ट के प्रति इसकी मजबूती को दर्शाता है।
एब्लेशन स्टडीज (Ablation Studies): पुष्टि की कि तीनों मुख्य घटक (इम्प्लिसिट नेगेटिव सैंपलिंग, वेटेड सैंपलिंग और डिसक्रेटाइजेशन) महत्वपूर्ण हैं। उन्हें हटाने से प्रदर्शन में भारी गिरावट आई, विशेष रूप से उन कार्यों में जिनमें सटीक नियंत्रण या विफलताओं को संभालने की आवश्यकता होती है।

5. महत्व और प्रभाव

स्केलेबिलिटी: TimeRewarder "वॉच-टू-एक्ट" (watch-to-act) लर्निंग की ओर एक व्यावहारिक मार्ग प्रदान करता है, जहाँ रोबट बिना एक्शन लेबल या हाथ से बनाए गए रिवॉर्ड फंक्शन के, विविध वीडियो स्रोतों (YouTube, मानव डेमो) को देखकर जटिल कौशल सीख सकते हैं।
मजबूती (Robustness): टेम्पोरल डिस्टेंस को स्पष्ट रूप से मॉडल करके और रिग्रेशन को संभालकर, यह विधि अज्ञात स्टेट स्पेस को एक्सप्लोर करने वाले RL एजेंटों के लिए अधिक स्थिर और सूचनात्मक लर्निंग सिग्नल प्रदान करता है।
भविष्य की दिशाएं: पेपर सुझाव देता है कि हालांकि बार-बार आगे-पीछे होने वाले कार्यों (विजुअल एलियासिंग) के लिए वर्तमान सीमाएं मौजूद हैं, भविष्य के कार्य मेमोरी-ऑगमेंटेड मॉडल्स या पदानुक्रमित संरचनाओं (hierarchical structures) को एकीकृत कर सकते हैं ताकि इन-द-वाइल्ड वीडियो लर्निंग के लिए स्केलेबिलिटी को और बढ़ाया जा सके।

संक्षेप में, TimeRewarder वीडियो की टेम्पोरल संरचना को एक सघन, स्व-सुसंगत रिवॉर्ड सिग्नल में बदलकर पैसिव ऑब्जर्वेशन और एक्टिव कंट्रोल के बीच के अंतर को पाटता है, जिससे रोबोटिक्स में अत्यधिक सैंपल-एफिशिएंट सुदृढीकरण शिक्षण संभव होता है।