💻 computer science

Human Preference Modeling Using Visual Motion Prediction Improves Robot Skill Learning from Egocentric Human Video

यह शोध पत्र एक रोबोट लर्निंग फ्रेमवर्क प्रस्तावित करता है जो विजुअल मोशन प्रेडिक्शन के माध्यम से मानवीय प्राथमिकताओं को मॉडल करके रिवॉर्ड फंक्शन को परिभाषित करता है ताकि ईगोसेंट्रिक मानव वीडियो से कौशल प्राप्ति में सुधार किया जा सके, जिसे फिर एक संशोधित सॉफ्ट एक्टर-क्रिटिक एल्गोरिदम का उपयोग करके अनुकूलित किया जाता है ताकि सिमुलेशन और वास्तविक दुनिया के कार्यों दोनों में पूर्ववर्ती विधियों से बेहतर प्रदर्शन किया जा सके।

मूल लेखक: Mrinal Verghese, Christopher G. Atkeson

प्रकाशित 2026-02-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mrinal Verghese, Christopher G. Atkeson

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को माइक्रोवेव खोलना, शर्ट मोड़ना या काउंटर पोंछना सिखाना चाहते हैं। पारंपरिक तरीका यह है कि एक इंसान रोबोट के हाथ को पकड़कर उसे सैकड़ों बार उस कार्य के माध्यम से निर्देशित करता है। यह धीमा, महंगा है, और रोबोट अक्सर भ्रमित हो जाता है जब वास्तविक दुनिया उस प्रशिक्षण से मेल नहीं खाती।

यह पेपर एक स्मार्ट और तेज़ तरीका प्रस्तावित करता है: रोबोट को किसी काम को करते हुए इंसानों के यूट्यूब वीडियो दिखाकर सिखाएं, लेकिन रोबोट को इंसान के हाथों की नकल करने के लिए न कहें। इसके बजाय, रोबोट को यह समझने के लिए सिखाएं कि इंसान क्या हासिल करने की कोशिश कर रहा है—यह देखकर कि वस्तुएं कैसे हिल रही हैं।

यहाँ उनके तरीके का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. समस्या: "नकलची" का जाल (The "Copycat" Trap)

कल्पना कीजिए कि आप एक प्रो खिलाड़ी का वीडियो देखकर टेनिस खेलना सीखने की कोशिश कर रहे हैं।

पुराना तरीका (टेम्पोरल डिस्टेंस): आप यह गिनने की कोशिश करते हैं कि गेंद ज़मीन से टकराने तक कितने सेकंड बचे हैं। आप मानते हैं कि लक्ष्य के करीब का हर सेकंड "अच्छा" है। लेकिन क्या होगा यदि प्रो खिलाड़ी अपना जूता बांधने के लिए रुक जाता है? अचानक, आपका "अच्छा" स्कोर गिर जाता है, और आप भ्रमित हो जाते हैं। साथ ही, यदि आप एक अलग कोर्ट पर (रोबोट के वातावरण में) और एक अलग रैकेट के साथ (रोबोट के शरीर के साथ) टेनिस खेलने की कोशिश करते हैं, तो आपकी टाइमिंग पूरी तरह गलत हो जाएगी।
समस्या: रोबens सीधे मानव वीडियो को ट्रांसलेट करने में संघर्ष करते हैं क्योंकि इंसान और रोबोट अलग दिखते हैं और अलग तरह से चलते हैं।

2. समाधान: "मोशन डिटेक्टिव" (The "Motion Detective")

लेखकों ने एक ऐसा सिस्टम बनाया है जो एक मोशन डिटेक्टिव की तरह काम करता है। यह पूछने के बजाय कि, "हम फिनिश लाइन के कितने करीब हैं?" यह पूछता है, "क्या वस्तु उसी तरह हिल रही है जैसा कि अभी होना चाहिए?"

यह कैसे काम करता है, चरण-दर-चरण यहाँ दिया गया है:

चरण A: प्रशिक्षण (डिटेक्टिव की पढ़ाई)

सिस्टम हजारों मानव वीडियो (जैसे लोगों द्वारा माइक्रोवेव खोलना) देखता है। यह पूरी तस्वीर को नहीं देखता; यह महत्वपूर्ण वस्तुओं (जैसे माइक्रोवेव का दरवाजा या हैंडल) पर "स्टिकी डॉट्स" (ट्रैकिंग पॉइंट्स) लगा देता है।

उपमा: कल्पना कीजिए कि डिटेक्टिव फिल्म के हर फ्रेम का अध्ययन कर रहा है। वह भविष्यवाणी करता है: "यदि इंसान हैंडल पकड़कर खींचता है, तो दरवाजा 2 इंच बाईं ओर खिसकना चाहिए।"
सिस्टम एक मोशन प्रेडिक्शन मॉडल सीखता है। यह मानव वीडियो के आधार पर उस विशिष्ट कार्य के लिए "भौतिकी के नियमों" (rules of physics) को सीखता है।

चरण B: रिवॉर्ड (स्कोरकार्ड)

अब, रोबोट कार्य करने की कोशिश करता है। सिस्टम रोबोट को देखता है और रोबोट के दृश्य पर भी वही "स्टिकी डॉट्स" लगाता है।

उपमा: रोबोट माइक्रोवेव का हैंडल खींचता है। सिस्टम चेक करता है: "क्या दरवाजा 2 इंच बाईं ओर खिसका जैसा कि मानव वीडियो ने भविष्यवाणी की थी?"
- हाँ? बहुत बढ़िया! रोबोट को एक "गोल्ड स्टार" (रिवॉर्ड) मिलता है।
- नहीं? (शायद रोबोट ने गलत दिशा में खींचा, या दरवाजा नहीं हिला)। रोबोट को कोई स्टार नहीं मिलता।
यह बेहतर क्यों है: इससे कोई फर्क नहीं पड़ता कि रोबोट का हाथ इंसान के हाथ से अलग दिखता है। जब तक माइक्रोवेव का दरवाजा सही ढंग से हिल रहा है, रोबोट अच्छा काम कर रहा है। यह नकल (mimicry) के बजाय परिणाम पर ध्यान केंद्रित करता है।

चरण C: अभ्यास (कोच)

रोबोट एक "बेस पॉलिसी" के साथ शुरू करता है—जो केवल 10 मानव प्रदर्शनों से सीखा गया एक अनाड़ी संस्करण है। यह एक ऐसे छात्र की तरह है जो बुनियादी बातें जानता है लेकिन थोड़ा सख्त/अनाड़ी है।

रोबोट फिर कार्य को 100 बार करने की कोशिश करता है (लगभग एक घंटे का वास्तविक समय)।
हर बार जब वह हिलता है, "मोशन डिटेक्टिव" उसे एक स्कोर देता है।
रोबोट अधिक "गोल्ड स्टार्स" पाने के लिए अपने आंदोलनों को थोड़ा बदलने के लिए एक "कोच" (एक AI एल्गोरिदम जिसे SAC कहा जाता है) का उपयोग करता है।
परिणाम: केवल एक घंटे में, रोबोट अनाड़ी होने से लेकर अत्यधिक कुशल होने तक पहुँच जाता है, और अक्सर पुराने, अधिक जटिल तरीकों से प्रशिक्षित रोबोटों के प्रदर्शन को भी पीछे छोड़ देता है।

3. यह प्रतिस्पर्धा में क्यों जीतता है

पेपर इसकी तुलना एक लोकप्रिय प्रतिस्पर्धी VIP (वैल्यू इम्प्लिसिट प्रीट्रेनिंग) से करता है।

VIP एक GPS की तरह है: यह गंतव्य तक की दूरी की गणना करने की कोशिश करता है। यदि मानव वीडियो में व्यक्ति हिचकिचाता है या रुक जाता है, तो GPS भ्रमित हो जाता है और सोचता है कि रोबोट लक्ष्य से दूर जा रहा है, भले ही रोबोट सही काम कर रहा हो।
MPR (यह पेपर) एक स्पॉटर (Spotter) की तरह है: यह केवल तत्काल क्रिया को देखता है। "क्या दरवाजा हिला? हाँ? अच्छा।" इसे अतीत या भविष्य की चिंता नहीं है, बस वर्तमान कदम की चिंता है।

वास्तविक दुनिया का परिणाम

शोधकर्ताओं ने एक किचन में एक वास्तविक रोबोटिक आर्म पर इनका परीक्षण किया।

कार्य: माइक्रोवेव खोलना, कपड़ा मोड़ना, काउंटर पोंछना।
इनपुट: 10 मानव प्रदर्शन + 1 घंटा रोबोट का अभ्यास।
परिणाम: रोबोट ने अपनी सफलता दर में 30% या उससे अधिक का सुधार किया।
"अनलर्निंग" की समस्या: पुराने तरीके (VIP) का उपयोग करते समय, रोबोट कभी-कभी सीखी हुई चीज़ों को "भूल" जाता था और वास्तव में माइक्रोवेव खोलने के बजाय केवल उसके पास की हवा को खींचने जैसी हरकतें करने लगता था। नया तरीका (MPR) इसे तुरंत पकड़ लेता था क्योंकि माइक्रोवेव का दरवाजा नहीं हिला था, इसलिए इसने शून्य रिवॉर्ड दिया।

सारांश

यह पेपर हमें सिखाता है कि रोबोट को मानव वीडियो से सिखाने के लिए, हमें उसे इंसान के डांस मूव्स की नकल करने के लिए नहीं कहना चाहिए। इसके बजाय, हमें उसे संगीत (वस्तुओं की गति) को देखने के लिए कहना चाहिए। यदि वस्तुएं उसी तरह हिलती हैं जैसा कि होना चाहिए, तो रोबोट जीत रहा है। यह रोबोट को बहुत कम डेटा और बिना किसी महंगे मानव मार्गदर्शन के, अविश्वसनीय रूप से तेजी से जटिल कौशल सीखने की अनुमति देता है।

यहाँ शोध पत्र "Human Preference Modeling Using Visual Motion Prediction Improves Robot Skill Learning from Egocentric Human Video" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र बड़े पैमाने पर, असंरचित एगोसेंट्रिक मानव वीडियो डेटासेट (जैसे, Ego4D, Epic Kitchens) से रोबोट में कौशल (skills) स्थानांतरित करने की चुनौती का समाधान करता है।

"स्किल गैप" (The Skill Gap): केवल सीमित ऑन-रोबोट टेलीऑपरेशन प्रदर्शनों (demonstrations) पर प्रशिक्षित रोबोट, मानव प्रदर्शनों की तुलना में कम प्रदर्शन करते हैं क्योंकि रोबोट डेटा एकत्र करने की लागत अधिक होती है और कार्य स्थान (task space) का कवरेज सीमित होता है।
मौजूदा विधियों की सीमाएँ: मानव वीडियो से रिवॉर्ड (reward) सीखने के मौजूदा दृष्टिकोण आमतौर पर लक्ष्य से अपनी अस्थायी दूरी (temporal distance) के आधार पर किसी अवस्था (state) के दीर्घकालिक मूल्य (long-term value) का अनुमान लगाते हैं (अर्थात, वीडियो के अंत तक कितने फ्रेम शेष हैं)।
- दोष: यह दृष्टिकोण शोर (noise) के प्रति संवेदनशील है (जैसे, मानव हिचकिचाहट, मल्टीटास्किंग, या गैर-इष्टतम गति), जो सभी पूर्ववर्ती अवस्थाओं के मूल्य को नकारात्मक रूप से प्रभावित करता है।
- वितरण बदलाव (Distribution Shift): ये विधियाँ "एम्बॉडमेंट गैप" (मानव और रोबोट की गतिशीलता/किनेमैटिक्स और वातावरण के बीच अंतर) के माध्यम से सीखे गए वैल्यू फंक्शन को स्थानांतरित करने में संघर्ष करती हैं क्योंकि वे वैश्विक अस्थायी मेट्रिक्स के बजाय स्थानीय भौतिक निरंतरता (local physical consistency) पर निर्भर करती हैं।
लक्ष्य: एक मजबूत, डेंस रिवॉर्ड सिग्नल (dense reward signal) सीखने के लिए एक विधि विकसित करना जो न्यूनतम ऑन-रोबोट डेटा के साथ सुदृढीकरण शिक्षण (Reinforcement Learning - RL) के माध्यम से रोबोट की नीति (policy) में सुधार कर सके।

2. कार्यप्रणाली (Methodology)

लेखक एक ढांचा प्रस्तावित करते हैं जिसे मोशन प्रेडिक्शन रिवॉर्ड (Motion Prediction Reward - MPR) कहा जाता है। दीर्घकालिक मूल्य का अनुमान लगाने के बजाय, यह विधि कार्य-प्रासंगिक वस्तुओं की गति की भविष्यवाणी करके अल्पकालिक मानव प्राथमिकताओं (short-term human preferences) को मॉडल करती है।

A. मुख्य अवधारणा: मोशन प्रेडिक्शन के रूप में प्राथमिकता (Core Concept: Motion Prediction as Preference)

सिस्टम यह मानता है कि मानव प्रदर्शनकर्ता प्रत्येक चरण पर वस्तुओं के लिए एक "सही" गति को अंतर्निहित रूप से परिभाषित करते हैं।

पॉइंट ट्रैकिंग (Point Tracking): सिस्टम मानव वीडियो फ्रेम में कार्य-प्रासंगिक वस्तुओं (और बैकग्राउंड) के बिंदुओं के ग्रिड को ट्रैक करता है।
मोशन प्रेडिक्शन मॉडल ( $F_\theta$ ): एक न्यूरल नेटवर्क (जो एक संशोधित डिफ्यूजन ट्रांसफॉर्मर आर्किटेक्चर और DinoV2 विजुअल फीचर्स पर आधारित है) को वर्तमान अवलोकन ( $o_t$ $o_{t}$ ), वर्तमान बिंदु स्थानों ( $P_t$ $P_{t}$ ), और सामान्यीकृत कार्य प्रगति ( $t/T$ $t / T$ ) को देखते हुए अगले फ्रेम ( $t+1$ $t + 1$ ) में इन बिंदुओं के स्थान की भविष्यवाणी करने के लिए प्रशिक्षित किया जाता है।
- प्रशिक्षण डेटा: बड़े पैमाने पर एगोसेंट्रिक मानव वीडियो।
- लॉस फंक्शन: अनुमानित और वास्तविक बिंदु स्थानों के बीच रिग्रेशन लॉस।

B. रिवॉर्ड सिग्नल जनरेशन (Reward Signal Generation)

कार्य करने वाले रोबोट के लिए, रिवॉर्ड प्रत्येक समय चरण पर अनुमानित गति (मानव मॉडल से) और प्रेक्षित गति (रोबोट के वीडियो से) के बीच संरेखण (alignment) के आधार पर गणना किया जाता है।

सूत्र: रिवॉर्ड $r_t$ , सभी कार्य-प्रासंगिक वस्तुओं पर बिंदुओं के लिए अनुमानित डेल्टा ( $\Delta P^{pred}$ ) और ट्रैक किए गए डेल्टा ( $\Delta P^{track}$ ) के बीच सकारात्मक कोसाइन समानता (cosine similarities) का योग है।
$r_t = \sum \max\left( \frac{\Delta P^{pred}_t \cdot \Delta P^{track}_t}{\|\Delta P^{pred}_t\| \|\Delta P^{track}_t\|}, 0 \right)$
लाभ: यह रोबोट को विशिष्ट मानव क्रिया की नकल करने के बजाय परिणाम (वस्तु की गति) प्राप्त करने के लिए पुरस्कृत करता है, जिससे यह एम्बॉडमेंट अंतरों के प्रति मजबूत बनता है। यह मानव हिचकिचाहट से भी बचता है, क्योंकि केवल वर्तमान चरण की गति का मूल्यांकन किया जाता है।

C. लर्निंग फ्रेमवर्क: रेसिडुअल सुदृढीकरण शिक्षण (Learning Framework: Residual Reinforcement Learning)

इस रिवॉर्ड का उपयोग करके रोबट पॉलिसी को अनुकूलित करने के लिए:

बेस पॉलिसी (Base Policy): ऑन-रोबोट प्रदर्शनों के एक छोटे सेट (10 एपिसोड) पर एक बिहेवियर क्लोनिंग पॉलिसी ( $\pi_{base}$ ) प्रशिक्षित की जाती है।
रेसिडुअल RL (Residual RL): एक संशोधित सॉफ्ट एक्टर-क्रिटिक (Soft Actor-Critic - SAC) एल्गोरिदम एक रेसिडुअल पॉलिसी ( $\pi_{RL}$ $π_{R L}$ ) सीखता है जो सुधारात्मक क्रियाएं ( $\Delta a$ $Δ a$ ) आउटपुट करता है।
- अंतिम पॉलिसी: $\pi(s) = \pi_{base}(s) + \alpha \pi_{RL}(s)$ ।
- स्थिरता तंत्र: बेस पॉलिसी को फ्रीज (frozen) कर दिया जाता है। क्रिटिक नेटवर्क को ऑफलाइन डेटा पर प्री-ट्रेन किया जाता है और यह वैल्यू ओवरएस्टिमेशन को रोकने के लिए लेयरनॉर्म (LayerNorm), मिन-क्यू (min-Q) जैसी तकनीकों का उपयोग करता है। सिस्टम ऑफलाइन प्रदर्शनों और ऑनलाइन इंटरैक्शन बफर से समान रूप से नमूने लेता है।

3. प्रमुख योगदान (Key Contributions)

नया रिवॉर्ड फॉर्मूलेशन: यह टेम्पोरल-डिस्टेंस-आधारित वैल्यू एस्टीमेशन से हटकर विजुअल मोशन प्रेडिक्शन की ओर जाता है। यह स्पष्ट रूप से मानव प्राथमिकताओं को "वस्तुओं को कैसे हिलना चाहिए" के रूप में एनकोड करता है, जिससे हिचकिचाहट जैसी शोर (noise) को फ़िल्टर किया जा सके।
वितरण बदलाव के प्रति मजबूती (Robustness to Distribution Shift): वैश्विक अवस्था समानता के बजाय कार्य-प्रासंगिक वस्तुओं की गति पर ध्यान केंद्रित करके, यह विधि मानव और रोबोट वीडियो के बीच के अंतर को अधिक प्रभावी ढंग से पाटती है।
सैंपल एफिशिएंसी (Sample Efficiency): यह प्रदर्शित करता है कि एक रोबोट केवल 10 ऑन-रोबोट प्रदर्शनों और ~1 घंटे की वास्तविक दुनिया की बातचीत (100 एपिसोड) का उपयोग करके अपने प्रदर्शन में काफी सुधार कर सकता है।
विफलता भेदभाव (Failure Discrimination): मोशन-आधारित रिवॉर्ड स्वाभाविक रूप से उन विफल प्रयासों को दंडित करता है जहाँ रोबोट हिलता तो है लेकिन वस्तु नहीं हिलती (जैसे, हैंडल पकड़ने में चूक जाना), जबकि टेम्पोरल-डिस्टेंस विधियाँ अक्सर इन "खाली गतियों" को सकारात्मक रिवॉर्ड देती हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन कार्यों पर इस विधि का मूल्यांकन किया: "ओपन माइक्रोवेव" (Open Microwave), "फोल्ड क्लॉथ" (Fold Cloth), और "वाइप काउंटर" (Wipe Counter)।

सिमुलेशन (Franka Kitchen बेंचमार्क):
- MPR ने VIP (वैल्यू इमप्लिसिट प्रीट्रेनिंग, एक अत्याधुनिक टेम्पोरल-डिस्टेंस विधि) को पछाड़ दिया और एक हैंड-क्राफ्टेड डेंस रिवॉर्ड फंक्शन के बराबर प्रदर्शन किया।
- VIP ने विशेष रूप से "ओपन माइक्रोवेव" कार्य में बायस और लोकल मिनिमा की समस्याएँ दिखाईं।
वास्तविक हार्डवेयर (Franka Research 3):
- प्रदर्शन लाभ:
  - ओपन माइक्रोवेव: MPR ने सफलता दर को 45% (बेस) से बढ़ाकर 76.7% कर दिया। VIP गिरकर 23.3% (अनलर्निंग) हो गया।
  - फोल्ड क्लॉथ: MPR ने 45% से सुधार कर 73.3% किया। VIP गिरकर 8.3% रह गया।
  - वाइप काउंटर: MPR ने 40% से सुधार कर 56.7% किया।
- स्थिरता: VIP के निष्पादन में "भूलने" (forgetting) का व्यवहार देखा गया, जहाँ रोबोट लक्ष्य को प्राप्त करने के लिए ऐसी गतियाँ करने के लिए सीखता था जो दिखने में कार्य जैसी लगती थीं लेकिन लक्ष्य प्राप्त करने में विफल रहती थीं (जैसे, कपड़े को पकड़ने के बिना एंड-इफेक्टर को लक्ष्य की स्थिति तक ले जाना)। MPR ने इन्हें विफलता के रूप में सही ढंग से पहचाना क्योंकि वस्तु नहीं हिली थी।
- दक्षता: MPR ने इन परिणामों के लिए केवल ~15,000 स्टेप्स (100 एपिसोड) का उपयोग किया, जबकि VIP को अभिसरण (converge) करने के लिए बहुत अधिक डेटा की आवश्यकता थी (यदि वह होता भी तो)।

5. महत्व और निष्कर्ष (Significance and Conclusion)

यह कार्य मानव वीडियो से सीखने के प्रतिमान (paradigm) में बदलाव प्रस्तुत करता है। दीर्घकालिक अस्थायी निकटता (long-term temporal proximity) के बजाय अल्पकालिक भौतिक प्राथमिकताओं (short-term physical preferences - वस्तु की गति) को मॉडल करके, लेखकों ने एक ऐसा रिवॉर्ड सिग्नल बनाया है जो:

डेंस और सूचनात्मक (Dense and Informative) है: यह प्रत्येक चरण पर फीडबैक प्रदान करता है।
एम्बॉडमेंट-अग्नोस्टिक (Embodiment-Agnostic) है: यह विशिष्ट किनेमैटिक्स के बजाय कार्य के भौतिकी (physics) पर ध्यान केंद्रित करता है।
मजबूत (Robust) है: यह मानव प्रदर्शनों में शोर (जैसे हिचकिचाहट, मल्टीटास्किंग) के प्रति प्रतिरोधी है।

यह दृष्टिकोण रोबोट को न्यूनतम मानवीय हस्तक्षेप के साथ वास्तविक दुनिया में अपने कौशल को स्वायत्त रूप से परिष्कृत करने में सक्षम बनाता है, जो इंटरनेट पर उपलब्ध विशाल मात्रा में वीडियो डेटा से सामान्य रोबोट लर्निंग की ओर एक स्केलेबल मार्ग प्रदान करता है। लेखक सुझाव देते हैं कि भविष्य के कार्य इसे भाषा-निर्देशित मल्टी-टास्क मॉडल तक विस्तारित कर सकते हैं और नीति को और अधिक अनुकूलित करने के लिए वर्ल्ड-मॉडल-आधारित खोज (world-model-based search) का पता लगा सकते हैं।