🤖 AI

Ego-Foresight: Self-supervised Learning of Agent-Aware Representations for Improved RL

यह शोध पत्र Ego-Foresight को प्रस्तुत करता है, जो एक स्व-पर्यवेक्षित शिक्षण (self-supervised learning) विधि है जो एजेंट और पर्यावरण के निरूपणों (representations) को अलग करने के लिए मोटर भविष्यवाणी का लाभ उठाती है, जिससे बिना किसी पर्यवेक्षी संकेतों (supervisory signals) के सुदृढीकरण लर्निंग (reinforcement learning) एल्गोरिदम की नमूना दक्षता (sample efficiency) और प्रदर्शन में सुधार होता है।

मूल लेखक: Manuel Serra Nunes, Atabak Dehban, Yiannis Demiris, José Santos-Victor

प्रकाशित 2026-04-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Manuel Serra Nunes, Atabak Dehban, Yiannis Demiris, José Santos-Victor

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप जुग्लिंग (juggling) करना सीख रहे हैं। यदि आप केवल किसी दूसरे को जुग्लिंग करते हुए वीडियो में देखते हैं, तो आपको एक सामान्य अंदाजा मिल सकता है, लेकिन आप वास्तव में यह तब तक नहीं समझ पाएंगे कि आपके अपने हाथों को कैसे हिलना चाहिए जब तक कि आप इसे स्वयं करने का प्रयास नहीं करते।

यह शोध पत्र, "Ego-Foresight," रोबोट्स को बिना किसी शिक्षक के हाथ पकड़कर सिखाए जाने की आवश्यकता के बिना, उसी तरह की "आत्म-जागरूकता" सीखने के बारे में है।

यहाँ इस विचार का विवरण दिया गया है, सरल उपमाओं (analogies) का उपयोग करते हुए:

1. समस्या: रोबोट "डेटा के भूखे" होते हैं

आर्टिफिशियल इंटेलिजेंस की दुनिया में, रोबोट उन छात्रों की तरह हैं जिन्हें किसी विषय में परीक्षा पास करने से पहले पूरी लाइब्रेरी पढ़नी पड़ती है। कोई नया कौशल सीखने के लिए (जैसे कप उठाना या दरवाजा खोलना), एक रोबोट को आमतौर पर हजारों बार प्रयास करना पड़ता है, बार-बार असफल होना पड़ता है, ताकि वह बुनियादी बातें समझ सके। यह वास्तविक दुनिया में अक्षम और खतरनाक है।

2. मानवीय रहस्य: "मोटर प्रेडिक्शन" (Motor Prediction)

इंसान अलग होते हैं। हम एक नया कौशल बहुत जल्दी सीख सकते हैं। क्यों? क्योंकि हमारा मस्तिष्क लगातार एक सिमुलेशन चला रहा होता है।

उपमा: अपने मस्तिष्क को एक फिल्म निर्देशक के रूप में सोचें। जब आप अपना हाथ हिलाने का निर्णय लेते हैं, तो आपका मस्तिष्क तुरंत भविष्यवाणी करता है, "यदि मैं अपना हाथ इस तरह हिलाता हूँ, तो बैकग्राउंड शिफ्ट हो जाएगा, और मेरा हाथ यहाँ होगा।"
"गुदगुदी" वाला नुस्खा: यही कारण है कि आप खुद को गुदगुदी नहीं कर सकते। आपका मस्तिष्क अपनी पसलियों को छूने के अहसास की भविष्यवाणी करता है, इसलिए वह उस अहसास को रद्द कर देता है। वह केवल आश्चर्यजनक चीजों पर ध्यान देता है (जैसे जब कोई दूसरा आपको गुदगुदी करता है)।

लेखकों ने महसूस किया: यदि हम रोबोट्स को यह भविष्यवाणी करना सिखाते हैं कि उनका अपना शरीर कैसे हिलता है, तो वे तेजी से सीखेंगे।

3. समाधान: Ego-Foresight (EF)

टीम ने Ego-Foresight नामक एक विधि बनाई। रोबोट को सिर्फ यह बताने के बजाय कि, "इनाम पाने के लिए अपना हाथ हिलाओ," वे उसे एक साइड-क्वेस्ट (side-quest) देते हैं: "भविष्यवाणी करो कि अगले कुछ सेकंड में तुम्हारा हाथ कैसा दिखेगा।"

यह कैसे काम करता है, चरण-दर-चरण:

स्प्लिट स्क्रीन (Split Screen): रोबोट एक वीडियो फीड देखता है। सिस्टम इस दृश्य को दो मानसिक चैनलों में विभाजित करता है:
1. बैकग्राउंड (Background): मेज, दीवार, हिलता हुआ कॉफी कप (वे चीजें जिन्हें रोबोट ने नहीं बनाया)।
2. स्वयं (The Self): रोबोट का अपना हाथ, ग्रिपर, या कोई भी उपकरण जो वह पकड़े हुए है (वे चीजें जिन्हें रोबोट ने किया है)।
"बॉटलनेक" (Bottleneck) का तरीका: रोबोट को "स्वयं" की अपनी समझ को एक बहुत ही संकीर्ण चैनल (जैसे एक स्ट्रॉ/नली) में संकुचित करने के लिए मजबूर किया जाता है। क्योंकि यह बहुत छोटा है, रोबोट को केवल सबसे महत्वपूर्ण, अनुमान लगाने योग्य हिस्सों पर ध्यान केंद्रित करना ही होगा: उसकी अपनी गति। वह गिरती हुई पत्ती की रैंडम गति की भविष्यवाणी करने में जगह बर्बाद नहीं कर सकता।
प्रेडिक्शन गेम (The Prediction Game): रोबोट अपनी वर्तमान स्थिति को देखता है, उस कमांड को देखता है जो उसने अभी दी है ("हाथ ऊपर उठाओ"), और कोशिश करता है कि एक सेकंड के अंश में उसका हाथ कैसा दिखेगा, उसका चित्र बनाना।
- यदि वह सही भविष्यवाणी करता है, तो उसे "अच्छा काम किया" का संकेत मिलता है।
- यदि वह गलत भविष्यवाणी करता है, तो वह अपने शरीर के आंतरिक मानचित्र (internal map) को समायोजित करना सीखता है।

4. यह गेम-चेंजर क्यों है

पेपर में परीक्षण किया गया कि रोबोट दरवाजे खोलने या हथौड़ा चलाने जैसे कार्य कैसे करते हैं।

"टूल" का जादू: एक प्रयोग में, एक रोबोट ने हथौड़ा उठाया। एक सुपरवाइज्ड रोबोट (जिसे इंसान ने सिखाया हो) भ्रमित हो सकता है क्योंकि हथौड़ा उसके मूल शरीर के हिस्से का हिस्सा नहीं था। लेकिन Ego-Foresight रोबोट ने महसूस किया: "अरे, जब मैं हिलता हूँ, तो हथौड़ा भी मेरे साथ हिलता है। इसलिए, हथौड़ा अब 'मैं' का हिस्सा है।" इसने तुरंत अपनी आत्म-छवि को टूल (उपकरण) को शामिल करने के लिए अपडेट कर लिया।
परिणाम: अपनी गति की भविष्यवाणी करना सीखकर, रोबोट वास्तविक कार्य को सीखने में बहुत बेहतर हो गया। उसे सफल होने के लिए कम प्रयासों की आवश्यकता पड़ी और उसने उन रोबोट्स की तुलना में बेहतर प्रदर्शन किया जिनमें यह आत्म-जागरूकता नहीं थी।

5. बड़ा परिदृश्य (The Big Picture)

एक वीडियो गेम सीखने के बारे में सोचें।

पुराना तरीका: आप बस बटन दबाते रहते हैं जब तक कि आप जीत न जाएं। इसमें बहुत समय लगता है।
Ego-Foresight तरीका: आप रुकते हैं और सोचते हैं, "यदि मैं यह बटन दबाता हूँ, तो मेरा कैरेक्टर यहाँ कूदेगा। यदि मैं वह दबाता हूँ, तो मैं वहाँ फिसलेगा।" आप अपने कैरेक्टर के भौतिक विज्ञान (physics) का एक मानसिक मानचित्र बनाते हैं। क्योंकि आप अपने स्वयं के "शरीर" को समझते हैं, आप अपना मस्तिष्क पहेली (वातावरण) को हल करने पर केंद्रित कर सकते हैं, बजाय इसके कि आप केवल यह समझने में उलझे रहें कि कैसे हिलना है।

संक्षेप में: Ego-Foresic रोबोट्स को अपनी गतिविधियों के साथ "आगे क्या होगा?" का खेल खेलकर "खुद को जानने" की शिक्षा देता है। यह आत्म-ज्ञान एक शॉर्टकट के रूप में कार्य करता है, जिससे वे जटिल कार्यों को बहुत तेज़ी से सीख सकते हैं और बिना किसी इंसान द्वारा उनके चारों ओर मास्क बनाए, नए उपकरणों के अनुकूल हो सकते हैं।

यहाँ शोध पत्र "EGO-FORESIGHT: SELF-SUPERVISED LEARNING OF AGENT-AWARE REPRESENTATIONS FOR IMPROVED RL" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डीप रिइन्फोर्समेंट लर्निंग (RL) एजेंट, विशेष रूप से जो कच्चे पिक्सेल इनपुट (raw pixel inputs) से संचालित होते हैं, खराब सैंपल एफिशिएंसी (sample efficiency) से जूझते हैं, जिन्हें प्रभावी नीतियां सीखने के लिए भारी मात्रा में प्रशिक्षण डेटा की आवश्यकता होती है। एक प्राथमिक बाधा एजेंट की अपनी गतिशीलता (स्वयं द्वारा उत्पन्न संवेदी परिवर्तन) और पर्यावरण की गतिशीलता (बाहरी घटनाएं) के बीच अंतर करने में कठिनाई है।

वर्तमान सीमाएं: पिछले दृष्टिकोण जो एजेंट और पर्यावरण की जानकारी को अलग करने का प्रयास करते हैं (जैसे, SEAR), वे सुपरवाइज्ड सिग्नल्स पर बहुत अधिक निर्भर करते हैं, जैसे कि ज्यामितीय आईडी (geometric IDs), CAD मॉडल, या फाइन-ट्यून किए गए सेगमेंटेशन नेटवर्क से प्राप्त सेगमेंटेशन मास्क। ये विधियां नाजुक (brittle) हैं, वास्तविक दुनिया के परिवेश में तैनात करना कठिन है जहाँ ऐसे मास्क उपलब्ध नहीं होते, और वे तब अनुकूलित नहीं हो पातीं जब एजेंट का "बॉडी स्कीमा" (body schema) बदलता है (जैसे, कोई उपकरण उठाना)।
मानवीय प्रेरणा: मनुष्य स्वयं को पर्यावरण से अलग करने के लिए मोटर प्रेडिक्शन (अपने स्वयं के मोटर कमांड के संवेदी परिणामों की भविष्यवाणी करना) के माध्यम से सीखते हैं, जिसके लिए किसी स्पष्ट सुपरविजन की आवश्यकता नहीं होती। यह शोध पत्र इन क्षमताओं को कृत्रिम प्रणालियों में दोहराने का लक्ष्य रखता है ताकि RL दक्षता में सुधार किया जा सके।

2. कार्यप्रणाली: ईगो-फोरसाइट (Ego-Foresight - EF)

लेखक ईगो-फोरसाइट (EF) का प्रस्ताव करते हैं, जो एक सेल्फ-सुपरवाइज्ड लर्निंग फ्रेमवर्क है जो गति और भविष्यवाणी के आधार पर एजेंट की जानकारी को पर्यावरणीय जानकारी से अलग करता है।

मुख्य आर्किटेक्चर (Core Architecture)

EF एक रिकरेंट ब्लॉक के साथ एन्कोडर-डिकोडर (Encoder-Decoder) आर्किटेक्चर का उपयोग करता है:

इनपुट: संदर्भ RGB फ्रेम ( $x_{t_0:t_c}$ ) का एक अनुक्रम और नियोजित क्रियाओं ( $a_{t_c+1:t_k}$ ) का एक अनुक्रम।
फीचर डिसेंटैंगलमेंट (Feature Disentanglement): विजुअल एन्कोडर ( $E_\psi$ $E_{ψ}$ ) संदर्भ फ्रेमों को एक लेटेंट फीचर वेक्टर $h$ $h$ में मैप करता है। इस वेक्टर को दो घटकों में विभाजित किया जाता है:
- सीन फीचर्स ( $h_s$ ): स्थिर या बाहरी पर्यावरणीय जानकारी को एनकोड करता है।
- एजेंट फीचर्स ( $h_a$ ): एजेंट के विन्यास (configuration) को एनकोड करता है।
- प्रतिबंध (Constraint): $h_a$ का आयाम (dimension) कुल लेटेंट स्पेस का एक छोटा हिस्सा होने के लिए सीमित है, जो एक बॉटलनेक (bottleneck) बनाता है जो मॉडल को केवल सबसे अनुमान योग्य गतिकी (एजेंट स्वयं) पर ध्यान केंद्रित करने के लिए मजबूर करता है।
भविष्यवाणी (Prediction): एक रिकरेंट नेटवर्क वर्तमान एजेंट फीचर्स और क्रियाओं के अनुक्रम के आधार पर भविष्य के एजेंट फीचर्स ( $\hat{h}_a$ ) की भविष्यवाणी करता है।
पुनर्निर्माण (Reconstruction): भविष्य के एजेंट फीचर्स को फ्रीज किए गए सीन फीचर्स (संदर्भ से) के साथ जोड़ा जाता है और भविष्य के फ्रेम ( $\hat{x}_k$ ) के पुनर्निर्माण के लिए एक डिकोडर को पास किया जाता है।

प्रशिक्षण उद्देश्य (Training Objective)

मॉडल को भविष्य के फ्रेम और वास्तविक भविष्य के फ्रेम के बीच पुनर्निर्माण त्रुटि (reconstruction error) को कम करने के लिए प्रशिक्षित किया जाता है:
$L_{ef} = \mathbb{E}_{\tau \sim D} [\|\hat{x}_k - x_k\|_2^2]$
चूंकि सीन फीचर्स को संदर्भ से "फॉरवर्ड" किया जाता है, इसलिए मॉडल को इमेज के चलते हुए हिस्सों को पुनर्गठित करने के लिए एजेंट की गतिशीलता को सीखने के लिए मजबूर किया जाता है। यदि एजेंट कोई उपकरण उठाता है, तो उपकरण की गति एजेंट की क्रियाओं से अनुमान योग्य हो जाती है, और मॉडल उपकरण को एजेंट के प्रतिनिधित्व में शामिल करना सीख जाता है।

RL के साथ एकीकरण (Integration with RL)

EF को मौजूदा RL एल्गोरिदम (विशेष रूप से मॉडल-फ्री के लिए DrQ-v2 और मॉडल-बेस्ड के लिए TD-MPC2) में एक सहायक कार्य (auxiliary task) के रूप में एकीकृत किया गया है।

साझा एन्कोडर (Shared Encoder): विजुअल एन्कोडर RL पॉलिसी/क्रिटिक और EF भविष्यवाणी कार्य दोनों के बीच साझा किया जाता है।
संयुक्त अनुकूलन (Joint Optimization): कुल लॉस, RL लॉस और EF पुनर्निर्माण लॉस का एक भारित योग (weighted sum) है:
$L_{total} = L_{RL} + \beta L_{ef}$
मोटर बैबलिंग (Motor Babbling): यह सुनिश्चित करने के लिए कि शुरुआती चरणों में एजेंट विविध गतिविधियों का अन्वेषण करे (जब वह अन्यथा सीमित तरीके से केवल रिवॉर्ड को अधिकतम कर सकता है), एक "मोटर बैबलिंग" चरण पेश किया गया है जहाँ क्रियाएं रैंडम होती हैं, जो विसुओमोटर मैपिंग (visuomotor mapping) सीखने के लिए मजबूर करती हैं।

3. मुख्य योगदान (Key Contributions)

सेल्फ-सुपरवाइज्ड डिसेंटैंगलमेंट: बिना किसी सेगमेंटेशन मास्क या बाहरी सुपरविजन के एजेंट और पर्यावरण के प्रतिनिधित्व को अलग करने की एक नवीन विधि।
बॉडी स्कीमा परिवर्तनों के प्रति अनुकूलन क्षमता: यह विधि एजेंट के शारीरिक स्वरूप में गतिशील परिवर्तनों (जैसे, उपकरण उठाना और उपयोग करना) के अनुकूल होने में सफल रही है, क्योंकि यह उपकरण को एजेंट की अनुमान योग्य गतिशीलता के रूप में मानती है।
बेहतर सैंपल एफिशिएंसी: यह प्रदर्शित किया गया कि सहायक कार्य के रूप में EF को जोड़ने से स्टेट-ऑफ-द-आर्ट RL एल्गोरिदम की सैंपल एफिशिएंसी और एसिम्प्टोटिक प्रदर्शन (asymptotic performance) में काफी सुधार होता है।
सामान्य प्रयोज्यता (General Applicability): यह दृष्टिकोण आर्किटेक्चर-अज्ञेयवादी (architecture-agnostic) है और इसे मॉडल-फ्री (DrQ-v2) और मॉडल-बेस्ड (TD-MPC2) दोनों एल्गोरिदम पर सफलतापूर्वक परीक्षण किया गया है।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग दो चुनौतीपूर्ण बेंचमार्क: Meta-World (रोबोटिक मैनिपुलेशन) और DMC (लोकोमोशन और मैनिपुलेशन), जो MuJoCo में कार्यान्वित हैं, पर किए गए।

डिसेंटैंगलमेंट सत्यापन (Disentanglement Validation):
- ग्रेडिएंट्स के विज़ुअलाइज़ेशन ने दिखाया कि जैसे-जैसे प्रशिक्षण आगे बढ़ता है, एजेंट फीचर्स ( $h_a$ ) रोबोट के शरीर और उपकरणों में विशेषज्ञता हासिल करते हैं, जबकि सीन फीचर्स ( $h_s$ ) बैकग्राउंड और स्थिर वस्तुओं को संभालते हैं।
- "Hammer" कार्यों में, मॉडल ने हथौड़े की गति को पकड़े जाने के बाद एजेंट के हिस्से के रूप में सही ढंग से भविष्यवाणी की। "Door Open" कार्यों में, दरवाजा स्थिर (पर्यावरण के रूप में माना गया) रहा क्योंकि इसकी गति एजेंट की क्रियाओं से पूरी तरह निर्धारित नहीं थी।
RL प्रदर्शन:
- DrQ-v2-EF: इसने 26 में से 21 कार्यों में बेसलाइन DrQ-v2 को पछाड़ दिया। इसने अधिकतम प्रदर्शन के 95% तक पहुँचने के लिए आवश्यक स्टेप्स की संख्या को काफी कम कर दिया।
- उपकरण का उपयोग (Tool Use): EF-संवर्धित मॉडलों और बेसलाइन के बीच प्रदर्शन का अंतर उन कार्यों में सबसे अधिक था जिनमें उपकरण के उपयोग की आवश्यकता होती है, जो एजेंट के बॉडी स्कीमा में टूल को एकीकृत करने की विधि की क्षमता को प्रमाणित करता है।
- TD-MPC2-EF: मूल TD-MPC2 की तुलना में 10 में से 8 कार्यों में प्रदर्शन में सुधार किया।
- तुलना: EF-संवर्धित मॉडल सुपरवाइज्ड बेसलाइन SEAR और कंट्रास्टिव लर्निंग बेसलाइन CURL से बेहतर रहे, और स्टेट-ऑफ-द-आर्ट Dreamer-v3 के प्रतिस्पर्धी रहे।
एब्लेशन अध्ययन (Ablation Studies):
- EF लॉस का भार $\beta$ एक रेगुलराइज़र के रूप में कार्य करता है; बहुत कम होने पर इसका कोई प्रभाव नहीं पड़ता; बहुत अधिक होने पर यह प्रदर्शन को कम कर देता है।
- एजेंट फीचर्स का आयाम (dimension) छोटा होना चाहिए; बड़े आयाम मॉडल को "चीटिंग" करने की अनुमति देते हैं (पर्यावरण की गतिशीलता की भविष्यवाणी करके), जिससे डिसेंटैंगलमेंट कम हो जाता है।
- प्रदर्शन और कंप्यूटेशनल लागत के बीच संतुलन बनाने के लिए 10 फ्रेम का प्रेडिक्शन होराइजन ( $H$ ) इष्टतम पाया गया।

5. महत्व और निष्कर्ष (Significance and Conclusion)

Ego-Foresight सुपरवाइज्ड सेगमेंटेशन मास्क की निर्भरता को हटाकर वास्तविक दुनिया के रोबोटिक लर्निंग की दिशा में एक महत्वपूर्ण कदम है, जो अक्सर भौतिक वातावरण में अनुपलब्ध या अव्यवहारिक होते हैं।

सैद्धांतिक प्रभाव: यह इस परिकल्पना की पुष्टि करता है कि मोटर प्रेडिक्शन एजेंट-जागरूक प्रतिनिधित्व सीखने के लिए एक शक्तिशाली तंत्र है, जो मानवीय विकासात्मक प्रक्रियाओं की नकल करता है।
व्यावहारिक प्रभाव: सैंपल एफिशिएंसी में सुधार करके, EF ट्रेनिंग की कंप्यूटेशनल और समय की लागत को कम करता है। नई वस्तुओं के लिए बिना री-ट्रेनिंग या री-सुपरविजन के अनुकूल होने की इसकी क्षमता इसे सामान्य-उद्देश्य वाले रोबोटिक्स के लिए अत्यधिक उपयुक्त बनाती है।
भविष्य की दिशाएँ: लेखक सुझाव देते हैं कि भविष्य के कार्य पिक्सेल-वाइज पुनर्निर्माण को कंट्रास्टिव लॉस (contrastive losses) से बदल सकते हैं ताकि कार्य-अप्रासंगिक विवरणों को मॉडल करने से बचा जा सके और ट्रांसफॉर्मर आर्किटेक्चर का उपयोग करके हाई-रिज़ॉल्यूशन वास्तविक दुनिया के डेटा तक विस्तार किया जा सके।

संक्षेप में, ईगो-फोरसाइट एक मजबूत, सेल्फ-सुपरवाइज्ड फ्रेमवर्क प्रदान करता है जो RL एजेंटों को "स्वयं को जानने" में सक्षम बनाता है, जिससे जटिल और गतिशील वातावरण में तेजी से सीखना और बेहतर सामान्यीकरण (generalization) संभव होता है।