🤖 machine learning

Value Explicit Pretraining for Learning Transferable Representations

यह शोध पत्र वैल्यू एक्सप्लिसिट प्रीट्रेनिंग (VEP) का प्रस्ताव करता है, जो एक स्व-पर्यवेक्षित (self-supervised) विधि है जो पर्यावरण-अपरिवर्तनीय (environment-invariant) निरूपणों को सीखने के लिए उप-इष्टतम अलेबल (unlabeled) प्रदर्शनों और मोंटे कार्लो वैल्यू अनुमानों का लाभ उठाती है, जो अत्याधुनिक दृष्टिकोणों की तुलना में ट्रांसफर सुदृढीकरण शिक्षण (transfer reinforcement learning) कार्यों में नमूना दक्षता और सामान्यीकरण में महत्वपूर्ण सुधार करती है।

मूल लेखक: Kiran Lekkala, Henghui Bao, Sumedh A. Sontakke, Erdem Biyik, Laurent Itti

प्रकाशित 2026-05-04

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kiran Lekkala, Henghui Bao, Sumedh A. Sontakke, Erdem Biyik, Laurent Itti

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना या शहर में रास्ता खोजना सिखा रहे हैं। आमतौर पर, आपको रोबोट को किसी विशिष्ट कार्य को करने का सटीक तरीका दिखाना पड़ता है, जैसे "एलियन को मारो" या "लाल इमारत के पास से बाएं मुड़ो।" लेकिन क्या होगा यदि आप चाहते हैं कि रोबोट बिना शून्य से शुरुआत किए एक नया गेम या एक नया शहर सीख ले? यही वह बड़ी चुनौती है जिसे यह शोध पत्र हल करता है।

लेखक एक नई विधि प्रस्तावित करते हैं जिसे वैल्यू एक्सप्लिसिट प्रीट्रेनिंग (VEP) कहा जाता है। यह कैसे काम करता है, इसे सरल उपमाओं के माध्यम से समझाया गया है:

समस्या: "परफेक्ट स्टूडेंट" बनाम "वास्तविक दुनिया"

अधिकांश वर्तमान AI प्रशिक्षण विधियाँ एक छात्र को केवल पूर्ण, 100% सफल वीडियो दिखाकर पढ़ाने की तरह हैं। यदि छात्र केवल एक मास्टर शेफ को एक परफेक्ट सूफ़ले (soufflé) बनाते हुए देखता है, तो वे थोड़ा अलग व्यंजन बनाने या अलग चूल्हा इस्तेमाल करने पर संघर्ष कर सकते हैं।

वास्तविक दुनिया में, हमारे पास बहुत सारा ऐसा डेटा होता है जहाँ चीजें पूरी तरह से सही नहीं होती हैं। लोग गलतियाँ करते हैं, गेम विफलता के साथ समाप्त होते हैं, और रोबोट रास्ता भटक जाते हैं। यह शोध पत्र तर्क देता है कि हमें इन "अपूर्ण" वीडियो से सीखने में सक्षम होना चाहिए, भले ही वीडियो में दिख रहा व्यक्ति वास्तव में कार्य को पूरा न कर पाया हो।

समाधान: "प्रोग्रेस बार" की उपमा

VEP का मूल विचार रोबोट को केवल यह समझना नहीं है कि चीजें कैसी दिखती हैं, बल्कि प्रगति (progress) को समझना है।

कल्पना कीजिए कि आप किसी को पहाड़ चढ़ने की कोशिश करते हुए एक वीडियो देख रहे हैं।

पुरानी विधियाँ: ये विधियाँ कह सकती हैं, "यह फ्रेम एक चट्टान जैसा दिखता है, इसलिए यह एक चट्टान है। यह फ्रेम एक पेड़ जैसा दिखता है, इसलिए यह एक पेड़ है।" वे दिखावट (appearance) पर ध्यान केंद्रित करती हैं। यदि पहाड़ हरे पेड़ों से बदलकर भूरी चट्टानों में बदल जाता है, तो रोबोट भ्रमित हो जाता है।
VEP विधि: यह विधि प्रोग्रेस बार (Progress Bar) को देखती है। यह पूछती है, "यह व्यक्ति शिखर के कितने करीब है?"
- भले ही व्यक्ति एक हरे ढलान (कार्य A) पर हो या एक भूरे ढलान (कार्य B) पर, यदि दोनों "70% के रास्ते पर" हैं, तो VEP रोबोट को सिखाता है कि ये दो क्षण समान हैं।
- इससे कोई फर्क नहीं पड़ता कि दृश्य अलग दिखते हैं; मायने यह रखता है कि लक्ष्य के करीब पहुँचा जा रहा है।

यह कैसे काम करता है ("मोंटे कार्लो" ट्रिक)

यह शोध पत्र एक गणितीय ट्रिक का उपयोग करता है जिसे मोंटे कार्लो वैल्यू एस्टीमेट (Monte Carlo value estimate) कहा जाता है। इसे एक "सफलता स्कोर" के रूप में समझें जो वीडियो के हर एक फ्रेम के लिए कैलकुलेट किया जाता है।

डेटा: रोबोट घंटों के "सब-ऑप्टिमल" (उप-इष्टतम) वीडियो देखता है (ऐसे वीडियो जहाँ खिलाड़ी हमेशा नहीं जीतता)।
स्कोर: हर फ्रेम के लिए, रोबोट एक स्कोर कैलकुलेट करता है: "यदि मैं इस सटीक क्षण पर होता, तो मेरे सफल होने की कितनी संभावना होती?"
- एक फ्रेम जहाँ खिलाड़ी दुश्मन को मारने वाला है, उसे उच्च स्कोर मिलता है।
- एक फ्रेम जहाँ खिलाड़ी दूर है या खो गया है, उसे कम स्कोर मिलता है।
सबक: रोबोट उन दो फ्रेमों को एक साथ समूहबद्ध करना सीखता है जिनका स्कोर समान है, भले ही वे दिखने में पूरी तरह से अलग हों।
- उदाहरण: "स्पेस इनवेडर्स" का एक फ्रेम जहाँ खिलाड़ी जीतने वाला है, उसे "डेमन अटैक" के एक फ्रेम के साथ जोड़ा जाता है जहाँ खिलाड़ी जीतने वाला है, क्योंकि दोनों का "उच्च सफलता स्कोर" है।

परिणाम: एक यूनिवर्सल ट्रांसलेटर (सार्वभौमिक अनुवादक)

इस तरह से प्रशिक्षित करके, रोबोट प्रगति की एक "सार्वभौमिक भाषा" सीख जाता है।

परीक्षण: शोधकर्ताओं ने तीन चीजों पर इसका परीक्षण किया: अटाari (Atari) वीडियो गेम, एक वर्चुअल सिटी नेविगेशन टास्क, और भूलभुलैया में चलने वाले एक सिम्युलेटेड चींटी का कार्य।
परिणाम: जब उन्होंने रोबोट को एक नया गेम या एक नया शहर दिया जिसे उसने पहले कभी नहीं देखा था, तो इसने अन्य तरीकों से प्रशिक्षित रोबोट की तुलना में बहुत तेज़ी से सीखा।
- इसने 2 गुना अधिक रिवॉर्ड्स (यह बेहतर खेला) प्राप्त किए।
- इसे नया कार्य सीखने के लिए 3 गुना कम प्रयासों की आवश्यकता पड़ी (यह अधिक कुशल था)।

यह क्यों महत्वपूर्ण है

यह शोध पत्र दावा करता है कि दिखावट (कि दुश्मन कैसा दिखता है?) के बजाय उद्देश्य (हम जीतने के कितने करीब हैं?) पर ध्यान केंद्रित करके, रोबोट नई स्थितियों में जो कुछ भी उसने सीखा है उसे ट्रांसफर करने में बहुत बेहतर हो जाता है।

यह एक इंसान को हर शहर का नक्शा दिखाकर नहीं, बल्कि उसे "गंतव्य के करीब पहुँचने" की अवधारणा सिखाकर पढ़ाने जैसा है। एक बार जब वे उस अवधारणा को समझ जाते हैं, तो वे किसी भी नए शहर में नेविगेट कर सकते हैं, भले ही सड़कें पूरी तरह से अलग दिखती हों।

संक्षेप में: VEP रोबोट को बदलते परिवेश के "शोर" (noise) को अनदेखा करना और लक्ष्य की ओर प्रगति करने के "सिग्नल" पर ध्यान केंद्रित करना सिखाता है, और ऐसा करने के लिए अपूर्ण, बिना लेबल वाले वीडियोों का उपयोग करता है।

यहाँ Lekkala et al. के शोध पत्र "Value Explicit Pretraining for Learning Transferable Representations" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

विजुअल रिइन्फोर्समेंट लर्निंग (RL) एजेंट वातावरण की गतिशीलता (dynamics) और दृश्य उपस्थिति (visual appearance) में बदलाव आने पर कार्यों (tasks) के बीच सामान्यीकरण (generalize) करने में संघर्ष करते हैं। जबकि मनुष्य इन परिवर्तनों के बावजूद कार्य-प्रासंगिक जानकारी निकाल सकते हैं, रोबोटों को ऐसे प्रतिनिधित्व (representations) की आवश्यकता होती है जो ऐसे परिवर्तनों के प्रति अपरिवर्तनीय (invariant) हों।

वर्तमान प्रतिनिधित्व शिक्षण दृष्टिकोण दो मुख्य सीमाओं का सामना करते हैं:

गलत संरेखित उद्देश्य (Misaligned Objectives): कई विधियाँ प्रीट्रेनिंग उद्देश्यों (जैसे, इमेज रिकंस्ट्रक्शन, टेम्पोरल कंसिस्टेंसी) का उपयोग करती हैं जो डाउनस्ट्रीम कंट्रोल टास्क (एक्शन प्रेडिक्शन) से भिन्न होते हैं।
डेटा आवश्यकताएँ (Data Requirements): मौजूदा ट्रांसफर लर्निंग विधियों को अक्सर उच्च-गुणवत्ता वाले, लेबल किए गए विशेषज्ञ प्रदर्शनों या सफल प्रक्षेप पथों (trajectories) की आवश्यकता होती है। सब-ऑप्टिमल, अनलेबल डेटा (अवलोकनों के अनुक्रम और स्पार्स रिवॉर्ड्स जहाँ एजेंट अक्सर कार्य पूरा करने में विफल रहता है) से प्रभावी रूप से हस्तांतरणीय प्रतिनिधित्व सीखने में विधियों का अभाव है।

मुख्य चुनौती यह है: हम एक ऐसे एनकोडर को कैसे सीख सकते हैं जो कंट्रोल टास्क पर प्रशिक्षण दिए बिना, केवल अपूर्ण, अनलेबल डेटा का उपयोग करके कंट्रोल के लिए उपयोगी प्रतिनिधित्व उत्पन्न करे?

2. कार्यप्रणाली: वैल्यू एक्सप्लिसिट प्रीट्रेनिंग (Methodology: Value Explicit Pretraining - VEP)

लेखक वैल्यू एक्सप्लिसिट प्रीट्रेनिंग (VEP) का प्रस्ताव करते हैं, जो एक सेल्फ-सुपरवाइज्ड कंट्रास्टिव लर्निंग विधि है। यह केवल दृश्य या टेम्पोरल निकटता के बजाय "सफलता की संभावना" (value) को स्पष्ट रूप से एनकोड करके कार्य-अज्ञेय (task-agnostic) प्रतिनिधित्व सीखती है।

मुख्य अंतर्दृष्टि (Core Insight)

किसी अवस्था (state) का वैल्यू फंक्शन $V(s)$ एक इष्टतम नीति (optimal policy) के तहत अपेक्षित रिटर्न (सफलता की संभावना) का प्रतिनिधित्व करता है। लेखक यह परिकल्पना करते हैं कि विभिन्न कार्यों में समान वैल्यू अनुमानों (value estimates) वाले स्टेट्स, एक समान इष्टतम रणनीति साझा करते हैं (भले ही उनकी दृश्य उपस्थिति अलग हो)। इसलिए, प्रतिनिधित्व को विजुअल समानता के बजाय वैल्यू समानता के आधार पर क्लस्टर किया जाना चाहिए।

एल्गोरिदम अवलोकन (Algorithm Overview)

डेटा स्रोत: यह विधि प्रशिक्षण कार्यों के सेट से ऑफलाइन, सब-ऑप्टिमल, अनलेबल डेटासेट ( $D_{train}$ ) का उपयोग करती है। इन डेटासेट में अवलोकनों के अनुक्रम और स्पार्स रिवॉर्ड सिग्नल होते हैं लेकिन कोई एक्शन लेबल नहीं होता है।
मोंटे कार्लो वैल्यू एस्टीमेशन (Monte Carlo Value Estimation):
- चूंकि वास्तविक इष्टतम वैल्यू फंक्शन अज्ञात है, VEP स्पार्स रिवॉर्ड्स का उपयोग करके डेटासेट के प्रत्येक फ्रेम के लिए एक मोंटे कार्लो (MC) अनुमान $G$ की गणना करता है:
  $G(s_t, \tau) = \sum_{k=t}^{T} \gamma^{k-t} r_k$
- जिन फ्रेमों का वैल्यू अनुमान 0 है (जो यह दर्शाता है कि उस प्रक्षेप पथ खंड में कभी कोई रिवॉर्ड प्राप्त नहीं हुआ), उन्हें हटा दिया जाता है।
कंट्रास्टिव लर्निंग ऑब्जेक्टिव (Contrastive Learning Objective):
- एनकोडर $f_\phi$ को एक कंट्रास्टिव लॉस (InfoNCE या ट्रिपलेट लॉस) का उपयोग करके प्रशिक्षित किया जाता है।
- सैंपलिंग रणनीति (Sampling Strategy):
  - एंकर ( $z_{an}$ ): टास्क $T_i$ से एक अवलोकन जिसका वैल्यू अनुमान $g$ है।
  - पॉजिटिव ( $z_{ps}$ ): एक अलग टास्क $T_j$ से एक अवलोकन जिसका वैल्यू अनुमान $g$ के भीतर $v_{thresh}$ के थ्रेशोल्ड के भीतर है।
  - नेगेटिव ( $z_{ng}$ ): एक टास्क $T_k$ से एक अवलोकन जिसका वैल्यू अनुमान $g$ से काफी भिन्न है ( $v_{thresh}$ से परे)।
- लक्ष्य: लॉस फंक्शन एंकर और पॉजिटिव (समान वैल्यू/सफलता की संभावना) के बीच की दूरी को कम करता है और नेगेटिव के साथ दूरी को अधिकतम करता है, जिससे एनकोडर को टास्क-विशिष्ट उपस्थिति और डायनेमिक्स के प्रति अपरिवर्तनीय प्रतिनिधित्व सीखने के लिए मजबूर किया जाता है।

कार्यान्वयन विवरण (Implementation Details)

प्रीप्रोसेसिंग: एक डिक्शनरी सॉर्ट किए गए वैल्यू अनुमानों को फ्रेम इंडेक्स से मैप करती है ताकि कुशल बाइनरी सर्च सैंपलिंग सक्षम हो सके।
पॉलिसी ट्रेनिंग: प्रीट्रेनिंग के बाद, एनकोडर को फ्रीज कर दिया जाता है। एक ऑनलाइन RL एल्गोरिदम (PPO) को लेटेंट रिप्रेजेंटेशन $z_t$ को इनपुट के रूप में उपयोग करके टेस्ट टास्क पर प्रशिक्षित किया जाता है। एनकोडर का कोई फाइन-ट्यूनिंग नहीं होता है।

3. मुख्य योगदान (Key Contributions)

वैल्यू-एक्सप्लिसिट रिप्रेजेंटेशन: एक नया प्रीट्रेनिंग फ्रेमवर्क जो स्पष्ट रूप से वैल्यू अनुमानों का उपयोग करके लेटेंट स्पेस को व्यवस्थित करता है, यह सुनिश्चित करता है कि प्रतिनिधित्व केवल विजुअल या टेम्पोरल कंसिस्टेंसी के बजाय कार्य की प्रगति को दर्शाते हैं।
सब-ऑप्टिमल डेटा का उपयोग: विधि सफलतापूर्वक अनलेबल, सब-ऑप्टिमल डेटा (वे एपिसोड जो हमेशा कार्य को पूरा नहीं करते) का उपयोग करके हस्तांतरणीय प्रतिनिधित्व सीखती है, जो विशेषज्ञ प्रदर्शनों की आवश्यकता वाली विधियों से एक महत्वपूर्ण विचलन है।
टास्क-अज्ञेय सामान्यीकरण (Task-Agnostic Generalization): वैल्यू समानता पर ध्यान केंद्रित करके, विधि ऐसे प्रतिनिधित्व सीखती है जो अलग-अलग विजुअल डायनेमिक्स लेकिन समान उद्देश्यों वाले आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) कार्यों पर सामान्यीकरण करते हैं।
एब्लेशन और बेसलाइन तुलना: पेपर कठोरता से VEP की तुलना निम्नलिखित से करता है:
- VIP (Value Implicit Pretraining): जो टेम्पोरल कंसिस्टेंसी पर निर्भर करता है।
- TCN (Time Contrastive Learning): जो समय की दूरी के आधार पर पॉजिटिव्स को सैंपल करता है।
- SOM (State Occupancy Measure): जो सैंपलिंग के लिए ऑक्यूपेंसी मेजर्स का उपयोग करता है।
- वैल्यू रिग्रेशन (VR): एक बेसलाइन जो केवल वैल्यू अनुमान को रिग्रेस करता है (यह सिद्ध करने के लिए कि कंट्रास्टिव सैंपलिंग सरल रिग्रेशन से बेहतर है)।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन बेंचमार्क पर VEP का मूल्यांकन किया: Atari, विजुअल नेविगेशन (StreetLearn), और Ant Locomotion।

Atari बेंचमार्क:
- सेटअप: Demon-Attack और Space Invaders पर प्रीट्रेन किया गया; अन्य 4 शूटर गेम्स पर टेस्ट किया गया।
- परिणाम: VEP ने आउट-ऑफ-डिस्ट्रीब्यूशन कार्यों पर बेसलाइन्स (VIP, TCN, SOM) से रिवॉर्ड्स में 2 गुना तक बेहतर प्रदर्शन किया। इसने इन-डिस्ट्रीब्यूशन कार्यों पर ~25% सुधार दिखाया।
विजुअल नेविगेशन:
- सेटअप: 2 शहरों पर प्रीट्रेन किया गया; 4 अनदेखे शहरों पर टेस्ट किया गया।
- परिणाम: VEP ने एंड-टू-एंड ट्रेनिंग के समान प्रदर्शन 2.1 गुना तेजी से (सैंपल एफिशिएंसी) प्राप्त किया। इसने स्टेट-ऑफ-द-आर्ट विजन-लैंग्वेज मॉडल्स (CLIP, R3M, MVP) को महत्वपूर्ण रूप से पीछे छोड़ दिया।
Ant Locomotion (Maze):
- सेटअप: सरल मेज़ (mazes) पर प्रीट्रेन किया गया; अलग-अलग बाधाओं और विजुअल विविधताओं वाले जटिल मेज़ पर टेस्ट किया गया।
- परिणाम: VEP ने इन-डोमेन और OOD मेज़ दोनों में स्टेट-ऑफ-द-आर्ट प्रदर्शन हासिल किया।
- विज़ुअलाइज़ेशन: t-SNE प्लॉट्स ने दिखाया कि जबकि TCN एम्बेडिंग्स मेज़ की उपस्थिति द्वारा क्लस्टर (ओवरफिटिंग) हुईं, VEP एम्बेडिंग्स टास्क प्रोग्रेस (वैल्यू) द्वारा क्लस्टर हुईं, जो वास्तविक टास्क-अज्ञेय लर्निंग को प्रदर्शित करती हैं।
एब्लेशन स्टडीज (Ablation Studies):
- सब-ऑप्टिमलिटी: VEP का प्रदर्शन उन एपिसोड्स के डेटा का उपयोग करने पर भी मजबूत रहा जिन्होंने केवल 10% कार्य पूरा किया था।
- थ्रेशोल्डिंग: एक इष्टतम वैल्यू थ्रेशोल्ड ( $v_{thresh} \approx 0.03$ ) की पहचान की गई; बहुत अधिक थ्रेशोल्ड प्रदर्शन को खराब कर देता है।
- कंट्रास्टिव बनाम रिग्रेशन: केवल वैल्यू को रिग्रेस करना (वैल्यू रिग्रेशन बेसलाइन) हस्तांतरणीय प्रतिनिधित्व बनाने में विफल रहा, जो पुष्टि करता है कि ट्रिपलेट्स का कंट्रास्टिव सैंपलिंग ही महत्वपूर्ण तंत्र है।

5. महत्व और प्रभाव (Significance and Impact)

दक्षता (Efficiency): VEP डाउनस्ट्रीम RL के लिए सैंपल एफिशिएंसी में भारी सुधार करता है (3 गुना तक), जिससे महंगे ऑनलाइन इंटरैक्शन की आवश्यकता कम हो जाती है।
डेटा सुलभता (Data Accessibility): विशेषज्ञ, लेबल किए गए या सफल प्रदर्शनों की आवश्यकता को हटाकर, VEP ट्रांसफर लर्निंग के लिए बाधाओं को कम करता है, जिससे बड़ी मात्रा में "मेसी" (messy) वास्तविक दुनिया या सिम्युलेटेड डेटा का उपयोग करना संभव हो जाता है।
सामान्यीकरण (Generalization): विधि "दुनिया कैसी दिखती है" के बजाय "एजेंट सफलता के कितने करीब है" को कैप्चर करने वाले प्रतिनिधित्व सीखकर "सिम-टू-रियल" और "टास्क-टू-टास्क" गैप को संबोधित करती है।
भविकी दिशाएँ: लेखक इसे निरंतर नियंत्रण एल्गोरिदम (जैसे SAC) और फ्यू-शॉट इमिटेशन लर्निंग तक विस्तारित करने के साथ-साथ अधिक जटिल, बड़े पैमाने के प्रीट्रेनिंग परिदृश्यों में स्केल करने का सुझाव देते हैं।

संक्षेप में, VEP रोबोटिक्स के लिए प्रतिनिधित्व शिक्षण में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है, जो "दुनिया कैसी दिखती है" से बदलकर "एजेंट सफलता के कितने करीब है" पर केंद्रित है, जो अपूर्ण डेटा के साथ भी मजबूत ट्रांसफर को सक्षम बनाता है।