🤖 machine learning

WOMBET: World Model-based Experience Transfer for Robust and Sample-efficient Reinforcement Learning

WOMBET एक ऐसा फ्रेमवर्क है जो रोबोटिक्स में सोर्स टास्क से उच्च-गुणवत्ता वाला, अनिश्चितता-फ़िल्टर किया गया ऑफलाइन डेटा उत्पन्न करने के लिए एक वर्ल्ड मॉडल को संयुक्त रूप से सीखने और उसे टारगेट टास्क पर अनुकूल रूप से फाइन-ट्यून करने के माध्यम से सैंपल-एफिशिएंट और रोबस्ट रिइन्फोर्समेंट लर्निंग को बढ़ाता है।

मूल लेखक: Mintae Kim, Koushil Sreenath

प्रकाशित 2026-04-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Mintae Kim, Koushil Sreenath

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक जटिल कार्य करना सिखा रहे हैं, जैसे कि पथरीले इलाके में चलना या किसी नाजुक वस्तु को उठाना। वास्तविक दुनिया में, आप केवल रोबोट को कोशिश करने, विफल होने और हजारों बार टकराने के लिए नहीं छोड़ सकते। यह बहुत महंगा, बहुत खतरनाक और बहुत अधिक समय लेने वाला है। यह आज की रोबोटिक्स की सबसे बड़ी समस्या है: डेटा महंगा है।

यह पेपर एक नई विधि पेश करता है जिसे WOMBET (वर्ल्ड मॉडल-बेस्ड एक्सपीरियंस ट्रांसफर) कहा जाता है ताकि इस समस्या को हल किया जा सके। WOMBET को एक "स्मार्ट सिम्युलेटर" के रूप में समझें जो पायलटों के लिए फ्लाइट सिम्युलेटर की तरह काम करता है, लेकिन एक ट्विस्ट के साथ: यह केवल सिम्युलेशन नहीं करता; यह वास्तविक दुनिया को छूने से पहले ही सर्वोत्तम संभव अभ्यास सत्रों को तैयार (curate) करता है।

WOMBET कैसे काम करता है, इसे सरल अवधारणाओं और उपमाओं में यहाँ दिया गया है:

1. समस्या: "खाली स्लेट" बनाम "खराब शिक्षक"

मानक ऑनलाइन लर्निंग (Standard Online Learning): यह एक रोबोट को जंगल में फेंकने जैसा है और उसे यह समझने के लिए कहने जैसा है कि चलना कैसे है। वह बहुत बार गिरेगा, चीजें तोड़ेगा और बहुत धीरे सीखेगा।
मानक ऑफलाइन लर्निंग (Standard Offline Learning): यह रोबोट को किसी और के कार्य करने का वीडियो देने जैसा है। यदि वीडियो एकदम सही है, तो रोबोट तेजी से सीखता है। लेकिन यदि वीडियो पुराना है, किसी अलग वातावरण का है, या उसमें गलतियाँ हैं, तो रोबोट भ्रमित हो जाता है और विफल हो जाता है।
अंतराल (The Gap): अधिकांश विधियाँ मानती हैं कि आपके पास पहले से ही एक आदर्श वीडियो (डेटासेट) है। लेकिन वास्तव में, आपको अक्सर वह वीडियो पहले बनाना पड़ता है, और यदि आप सावधान नहीं हैं, तो सिम्युलेटर के अपूर्ण होने के कारण वीडियो "झूठ" (hallucinations) से भरा हो सकता है।

2. WOMBET समाधान: "स्मार्ट इंटर्न"

WOMBET एक बुद्धिमान, सतर्क इंटर्न की तरह कार्य करता है जो रोबोट के लिए एक प्रशिक्षण नियमावली (training manual) तैयार करता है। यह तीन मुख्य चरणों में यह कार्य करता है:

चरण A: "अनिश्चितता-जागरूक" सिम्युलेटर (द वर्ल्ड मॉडल)

सिर्फ यह अनुमान लगाने के बजाय कि दुनिया कैसे काम करती है, WOMBET एक वर्ल्ड मॉडल बनाता है। कल्पना कीजिए कि यह एक क्रिस्टल बॉल (भाग्य बताने वाला गोला) है जो भविष्यवाणी करता है कि यदि रोबोट एक विशिष्ट क्रिया करता है तो क्या होगा।

पकड़ (The Catch): क्रिस्टल बॉल पूर्ण नहीं होतीं। कभी-कभी वे आत्मविश्वासी होती हैं लेकिन गलत होती हैं।
समाधान (The Fix): WOMBET एक "पेनल्टी सिस्टम" का उपयोग करता है। यदि क्रिस्टल बॉल किसी भविष्यवाणी के बारे में अनिश्चित है (उच्च अनिश्चितता), तो यह उस पथ पर एक बड़ा "दंड" (penalty) जोड़ देता है। यह एक शिक्षक की तरह है जो कहता है, "उस गलियारे में मत जाओ; फर्श सड़ सकता है, और मैं 100% सुनिश्चित नहीं हूँ।" यह रोबोट को केवल उन रास्तों की योजना बनाने के लिए मजबूर करता है जहाँ सिम्युलेटर आश्वस्त है।

चरण B: "सख्त संपादक" (डुअल-क्राइटेरिया फिल्टरिंग)

सिम्युलेटर हजारों अभ्यास रन (trajectories) उत्पन्न करता है। लेकिन उनमें से अधिकांश बेकार होते हैं। WOMBET एक सख्त संपादक के रूप में कार्य करता है जिसके पास एक अभ्यास रन को स्वीकार करने के लिए दो नियम हैं:

क्या इसने अच्छा काम किया? (High Return): रोबोट को सिमुलेशन में कार्य सफलतापूर्वक पूरा करना चाहिए।
क्या हम सुनिश्चित हैं कि यह वास्तविक है? (Low Uncertainty): सिम्युलेटर को बहुत आश्वस्त होना चाहिए कि यह परिणाम संभव है।

परिणाम: यह "भाग्यशाली दुर्घटनाओं" और "अजीब अनुमानों" को फेंक देता है। यह केवल उच्च-गुणवत्ता वाले, विश्वसनीय अभ्यास सत्रों को रखता है। यह रोबोट का "ऑफलाइन डेटासेट" बन जाता है।

चरण C: "अनुकूली कोच" (ऑनलाइन फाइन-ट्यूनिंग)

अब, रोबोट वास्तविक दुनिया में अभ्यास नियमावली का उपयोग करके प्रशिक्षण शुरू करता है।

रणनीति: शुरुआत में, रोबोट मैनुअल (ऑफलाइन डेटा) पर बहुत अधिक भरोसा करता है क्योंकि यह सुरक्षित और विश्वसनीय है।
बदलाव: जैसे-जैसे रोबोट वास्तविक दुनिया के साथ बातचीत करना शुरू करता है, वह नया डेटा (ऑनलाइन डेटा) एकत्र करता है। WOMBET एक स्मार्ट कोच की तरह कार्य करता है जो लगातार मिश्रण को समायोजित करता है: "आप बहुत अच्छा कर रहे हैं, तो चलिए आपके वास्तविक दुनिया के अनुभव पर अधिक भरोसा करते हैं। लेकिन यदि आप गलतियाँ करने लगते हैं, तो चलिए वापस मैनुअल की ओर देखते हैं।"
लक्ष्य: यह रोबोट को वह भूलने से रोकता है जो उसने सीखा है (स्थिरता) जबकि उसे वास्तविक दुनिया की विचित्रताओं के अनुकूल होने (लचीलापन) की अनुमति देता है।

3. यह एक बड़ी बात क्यों है? (पायलट की उपमा)

एक पायलट को प्रशिक्षित करने की कल्पना करें:

पुराना तरीका: पायलट को वास्तविक विमान उड़ाने दें और सीखने के लिए कुछ बार दुर्घटनाग्रस्त होने दें। (बहुत खतरनाक)।
खराब सिम्युलेटर वाला तरीका: उन्हें एक सिम्युलेटर में रखें जो ग्लिच करता है और उन्हें बताता है कि "आप पहाड़ के बीच से उड़ सकते हैं।" वे पहाड़ में उड़कर टकराना सीख जाते हैं। (मॉडल बायस)।
WOMBET का तरीका:
1. सिम्युलेटर लाखों उड़ानें चलाता है लेकिन केवल उन्हीं को रिकॉर्ड करता है जहाँ भौतिकी स्पष्ट थी और लैंडिंग एकदम सटीक थी।
2. यह उन उड़ानों को हटा देता है जहाँ सिम्युलेटर "भ्रमित" था या लैंडिंग डगमगा रही थी।
3. पायलट पहले इस क्यूरेटेड, पूर्ण डेटासेट पर प्रशिक्षण लेता है।
4. फिर, वे वास्तविक विमान में बैठते हैं। प्रशिक्षक (WOMBET) करीब से देखता है, पायलट को अधिक नियंत्रण लेने देता है जैसे-जैसे वे सुरक्षित साबित होते हैं, लेकिन यदि पायलट कुछ ऐसा करने की कोशिश करता है जिसे सिम्युलेटर ने जोखिम भरा बताया था, तो वह हस्तक्षेप करता है।

लाभों का सारांश

सैंपल एफिशिएंसी (Sample Efficiency): रोबोट बहुत तेज़ी से सीखता है क्योंकि वह खराब अनुमानों या खतरनाक दुर्घटनाओं पर समय बर्बाद नहीं करता है।
सुरक्षा (Safety): "अनिश्चित" डेटा को फ़िल्टर करके, रोबोट वास्तविक दुनिया में काम शुरू करने से पहले ही खतरनाक व्यवहारों से बच जाता है।
मजबूती (Robustness): यह पिछले तरीकों की तुलना में "नकली" सिमुलेशन दुनिया और "वास्तविक" दुनिया के बीच के अंतर को बहुत बेहतर तरीके से संभालता है।

संक्षेप में, WOMBET एक ऐसा ढांचा है जो कहता है: "केवल उस डेटा से न सीखें जो आपके पास है। एक स्मार्ट, सतर्क सिम्युलेटर का उपयोग करके सर्वोत्तम संभव प्रशिक्षण डेटा बनाएं, झूठ को फ़िल्टर करें, और फिर वास्तविक दुनिया में जीवित रहने के लिए रोबोट को सिखाने हेतु उस उच्च-गुणवत्ता वाले आधार का उपयोग करें।"

यहाँ शोध पत्र "WOMBET: World Model-based Experience Transfer for Robust and Sample-efficient Reinforcement Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

रोबोटिक्स में सुदृढीकरण शिक्षण (Reinforcement Learning - RL) अक्सर वास्तविक दुनिया से डेटा संग्रह से जुड़ी उच्च लागत और सुरक्षा जोखिमों के कारण बाधित होता है। जबकि Offline-to-Online RL (स्थिर डेटा पर प्रीट्रेनिंग के बाद ऑनलाइन फाइन-ट्यूनिंग) एक समाधान प्रदान करता है, मौजूदा विधियाँ दो मुख्य सीमाओं से ग्रस्त हैं:

स्थिर डेटा धारणा (Static Data Assumption): अधिकांश दृष्टिकोण एक पूर्व-मौजूद, उच्च-गुणवत्ता वाले ऑफलाइन डेटासेट की धारणा रखते हैं। वे इस बात को संबोधित नहीं करते हैं कि जब ऐसा डेटा उपलब्ध न हो, तो विश्वसनीय ट्रांसफर डेटा कैसे जनरेट किया जाए।
मॉडल बायस और डिस्ट्रीब्यूशनल शिफ्ट (Model Bias and Distributional Shift): मॉडल-आधारित RL (MBRL) डेटा जनरेट कर सकता है, लेकिन सिंथेटिक रोलआउट अक्सर संचयी भविष्यवाणी त्रुटियों (मॉडल बायस) और अति-आशावाद (over-optimism) से ग्रस्त होते हैं। इसके विपरीत, मानक ऑफलाइन-टू-ऑनलाइन पाइपलाइन स्रोत (प्रीट्रेनिंग) और लक्ष्य (फाइन-ट्यूनिंग) कार्यों के बीच अचानक होने वाले डिस्ट्रीब्यूशनल शिफ्ट से जूझती हैं, जिससे अस्थिर प्रशिक्षण या खराब अनुकूलन होता है।

मुख्य चुनौती: एक स्रोत कार्य से विश्वसनीय, हस्तांतरणीय (transferable) प्रायर डेटा को संयुक्त रूप से जनरेट करना और बिना किसी निश्चित डेटासेट की धारणा के, लक्ष्य कार्य में सीखने की गति को तेज और स्थिर करना।

2. कार्यप्रणाली: WOMBET फ्रेमवर्क (Methodology: WOMET Framework)

WOMBET (World Model-based Experience Transfer) एक एकीकृत फ्रेमवर्क है जो अनिश्चितता-जागरूक मॉडल-आधारित डेटा जनरेशन को अनुकूली ऑफलाइन-टू-ऑनलाइन फाइन-ट्यूनिंग के साथ जोड़ता है। यह प्रक्रिया तीन मुख्य चरणों वाले एक पुनरावृत्ति लूप (iterative loop) में संचालित होती है:

A. अनिश्चितता-दंडित डेटा जनरेशन (स्रोत कार्य)

एक निश्चित डेटासेट के बजाय, WOMBET एक संभाव्य एन्सेम्बल वर्ल्ड मॉडल ( $\hat{P}$ ) का उपयोग करके स्रोत कार्य से एक ऑफलाइन डेटासेट ( $D_S$ ) जनरेट करता है।

Uncertainty-Penalized MPC: एजेंट मॉडल प्रेडिक्टिव कंट्रोल (MPC) करता है जहाँ रिवॉर्ड को एपिस्टेमिक अनिश्चितता ( $u(s,a)$ ) द्वारा दंडित किया जाता है। इसका उद्देश्य अधिकतम करना है:
$\tilde{J}_{\hat{P}}(\pi) = \mathbb{E}_{\pi, \hat{P}} \left[ \sum_{t=0}^{H-1} (r(s_t, a_t) - \lambda u(s_t, a_t)) \right]$
यह सुनिश्चित करता है कि प्लानर उन क्षेत्रों से बचे जहाँ मॉडल अनिश्चित है, जिससे सत्यापित निचली सीमा (provable lower bound) पर वास्तविक रिटर्न को अधिकतम किया जा सके।
Dual-Criterion Filtering: जनरेट किए गए ट्राजेक्टरीज को $D_S$ $D_{S}$ में जोड़ने से पहले फ़िल्टर किया जाता है। एक ट्राजेक्टरी $\tau$ $τ$ को तभी स्वीकार किया जाता है यदि:
1. उच्च रिटर्न (High Return): $J(\tau) \geq J_{th}$ (कार्य की प्रासंगिकता सुनिश्चित करता है)।
2. कम अनिश्चितता (Low Uncertainty): $\bar{u}(\tau) \leq u_{th}$ (विश्वसनीयता सुनिश्चित करता है और मॉडल बायस को कम करता है)।
Relabeling: स्वीकृत स्रोत ट्राजेक्टरीज को लक्ष्य रिवॉर्ड फंक्शन ( $r_T$ ) के साथ रीलेबल किया जाता है ताकि वे लक्ष्य कार्य के अनुरूप हो सकें।

B. अनुकूली ऑफलाइन-टू-ऑनलाइन फाइन-ट्यूनिंग (लक्ष्य कार्य)

WOMBET लक्ष्य कार्य में जनरेट किए गए ऑफलाइन डेटा ( $D_S$ ) और नए एकत्रित ऑनलाइन डेटा ( $D_T$ ) के मिश्रण का उपयोग करके ऑफ-पॉलिसी पॉलिसी ऑप्टिमाइज़ेशन करता है।

Adaptive Sampling: ट्रेनिंग बैच एक मिश्रण वितरण $D_{mix} = \alpha D_S + (1-\alpha) D_T$ $D_{mi x} = α D_{S} + (1 - α) D_{T}$ से सैंपल किया जाता है। मिक्सिंग कोएफिशिएंट $\alpha$ $α$ को क्रिटिक के टेम्पोरल डिफरेंस (TD) एरर के आधार पर गतिशील रूप से समायोजित किया जाता है:
- उच्च TD एरर (अंडरफिटिंग/अस्थिरता) $\rightarrow$ $\alpha$ बढ़ाएं (स्थिर ऑफलाइन डेटा पर अधिक निर्भर रहें)।
- कम TD एरर (अभिसरण/Convergence) $\rightarrow$ $\alpha$ घटाएं (अनुकूलन के लिए ऑनलाइन डेटा पर अधिक निर्भर रहें)।
Robust Critic Training: वैल्यू ओवरएस्टिमेशन को रोकने और पेसिमिज्म (pessimism) प्रेरित करने के लिए क्रिटिक को एन्सेम्बल मिनिममम टारगेट का उपयोग करके प्रशिक्षित किया जाता है।
Implicit Regularization: OOD (Out-of-Distribution) इनपुट पर वैल्यू विस्फोट को रोकने के लिए, WOMBET क्रिटिक नेटवर्क में LayerNorm का उपयोग करता है ताकि एक्टिवेशन को सीमित किया जा सके और बेलमैन टारगेट के लिए एन्सेम्बल मिनिमम का उपयोग करता है। यह स्पष्ट पेनल्टी टर्म्स के बिना आर्किटेक्चरल और एल्गोरिथमिक बाधाएं प्रदान करता है।

C. पुनरावृत्ति परिशोधन (Iterative Refinement)

वर्ल्ड मॉडल को एकत्रित डेटासेट ( $D = D_S \cup D_T$ ) का उपयोग करके निरंतर अपडेट किया जाता है। जैसे-जैसे मॉडल बेहतर होता है, अनिश्चितता अनुमान अधिक सटीक होते जाते हैं, जिससे अगले इटरेशन के लिए एक व्यापक लेकिन विश्वसनीय सेट ऑफ ट्राजेक्टरीज जनरेट करना संभव हो जाता है।

3. प्रमुख योगदान (Key Contributions)

जुड़े हुए डेटा जनरेशन और ट्रांसफर: WOMБET एक निश्चित डेटासेट को मानने के बजाय, प्रायर डेटा के जनरेशन और उसके उपयोग को संयुक्त रूप से अनुकूलित करने वाला पहला फ्रेमवर्क है। यह डेटासेट बनाने के लिए अनिश्चितता-जागरूक प्लानिंग का उपयोग करता है।
विश्वसनीय डेटा क्यूरेशन: यह एक कॉम्पैक्ट, उच्च-मूल्य और बायस-मिनिमाइज्ड ऑफलाइन डेटासेट तैयार करने के लिए ड्यूल-क्राइटेरियन फ़िल्टर (उच्च रिटर्न + कम एपिस्टेमिक अनिश्चितता) पेश करता है।
अनुकूली ट्रांसफर रणनीति: यह क्रिटिक विश्वसनीयता (TD एरर) के आधार पर ऑफलाइन और ऑनलाइन डेटा के अनुपात को गतिशील रूप से समायोजित करके बायस और वेरिएंस को संतुलित करने के लिए एक अनुकूली सैंपलिंग तंत्र प्रस्तावित करता है।
सैद्धांतिक गारंटी:
- यह सिद्ध करता है कि अनिश्चितता-दंडित प्लानिंग वास्तविक रिटर्न की निचली सीमा (lower bound) को अधिकतम करती है।
- यह एक परिमित-नमूना त्रुटि अपघटन (finite-sample error decomposition) व्युत्पन्न करता है जो दिखाता है कि WOMBET डिस्ट्रीब्यूशन मिसमैच (फ़िल्टरिंग के माध्यम से) और एप्रोक्सिमेशन एरर (अनुकूली सैंपलिंग और रेगुलाइजेशन के माध्यम से) दोनों को नियंत्रित करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विविध MuJoCo निरंतर नियंत्रण बेंचमार्क पर मूल्यांकन करते हुए, WOMBET मजबूत बेसलाइन्स की तुलना में श्रेष्ठ प्रदर्शन प्रदर्शित करता है:

Sample Efficiency: WOMBET केवल ऑनलाइन बेसलाइन्स (SAC, PPO, TD3) की तुलना में काफी तेजी से सीखता है, और आधे से भी कम इंटरैक्शन बजट के साथ तुलनीय या बेहतर अंतिम रिटर्न प्राप्त करता है।
Fine-tuning की आवश्यकता: ऑफलाइन-ओनली विधियों (BC, IQL, CQL, MOPO) के विपरीत, जो डिस्ट्रीब्यूशनल शिफ्ट के तहत खराब प्रदर्शन करती हैं, WOMБET का ऑनलाइन फाइन-ट्यूनिंग इसे नए रिवॉर्ड और डायनेमिक्स के अनुकूल होने की अनुमति देता है, जिससे यह ज़ीरो-शॉट ट्रांसफर विधियों से बेहतर प्रदर्शन करता है।
Transfer Effectiveness: समान डेटासेट से शुरू किए गए अन्य ऑफलाइन-टू-ऑनलाइन तरीकों की तुलना में, WOMBET उच्च एसिम्प्टोटिक रिटर्न प्राप्त करता है। यह पुष्टि करता है कि सुधार इसके अनुकूली ट्रांसफर तंत्र (फ़िल्टरिंग + अनुकूली सैंपलिंग) से आता है, न कि केवल डेटा से।
Ablation Studies: ड्यूल-क्राइटेरियन फ़िल्टर या अनुकूली सैंपलिंग नियम में से किसी एक को हटाने से प्रदर्शन में महत्वपूर्ण गिरावट आती है, जो पुष्टि करता है कि दोनों घटक स्थिर और कुशल ट्रांसफर के लिए आवश्यक हैं।

5. महत्व (Significance)

WOMBET रोबोटिक RL की एक महत्वपूर्ण बाधा को संबोधित करता है: विश्वसनीय, उच्च-गुणवत्ता वाले प्रायर डेटा की कमी। "स्थिर डेटा" प्रतिमान से "डायनेमिक डेटा जनरेशन और रिफाइनमेंट" प्रतिमान की ओर बढ़कर, यह सक्षम बनाता है:

सुरक्षित अन्वेषण (Safe Exploration): अनिश्चितता दंड (uncertainty penalization) यह सुनिश्चित करता है कि प्रीट्रेनिंग के लिए उपयोग किया जाने वाला सिंथेटिक डेटा मॉडल की त्रुटियों का लाभ न उठाए।
मजबूत अनुकूलन (Robust Adaptation): अनुकूली मिश्रण रणनीति (adaptive mixing strategy) ऑफलाइन प्रीट्रेनिंग से ऑनलाइन इंटरेक्शन में संक्रमण के दौरान होने वाली अस्थिरता को रोकती है।
सामान्यीकरण (Generalizability): यह फ्रेमवर्क अलग-अलग रिवॉर्ड या प्रारंभिक अवस्थाओं वाले लेकिन साझा डायनेमिक्स वाले कार्यों के बीच अनुभव को स्थानांतरित करने का एक व्यवस्थित तरीका प्रदान करता है, जो इसे वास्तविक दुनिया के रोबोटिक्स के लिए अत्यधिक उपयोगी बनाता है जहाँ डेटा संग्रह महंगा है।

संक्षेप में, WOMBET मॉडल-आधारित RL की शोषण क्षमता (exploitation strength) को मॉडल-फ्री RL की अन्वेषण क्षमताओं (exploration capabilities) के साथ एकीकृत करता है, जो जटिल नियंत्रण कार्यों में अनुभव हस्तांतरण के लिए एक मजबूत, सैंपल-एफिशिएंट समाधान प्रदान करता है।