🤖 machine learning

R2-Dreamer: Redundancy-Reduced World Models without Decoders or Augmentation

R2-Dreamer एक डिकोडर-मुक्त मॉडल-आधारित सुदृढीकरण लर्निंग (Model-Based Reinforcement Learning) ढांचा है जो डेटा ऑग्मेंटेशन के बिना मजबूत प्रतिनिधित्व सीखने के लिए बारलो ट्विन्स-प्रेरित रेडंडेंसी-रिडक्शन ऑब्जेक्टिव को एक आंतरिक रेगुलराइज़र के रूप में नियोजित करता है, जिससे अत्याधुनिक बेसलाइन की तुलना में प्रतिस्पर्धी प्रदर्शन और तेज़ प्रशिक्षण गति प्राप्त होती है।

मूल लेखक: Naoki Morihira, Amal Nahar, Kartik Bharadwaj, Yasuhiro Kato, Akinobu Hayashi, Tatsuya Harada

प्रकाशित 2026-03-20

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Naoki Morihira, Amal Nahar, Kartik Bharadwaj, Yasuhiro Kato, Akinobu Hayashi, Tatsuya Harada

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखा रहे हैं, जैसे कि एक जटिल बाधा दौड़ (obstacle course)। रोबोट दुनिया को एक कैमरे के माध्यम से देखता है, जो लाखों पिक्सल कैप्चर करता है: आकाश, घास, बैकग्राउंड की इमारतें, और वह छोटा सा, महत्वपूर्ण लक्ष्य जिसे उसे हिट करना है।

Model-Based Reinforcement Learning (MBRL) की बड़ी चुनौती रोबोट को उबाऊ बैकग्राउंड (शोर/noise) को अनदेखा करने और केवल उन छोटे, महत्वपूर्ण चीजों (सिग्नल/signal) पर ध्यान केंद्रित करने के लिए सिखाना है जो सही निर्णय लेने के लिए जरूरी हैं।

यहाँ बताया गया है कि R2-Dreamer इस समस्या को कैसे हल करता है, सरल शब्दों में:

1. पुराना तरीका: अति-सतर्क कलाकार (The Over-Attentive Artist)

पहले, सबसे अच्छे AI एजेंट (जैसे DreamerV3) अपनी याददाश्त से पूरी तस्वीर को पुनर्निर्मित (reconstruct) करने की कोशिश करके सीखते थे।

सादृश्य (Analogy): कल्पना कीजिए कि आप एक कलाकार को एक फुटबॉल के मैदान की फोटो को याद करने और फिर उसे पूरी तरह से दोबारा बनाने के लिए कहते हैं। ऐसा करने के लिए, कलाकार अपना 90% समय और ऊर्जा घास, बादलों और स्टेडियम की सीटों को बनाने में खर्च कर देता है क्योंकि वे चित्र का अधिकांश हिस्सा घेरते हैं। जब तक वह फुटबॉल (महत्वपूर्ण हिस्सा) तक पहुँचता है, तब तक वह थक चुका होता है और भूल चुका होता है कि वह कहाँ था।
समस्या: AI अपना दिमाग बैकग्राउंड पर बर्बाद कर देता है, जिससे वह उन कार्यों में खराब हो जाता है जहाँ महत्वपूर्ण वस्तु बहुत छोटी होती है।

2. दूसरा तरीका: "ऑगमेंटेशन" जिम (The "Augmentation" Gym)

पहली समस्या को ठीक करने के लिए, अन्य शोधकर्ताओं ने Decoder-Free तरीके आज़माए। पूरी तस्वीर को दोबारा बनाने के बजाय, उन्होंने डेटा ऑगमेंटेशन (DA) का उपयोग किया।

सादृश्य: यह रोबोट को वही फोटो दिखाने जैसा है, लेकिन पहले उसे काट देना, पलटना (flip), रंग बदलना, या उसे थोड़ा खिसका देना। रोबोट सीखता है: "हे, भले ही तस्वीर अजीब दिखे या खिसकी हुई हो, फुटबॉल अभी भी फुटबॉल ही है।"
समस्या: यह एक दोधारी तलवार है। यदि आप तस्वीर को बहुत अधिक खिसका देते हैं, तो आप गलती से उस छोटे से फुटबॉल को काट सकते हैं! यदि आप रंग बदलते हैं, तो आप उस कार्य को बर्बाद कर सकते हैं जहाँ रंग ही एकमात्र सुराग हो। यह एक पायलट को विमान को पागलों की तरह घुमाकर प्रशिक्षित करने जैसा है; कभी-कभी यह काम करता है, लेकिन कभी-कभी आप क्रैश हो जाते हैं क्योंकि आपने रनवे खो दिया होता है।

3. नया तरीका: R2-Dreamer (आंतरिक दर्पण - The "Internal Mirror")

लेखक R2-Dreamer का प्रस्ताव देते हैं। वे "दोबारा बनाने" (decoder) और "खिसकाने/पलटने" (augmentation) को हटा देते हैं। इसके बजाय, वे एक चतुर आंतरिक ट्रिक का उपयोग करते हैं जिसे रेडंडेंसी रिडक्शन (Redundancy Reduction) कहा जाता है।

सादृश्य: कल्पना कीजिए कि रोबोट की दो आंतरिक आवाजें हैं:
1. कैमरा आवाज: "मुझे एक लाल बिंदु और एक नीला पोल दिख रहा है।"
2. मेमोरी आवाज: "मुझे लाल बिंदु और नीला पोल याद है।"
अतीत में, ये दोनों आवाजएं बस एक-दूसरे से पूरी तरह मेल खाने के लिए चिल्लाती थीं। R2-Dreamer एक नया नियम जोड़ता है: "आपकी दोनों आवाजों को महत्वपूर्ण चीजों पर सहमत होना चाहिए, लेकिन उन्हें एक ही उबाऊ विवरण को दोहराना नहीं चाहिए।"

यह एक Barlow Twins (एक प्रसिद्ध सेल्फ-सुपरवाइज्ड लर्निंग विधि) की तरह है जो एक सख्त संपादक के रूप में कार्य कर रहा है। संपादक कहता है: "यदि आपकी मेमोरी और आपकी आँखें दोनों कहती हैं कि 'आकाश नीला है', तो यह ठीक है। लेकिन अगर आपकी मेमोरी भी ठीक उसी तरह से बादलों की बनावट (texture) का वर्णन करने की कोशिश कर रही है जैसे आपकी आँखें कर रही हैं, तो रुक जाइए! यह अनावश्यक (redundant) है। केवल अद्वितीय, महत्वपूर्ण हिस्सों पर ध्यान दें।"

यह एक बड़ी बात क्यों है?

यह तेज़ है: क्योंकि रोबोट को बैकग्राउंड को दोबारा बनाने (decoder) में समय बर्बाद नहीं करना पड़ता, इसलिए यह 1.59 गुना तेज़ी से सीखता है। यह उस होमवर्क को छोड़ने जैसा है जिसकी आपको ज़रूरत नहीं है और केवल परीक्षा के प्रश्नों पर ध्यान केंद्रित करना है।
यह सूक्ष्म विवरणों में स्मार्ट है: लेखकों ने एक विशेष परीक्षण बनाया जिसे DMC-Subtle कहा जाता है, जहाँ लक्ष्य वस्तु को इतना छोटा कर दिया गया है कि वह लगभग अदृश्य हो जाए।
- पुराने तरीके (जो इमेज शिफ्टिंग पर निर्भर करते हैं) अक्सर छोटे लक्ष्य को पूरी तरह से खो देते हैं।
- R2-Dreamer, क्योंकि यह शिफ्टिंग पर निर्भर नहीं है, उस छोटे से बिंदु पर लेज़र जैसी सटीक एकाग्रता के साथ सीखता है। यह एक स्नाइपर की तरह है जिसे लक्ष्य को खोजने के लिए इधर-उधर घूमने की ज़रूरत नहीं है; वह बस जानता है कि कहाँ देखना है।
यह अधिक बहुमुखी (Versatile) है: आपको रोबोट को मैन्युअल रूप से यह बताने की आवश्यकता नहीं है कि, "इस गेम के लिए, इमेज को न खिसकाएं," या "उस गेम के लिए, रंग न बदलें।" आंतरिक "रेडंडेंसी" नियम लगभग किसी भी कार्य के लिए स्वचालित रूप से काम करता है।

निचोड़ (The Bottom Line)

R2-Dreamer AI को दुनिया देखने का एक नया तरीका सिखाता है। हर पिक्सेल को याद करने या इमेज को विकृत करने के जोखिम भरे ट्रिक्स पर निर्भर रहने के बजाय, यह AI को आंतरिक रूप से शोर (noise) को हटाने की शिक्षा देता है।

यह एक ऐसे छात्र के बीच का अंतर है जो पूरी पाठ्यपुस्तक (इंडेक्स और फुटनोट सहित) को याद करने की कोशिश करता है, बनाम एक छात्र जो मुख्य अवधारणाओं को पहचानने और फालतू बातों को अनदेखा करने के लिए सीखता है। परिणाम एक ऐसा AI है जो तेज़ी से सीखता है, सूक्ष्म विवरणों को बेहतर ढंग से संभालता है, और जिसे अपने प्रशिक्षण नियमों को लगातार बदलने के लिए किसी इंसान की ज़रूरत नहीं होती।

यहाँ शोध पत्र "R2-DREAMER: REDUNDANCY-REDUCED WORLD MODELS WITHOUT DECODERS OR AUGMENTATION" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

इमेज-आधारित मॉडल-बेस्ड रिइन्फोर्समेंट लर्निंग (MBRL) में, प्रभावी लेटेंट रिप्रेजेंटेशन (latent representations) सीखना अत्यंत महत्वपूर्ण है। वर्तमान दृष्टिकोण दो प्राथमिक सीमाओं का सामना करते हैं:

रिकंस्ट्रक्शन-आधारित विधियाँ (जैसे, DreamerV3): ये पिक्सेल-लेवल रिकंस्ट्रक्शन ऑब्जेक्टिव्स पर निर्भर करती हैं। यह मॉडल को कार्य-अप्रासंगिक बड़े विजुअल विवरणों (जैसे, बैकग्राउंड) पर अपनी रिप्रेजेंटेशनल क्षमता व्यर्थ करने के लिए मजबूर करता है, बजाय इसके कि वह छोटे, कार्य-महत्वपूर्ण ऑब्जेक्ट्स पर ध्यान केंद्रित करे।
डिकोडर-मुक्त विधियाँ (जैसे, DreamerPro, TD-MPC2): ये रिकंस्ट्रक्शन से तो बचती हैं लेकिन रिप्रेजेंटेशन कोलैप्स (representation collapse) को रोकने के लिए डेटा ऑग्मेंटेशन (DA) (जैसे, रैंडम शिफ्टिंग, कलर जिटरिंग) पर बहुत अधिक निर्भर करती हैं। यह निर्भरता एक बाधा है क्योंकि:
- DA कार्य-निर्भर (task-dependent) है; अनुपयुक्त ऑग्मेंटेशन (जैसे, रैंडम शिफ्टिंग) महत्वपूर्ण छोटे ऑब्जेक्ट्स को हटा सकता है।
- यह उन वातावरणों में एजेंट की बहुमुखी प्रतिभा को सीमित करता है जहाँ विशिष्ट विशेषताएं (जैसे, रंग) आवश्यक होती हैं।

मूल प्रश्न जिसका समाधान किया गया है: क्या हम बाहरी डेटा ऑग्मेंटेशन पर निर्भर किए बिना, एक मजबूत, डिकोडर-मुक्त रिप्रेजेंटेशन सीख सकते हैं?

2. कार्यप्रणाली: R2-Dreamer

लेखक R2-Dreamer प्रस्तावित करते हैं, जो एक फ्रेमवर्क है जो रिकरेंट स्टेट-स्पेस मॉडल (RSSM) आर्किटेक्चर में एक स्व-पर्यवेक्षित (self-supervised), आंतरिक रेगुलराइज़र को एकीकृत करता है, जो इमेज डिकोडर और बाहरी डेटा ऑग्मेंटेशन दोनों को प्रतिस्थापित करता है।

मुख्य आर्किटेक्चर (Core Architecture)

बेस फ्रेमवर्क: यह DreamerV3 आर्किटेक्चर (RSSM) पर आधारित है।
डिकोडर को हटाना: पिक्सेल रिकंस्ट्रक्शन के लिए उपयोग किए जाने वाले इमेज डिकोडर को पूरी तरह से हटा दिया गया है।
प्रोजेक्टर का जोड़: इमेज एम्बेडिंग के फीचर स्पेस में लेटेंट स्टेट $s_t$ (जो कि डिटर्मिनिस्टिक $h_t$ और स्टोकेस्टिक $z_t$ अवस्थाओं से बना है) को मैप करने के लिए एक हल्का लीनियर प्रोजेक्टर हेड जोड़ा गया है।
आंतरिक संकेत (Internal Signals): कृत्रिम ऑग्मेंटेड व्यू बनाने के बजाय, यह विधि मॉडल के आंतरिक संकेतों का उपयोग करके प्राकृतिक जोड़े बनाती है: इमेज एम्बेडिंग ( $e_t$ ) और प्रोजेक्टेड लेटेंट स्टेट ( $k_t$ )।

लर्निंग ऑब्जेक्टिव: रेडंडेंसी रिडक्शन ( $L_{BT}$ )

मुख्य नवाचार रिकंस्ट्रक्शन लॉस को Barlow Twins से प्रेरित एक रेडंडेंसी-रिडक्शन ऑब्जेक्टिव से बदलना है। लॉस फंक्शन $L_{BT}$ को प्रोजेक्टेड स्टेट $k_t$ और इमेज एम्बेडिंग $e_t$ के बीच क्रॉस-कोरिलेशन मैट्रिक्स $C$ पर कंप्यूट किया जाता है:

$L_{BT} = \sum_{i} (1 - C_{ii})^2 + \alpha \sum_{i \neq j} C_{ij}^2$

इनवैरिएंस टर्म ( $\sum (1 - C_{ii})^2$ ): प्रोजेक्टेड लेटेंट स्टेट को इमेज एम्बेडिंग की भविष्यवाणी करने के लिए प्रोत्साहित करता है (फिडेलिटी को अधिकतम करना)।
रेडंडेंसी टर्म ( $\alpha \sum C_{ij}^2$ ): विभिन्न फीचर डायमेंशन्स के बीच सहसंबंध (correlations) को दंडित करता है, जिससे मॉडल को एक फैक्टराइज्ड, नॉन-रेडंडेंट रिप्रेजेंटेशन सीखने के लिए मजबूर किया जाता है।
सैद्धांतिक आधार: लेखक यह सिद्ध करते हैं कि यह ऑब्जेक्टिव एक सुलभ (tractable) सरोगेट के रूप में कार्य करता है जो विस्तारित सीक्वेंशियल इंफॉर्मेशन बॉटलनेक (SIB) के लिए है, जो फिडेलिटी (कार्य की जानकारी बनाए रखना) और स्पेशियल कंप्रेशन (अप्रासंगिक जानकारी को हटाना) दोनों के लिए ऑप्टिमाइज़ करता है।

प्रशिक्षण प्रक्रिया (Training Process)

वर्ल्ड मॉडल: इसे DreamerV3 के मानक प्रेडिक्शन लॉस (रिवॉर्ड, कंटीन्यूएशन) और KL-डाइवर्जेंस रेगुलराइज़र्स (डायनेमिक्स और रिप्रेजेंटेशन) के साथ $L_{BT}$ का उपयोग करके प्रशिक्षित किया जाता है।
एक्टर-क्रिटिक (Actor-Critic): इमेजिन्ड रोलआउट्स के आधार पर पॉलिसी और वैल्यू फंक्शन्स को ऑप्टिमाइज़ करने के लिए DreamerV3 के समान ही रहता है।
कोई DA नहीं: यह विधि बिना किसी डेटा ऑग्मेंटेशन (रैंडम शिफ्ट, क्रॉपिंग आदि) के संचालित होती है।

3. प्रमुख योगदान (Key Contributions)

नया प्रतिमान (New Paradigm): RSSM-आधारित MBRL के लिए एक डिकोडर-मुक्त, DA-मुक्त रिप्रेजेंटेशन लर्निंग प्रतिमान पेश करता है, जो ह्यूरिस्टिक ऑग्मेंटेशन को एक सिद्धांत आधारित आंतरिक रेडंडेंसी रिडक्शन ऑब्जेक्टिव से बदल देता है।
दक्षता (Efficiency): कंप्यूटेशनल रूप से महंगे इमेज डिकोडर और ऑग्मेंटेड व्यू को प्रोसेस करने के लिए आवश्यक लॉजिक को हटाकर, यह विधि प्रशिक्षण की गति में महत्वपूर्ण तेजी लाता है।
मजबूती (Robustness): उन परिदृश्यों में बेहतर प्रदर्शन प्रदर्शित करता है जहाँ कार्य-प्रासंगिक जानकारी सूक्ष्म है या ऑग्मेंटेशन द्वारा आसानी से विकृत की जा सकती है।
संसाधन (Resources): भविष्य के अनुसंधान को सुगम बनाने के लिए एक एकीकृत PyTorch कोडबेस और एक नया बेंचमार्क, DMC-Subtle, जारी करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन DeepMind Control Suite (DMC), Meta-World, और नए DMC-Subtle बेंचमार्क पर किया गया।

मानक बेंचमार्क (DMC और Meta-World):
- R2-Dreamer, DreamerV3 (डिकोडर-आधारित) और TD-MPC2 (DA के साथ डिकोडर-मुक्त) जैसे मजबूत बेसलाइन्स के प्रतिस्पर्धी है।
- यह 20 DMC कार्यों और 50 Meta-World मैनिपुलेशन कार्यों में तुलनीय मीन (mean) और मीडियन स्कोर प्राप्त करता है।
DMC-Subtle (स्ट्रेस टेस्ट):
- इस बेंचमार्क में, कार्य-महत्वपूर्ण ऑब्जेक्ट्स (जैसे, टारगेट, पोल) को बहुत छोटा कर दिया गया है।
- परिणाम: R2-Dreamer सभी बेसलाइन्स को काफी पीछे छोड़ देता है।
- तर्क: DA पर निर्भर बेसलाइन्स अक्सर विफल हो जाते हैं क्योंकि ऑग्मेंटेशन (जैसे, शिफ्टिंग) इन छोटे ऑब्जेक्ट्स को फ्रेम से बाहर कर सकता है या उन्हें विकृत कर सकता है। रिकंस्ट्रक्शन-आधारित विधियाँ बड़े बैकग्राउंड पर ध्यान केंद्रित करती हैं। R2-Dreamer का आंतरिक रेगुलराइज़र स्वाभाविक रूप से प्रमुख, कार्य-प्रासंगिक फीचर्स पर ध्यान केंद्रित करता है।
कंप्यूटेशनल दक्षता (Computational Efficiency):
- R2-Dreamer, DreamerV3 की तुलना में 1.59× तेज़ और DreamerPro की तुलना में 2.36× तेज़ प्रशिक्षित होता है।
- यह डिकोडर जनरेशन स्टेप और कई ऑग्मेंटेड व्यूज को प्रोसेस करने के ओवरहेड को समाप्त करके प्राप्त किया गया है।
एब्लेशन स्टडीज (Ablation Studies):
- R2-Dreamer में DA जोड़ने से नगण्य लाभ मिलता है।
- DreamerPro से DA हटाने पर यह कोलैप्स हो जाता है, जो इसके बाहरी रेगुलराइज़र्स पर निर्भरता की पुष्टि करता है।
- DMC-Subtle पर, R2-Dreamer में DA जोड़ने से वास्तव में प्रदर्शन में गिरावट आती है, जो यह सिद्ध करता है कि जब सटीकता की आवश्यकता हो तो DA हानिकारक हो सकता है।

5. महत्व (Significance)

सिद्धांत आधारित रेगुलराइजेशन: यह पेपर प्रदर्शित करता है कि एक सूचना-सैद्धांतिक सिद्धांत (रेडंडेंसी रिडक्शन) MBRL में ह्यूरिस्टिक डेटा ऑग्मेंटेशन के पूर्ण विकल्प के रूप में कार्य कर सकता है।
बहुमुखी प्रतिभा: डेटा-विशिष्ट ऑग्मेंटेशन की निर्भरता को हटाकर, R2-Dreamer वास्तविक दुनिया के अनुप्रयोगों के लिए अधिक मजबूत समाधान प्रदान करता है जहाँ विजुअल संकेत विरल (sparse), छोटे हो सकते हैं, या जहाँ ऑग्मेंटेशन महत्वपूर्ण जानकारी को विकृत कर सकता है।
स्केलेबिलिटी: डिकोडर और DA प्रोसेसिंग को हटाने से फ्रेमवर्क अधिक कंप्यूटेशनल रूप से कुशल और उच्च-आयामी (high-dimensional) कार्यों के लिए स्केलेबल हो जाता है।
भविष्य की दिशा: यह कार्य "विजुअल फिडेलिटी" (पिक्सेल को रिकंस्ट्रक्ट करना) से "इन्फोर्मेशनल एफिशिएंसी" (प्रासंगिक फीचर्स निकालना) की ओर बदलाव का सुझाव देता है, जो अधिक सामान्य और सक्षम लर्निंग एजेंटों के लिए मार्ग प्रशस्त करता है।