🤖 machine learning

CIG: Exploration via Conditional Information Gain

यह शोध पत्र कंडीशनल इंफॉर्मेशन गेन (CIG) प्रस्तुत करता है, जो एक एन्सेम्बल डिसएग्रीमेंट कर्नेल से व्युत्पन्न एक सुलभ और स्केलेबल एक्सप्लोरेशन रिवॉर्ड है, जो लाइफटाइम और विदिन-रोलआउट कंडीशनिंग को प्रभावी ढंग से संयोजित करके विविध सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) कार्यों में मौजूदा विधियों से बेहतर प्रदर्शन करता है।

मूल लेखक: Tim Joseph, Marcus Fechner, Philipp Stegmaier, Karam Daaboul, J. Marius Zöllner

प्रकाशित 2026-05-21

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Tim Joseph, Marcus Fechner, Philipp Stegmaier, Karam Daaboul, J. Marius Zöllner

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक विशाल, अंधेरे भूलभुलैया (maze) की खोज करना सिखा रहे हैं। रोबोट के पास न तो कोई नक्शा है, न टॉर्च है, और न ही कोई उसे बता रहा है कि बाहर निकलने का रास्ता कहाँ है। इसका एकमात्र लक्ष्य यह सीखना है कि भूलभुलैया कैसे काम करती है।

बड़ी समस्या यह है: रोबोट को कैसे पता चलेगा कि कौन से कदम उठाना "अच्छा" है? यदि वह केवल बेतरतीब ढंग से इधर-उधर घूमता रहेगा, तो वह हमेशा गोल-गोल चक्कर काट सकता है। यदि वह किसी कोने में फंस जाता है, तो वह बाकी भूलभुलैया के बारे में कुछ भी नहीं सीख पाता।

यह शोध पत्र (paper) रोबोट को स्मार्ट कदम उठाने के लिए एक "जिज्ञासा बोनस" (curiosity bonus/इनाम) देने का एक नया तरीका पेश करता है। लेखक इस तरीके को CIG (कंडीशनल इंफॉर्मेशन गेन) कहते हैं।

यहाँ समस्या और उनके समाधान का सरल विवरण दिया गया है, जिसे रोजमर्रा के उदाहरणों के माध्यम से समझाया गया है।

समस्या: जिज्ञासा के दो दोषपूर्ण तरीके

CIG से पहले, रोबोट यह तय करने के लिए दो मुख्य तरीकों का उपयोग करते थे कि क्या दिलचस्प है। दोनों में एक बड़ी कमी थी:

"लाइफटाइम मेमोरी" दृष्टिकोण (Lifelong Rewards):
- यह कैसे काम करता है: रोबक अपने पूरे जीवन के इतिहास की जाँच करता है। "क्या मैंने यह जगह पहले देखी है?" यदि नहीं, तो उसे एक बड़ा इनाम मिलता है।
- दोष: कल्पना कीजिए कि रोबोट एक लंबे, उबाऊ गलियारे में चल रहा है। वह 10 कदम लेता है। कदम 1 पर, वह दीवार की एक अजीब बनावट देखता है जो उसने पहले कभी नहीं देखी, इसलिए उसे इनाम मिलता है। कदम 2 पर, वह वही सटीक दीवार की बनावट फिर से देखता है। क्योंकि रोबोट केवल अपनी लाइफटाइम मेमोरी को देखता है, वह सोचता है, "अरे, मैंने अपने पूरे जीवन में यह दीवार की बनावट पहले कभी नहीं देखी!" और वह खुद को फिर से इनाम देता है।
- परिणाम: रोबोट एक ही खोज के लिए दो बार भुगतान प्राप्त करता है। वह कुछ नया खोजने के लिए कोना मुड़ने के बजाय, उसी गलियारे को बार-बार एक्सप्लोर करने में समय बर्बाद करता है।
"करेंट ट्रिप" दृष्टिकोण (Episodic Rewards):
- यह कैसे काम करता है: रोबोट केवल वर्तमान यात्रा (trip) को देखता है जो वह अभी कर रहा है। "क्या मैंने अभी कुछ देर पहले यह जगह देखी थी?" यदि नहीं, तो उसे इनाम मिलता है।
- दोष: कल्पना कीजिए कि रोबोट हफ्तों से भूलभुलैया की खोज कर रहा है। वह पहले कमरे को पूरी तरह जानता है। अब, वह एक बिल्कुल नए, भ्रमित करने वाले कमरे में प्रवेश करता है। वह एक कदम लेता है। क्योंकि वह इस विशिष्ट कमरे में पहले कभी नहीं रहा है, रोबोट सोचता, "यह नया है!" और खुद को इनाम देता है।
- परिणाम: वह एक बिल्कुल नए, भ्रमित करने वाले कमरे को उसी तरह मानता है जैसे वह उस कमरे को मानता है जिसे वह पहले ही समझ चुका है। उसे यह अहसास नहीं होता कि "नयापन" केवल इसलिए है क्योंकि वह एक नए संदर्भ (context) में है, न कि इसलिए कि वह भूलभुलैया के नियमों के बारे में वास्तव में कुछ महत्वपूर्ण सीख रहा है।

समाधान: CIG (स्मार्ट एक्सप्लोरर)

लेखकों ने CIG बनाया, जो दोनों दुनियाओं के बेहतरीन गुणों को जोड़ता है। यह हर एक कदम के लिए एक साथ दो सवाल पूछता है:

"क्या मैंने यह अपने पूरे जीवन में पहले देखा है?" (लाइफटाइम चेक)
"क्या मैंने इसे इस विशिष्ट यात्रा के पिछले कुछ कदमों में देखा है?" (करेंट ट्रिप चेक)

रचनात्मक उपमा: जासूस की नोटबुक

कल्पना कीजिए कि रोबोट एक रहस्य सुलझाने वाला जासूस है।

लाइफटाइम चेक एक केस फाइल (Case File) की जाँच करने जैसा है। क्या हमने इस सुराग को पहले ही सुलझा लिया है? यदि हाँ, तो इस पर समय बर्बाद न करें।
करेंट ट्रिप चेक एक क्राइम सीन टेप (Crime Scene Tape) की जाँच करने जैसा है। क्या हम अभी कुछ सेकंड पहले इसी सुराग के पास से गुजरे थे? यदि हाँ, तो इसके लिए फिर से उत्साहित न हों।

CIG वह जासूस है जो दोनों का मिलान (cross-reference) करता है।

यदि जासूस को ऐसा सुराग मिलता है जो केस फाइल के लिए नया है और क्राइम सीन के लिए भी नया है, तो उसे बहुत बड़ा इनाम मिलता है।
यदि सुराग केस फाइल के लिए नया है लेकिन उसने इसे अभी-अभी देखा है (यह उसी रास्ते का हिस्सा है जिस पर वह अभी चल रहा है), तो उसे एक छोटा इनाम मिलता है। वह समझ जाता है, "ओह, मैं बस उसी रास्ते पर चल रहा हूँ जिस पर मैं अभी चला था। मैं अभी कुछ नया नहीं सीख रहा हूँ।"
यदि सुराग केस फाइल में परिचित है लेकिन क्राइम सीन के लिए नया है, तो उसे एक बहुत छोटा इनाम मिलता है। वह समझ जाता है, "मैं इस सुराग को जानता हूँ, लेकिन मैं शहर के एक नए हिस्से में हूँ। देखते हैं कि क्या यहाँ नियम अलग हैं।"

यह कैसे काम करता है (जादुई ट्रिक)

शोध पत्र बताता है कि जटिल रोबोटों (जैसे कि डीप न्यूरल नेटवर्क का उपयोग करने वाले) के लिए इस "क्रॉस-रेफरेंस" की गणना करना गणितीय रूप से असंभव है। यह एक ऐसे ताले के हर संभव संयोजन को गिनने की कोशिश करने जैसा है जिसमें अरबों डायल हैं।

लेखकों ने एक चतुर शॉर्टकट (एक "सरोगेट") का आविष्कार किया जो इस गणित का अनुमान लगाता है।

वे भविष्य में क्या होगा, इसका अनुमान लगाने के लिए विशेषज्ञों की एक टीम (AI मॉडल्स का एक एनसेम्बल) का उपयोग करते हैं।
यदि सभी विशेषज्ञ सहमत हैं, तो रोबवर बोर हो जाता है (कम इनाम)।
यदि विशेषज्ञ असहमत हैं, तो रोबोट जिज्ञासु होता है (उच्च इनाम)।
CIG ट्विस्ट: वे एक गणितीय ट्रिक (जिसे "चोलेस्की फैक्टराइजेशन" कहा जाता है, जो प्याज की परत दर परत छीलने जैसा है) का उपयोग करते हैं ताकि उन कदमों के कारण होने वाली "बोरियत" को घटाया जा सके जो रोबोट ने अभी-अभी लिए थे। यह सुनिश्चित करता है कि रोबोट केवल नए दिशाओं के बारे में उत्साहित हो, न कि केवल एक ही रास्ते को दोहराने के बारे में।

परिणाम: क्या यह काम करता है?

लेखकों ने CIG का परीक्षण 12 अलग-अलग गेम्स और सिमुलेशन पर किया, जिसमें साधारण ग्रिड-वर्ल्ड भूलभुलैया से लेकर जटिल रोबोट कंट्रोल टास्क तक शामिल हैं। उन्होंने इसे "नॉइजी" (Noisy) वातावरण में भी परखा जहाँ रोबोट को रैंडम चमकती रोशनी (जैसे कि रंग बदलते हुए टीवी स्क्रीन) से विचलित किया गया था।

विजेता: CIG ने लगातार अन्य सभी तरीकों को पीछे छोड़ा या उनके बराबर प्रदर्शन किया।
मजबूती (Robustness): जब "नॉइजी टीवी" का व्यवधान चालू किया गया, तो अधिकांश अन्य रोबोट भ्रमित हो गए और सीखना बंद कर दिया क्योंकि उन्हें लगा कि चमकती रोशनी एक नई खोज है। हालाँकि, CIG ने शोर को अनदेखा किया और वास्तविक भूलभलैया की खोज जारी रखी।
दक्षता (Efficiency): CIG ने अन्य तरीकों की तुलना में तेजी से सीखा और अधिक अनूठी जगहों तक पहुँचा, विशेष रूप से उन कार्यों में जहाँ रोबोट को लंबी गतिविधियों की योजना बनानी पड़ती थी।

सारांश

संक्षेप में, CIG एक नया तरीका है जिससे रोबोट को जिज्ञासु बनना सिखाया जाता है। यह उन्हें गोल-गोल घूमने (कदमों को दोहराने) के लिए इनाम पाने से रोकता है और उन्हें उन चीजों से विचलित होने से रोकता है जिन्हें वे पहले से जानते हैं (लाइफटाइम प्रोग्रेस को अनदेखा करना)। यह रोबोट को केवल उन कदमों पर ध्यान केंद्रित करने के लिए मजबूर करता है जो वास्तव में नए और जानकारीपूर्ण हैं, जिससे यह जटिल और अज्ञात दुनिया में एक बहुत बेहतर खोजकर्ता बन जाता है।

तकनीकी सारांश: CIG: कंडीशनल इंफॉर्मेशन गेन (Conditional Information Gain) के माध्यम से अन्वेषण (Exploration)

समस्या विवरण (Problem Statement)
स्पार्स (sparse) या विलंबित बाह्य पुरस्कारों (extrinsic rewards) वाले सुदृढीकरण शिक्षण (reinforcement learning - RL) में, एजेंटों को अन्वेषण के लिए आंतरिक प्रेरणा (intrinsic motivation) पर निर्भर रहना पड़ता है। प्रभावी अन्वेषण के लिए उन ट्रांज़िशनों की पहचान करना आवश्यक है जो पर्यावरण की गतिशीलता (dynamics) के बारे में सूचनात्मक हों। हालाँकि, मौजूदा आंतरिक पुरस्कार विधियाँ संदर्भ (context) के उपयोग में एक मौलिक ट्रेड-ऑफ का सामना करती हैं:

लाइफ़लॉन्ग रिवार्ड्स (Lifelong rewards) (जैसे: एन्सेम्बल डिसएग्रीमेंट, प्रेडिक्शन एरर) संचित रीप्ले बफर (replay buffer) पर आधारित होते हैं। वे प्रत्येक उस ट्रांज़िशन को क्रेडिट देते हैं जो मॉडल गैप की जांच करता है, चाहे वर्तमान प्रक्षेपवक्र (trajectory) ने उस गैप की पहले ही खोज कर ली हो या नहीं। इससे एक ही रोलआउट के भीतर अतिरेक (redundancy) उत्पन्न होता है (जैसे: एक भूलभुलैया में बार-बार एक ही अनिश्चित गलियारे में जाना)।
एपिसोडिक रिवार्ड्स (Episodic rewards) (जैसे: काउंट-बेस्ड, रीचेबिलिटी बोनस) वर्तमान रोलआउट प्रीफिक्स (prefix) पर आधारित होते हैं। वे एक प्रक्षेपवक्र के भीतर दोहराव को दंडित करते हैं लेकिन लाइफटाइम प्रगति को अनदेखा करते हैं। मॉडल-आधारित RL में, जहाँ नीतियां अक्सर छोटे "कल्पित" रोलआउट ( $T \approx 15$ ) पर अनुकूलन करती हैं, प्रीफिक्स रेडंडेंसी सुधार के लिए पर्याप्त समृद्ध संकेत प्रदान करने के लिए बहुत छोटा होता है।
हाइब्रिड विधियाँ (Hybrid methods) हेयुरिस्टिक वेट्स के माध्यम से इन संकेतों को संयोजित करने का प्रयास करती हैं या गॉसियन प्रोसेस (GP) डायनेमिक्स पर निर्भर करती हैं, जो उच्च-आयामी अवस्था स्थानों (high-dimensional state spaces) तक स्केल नहीं कर पाते।
ट्रैजेक्टरी-लेवल इंफॉर्मेशन गेन (IG) एक सिद्धांतवादी उद्देश्य प्रदान करता है जो बफर और प्रीफिक्स दोनों पर एक साथ आधारित होता है। हालाँकि, सटीक IG की गणना करना मॉडल मापदंडों के पोस्टीरियर वितरण (posterior distribution) को मार्जिनलाइज़ करके संभव है, जो डीप न्यूरल नेटवर्क के लिए अव्यवहार्य (intractable) है।

कार्यप्रणाली: कंडीशनल इंफॉर्मेशन गेन (CIG)
लेखक कंडीशनल इंफॉर्मेशन गेन (CIG) को व्युत्पन्न करते हैं, जो एक ट्रैक्टेबल सरोगेट (tractable surrogate) है जो उच्च-आयामी लेटेंट स्पेस में स्केल करता है और रीप्ले बफर एवं रोलआउट प्रीफिक्स दोनों पर आधारित होता है।

फॉर्मूलेशन (Formulation): उद्देश्य $D$ दिए गए रीप्ले बफर के साथ मॉडल मापदंडों $w$ और एक प्रक्षेपवक्र $s_{1:T}$ के बीच म्यूचुअल इंफॉर्मेशन को अधिकतम करना है: $I(w; s_{1:T} | D)$ । चेन रूल का उपयोग करते हुए, इसे प्रति-स्टेप टर्म्स $I(w; s_t | s_{<t}, D)$ में विभाजित किया जा सकता है।
अनुमान (Approximations):
- एन्सेम्बल पोस्टीरियर (A1): पोस्टीरियर $p(w|D)$ को $M$ स्वतंत्र रूप से प्रशिक्षित एन्सेम्बल सदस्यों के एक यूनिफॉर्म डिस्ट्रीब्यूशन द्वारा अनुमानित किया जाता है।
- मार्कोव-गॉसियन डायनेमिक्स (A2): प्रत्येक एन्सेम्बल सदस्य अगले लेटेंट स्टेट की भविष्यवाणी एक गॉसियन के रूप में करता है जिसका साझा आइसोट्रोपिक एलेयोटरिक कोवेरिएंस (aleatoric covariance) $\sigma^2 I_d$ होता है।
- मोमेंट-मैच्ड गॉसियन (A3): एन्सेम्बल प्रेडिक्शंस के मिश्रण एंट्रॉपी (mixture entropy) को मैचिंग मीन और कोवेरिएंस वाले एक गॉसियन की एंट्रॉपी द्वारा अपर-बाउंड (upper-bound) किया जाता है।
रैंक-सैचुरेशन बॉटलनेक (The Rank-Saturation Bottleneck): पूर्ण एपिस्टेमिक कोवेरिएंस मैट्रिक्स $\Sigma$ (आकार $Td \times Td$ ) के लॉग-डिटरमिनेंट को अधिकतम करना उच्च आयामों में विफल रहता है क्योंकि कोवेरिएंस का रैंक एन्सेम्बल आकार ( $M-1$ ) द्वारा सीमित होता है। विशिष्ट मानों ( $M=5, d=200$ ) के लिए, एक एकल अवलोकन रिवॉर्ड सिग्नल को सैचुरेट कर सकता है, जिससे बाद के स्टेप्स के लिए कोई क्रेडिट नहीं बचता।
ट्रेस रिडक्शन (Trace Reduction - डिज़ाइन चॉइस D1): इस क्षमता संबंधी बाधा को हल करने के लिए, लेखक एपिस्टेमिक कोवेरिएंस के प्रत्येक $d \times d$ ब्लॉक को उसके ट्रेस (trace) में समाहित कर देते हैं। यह एक कर्नेल $K \in \mathbb{R}^{T \times T}$ देता है जहाँ $K_{jt} = \frac{1}{M} \sum_k (\delta^{(j)}_k)^\top \delta^{(t)}_k$ , जहाँ $\delta$ एन्सेम्बल सदस्यों का मीन (mean) से विचलन है। यह प्रभावी क्षमता को $M-1$ से बढ़ाकर $\min(T, (M-1)d)$ कर देता है।
प्रति-स्टेप डिकंपोज़िशन (Per-Step Decomposition): ट्रैजेक्टरी ऑब्जेक्टिव $\tilde{J} = \log \det(K + \sigma^2 d I_T)$ $\tilde{J} = lo g det (K + σ^{2} d I_{T})$ को चोलेस्की फैक्टराइजेशन (Cholesky factorization) ( $L L^\top = \tilde{K}$ $L L^{⊤} = \tilde{K}$ ) का उपयोग करके कॉज़ल प्रति-स्टेप रिवार्ड्स में विभाजित किया जाता है। स्टेप $t$ $t$ के लिए रिवॉर्ड है:
$r_t = \log \left( K_{tt} + \sigma^2 d - k_{<t}^\top \tilde{K}_{<t}^{-1} k_{<t} \right)$
- लाइफ़लॉन्ग टर्म ( $K_{tt}$ ): मानक एन्सेम्बल डिसएग्रीमेंट (बफर कंडीशनिंग)।
- प्रीफिक्स रेडंडेंसी टर्म ( $k_{<t}^\top \tilde{K}_{<t}^{-1} k_{<t}$ ): एक क्वाड्रेटिक फॉर्म जो प्रक्षेपवक्र में पिछले स्टेप्स द्वारा पहले ही स्पष्ट किए जा चुके डिसएग्रीमेंट के हिस्से को घटाता है।
- एलेयोटरिक रिज ( $\sigma^2 d$ ): ट्रेनिंग रेसिडुअल्स से पोस्ट-हॉक अनुमानित एक फ्लोर, जो अपरिहार्य शोर (irreducible noise) के कारण रिवार्ड्स को शून्य होने से रोकता है।

मुख्य योगदान (Key Contributions)

CIG रिवॉर्ड: लॉग-डिटरमिनेंट सरोगेट से व्युत्पन्न एक ट्रैक्टेबल, प्रति-स्टेप आंतरिक पुरस्कार। यह चोलेस्की डिकंपोज़िशन के माध्यम से लॉग-डिटरमिनेंट के माध्यम से सिमल्टेनियसली रीप्ले बफर (प्रशिक्षित एन्सेम्बल के माध्यम से) और रोलआउट प्रीफिक्स (प्रीफिक्स के माध्यम से) पर आधारित होता है।
रैंक-सैचुरेशन विश्लेषण: परिमित-एन्सेम्बल सरोगेट्स में क्षमता संबंधी बाधा की पहचान और पूर्ण कोवेरिएंस अनुमान की आवश्यकता के बिना प्रभावी क्षमता को बहाल करने के लिए ट्रेस रिडक्शन तकनीक का व्युत्पन्न।
स्टोकेस्टिक डिस्ट्रैक्टर्स के प्रति मजबूती: विधि एन्सेम्बल के एलेयोटरिक स्केल के माध्यम से एक्शन-डिपेंडेंट स्टोकेस्टिक शोर (Noisy-TV) को स्वाभाविक रूप से फ़िल्टर करती है, जो काउंट-बेस्ड या रॉ प्रेडिक्शन-एरर विधियों के विपरीत है।

प्रायोगिक परिणाम (Experimental Results)
लेखकों ने डिस्क्रीट (MiniGrid) और कंटीन्यूअस कंट्रोल (OGBench) डोमेन के 12 कार्यों पर, जिसमें क्लीन और स्टोकेस्टिक-डिस्ट्रैक्टर (Noisy-TV) वेरिएंट शामिल हैं, CIG का मूल्यांकन किया। मूल्यांकन में आइसोलेटेड एक्सप्लोरेशन क्वालिटी के लिए रिवॉर्ड-फ्री प्रोटोकॉल का उपयोग किया गया।

प्रदर्शन: CIG ने अधिकांश कार्यों में सभी बेसलाइन्स (Plan2Explore, RND, ICM, APT, E3B, और E3B $\times$ P2E सहित) को पीछे छोड़ा या उनके बराबर रहा। एग्रीगेट स्टैटिस्टिक्स (इंटर-क्वार्टाइल मीन) में, CIG ने उच्चतम स्कोर प्राप्त किया जिसके कॉन्फिडेंस इंटरवल अन्य सभी विधियों के मुकाबले नॉन-ओवरलैपिंग थे।
Noisy-TV मजबूती: एक्शन-डिपेंडेंट स्टोकेस्टिक डिस्ट्रैक्टर्स वाले वातावरण में, रॉ प्रेडिक्शन एरर (ICM, RND, APT) पर निर्भर विधियाँ लगभग शून्य सफलता दर तक गिर गईं। CIG और Plan2Explore (P2E) एन्सेम्बल फिल्टरिंग के कारण मजबूत रहे, लेकिन CIG ने लगातार P2E को पछाड़ दिया, जो दर्शाता है कि साधारण डिसएग्रीमेंट के अलावा प्रीफिक्स रेडंडेंसी सुधार अतिरिक्त मूल्य प्रदान करता है।
एब्लेशन (Ablations): ट्रेस रिडक्शन को हटाने से रिवॉर्ड तुरंत सैचुरेट हो गया, जिससे अन्वेषण रुक गया। प्रीफिक्स रेडंडेंसी टर्म को हटाने से सैंपल एफिशिएंसी कम हो गई, जो पुष्टि करता है कि सुधार सह-संबंधित स्टेप्स के ओवरकाउंटिंग को रोकता है।
एंट्रॉपी बनाम सफलता: जबकि APT और E3B जैसी विधियों ने उच्च स्टेट-विजिट एंट्रॉपी प्राप्त की, यह कार्य सफलता के साथ सह-संबंधित नहीं था। CIG ने कम एंट्रॉपी के साथ उच्च सफलता प्राप्त की, जो इंगित करता है कि लक्षित अनसर्टेटी रिडक्शन (सूचनात्मक फ्रंटियर्स की खोज) यूनिफॉर्म कवरेज की तुलना में अधिक प्रभावी है।

महत्व और दावे (Significance and Claims)
पेपर दावा करता है कि CIG यह प्रदर्शित करता है कि लाइफ़लॉन्ग और एपिसोडिक अन्वेषण संकेतों को हेयुरिस्टिक रूप से संयोजित करने की आवश्यकता नहीं है। इसके बजाय, वे एक एकल सूचना-सैद्धांतिक उद्देश्य से संयुक्त रूप से उभरते हैं। लॉग-डिटरमिनेंट सरोगेट का चोलेस्की फैक्टराइजेशन स्वाभाविक रूप से कॉज़ल, प्रति-स्टेप रिवार्ड्स उत्पन्न करता है जो दोनों कंडीशनिंग सेट्स को बनाए रखते हैं।

लेखक जोर देते हैं कि CIG विभिन्न समस्या संरचनाओं के लिए मजबूत है: यह स्टोकेस्टिक वातावरण में अपरिहार्य शोर को फ़िल्टर करता है और डिटर्मिनिस्टिक वातावरण में स्ट्रक्चर्ड रिवार्ड्स प्रदान करता है। हालांकि CIG हर सिंगल टास्क में दबदबा नहीं बनाता (जैसे, क्लीन ObstructedMaze पर APT बेहतर था), लेकिन यह एकमात्र ऐसा तरीका है जो परीक्षण की गई सभी स्थितियों में गिरावट से बचता है। CIG मॉडल-बेस्ड RL के लिए सीमित है जिसमें छोटे इमेजिन्ड रोलआउट होते हैं; लेखक नोट करते हैं कि $O(T^3)$ चोलेस्की लागत और $T \times T$ कर्नेल स्टोरेज लंबे-क्षितिज वाले मॉडल-फ्री एपिसोड के लिए निषेधात्मक हो सकता है, जो भविष्य के कार्य के रूप में स्लाइडिंग-विंडो या लो-रैंक एप्रोक्सिमेशन का सुझाव देता है।

समस्या: जिज्ञासा के दो दोषपूर्ण तरीके

समाधान: CIG (स्मार्ट एक्सप्लोरर)

यह कैसे काम करता है (जादुई ट्रिक)

परिणाम: क्या यह काम करता है?

सारांश

इसी तरह के और पेपर