🤖 machine learning

On the Capability Separation Between World-Model Policy Learning and Imitated World-Action Models

यह शोध पत्र यह प्रदर्शित करता है कि जबकि वर्ल्ड-एक्शन मॉडल लर्निंग फैक्टराइजेशन को बदलते हैं, वे अवलोकनात्मक डेटा के तहत डायरेक्ट बिहेवियर क्लोनिंग की तुलना में पॉलिसी क्लास का विस्तार नहीं करते हैं या इमिटेशन टारगेट्स में सुधार नहीं करते हैं, जो इस बात को रेखांकित करता है कि एक्शन-कंडीशन्ड वर्ल्ड मॉडल्स का महत्वपूर्ण लाभ केवल देखे गए व्यवहारों से जुड़े परिणामों के पूर्वानुमान के बजाय पॉलिसी ऑप्टिमाइजेशन के लिए निर्दिष्ट कार्यों के परिणामों की भविष्यवाणी करने की उनकी क्षमता में निहित है।

मूल लेखक: Yang Yu

प्रकाशित 2026-08-25

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yang Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

आर्टिफिशियल इंटेलिजेंस के क्षेत्र में, एक प्रमुख लक्ष्य मशीनों को दूसरों को देखकर निर्णय लेना सिखाना है। कल्पना कीजिए कि एक रोबोट एक इंसान को चलते हुए देखकर चलना सीख रहा है। रोबोट छवियों का एक क्रम देखता है और अनुमान लगाने की कोशिश करता है कि अगला कदम क्या होगा। यह दृष्टिकोण, जिसे 'बिहेवियर क्लोनिंग' (व्यवहार क्लोनिंग) कहा जाता है, विशेषज्ञों की नकल करने के लिए मशीनों को सिखाने का मानक तरीका है। हालाँकि, एक नया और तेजी से लोकप्रिय होता तरीका कुछ अलग करने की कोशिश करता है। सीधे "जो मैं अभी देख रहा हूँ" से "मुझे क्या करना चाहिए" पर कूदने के बजाय, ये उन्नत प्रणालियाँ पहले यह कल्पना करती हैं कि भविष्य कैसा होगा। वे अगले दृश्य, दुनिया की अगली स्थिति, या अगले वीडियो फ्रेम की भविष्यवाणी करते हैं, और फिर पीछे की ओर काम करते हैं ताकि उस क्रिया का निर्णय लिया जा सके जो उस भविष्य की ओर ले जाए। यह "वर्ल्ड-एक्शन" (विश्व-क्रिया) दृष्टिकोण आकर्षक है क्योंकि यह रोबोट्स को वीडियो डेटा की विशाल मात्रा से सीखने की अनुमति देता है, जिससे गति और समय के समृद्ध विवरणों का उपयोग करके दुनिया कैसे काम करती है, इसकी बेहतर समझ विकसित करने में मदद मिलती है।

लेकिन एक मौलिक प्रश्न शोधकर्ताओं के मन में बना हुआ है: क्या भविष्य की कल्पना करने का यह अतिरिक्त चरण वास्तव में रोबोट को अपनी क्रियाओं को नियंत्रित करने की एक स्मार्ट क्षमता देता है, या यह केवल एक ही चीज़ सीखने का एक अलग तरीका है? यदि दो रोबोटों को एक ही वीडियो सेट पर प्रशिक्षित किया जाता है, जिसमें कोई अतिरिक्त जानकारी नहीं दी गई है और न ही वास्तविक दुनिया में परीक्षण-त्रुटि (ट्रायल एंड एरर) शामिल है, तो क्या भविष्य की भविष्यवाणी करने वाला रोबोट निर्णय लेने में वास्तविक लाभ प्राप्त करता है? या क्या वे, अपने मूल रूप में, बिल्कुल समान चीजों में सक्षम हैं? यह प्रश्न महत्वपूर्ण है क्योंकि यदि भविष्य-भविष्यवाणी विधि वास्तव में श्रेष्ठ है, तो यह स्वायत्त प्रणालियों को बनाने के तरीके में क्रांति ला सकती है। यदि यह केवल एक ही मंजिल तक पहुँचने का एक अलग रास्ता है, तो शुद्ध निर्णय लेने की शक्ति के मामले में अतिरिक्त जटिलता की लागत उठाना सार्थक नहीं होगा।

नानजिंग यूनिवर्सिटी के एक शोधकर्ता ने वास्तविक दुनिया के प्रशिक्षण की कठिनाइयों, जैसे सीमित डेटा या अपूर्ण कंप्यूटर मॉडल के शोर को हटाकर, इन विधियों की सैद्धांतिक सीमाओं को देखने के लिए यह उत्तर खोजने का प्रयास किया। यह अध्ययन मशीन के कार्य करने के तीन अलग-अलग तरीकों की तुलना करता है। पहला सीधा दृष्टिकोण है, जहाँ मशीन अपने इतिहास को देखती है और तुरंत एक क्रिया आउटपुट करती है। दूसरा, वर्ल्ड-एक्शन मॉडल, जो पहले एक भविष्य के परिणाम की भविष्यवाणी करता है और फिर उस क्रिया का निष्कर्ष निकालता है जो उसे ले जाती है। तीसरा, एक वर्ल्ड-मॉडल पॉलिसी, जिसका उपयोग योजना बनाने के लिए किया जाता है; यह पूछता है "क्या होगा यदि मैं यह विशिष्ट कार्य करता हूँ?" और विभिन्न विकल्पों के परिणामों की तुलना करके सबसे अच्छा विकल्प चुनता है।

यह जांच इन विधियों के बीच एक आश्चर्यजनक और सटीक सीमा को प्रकट करती है। जब लक्ष्य केवल प्रशिक्षण वीडियो में देखे गए व्यवहार की नकल करना हो, तो सीधा तरीका और वर्ल्ड-एक्शन विधि अपनी क्षमता में गणितीय रूप से समान होते हैं। अध्ययन सिद्ध करता है कि वर्ल्ड-एक्शन मॉडल भविष्य की भविष्यवाणी करके और फिर एक क्रिया चुनकर जो भी व्यवहार उत्पन्न कर सकता है, उसे एक सीधा मॉडल भी उत्पन्न कर सकता है जो भविष्यवाणी के चरण को पूरी तरह से छोड़ देता है। इसके विपरीत, किसी भी सीधी क्रिया को एक ऐसे वर्ल्ड-एक्शन मॉडल के रूप में दर्शाया जा सकता है जो पूर्ण निश्चितता के साथ भविष्य की भविष्यवाणी करता है। आदर्श परिदृश्य में जहाँ मशीन के पास सटीक डेटा है और वह बिना किसी त्रुटि के सीख सकती है, दोनों विधियाँ एक ही नीति पर अभिसरित होंगी। वे ठीक एक ही स्थितियों में ठीक एक ही चालें चलेंगी। आंतरिक तंत्र अलग है—एक "भविष्य फिर क्रिया" के चरणों में सोचता है, दूसरा "क्रिया" के एकल उछाल में—लेकिन बाहरी परिणाम अविभाज्य है।

हालाँकि, कहानी बदल जाती है जब लक्ष्य नकल करने से बदलकर सुधार करने की ओर स्थानांतरित होता है। वर्ल्ड-मॉडल पॉलिसी, जिसे विभिन्न संभावित भविष्यों की तुलना करके एक बेहतर पथ खोजने के लिए डिज़ाइन किया गया है, एक अलग स्तर पर कार्य करती है। अध्ययन दिखाता है कि इस विधि को ऐसी जानकारी की आवश्यकता होती जो अन्य दो के पास नहीं हो सकती यदि वे केवल वीडियो देख रहे हों। यह जानने के लिए कि क्या होगा यदि रोबोट एक विशिष्ट क्रिया करता है जो विशेषज्ञ ने कभी नहीं की, प्रणाली को कार्य-कारण संबंध (कॉज़ल अंडरस्टैंडिंग) को समझने की आवश्यकता है, न कि केवल सहसंबंध (कोरिलेशन) की। वीडियो देखना आपको बताता है कि क्या हुआ, लेकिन यह आपको यह नहीं बताता कि क्या होता यदि कोई अलग विकल्प चुना गया होता। अनुसंधान प्रदर्शित करता है कि इस अतिरिक्त कारण संबंधी समझ के बिना, या बिना विशिष्ट हस्तक्षेपों के जहाँ रोबोट नई चीजें आज़माता है, प्रणाली विभिन्न संभावित दुनियाओं के बीच अंतर नहीं कर सकती।

शोध इस अंतर को उजागर करने के लिए एक विशिष्ट उदाहरण का निर्माण करता है। यह एक सरल वातावरण का वर्णन करता है जहाँ एक विशेषज्ञ हमेशा एक विशिष्ट क्रिया चुनता है। केवल इस विशेषज्ञ को देखने के लिए प्रशिक्षित रोबोट इस क्रिया की पूरी तरह से नकल करना सीख जाएगा, लेकिन यदि स्थिति बदल जाती है और एक अलग क्रिया की आवश्यकता होती है, तो वह पूरी तरह से विफल हो जाएगा। इस परिदृश्य में, रोबोट की "सबसे खराब स्थिति" वाली गलती महत्वपूर्ण होना निश्चित है। हालाँकि, यदि रोबोट को यह देखने के लिए कि क्या होता है, एक अलग क्रिया आज़माने की अनुमति दी जाती है, तो वह पर्यावरण की वास्तविक प्रकृति को सीख सकता है और उसके बाद सटीक निर्णय ले सकता है। यह सिद्ध करता है कि विकल्पों की तुलना करने और विशिष्ट विकल्पों के परिणामों को समझने की क्षमता एक विशिष्ट क्षमता है जो केवल पिछले अवलोकनों के आधार पर भविष्य की भविष्यवाणी करने से परे है।

अंततः, शोध स्पष्ट करता है कि वर्ल्ड-एक्शन मॉडल की शक्ति इस बात में निहित है कि वे कैसे सीखते हैं, न कि इसमें कि वे केवल नकल कर रहे हों तो अंततः क्या हासिल कर सकते हैं। भविष्य की भविष्यवाणी करने का चरण वीडियो से सीखने के लिए एक शक्तिशाली उपकरण है, जो मशीन को समय और गति की संरचना को समझने में मदद करता है। यह सीखने की प्रक्रिया को तेज़ और अधिक कुशल बना सकता है। लेकिन यह लाभ प्रशिक्षण में है, अंतिम निर्णय लेने के तर्क में नहीं। यदि मशीन को केवल देखने और नकल करने की अनुमति दी जाती है, तो वह उस विशेषज्ञ से अधिक स्मार्ट नहीं हो सकती जिसे वह देख रही है, चाहे वह पहले भविष्य की भविष्यवाणी करे या नहीं। विशेषज्ञ से आगे बढ़ने या उन स्थितियों को संभालने के लिए जिनका विशेषज्ञ ने सामना कभी नहीं किया, मशीन को नकल से आगे बढ़कर यह पूछना सीखना होगा कि "क्या होगा यदि"। अंतर यह नहीं है कि क्या मशीन भविष्य देख सकती है, बल्कि यह है कि क्या वह यह समझ सकती है कि क्या हुआ और क्या हो सकता था के बीच का अंतर।

तकनीकी सारांश: वर्ल्ड-मॉडल पॉलिसी लर्निंग और इमिटेटेड वर्ल्ड-एक्शन मॉडल्स के बीच क्षमता पृथक्करण पर

समस्या विवरण (Problem Statement)

यह शोध पत्र एम्बॉडीड डिसीजन-मेकिंग (embodied decision-making) में एक मौलिक अस्पष्टता को संबोधित करता है: क्या वर्ल्ड-एक्शन मॉडल्स (जो भविष्य के परिणाम $Y$ की भविष्यवाणी करते हैं और फिर क्रिया $A$ का अनुमान लगाते हैं) में डायरेक्ट बिहेवियर-क्लोनिंग पॉलिसीज (जो इतिहास $H$ को सीधे क्रिया $A$ में मैप करती हैं) की तुलना में एक अंतर्निहित नियंत्रण क्षमता (control capability) का लाभ होता है, जब दोनों को केवल समान अवलोकन संबंधी प्रदर्शनों (observational demonstrations) पर प्रशिक्षित किया जाता है?

जबकि वर्ल्ड-एक्शन मॉडल्स को अक्सर वीडियो प्रीट्रेनिंग, टेम्पोरल सुपरविजन और फ्यूचर-कंडीशन्ड रिप्रेजेंटेशन से मिलने वाले लाभों का श्रेय दिया जाता है, यह स्पष्ट नहीं है कि क्या ये लाभ एक मजबूत नियंत्रण क्षमता (विशिष्ट क्लोज्ड-लूप ट्रजेक्टरी डिस्ट्रीब्यूशन को प्रेरित करने की क्षमता) में अनुवादित होते हैं या केवल सीखने के लिए एक अलग फैक्टराइजेशन (factorization) प्रदान करते हैं। यह शोध पत्र आर्किटेक्चरल एक्सप्रेसिविटी (architectural expressivity), पॉपुलेशन लर्निंग टारगेट्स (population learning targets), और सूचना आवश्यकताओं को सीमित-सैंपल एस्टीमेशन एरर (finite-sample estimation errors) और ऑप्टिमाइज़ेशन कठिनाइयों से अलग करने का प्रयास करता है।

कार्यप्रणाली (Methodology)

विश्लेषण कंट्रोलर क्लासेस और पॉपुलेशन लर्निंग टारगेट्स के स्तर पर किया गया है, जो सीमित-सैंपल एस्टीमेशन एरर, ऑप्टिमाइज़ेशन एरर और मॉडल मिसस्पेसिफिकेशन को दरकिनार करता है।

परिभाषाएं और ढांचा (Definitions and Framework):
- कंट्रोल-कैपेबिलिटी क्लास (Control-Capability Class): एक पॉलिसी क्लास द्वारा प्रेरित किए जा सकने वाले क्लोज्ड-लूप ट्रजेक्टरी डिस्ट्रीब्यूशन के सेट के रूप में परिभाषित।
- पॉपुलेशन ऑब्जेक्टिव (Population Objective): वास्तविक प्रदर्शन वितरण $p_\mu$ के तहत एक अपेक्षा (expectation), न कि एक सीमित डेटासेट पर एक अनुभवजन्य औसत (empirical average)।
- तीन प्रतिमान (Three Paradigms):
  - डायरेक्ट बिहेवियर क्लोनिंग ( $\pi_A$ ): $H \to A$ । $-\log \pi(A|H)$ को कम करता है।
  - इमिटेटेड वर्ल्ड-एक्शन ( $\pi_{WA}$ ): $H \to Y \to A$ । $p(Y|H)$ और $p(A|H, Y)$ को मॉडल करता है।
  - वर्ल्ड-मॉडल पॉलिसी लर्निंग ( $\pi_{WM}$ ): यूटिलिटी फंक्शन के माध्यम से कैंडिडेट एक्शन्स की तुलना करने के लिए एक एक्शन-कंडीशन्ड मॉडल $P(Y | H, \text{do}(A=a))$ का उपयोग करता है।
मान्यताएं (Assumptions):
- रियलाइजेबिलिटी (Realizability): पॉलिसी और कंडीशनल-डिस्ट्रीब्यूशन क्लासेस वास्तविक पॉपुलेशन टारगेट्स को समाहित करती हैं।
- सटीक पॉपुलेशन ऑप्टिमाइजेशन (Exact Population Optimization): ऑब्जेक्टिव्स को ग्लोबली मिनिमाइज किया जाता है।
- डिस्ट्रीब्यूशन-प्रिजर्विंग डिप्लॉयमेंट (Distribution-Preserving Deployment): वर्ल्ड-एक्शन कंट्रोलर्स सीखे गए फ्यूचर डिस्ट्रीब्यूशन पर मार्जिनलाइज करते हैं, न कि पॉइंट एस्टीमेट्स (जैसे, MAP डिकोडिंग) का उपयोग करते हैं जो मार्जिनल को बदल देते हैं।
- बिहेवियर सफिशिएंसी (Behavior Sufficiency): डेमोंस्ट्रेटर का एक्शन सिलेक्शन केवल देखे गए इतिहास $H$ पर निर्भर करता है।
विश्लेषणात्मक दृष्टिकोण (Analytical Approach):
- यह पेपर एक्सटर्नल एक्सप्रेसिविटी (क्या आर्किटेक्चर समान नीतियों का प्रतिनिधित्व कर सकता है?) और पॉपुलेशन टारगेट्स (क्या प्रशिक्षण ऑब्जेक्टिव उसी व्यवहार नीति की ओर अभिसरण करता है?) की तुलना करता है।
- यह ऑब्जर्वेशनल कंडीशनल्स $p(Y|H, A)$ और इंटरवेंशनल डिस्ट्रीब्यूशंस $P(Y|H, \text{do}(A))$ के बीच अंतर करने के लिए कॉज़ल आइडेंटिफिकेशन थ्योरी (कंसिस्टेंसी, कंडीशनल एक्सचेंजैबिलिटी, पॉजिटिविटी) का उपयोग करता है।
- यह ऑब्जर्वेशनल लर्नर्स और इंटरवेंशनल डेटा वाले लर्नर्स के बीच रिग्रेट (regret) के अंतराल को प्रदर्शित करने के लिए विशिष्ट एनवायरनमेंट फैमिली का निर्माण करता है।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. आर्किटेक्चर-लेवल इक्विवेलेंस (Architecture-Level Equivalence)

यह पेपर स्थापित करता है कि प्रत्येक डिस्ट्रिब्यूशनल वर्ल्ड-एक्शन कंट्रोलर को एक डायरेक्ट स्टोकेस्टिक पॉलिसी में "फ्लैटन" किया जा सकता है जिसके पास ठीक वही क्लोज्ड-लूप ट्रजेक्टरी डिस्ट्रीब्यूशन होता है।

परिणाम: अनरिस्ट्रिक्टेड स्टोकेस्टिक-कर्नेल क्लासेस के तहत, डायरेक्ट पॉलिसीज ( $\pi_A$ ) और वर्ल्ड-एक्शन कंट्रोलर्स ( $\pi_{WA}$ ) की एक्सटर्नल कंट्रोल-कैपेबिलिटी क्लास समान है।
निहितार्थ: आंतरिक फ्यूचर वेरिएबल $Y$ सेट ऑफ रिप्रजेंटेबल बिहेवियर्स को विस्तारित नहीं करता है; यह केवल एक अलग आंतरिक फैक्टराइजेशन प्रदान करता है।

2. ऑब्जर्वेशनल इमिटेशन के तहत पॉपुलेशन इक्विवेलेंस (Population Equivalence Under Observational Imitation)

जब समान ऑब्जर्वेशनल डेटा पर सटीक पॉपुलेशन ऑप्टिमाइजेशन के साथ प्रशिक्षित किया जाता है:

परिणाम: इष्टतम नीतियां समान होती हैं: $\pi^*_{WA}(a|h) = \pi^*_{A}(a|h) = \pi_\mu(a|h)$ , जहाँ $\pi_\mu$ ऑब्जर्वेशनल बिहेवियर-एक्शन कंडीशनल है।
ट्रजेक्टरी इक्विवेलेंस: बिहेवियर सफिशिएंसी के तहत, ये नीतियां डेमोंस्ट्रेटर के समान पूर्ण क्लोज्ड-लूप ट्रजेक्टरी डिस्ट्रीब्यूशन को प्रेरित करती हैं।
अनुमानित इक्विवेलेंस (Approximate Equivalence): पेपर निरंतरता बाउंड्स (continuity bounds) प्रदान करता है जो दिखाते हैं कि ट्रजेक्टरी-लेवल डिसएग्रीमेंट फ्यूचर प्रेडिक्शन, इनवर्स-एक्शन प्रेडिक्शन और डायरेक्ट एक्शन प्रेडिक्शन की त्रुटियों के योग द्वारा सीमित है।

3. एक्शन-विशिष्ट प्रेडिक्शन गैप (Action-Specific Prediction Gap)

पेपर उन फ्यूचर प्रेडिक्टर्स के लिए एक अपरिहार्य अंतराल (irreducible gap) की पहचान करता है जो कैंडिडेट एक्शन पर कंडिशन नहीं करते हैं।

परिणाम: एक प्रेडिक्टर $g(y|h)$ जो कैंडिडेट एक्शन $a$ को अनदेखा करता है, वह एक्शन ब्रांचेस पर मार्जिनलाइज करता है। अपरिहार्य इंटरवेंशनल प्रेडिक्शन एरर $I^{int}_{\nu, \rho}(A; Y | H)$ द्वारा मापा जाता है, जो तब सकारात्मक होता है जब वैकल्पिक क्रियाएं अलग-अलग आउटकम डिस्ट्रीब्यूशंस को प्रेरित करती हैं।
निहितार्थ: एक मानक वर्ल्ड-एक्शन मॉडल (जो व्यवहार वितरण के तहत $Y$ की भविष्यवाणी करने के लिए प्रशिक्षित है) अतिरिक्त कॉज़ल मान्यताओं या इंटरवेंशन के बिना विशिष्ट कैंडिडेट एक्शन्स के बारे में "व्हाट-इफ" (क्या-होगा) प्रश्नों का उत्तर देने में सक्षम नहीं है।

4. रिप्रेजेंटेशन, आइडेंटिफिकेशन और डिप्लॉयमेंट का पृथक्करण (Separation of Representation, Identification, and Deployment)

ऑब्जर्वेशनल बनाम इंटरवेंशनल: एक सटीक वर्ल्ड-एक्शन जॉइंट, ऑब्जर्वेशनल कंडीशनल $p_\mu(Y|H, A)$ को निर्धारित करता है। यह इंटरवेंशनल डिस्ट्रीब्यूशन $P(Y|H, \text{do}(A))$ के बराबर केवल तभी होता है जब कॉज़ल आइडेंटिफिकेशन स्थितियां (कंसिस्टेंसी, एक्सचेंजैबिलिटी, पॉजिटिविटी) लागू होती हैं।
डिप्लॉयमेंट रूल्स: समान सीखी गई जॉइंट डिस्ट्रीब्यूशन दो अलग-अलग डिप्लॉयमेंट नियमों का समर्थन कर सकती है:
1. बिहेवियर रिप्रोडक्शन: $\pi_\mu(a|h)$ को रिकवर करने के लिए $Y$ पर मार्जिनलाइज करना।
2. एक्शन कंपैरिजन: विशिष्ट $a$ के लिए $P(Y|H, \text{do}(A=a)$ का मूल्यांकन करने के लिए जॉइंट का उपयोग करना।
महत्वपूर्ण अंतर: मानक "फ्यूचर-देन-इनवर्स" डिप्लॉयमेंट व्यवहार नीति को रिकवर करता है। वर्ल्ड-मॉडल कंट्रोल के लिए विशिष्ट एक्शन्स को क्लैंप करके और उनके परिणामों की तुलना करके यूटिलिटी को ऑप्टिमाइज़ करना आवश्यक है।

5. ऑब्जर्वेशनल और इंटरवेंशनल लर्नर्स का सख्त पृथक्करण (Strict Separation of Observational and Interventional Learners)

पेपर एक टू-एक्शन एनवायरनमेंट फैमिली का निर्माण करता है जहाँ:

ऑब्ज melalui observational लर्नर्स: प्रत्येक ऑब्जर्वेशनल पॉपुलेशन लर्नर (जिसमें $\pi_A$ और $\pi_{WA}$ शामिल हैं) में एक पॉजिटिव वर्स्ट-केस रिग्रेट (कम से कम $1/4$ ) होता है क्योंकि ऑब्जर्वेशनल डिस्ट्रीब्यूशन सभी एनवायरनमेंट्स के लिए इष्टतम क्रिया को आइडेंटिफाई नहीं करता है।
इंटरवेंशनल लर्नर्स: एक सिंगल इन्फॉर्मेटिव एक्शन इंटरवेंशन एक इंटरवेंशनल लर्नर को एनवायरनमेंट को पहचानने और जीरो रिग्रेट प्राप्त करने में सक्षम बनाता है।
निष्कर्ष: पृथक्करण पॉलिसी क्लास की एक्सप्रेसिविटी में नहीं है, बल्कि लर्नर के पास उपलब्ध सूचना में है। केवल ऑब्जर्वेशनल डेटा अनसपोर्टेड एक्शन इफेक्ट्स या छिपे हुए कन्फाउंडिंग की उपस्थिति में प्रभावों को आइडेंटिफाई नहीं कर सकता।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि इन प्रतिमानों के बीच का अंतर यह नहीं है कि कंट्रोलर भविष्य की भविष्यवाणी करता है या नहीं, बल्कि यह है कि उस भविष्यवाणी का उपयोग कैसे किया जाता है:

इमिटेशन बनाम कंट्रोल: डायरेक्ट बिहेवियर क्लोनिंग और मानक वर्ल्ड-एक्शन इमिटेशन आंतरिक फैक्टराइजेशन में भिन्न हैं लेकिन अनरिस्ट्रिक्टेड एक्सटर्नल पॉलिसी क्लास और पॉपुलेशन एक्शन टारगेट में समान हैं। वे बिहेवियर डिकोडिंग के तरीके हैं।
इंटरवेंशनल रीजनिंग: वर्ल्ड-मॉडल पॉलिसी लर्निंग अपने डिसीजन रूल और पॉलिसी सिलेक्शन के लिए आवश्यक सूचना में मौलिक रूप से भिन्न है। यह इंटरवेंशनल एक्शन कंपैरिजन का एक तरीका है।
व्यावहारिक निहितार्थ: वर्ल्ड-एक्शन मॉडलिंग के व्यावहारिक लाभ (जैसे, बेहतर टेम्पोरल रिप्रेजेंटेशन, वीडियो प्रीट्रेनिंग) पॉपुलेशन-लेवल इक्विवेलेंस के साथ संगत हैं। हालांकि, ये लाभ स्वतः ही इंटरवेंशनल रीजनिंग क्षमताओं को प्रदान नहीं करते हैं। डेमोंस्ट्रेटर से परे नियंत्रण प्राप्त करने के लिए, एक सिस्टम को या तो:
- इंटरवेंशनल डेटा तक पहुंच होनी चाहिए।
- वैध कॉज़ल आइडेंटिफिकेशन मान्यताओं को संतुष्ट करना चाहिए।
- मानक "फ्यूचर-देन-इनवर्स" डिप्लॉयमेंट के बजाय, विशिष्ट कैंडिडेट एक्शन्स का उपयोग करके परिणामों की तुलना करने के लिए एक एक्शन-कंडीशन्ड मॉडल का उपयोग करना चाहिए।

पेपर निष्कर्ष निकालता है कि "वर्ल्ड मॉडल्स" के बारे में अनुभवजन्य दावों को इमिटेशन क्वालिटी (प्रेक्षित व्यवहार को पुनरुत्पादित करना) और एक्शन-इफेक्ट प्रेडिक्शन (अनदेखे एक्शन्स के परिणामों की भविष्यवाणी करना) के बीच अंतर करना चाहिए। इंटरवेंशनल कंट्रोल के लिए साक्ष्य के लिए कई निर्दिष्ट एक्शन्स के तहत भविष्यवाणियों का परीक्षण करना और यह प्रदर्शित करना आवश्यक है कि स्पष्ट एक्शन कंपैरिजन, मानक "फ्यूचर-देन-इनवर्स" डिप्लॉयमेंट से अधिक वैल्यू प्रदान करता है।