🤖 machine learning

Textual Belief States for World Models: Identifiable Representation Learning Under Strict Mediation

यह शोधपत्र डिस्क्रीट टेक्स्टुअल लेटेंट स्टेट्स और एक फैक्टराइज्ड GRPO ट्रेनिंग मेथड को पेश करके टेक्स्ट-आधारित वर्ल्ड मॉडल्स में हिस्ट्री बाईपास के कारण होने वाली अनआइडेंटिफिएबल लेटेंट स्टेट्स की चुनौती का समाधान करता है, जो सख्त मीडिएशन को लागू करता है और इसके परिणामस्वरूप रिप्रेजेंटेशन क्वालिटी और लॉन्ग-होरिज़न रोलआउट परफॉर्मेंस में महत्वपूर्ण सुधार लाता है।

मूल लेखक: Xiang Gao, Kaiwen Dong, Yuguang Yao, Padmaja Jonnalagedda, Kamalika Das

प्रकाशित 2026-06-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Xiang Gao, Kaiwen Dong, Yuguang Yao, Padmaja Jonnalagedda, Kamalika Das

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को टेक्स्ट-आधारित एडवेंचर गेम (जैसे कि कोई पुराना "चूज़ योर ओन एडवेंचर" बुक) खेलना सिखाने की कोशिश कर रहे हैं। रोबोट पूरी दुनिया को देख नहीं सकता; वह केवल उस कमरे का टेक्स्ट विवरण देख सकता है जिसमें वह वर्तमान में है। अच्छी तरह खेलने के लिए, उसे याद रखना होगा कि पहले क्या हुआ था: मैं कहाँ गया था? क्या मैंने चाबी उठाई? क्या दरवाज़ा बंद है?

AI की दुनिया में, इस याद को "लेटेंट स्टेट" (latent state) कहा जाता है।

यह पेपर एक विशिष्ट समस्या पर काम करता है: हम यह कैसे सुनिश्चित करें कि रोबोट वास्तव में एक अच्छी याद बनाना सीखता है, न कि केवल नकल या धोखाधड़ी करना?

समस्या: "चीट शीट" (Cheat Sheet) का लूपहोल

अधिकांश आधुनिक AI मॉडल उन छात्रों की तरह हैं जिन्हें परीक्षा में अपनी पूरी पाठ्यपुस्तक ले जाने की अनुमति होती है।

सेटअप: AI के पास गेम का इतिहास (पाठ्यपुस्तक) और वर्तमान कमरा होता है।
धोखा (The Cheat): भले ही AI को इतिहास का सारांश एक छोटे से "मेमोरी नोट" (लेटेंट स्टेट) में लिखने के लिए कहा गया हो, लेकिन AI इतना स्मार्ट है कि वह उस नोट को अनदेखा कर देता है। वह सवाल का जवाब देने के लिए पूरी पाठ्यपुस्तक (इतिहास) को देखता है।
परिणाम: AI टेस्ट में बेहतरीन स्कोर प्राप्त करता है (अगले कमरे का सही अनुमान लगा लेता है), लेकिन उसका "मेमोरी नोट" खाली या बेकार होता है। यह वैसा ही है जैसे किसी छात्र ने अवधारणाओं को समझने के बजाय केवल उत्तर रट लिए हों। आप यह नहीं बता सकते कि उसकी याददाश्त अच्छी है क्योंकि AI बस अतीत को देखकर धोखाधड़ी कर रहा है।

लेखक इसे "आइडेंटिफिएबिलिटी प्रॉब्लम" (Identifiability Problem) कहते हैं। यदि AI अपनी याददाश्त को दरकिनार कर सकता है, तो आप यह नहीं जान सकते कि उसकी याददाश्त वास्तव में काम कर रही है या नहीं।

समाधान: "स्ट्रिक्ट मीडिएटर" (Strict Mediator)

लेखक "स्ट्रिक्ट मीडिएशन" (Strict Mediation) नामक एक नियम प्रस्तावित करते हैं। इसे एक सख्त रेफरी की तरह समझें जिसका एक स्वर्ण नियम है:

"एक बार जब आप अपना मेमोरी नोट लिख लें, तो आपको पाठ्यपुस्तक को फेंक देना चाहिए। आप अगले क्या होने वाला है, इसका अनुमान लगाने के लिए केवल अपने मेमोरी नोट और अपने अगले कदम का उपयोग करने के लिए अधिकृत हैं।"

यदि AI इस नियम का पालन करता है:

उसे अपनी सारी महत्वपूर्ण जानकारी मेमोरी नोट में डालनी ही होगी, अन्यथा वह टेस्ट में विफल हो जाएगा।
यदि वह टेस्ट पास कर लेता है, तो आप निश्चित रूप से जानते हैं कि उसका मेमोरी नोट बेहतरीन है।
यदि वह टेस्ट में विफल रहता है, तो आप जानते हैं कि उसके मेमोरी नोट में कुछ कमी है।

यह मेमोरी की गुणवत्ता को परखने योग्य (testable) बनाता है।

चुनौती: टेक्स्ट पेचीदा है

आमतौर पर, AI मेमोरी नंबरों (वेक्टर्स) से बनी होती है जिन्हें गणित के साथ बदलना आसान होता है। लेकिन यह पेपर चाहता है कि मेमोरी टेक्स्ट (जैसे तथ्यों की एक सूची: "मेरे पास एक चाबी है," "दरवाज़ा बंद है") के रूप में हो।

टेक्स्ट क्यों? यह पढ़ने योग्य है। इंसान मेमोरी को देख सकते हैं और समझ सकते हैं।
समस्या: आप टेक्स्ट पर गणित आसानी से लागू करके उसे "ट्वीक" या सुधार नहीं सकते। यह अक्षरों पर कैलकुलस करने की कोशिश करने जैसा है। साथ ही, यदि आप AI को एक शक्तिशाली दिमाग (लार्ज लैंग्वेज मॉडल) देते हैं, तो वह मेमोरी नोट को अनदेखा करने और इतिहास को देखने की कोशिश करेगा।

समाधान: "संभावनाओं का पेड़" (Tree of Possibilities - fGRPO)

टेक्स्ट-आधारित मेमोरी सीखने के लिए AI को बिना धोखाधड़ी किए प्रशिक्षित करने के लिए, लेखकों ने फैक्टराइज्ड GRPO (fGRPO) नामक एक नई प्रशिक्षण पद्धति का आविष्कार किया है।

कल्पना कीजिए कि आप एक कुत्ते को गेंद लाने के लिए प्रशिक्षित कर रहे हैं, लेकिन आप उसे इनाम (treats) नहीं दे सकते (क्योंकि आप टेक्स्ट को गणित से बदल नहीं सकते)। इसके बजाय, आप "क्या होगा अगर?" के खेल का उपयोग करते हैं:

शाखाओं वाला पेड़ (The Branching Tree): केवल एक भविष्य का अनुमान लगाने के बजाय, AI संभावनाओं का एक पूरा पेड़ बनाता है।
- शाखा 1: "क्या होगा अगर मेरी मेमोरी कहती है कि मेरे पास चाबी है?" -> परिणाम: भविष्यवाणी करता है कि दरवाज़ा खुल जाता है।
- शाखा 2: "क्या होगा अगर मेरी मेमोरी कहती है कि मेरे पास चाबी नहीं है?" -> परिणाम: भविष्यवाणी करता है कि दरवाज़ा बंद रहता है।
स्कोर: AI को अंक तभी मिलते हैं जब भविष्यवाणी वास्तविकता से मेल खाती है।
सबक: यदि AI मेमोरी को अनदेखा करने और केवल इतिहास के आधार पर अनुमान लगाने की कोशिश करता है, तो "पेड़" ढह जाता है क्योंकि वह मेमोरी के बिना भविष्य की सही भविष्यवाणी नहीं कर पाता। AI सीख जाता है कि गेम जीतने के लिए, उसे अपने टेक्स्ट-आधारित मेमोरी में सही तथ्य डालने ही होंगे।

परिणाम: बेहतर मेमोरी, लंबे रोमांच

लेखकों ने इसका परीक्षण दो टेक्स्ट-गेम वातावरण (TextWorld और ScienceWorld) पर किया।

सटीकता (Accuracy): AI ने अगले कमरे की भविष्यवाणी उतनी ही अच्छी तरह की जितनी कि "धोखाधड़ी करने वाले" मॉडल्स ने की।
मेमोरी की गुणवत्ता: "स्ट्रिक्ट" मॉडल्स के मेमोरी नोट्स बहुत बेहतर थे। वे अधिक सटीक थे और उनमें सही तथ्य शामिल थे।
दीर्घकालिक स्थिरता (Long-Term Stability): यह सबसे बड़ी जीत है। लंबे गेम्स (कई स्टेप्स) में, "धोखाधड़ी करने वाले" मॉडल भ्रमित हो जाते हैं और विफल हो जाते हैं क्योंकि वे उस इतिहास पर निर्भर होते थे जो गेम के दौरान उपलब्ध नहीं होता। "स्ट्रिक्ट" मॉडल, जो केवल अपनी संक्षिप्त मेमोरी पर निर्भर थे, 9 स्टेप्स के बाद भी सटीक रहे, जबकि अन्य मॉडल बिखर गए।

एनालॉजी (उपमा) सारांश

पुराना तरीका (लीकी/Leaky): एक छात्र टेस्ट देता है जिसमें वह चीट शीट का उपयोग करता है। वह 100% अंक प्राप्त करता है, लेकिन आप नहीं जानते कि उसने कुछ सीखा भी है या नहीं।
नया तरीका (स्ट्रिक्ट/Strict): छात्र को एक कमरे में बंद कर दिया जाता है जहाँ उसके पास केवल एक इंडेक्स कार्ड है। उसे टेस्ट शुरू होने से पहले सब कुछ उस कार्ड पर लिखना होगा। यदि वह टेस्ट पास कर लेता है, तो आप जानते हैं कि कार्ड एकदम सही था।
प्रशिक्षण विधि: छात्र को केवल एक बार ग्रेड देने के बजाय, शिक्षक उसे कई अलग-अलग परिदृश्यों की कल्पना करने के लिए कहता है। यदि कार्ड गलत है, तो छात्र अधिकांश परिदृश्यों में विफल हो जाएगा। यह छात्र को एक परफेक्ट कार्ड लिखने के लिए मजबूर करता है।

यह क्यों महत्वपूर्ण है?

यह पेपर साबित करता है कि आप AI को टेक्स्ट में "सोचना" सिखा सकते हैं और उसे वास्तव में दुनिया का एक संक्षिप्त सारांश बनाने के लिए मजबूर कर सकते है, न कि केवल अतीत को रटने के लिए। यह उन AI की दिशा में एक महत्वपूर्ण कदम है जो भ्रमित हुए बिना लंबी अवधि तक योजना बना सकते हैं और तर्क कर सकते हैं।

तकनीकी सारांश: वर्ल्ड मॉडल्स के लिए टेक्स्टुअल बिलीफ स्टेट्स (Textual Belief States)

समस्या विवरण (Problem Statement)

आंशिक रूप से प्रेक्षित (partially observed) वातावरण में, वर्ल्ड मॉडल्स को एक ऐसा लेटेंट रिप्रेजेंटेशन बनाए रखना चाहिए जो भविष्यवाणी, योजना (planning) और तर्क करने में सक्षम बनाने के लिए इंटरैक्शन हिस्ट्री का सारांश प्रस्तुत कर सके। आधुनिक लार्ज लैंग्वेज मॉडल (LLM)-आधारित आर्किटेक्चर में एक महत्वपूर्ण चुनौती आइडेंटिफिएबिलिटी (identifiability) की समस्या है। कई मौजूदा डिज़ाइनों में, लेटेंट स्टेट अन्य सूचना स्रोतों (जैसे कि पूर्ण ऑब्जर्वेशन हिस्ट्री) के साथ सह-अस्तित्व में रहता है जो इसके विकल्प के रूप में कार्य कर सकते हैं। फलस्वरूप, एक मॉडल लेटेंट स्टेट को "बायपास" करके और सीधे हिस्ट्री पर निर्भर रहकर उच्च भविष्य कहने वाली सटीकता प्राप्त कर सकता है। यह लेटेंट स्टेट को अन-आइडेंटिफिएबल (unidentifiable) बना देता है; भविष्य कहने वाला प्रदर्शन अब प्रतिनिधित्व की गुणवत्ता को बाधित या प्रतिबिंबित नहीं करता है।

जबकि क्लासिकल वर्ल्ड मॉडल्स कठोर लेटेंट स्टेट मीडिएशन (strict latent state mediation) को लागू करते हैं—जिसमें सभी भविष्यवाणियां केवल लेटेंट स्टेट और वर्तमान एक्शन पर निर्भर होती हैं—इस सिद्धांत को टेक्स्ट-आधारित सेटिंग्स में लागू करना कठिन है। टेक्स्टुअल लेटेंट स्टेट्स डिस्क्रीट (discrete) और नॉन-डिफरेंशिएबल (non-differentiable) होते हैं, जो मानक वेरिएशनल ट्रेनिंग (जैसे ELBO) को रोकते हैं। इसके अलावा, ऐसे उद्देश्यों के साथ प्रशिक्षित एक्सप्रेसिव LLM डिकोडर्स अक्सर बॉटलनेक (bottleneck) को अनदेखा कर देते हैं, जिससे पोस्टीरियर कोलैप्स (posterior collapse) होता है। यह शोध पत्र टेक्स्ट डोमेन में सख्त मीडिएशन को लागू करने की चुनौती का समाधान करता है ताकि यह सुनिश्चित किया जा सके कि रिप्रेजेंटेशन की गुणवत्ता अनुभवजन्य रूप से परीक्षण योग्य है और लेटेंट स्टेट हिस्ट्री के लिए एक पर्याप्त सांख्यिकीय (sufficient statistic) के रूप में कार्य करता है।

कार्यप्रणाली (Methodology)

1. टेक्स्टुअल लेटेंट स्टेट्स (Textual Latent States)

लेखक प्रस्तावित करते हैं कि लेटेंट स्टेट्स को निरंतर वेक्टर्स के बजाय डिस्क्रीट, व्याख्या योग्य, वेरिएबल-लेंथ टेक्स्ट स्ट्रिंग्स (विशेष रूप से JSON प्रेडिकेट-आर्ग्युमेंट लिस्ट) के रूप में दर्शाया जाए। यह दृष्टिकोण चार लाभ प्रदान करता है:

एलाइनमेंट (Alignment): यह LLM बैकबोन के साथ मेल खाता है, जिससे लॉस-पिट (lossy) मोडैलिटी कन्वर्जन से बचा जा सकता है।
एडेप्टिव बॉटलनेक (Adaptive Bottleneck): क्षमता निश्चित आयामों के बजाय सामग्री के साथ स्केल करती है।
व्याख्यात्मकता (Interpretability): स्टेट्स सीधे निरीक्षण योग्य हैं और उन्हें ग्राउंड-ट्रुथ फैक्ट्स के विरुद्ध मूल्यांकित किया जा सकता है।
मोडैलिटी मैच (Modality Match): ऑब्जर्वेशन सिमेंटिक टेक्स्ट हैं, इसलिए टेक्स्टुअल स्टेट्स स्ट्रक्चरल इंटीग्रिटी को बनाए रखते हैं।

2. मॉडल आर्किटेक्चर (Model Architecture)

यह सिस्टम एक एकल प्री-ट्रेन्ड ऑटो-रेग्रेसिव लैंग्वेज मॉडल का उपयोग करता है जिसके पैरामीटर्स $\theta$ साझा हैं और जो तीन अलग-अलग, प्रॉम्प्ट-डिफाइंड चरणों में कार्य करता है:

एनकोडिंग (Encoding): $\hat{s}_t \sim p_\theta(\cdot | h_t)$ , जो हिस्ट्री $h_t$ से एक लेटेंट स्टेट जनरेट करता है।
ट्रांजिशन/डायनेमिक्स (Transition/Dynamics): $\hat{s}_{t+1} \sim p_\theta(\cdot | \hat{s}_t, a_t)$ , जो केवल वर्तमान लेटेंट स्टेट और एक्शन के आधार पर अगला स्टेट प्रेडिक्ट करता है।
डिकोडिंग (Decoding): $\hat{o}_{t+1} \sim p_\theta(\cdot | \hat{s}_{t+1}, a_t)$ , जो नए लेटेंट स्टेट से अगला ऑब्जर्वेशन जनरेट करता है।

महत्वपूर्ण रूप से, एक बार $\hat{s}_t$ जनरेट हो जाने के बाद, ट्रांजिशन और डिकोडिंग चरणों के पास मूल हिस्ट्री $h_t$ तक कोई पहुंच नहीं होती है। यह सख्त मीडिएशन को लागू करता है।

3. fGRPO के माध्यम से प्रशिक्षण (Training via Factorized GRPO)

चूंकि टेक्स्टुअल स्टेट्स नॉन-डिफरेंशिएबल हैं, इसलिए लेटेंट स्पेस के माध्यम से ग्रेडिएंट-बेस्ड ऑप्टिमाइजेशन असंभव है। लेखक प्रत्येक जनरेशन स्टेज को एक स्टोकेस्टिक पॉलिसी के रूप में मानते हैं और रीइन्फोर्समेंट लर्निंग (RL) का उपयोग करके अनुकूलन करते हैं।

मानक GRPO की सीमा: मानक ग्रुप रिलेटिव पॉलिसी ऑप्टिमाइजेशन (GRPO) एक सिंगल ऑटो-रेग्रेसिव कंटीन्यूएशन पर कार्य करता है, जो साझा प्रॉम्प्ट कॉन्टेक्स्ट के माध्यम से मॉडल को हिस्ट्री तक पहुंच प्रदान करेगा, जिससे सख्त मीडिएशन का उल्लंघन होगा।
fGRPO समाधान: लेखक एक ट्री-स्ट्रक्चर्ड एक्सटेंशन, फैक्टराइज्ड GRPO (fGRPO) पेश करते हैं। एक दिए गए हिस्ट्री के लिए, मॉडल $A$ कैंडिडेट लेटेंट स्टेट्स, फिर प्रत्येक एनकोडिंग के लिए $B$ कैंडिडेट नेक्स्ट स्टेट्स, और प्रत्येक ट्रांजिशन के लिए $C$ कैंडिडेट ऑब्जर्वेशन्स सैंपल करता है। यह एक ट्री बनाता है जहाँ रिवॉर्ड्स लीव्स (predicted बनाम ground-truth ऑब्जर्वेशन्स की तुलना) पर कंप्यूट किए जाते हैं और ऊपर की ओर प्रोपेगेट किए जाते हैं। यह संरचना सुनिश्चित करती है कि ट्रांजिशन और डिकोडिंग स्टेप्स सख्ती से सैंपल किए गए लेटेंट स्टेट्स पर कंडिशन होते हैं, न कि मूल हिस्ट्री पर।

4. रिवॉर्ड डिज़ाइन (Reward Design)

रिवॉर्ड सिग्नल प्रेडिक्टिव एक्यूरेसी को स्ट्रक्चरल रेगुलराइजेशन के साथ जोड़ता है ताकि कॉम्पैक्ट और पर्याप्त स्टेट्स को प्रोत्साहित किया जा सके:

ऑब्जर्वेशन एक्यूरेसी ( $R_{obs}$ ): प्रेडिक्टेड और ग्राउंड-ट्रुथ ऑब्जर्वेशन्स से निकाले गए फैक्ट्स के बीच फैक्ट-लेवल F1 स्कोर।
फॉर्मेट वैलिडिटी ( $R_{fmt}$ ): एक बाइनरी चेक जो सुनिश्चित करता है कि लेटेंट स्टेट एक वैध JSON स्ट्रक्चर है।
ऑक्सिलरी रिवॉर्ड्स (Auxiliary Rewards):
- सपोर्ट ( $R_{sup}$ ): प्रेडिक्टेड ऑब्जर्वेशन और अंडरलाइंग स्टेट फैक्ट्स के बीच कंसिस्टेंसी को प्रोत्साहित करता है।
- डुप्लीकेशन ( $R_{dedup}$ ): सिमेंटिक रूप से रेडंडेंट (redundant) फैक्ट्स को दंडित करता है।
- एब्लेशन ( $R_{abl}$ ): उन फैक्ट्स के अंश को मापता है जिन्हें हटाने से प्रेडिक्शन खराब होता है, जिससे केवल आवश्यक जानकारी रखने के लिए प्रोत्साहन मिलता है।

मुख्य योगदान (Key Contributions)

स्ट्रिक्ट मीडिएशन का औपचारिकीकरण (Formalization of Strict Mediation): यह पेपर सिद्ध करता है कि सख्त मीडिएशन के तहत, इष्टतम भविष्य कहने वाली सटीकता यह दर्शाती है कि लेटेंट स्टेट हिस्ट्री का एक पर्याप्त सांख्यिकीय (sufficient statistic) है (प्रपोजिशन 1)। इसके विपरीत, "लीकी" (leaky) आर्किटेक्चर में जहाँ हिस्ट्री बायपास की अनुमति होती है, इष्टतम सटीकता एक अन-इन्फॉर्मेटिव लेटेंट स्टेट के साथ भी प्राप्त की जा सकती है (प्रपोजिशन 2)।
रोलआउट पर सैद्धांतिक गारंटी (Theoretical Guarantees on Rollout): सख्त मीडिएशन प्रशिक्षण और अनुमान की स्थितियों को स्ट्रक्चरली अलाइन करता है। लेखक दिखाते हैं कि यह हिस्ट्री-बेस्ड या लीकी रोलआउट्स में देखे जाने वाले ज्यामितीय एरर ग्रोथ को रोकता है, जिससे कॉन्ट्रैक्शन एसेम्पशन के तहत बाउंडेड एरर प्रोपेगेशन संभव होता है (प्रपोजिशन 3)।
fGRPO एल्गोरिदम: फैक्टराइज्ड GRPO का परिचय, जो सख्त मीडिएशन बाधाओं के तहत बिना वेरिएशनल ऑब्जेक्टिव के डिस्क्रीट, नॉन-डिफरेंशिएबल टेक्स्टुअल लेटेंट स्टेट्स को प्रशिक्षित करने में सक्षम बनाता है।
अनुभवजन्य सत्यापन (Empirical Validation): TextWorld और ScienceWorld पर प्रयोगों से पता चलता है कि सख्त मीडिएशन ऐसे रिप्रेजेंटेशन प्रदान करता है जो प्रेडिक्टिव और आइडेंटिफिएबल दोनों हैं।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने अपने दृष्टिकोण का तीन बेसलाइन्स के विरुद्ध मूल्यांकन किया:

स्टेटलेस (Stateless): सीधे हिस्ट्री से प्रेडिक्ट करता है (एक्यूरेसी का अपर बाउंड, कोई स्पष्ट रिप्रेजेंटेशन नहीं)।
लीकी स्टेट (LeakyState): एक टेक्स्टुअल लेटेंट स्टेट का उपयोग करता है लेकिन प्रेडिक्शन के दौरान हिस्ट्री बायपास की अनुमति देता है।
स्ट्रिक्ट स्टेट-एम्ब (StrictState-Emb): सख्त मीडिएशन का उपयोग करता है लेकिन निरंतर एम्बेडिंग्स (वेरिएशनल ट्रेनिंग) के साथ।

मुख्य निष्कर्ष:

प्रेडिक्टिव एक्यूरेसी: StrictState-Text, LeakyState और Stateless बेसलाइन्स की वन-स्टेप प्रेडिक्शन एक्यूरेसी (obs.F1) से मेल खाता है, जो पुष्टि करता है कि सख्त मीडिएशन प्रदर्शन से समझौता नहीं करता है।
रिप्रेजेंटेशन क्वालिटी: मैच की गई प्रेडिक्शन एक्यूरेसी के तहत, StrictState-Text, LeakyState की तुलना में काफी अधिक स्टेट-लेवल F1 (कॉम्प्लेक्स टास्क के लिए ScienceWorld में 57% और TextWorld में 30% की वृद्धि) प्राप्त करता है। यह पुष्टि करता है कि लीकी मॉडल अन-इन्फॉर्मेटिव स्टेट्स सीखते हैं जो हिस्ट्री बायपास पर निर्भर होते हैं।
रोलआउट स्टेबिलिटी: सख्त मीडिएशन मल्टी-स्टेप रोलआउट प्रदर्शन में काफी सुधार करता है। स्टेट-लेवल F1 में होने वाली बढ़त प्रेडिक्शन होराइजन के साथ बढ़ती है, जो TextWorld पर होराइजन 9 पर 98% सुधार तक पहुँच जाती है। यह इस सैद्धांतिक दावे को मान्य करता है कि सख्त मीडिएशन संचयी त्रुटि (cumulative error) के प्रसार को कम करता है।
एब्लेशन: ऑक्सिलरी रिवॉर्ड्स (डुप्लीकेशन, एब्लेशन, सपोर्ट) को हटाने से लॉन्ग-होरिजन परफॉरमेंस गिर जाती है, जो यह दर्शाता है कि कॉम्पैक्ट, पर्याप्त स्टेट्स सीखने के लिए ये घटक महत्वपूर्ण हैं।

महत्व और दावे (Significance and Claims)

यह पेपर दावा करता है कि वर्ल्ड मॉडल्स में रिप्रेजेंटेशन क्वालिटी को अनुभवजन्य रूप से परीक्षण योग्य बनाने के लिए स्ट्रिक्ट लेटेंट स्टेट मीडिएशन एक आवश्यक शर्त है। इसके बिना, प्रेडिक्टिव एक्यूरेसी रिप्रेजेंटेशन क्वालिटी का एक खराब प्रॉक्सी है क्योंकि मॉडल सीधे हिस्ट्री तक पहुँचकर "चीटिंग" कर सकता है।

fGRPO का उपयोग करके टेक्स्ट डोमेन में सख्त मीडिएशन को सफलतापूर्वक लागू करके, लेखक प्रदर्शित करते हैं कि:

आइडेंटिफिएबिलिटी प्राप्त की जा सकती है: यह डिस्क्रीट, व्याख्या योग्य लेटेंट स्टेट्स सीखना संभव है जहाँ रिप्रेजेंटेशन की गुणवत्ता को प्रेडिक्टिव परफॉरमेंस से सीधे डायग्नोस किया जा सकता है।
टेक्स्टुअल स्टेट्स प्रभावी हैं: फिक्स्ड-डायमेंशनल एम्बेडिंग्स की तुलना में वेरिएबल-लेंथ टेक्स्टुअल स्टेट्स डिस्क्रीट, कंपोजिशनल फैक्ट्स के लिए अधिक लचीला और व्याख्या योग्य बॉटलनेक प्रदान करते हैं।
स्टेबिलिटी में सुधार होता है: सख्त मीडिएशन प्रशिक्षण और अनुमान को अलाइन करता है, जिससे वह एरर एक्यूमुलेशन कम होता है जो लीकी या स्टेटलेस आर्किटेक्चर में लॉन्ग-होरिजन रोलआउट्स को प्रभावित करता है।

लेखक नोट करते हैं कि उनका मूल्यांकन रिप्रेजेंटेशन क्वालिटी पर केंद्रित है न कि डाउनस्ट्रीम कंट्रोल या प्लानिंग पर, और प्रयोग सिंथेटिक, इंस्ट्रूमेंटेड वातावरण (TextWorld और ScienceWorld) तक सीमित हैं। वे स्ट्रक्चरल सीमाओं को भी स्वीकार करते हैं, जैसे कि कंप्रेशन का पूरा बोझ एक सिंगल-शॉट एनकोडर पर होना और ऑक्सिलरी रिवॉर्ड्स के लिए स्ट्रक्चर्ड फैक्ट एक्सट्रैक्शन पर निर्भरता। हालांकि, यह कार्य टेक्स्ट-बेस्ड सेटिंग्स में विश्वसनीय, व्याख्या योग्य वर्ल्ड मॉडल्स बनाने के लिए एक मेथोडोलॉजिकल फाउंडेशन स्थापित करता है।