💬 NLP

From Tokens to States: LLMs as a Special Case of World Models and the Continuous Path Beyond

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) और वर्ल्ड मॉडल्स के बीच के द्विआधारी अंतर को चुनौती देता है, यह तर्क देते हुए कि LLMs, वर्ल्ड मॉडल्स का एक डिजेनरेट विशेष मामला (degenerate special case) हैं, और टोकन प्रेडिक्शन से लेकर लेटेंट-स्पेस सिमुलेशन तक की आर्किटेक्चर की एक निरंतर स्पेक्ट्रम का प्रस्ताव देते हुए, एक्शन-लेबल वाले वातावरणों में स्केल करने और निरंतर-स्टेट प्रेडिक्शन के लिए ट्रांसफॉर्मर आर्किटेक्चर को अनुकूलित करने में महत्वपूर्ण अनुसंधान चुनौतियों पर प्रकाश डालते हैं।

मूल लेखक: Paul Dubois

प्रकाशित 2026-06-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Paul Dubois

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "From Tokens to States" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ हिंदी अनुवाद दिया गया है।

बड़ी गलतफहमी: दो अलग दुनिया?

कल्पना कीजिए कि AI समुदाय दो अलग-अलग प्रकार के यात्रियों के बारे में बहस कर रहा है।

ग्रुप A (LLMs): कहता है, "हम सिर्फ शब्दों के भविष्यवक्ता (word predictors) हैं। हम आपके द्वारा लिखे गए आखिरी शब्द को देखते हैं और अगले शब्द का अनुमान लगाते हैं। हमें वास्तविक दुनिया के बारे में कुछ नहीं पता; हमें बस इतना पता है कि शब्द एक साथ कैसे जुड़ते हैं।"
ग्रुप B (World Models): कहता है, "हम वास्तविकता के सिम्युलेटर (reality simulators) हैं। हम यह समझने के लिए एक मानसिक मानचित्र बनाते हैं कि दुनिया कैसे काम करती है ताकि हम आगे की योजना बना सकें, जैसे एक शतरंज का खिलाड़ी तीन चालें आगे की सोचता है।"

यह पेपर तर्क देता है कि ये दोनों समूह वास्तव में एक ही चीज़ को अलग-अलग कोणों से देख रहे हैं। लेखक, पॉल डुबोइस कहते हैं: "आप दो अलग प्रजातियों को नहीं देख रहे हैं; आप एक पिल्ले और एक वयस्क भेड़िये को देख रहे हैं। पिल्ला बस भेड़िये का एक बहुत ही सीमित संस्करण है।"

दावा #1: "पिल्ला" वास्तव में एक छोटे कमरे में रहने वाला "भेड़िया" है

पेपर का दावा है कि लार्ज लैंग्वेज मॉडल्स (LLMs) वास्तव में वर्ल्ड मॉडल्स (World Models) हैं, लेकिन वे एक बहुत ही छोटे, उबाऊ कमरे में फंसे हुए हैं।

कमरा (State): एक सामान्य वर्ल्ड मॉडल में, "कमरा" पूरा ब्रह्मांड (कारें, मौसम, लोग, भौतिकी) होता है। एक LLM में, "कमरा" केवल शब्दों की एक स्ट्रिंग है।
क्रिया (Action): एक सामान्य वर्ल्ड मॉडल में, आप बहुत कुछ कर सकते हैं (गाड़ी चलाना, कूदना, बात करना)। एक LLM में, आप केवल एक ही चीज़ कर सकते हैं—एक शब्द जोड़ना।
चाल (The Trick): भले ही LLM को केवल शब्द जोड़ने की अनुमति है, वह गुप्त रूप से अपने दिमाग (अपने हिडन लेयर्स) के अंदर दुनिया का एक नक्शा बनाता है।
- उपमा: कल्पना कीजिए कि एक व्यक्ति है जिसे केवल एक-एक शब्द बोलने की अनुमति है। यदि आप उनसे केवल "प्यादा," "राजा," "शह" जैसे शब्दों का उपयोग करके शतरंज का खेल खेलने के लिए कहते हैं, तो वे भौतिक रूप से मोहरों को नहीं हिला सकते। लेकिन अपने दिमाग के अंदर, वे पूरे शतरंज के बोर्ड को पूरी तरह से विज़ुअलाइज़ (दृश्य रूप में देखना) कर रहे हैं। शब्द केवल एक इंटरफ़ेस हैं, लेकिन वर्ल्ड मॉडल उनके मन के भीतर जीवित है।

यह पेपर यह दिखाकर सिद्ध करता है कि केवल टेक्स्ट पर प्रशिक्षित मॉडल वास्तव में शतरंज के बोर्ड के लेआउट या समय के बीतने जैसी चीज़ों को "देख" सकते हैं, भले ही उन्हें सीधे तौर पर ये अवधारणाएं न सिखाई गई हों।

दावा #2: यह एक चिकनी ढलान है, कोई खाई नहीं

कई विशेषज्ञ (जैसे यान लेकन) कहते हैं कि हमें शब्द-भविष्यवाणी करने वाले मॉडल्स को पूरी तरह से त्याग देना चाहिए और एक पूरी तरह से नई प्रणाली की ओर बढ़ना चाहिए जिसे JEPA कहा जाता है (एक ऐसी प्रणाली जो एक "लेटेंट" या छिपे हुए स्थान में भविष्य की अवस्थाओं की भविष्यवाणी करती है)।

पेपर कहता है: "खाई में मत कूदो। बस एक ढलान पर चढ़ो।"

लेखक एक निरंतर स्पेक्ट्रम (एक स्मूथ स्लाइड) का वर्णन करते हैं जो साधारण शब्द-भविष्यवक्ता को जटिल वास्तविकता-सिम्युलेटर से जोड़ता है। आपको पुराने मॉडल को फेंकने की ज़रूरत नहीं है; आपको बस एक-एक करके नियम ढीले करने होंगे।

यहाँ ढलान के ऊपर जाने का रास्ता दिया गया है:

शुरुआती बिंदु (Standard LLM): एक बार में एक शब्द की भविष्यवाणी करता है।
- फायदे: हमारे पास अनंत डेटा है (पूरा इंटरनेट) और एक बेहतरीन टूल (ट्रांसफॉर्मर आर्किचर) है।
चरण 1: मल्टी-टोकन प्रेडिक्शन (Multi-Token Prediction): एक साथ कुछ शब्दों की भविष्यवाणी करता है।
- बदलाव: हम मॉडल को एक बार में एक अक्षर का अनुमान लगाने के लिए मजबूर करना बंद कर देते हैं। यह तर्क करने में थोड़ा स्मार्ट हो जाता है, लेकिन हम अभी भी इंटरनेट टेक्स्ट और उन्हीं टूल्स का उपयोग करते हैं।
चरण 2: फ्यूचर समरी (Future Summary): भविष्य के एक संकुचित सारांश (compressed summary) की भविष्यवाणी करता है।
- बदलाव: अगला शब्द अनुमान लगाने के बजाय, यह अगले पैराग्राफ का "सार" (gist) अनुमान लगाता है। अभी भी इंटरनेट टेक्स्ट का उपयोग करता है।
चरण 3: नेक्स्ट-लेटेंट प्रेडिक्शन (Next-Latent Prediction): शब्द के बजाय अगले "विचार" (एक हिडन स्टेट) की भविष्यवाणी करता है।
- बदलाव: मॉडल शब्दों को आउटपुट करना बंद कर देता है और आंतरिक अवधारणाओं (internal concepts) को आउटपुट करना शुरू कर देता है। इसे प्रशिक्षित करना कठिन है, लेकिन हम अभी भी इंटरनेट टेक्स्ट का उपयोग कर सकते हैं।
ढलान का शीर्ष (JEPA): एक क्रिया के आधार पर वास्तविक दुनिया की अगली अवस्था की भविष्यवाणी करता है।
- बड़ा ड्रॉप: यहाँ, आसान चीज़ें गायब हो जाती हैं।
  - डेटा की समस्या: हम अब इंटरनेट का उपयोग नहीं कर सकते। हमें रोबोट, सेल्फ-ड्राइविंग कारों या वीडियो गेम से विशिष्ट डेटा की आवश्यकता है जहाँ हमें पता हो कि किस क्रिया ने क्या परिणाम दिया। यह डेटा दुर्लभ और कठिन है।
  - टूल की समस्या: जो "ट्रांसफॉर्मर" टूल हमने शब्दों के लिए इस्तेमाल किया था, वह निरंतर वास्तविकता के लिए काम नहीं कर सकता है। हमें शायद एक बिल्कुल नए टूल की आवश्यकता होगी।

दो बड़ी बाधाएं

पेपर उन दो मुख्य कारणों की पहचान करता है जिनसे हम ढलान के निचले हिस्से (LLM चरण) में अटके हुए हैं और टॉप (JEPA चरण) तक नहीं पहुँच पाए हैं:

डेटा की खाई (The Data Cliff):
- नीचे: हमारे पास सीखने के लिए इंटरनेट पर खरबों शब्द हैं। यह मुफ्त और आसान है।
- ऊपर: हमें लाखों विशिष्ट, लेबल किए गए इंटरैक्शन (जैसे एक रोबोट का दीवार से टकराना) की आवश्यकता है। यह महंगा है और इकट्ठा करना कठिन है।
आर्किटेक्चर का सवाल:
- नीचे: ट्रांसफॉर्मर एक ऐसी मशीन है जो विशेष रूप से शब्दों के लिए बनाई गई है। यह एक ऐसे रिंच (wrench) की तरह है जो वर्गाकार बोल्ट पर बिल्कुल फिट बैठता है।
- ऊपर: हमें निरंतर वास्तविकता (जैसे तरल गति) की भविष्यवाणी करने की आवश्यकता है। वह रिंच शायद ठीक से काम न करे। हमें एक नए टूल की आवश्यकता हो सकती है, लेकिन हमें अभी तक नहीं पता कि वह कैसा दिखता है।

निष्कर्ष: पुल को जलाएं नहीं

पेपर निष्कर्ष निकालता है कि हमें अपने वर्तमान AI मॉडल्स को फेंकने की ज़रूरत नहीं है।

यान लेकन सही हैं कि साधारण शब्द-भpredictors अकेले जटिल भौतिक योजना (physical planning) नहीं बना सकते।
लेकिन वे गलत हैं कि हमें शून्य से शुरुआत करने की आवश्यकता है।

इसके बजाय, हमें वर्तमान मॉडल्स को एक लंबी यात्रा के पहले चरण के रूप में देखना चाहिए। हम धीरे-धीरे उन्हें अपग्रेड कर सकते हैं, स्टेप-बाय-स्टेप, शब्दों की भविष्यवाणी करने से लेकर अवधारणाओं की भविष्यवाणी करने और अंततः वास्तविकता की भविष्यवाणी करने तक। मंजिल स्पष्ट है, लेकिन रास्ता एक क्रमिक चढ़ाई है, न कि अचानक छलांग।

संक्षेप में: LLMs "नकली" वर्ल्ड मॉडल्स नहीं हैं; वे बस ऐसे वर्ल्ड मॉडल्स हैं जिनके हाथ पीछे बंधे हुए हैं। यदि हम धीरे-धीरे उनके हाथ खोल दें, तो हमें उस शक्तिशाली AI तक पहुँचने के लिए किसी नए ब्रह्मांड के आविष्कार की आवश्यकता नहीं होगी।

तकनीकी सारांश: टोकन से अवस्थाओं तक: विश्व मॉडल के एक विशेष मामले के रूप में LLMs और निरंतर पथ के परे

समस्या विवरण

AI समुदाय वर्तमान में लार्ज लैंग्वेज मॉडल्स (LLMs) और वर्ल्ड मॉडल्स (विश्व मॉडल) के बीच के संबंध को एक द्विआधारी विभाजन (binary dichotomy) के रूप में देखता है: LLMs को केवल टोकन प्रेडिक्टर के रूप में देखा जाता है, जबकि वर्ल्ड मॉडल्स को उन प्रणालियों के रूप में परिभाषित किया जाता है जो योजना बनाने (planning) के लिए वास्तविकता का अनुकरण करती हैं। यान लेकन (2022) ने तर्क दिया है कि सामान्य बुद्धिमत्ता प्राप्त करने के लिए ऑटो-रिग्रेसिव टोकन प्रेडिक्शन को छोड़कर लेटेंट-स्पेस आर्किटेक्चर (विशेष रूप से जॉइंट एम्बेडिंग प्रेडिक्टिव आर्किटेक्चर, या JEPA) को अपनाना आवश्यक है। यह शोध पत्र उस ढांचे को अनावश्यक रूप से द्विआधारी मानते हुए चुनौती देता है, और तर्क देता है कि यह क्षमताओं के एक स्वाभाविक, निरंतर स्पेक्ट्रम (spectrum) को धुंधला करता है। संबोधित मुख्य समस्या LLMs और वर्ल्ड मॉडल्स को एकीकृत करने वाले एक औपचारिक ढांचे की कमी और एक को दूसरे में बदलने के लिए स्पष्ट रोडमैप का अभाव है, बिना उन व्यावहारिक लाभों को त्याग दिए जिन्होंने LLMs को स्केल करने में सक्षम बनाया है।

कार्यप्रणाली और औपचारिकता (Methodology and Formalism)

यह शोध पत्र LLMs और वर्ल्ड मॉडल्स के बीच के संबंध को पुन: परिभाषित करने के लिए एक औपचारिक गणितीय दृष्टिकोण अपनाता है, जिसके बाद मौजूदा और उभरते आर्किटेक्चर का संरचनात्मक विश्लेषण किया जाता है।

1. LLMs का औपचारिक एम्बेडिंग (Formal Embedding of LLMs)
लेखक एक वर्ल्ड मॉडल को टुपल $(S, A, T, \rho_0)$ के रूप में परिभाषित करता है, जहाँ $S$ स्टेट स्पेस (अवस्था स्थान) है, $A$ एक्शन स्पेस (क्रिया स्थान) है, $T$ ट्रांजिशन फंक्शन (परिवर्तन फलन) है, और $\rho_0$ प्रारंभिक अवस्था वितरण है। शोध पत्र इस ढांचे में एक ऑटो-रिग्रेसिव LLM को विशिष्ट, प्रतिबंधात्मक विकल्प बनाकर औपचारिक रूप से एम्बेड करता है:

स्टेट स्पेस ( $S$ ): सभी परिमित टोकन अनुक्रमों ( $V^*$ ) का सेट।
एक्शन स्पेस ( $A$ ): टोकन का वोकैबुलरी ( $V$ ), जहाँ एकमात्र क्रिया एक टोकन जोड़ना है।
ट्रांजिशन फंक्शन ( $T$ ): एक नियतात्मक (deterministic) फलन जो चुने गए टोकन को अनुक्रम में जोड़ता है ( $s \cdot a$ )।
पॉलिसी ( $\pi_\theta$ ): स्वयं LLM, जो अगले टोकन पर संभाव्यता वितरण (probability distribution) की भविष्यवाणी करता है।

इस परिभाषा के तहत, LLM ट्रांजिशन फंक्शन के माध्यम से विश्व सिम्युलेटर और एजेंट दोनों के रूप में कार्य करता है। शोध पत्र तर्क देता है कि LLMs वर्ल्ड मॉडल्स के एक "डिजेनरेट विशेष मामले" (degenerate special case) हैं, जहाँ स्टेट स्पेस डिस्क्रीट टोकन तक सीमित है और ट्रांजिशन सरल है।

2. निरंतर स्पेक्ट्रम विश्लेषण (The Continuous Spectrum Analysis)
शोध पत्र एक स्पेक्ट्रम का निर्माण करता जो मानक नेक्स्ट-टोकन प्रेडिक्शन (NTP) से लेकर JEPA तक जाता है। यह स्पेक्ट्रम का विश्लेषण एक क्रम के रूप में करता है, जहाँ प्रत्येक चरण मानक LLM औपचारिकता के ठीक एक प्रतिबंध को शिथिल (relax) करता है। विश्लेषण ट्रैक करता है कि प्रत्येक शिथिलता मानक LLM के दो व्यावहारिक लाभों को कैसे प्रभावित करती है:

इंटरनेट-स्केल सेल्फ-सुपरवाइज्ड डेटा तक पहुंच।
ट्रांसफॉर्मर आर्किटेक्चर के साथ अनुकूलता (जो डिस्क्रीट टोकन के लिए सह-डिज़ाइन किया गया है)।

मुख्य योगदान

1. समावेशन का दावा (The Containment Claim)
प्राथमिक सैद्धांतिक योगदान यह प्रमाण है कि LLMs $\subset$ World Models। शोध पत्र प्रदर्शित करता है कि वर्ल्ड मॉडल्स, LLMs के प्रतिस्थापन (replacement) नहीं, बल्कि उनके एक सख्त सामान्यीकरण (strict generalization) हैं। यह अनुसंधान लक्ष्य को "LLMs को छोड़ने" से बदलकर "LLM बाधाओं को क्रमिक रूप से शिथिल करने" के रूप में पुनर्गठित करता है।

2. पाँच बाधाओं की पहचान
शोध पत्र पाँच विशिष्ट बाधाओं को अलग करता है जो व्यापक वर्ल्ड मॉडल क्लास के भीतर LLM के विशेष मामले को परिभाषित करती हैं:

स्टेट रिप्रेजेंटेशन (State Representation): डिस्क्रीट टोकन अनुक्रमों तक सीमित (बनाम मनमाने निरंतर/लेटेंट स्टेट्स)।
एक्शन ग्रेनुलैरिटी (Action Granularity): एक माइक्रो-टोकन प्रति स्टेप तक सीमित (बनाम सिमेंटिक एजेंट क्रियाएं)।
स्टेट पर्सिस्टेंस (State Persistence): स्टेट को हर पास में संदर्भ (context) से पुनः प्राप्त करना होगा (बनाम स्पष्ट संग्रहीत वेरिएबल्स)।
ट्रेनिंग सुपरविजन (Training Supervision): कच्चे टेक्स्ट पर नेक्स्ट-टोकन प्रेडिक्शन पर निर्भर करता है (बनाम युग्मित स्टेट-एक्शन-नेक्स्ट स्टेट टुपल्स)।
लेयर आर्किटेक्चर (Layer Architecture): डिस्क्रीट टोकन के लिए सह-डिज़ाइन किए गए ट्रांसफॉर्मर तक सीमित।

3. "डेटा क्लिफ" और "आर्किटेक्चर गैप"
शोध पत्र दो महत्वपूर्ण बाधाओं की पहचान करता है जो स्पेक्ट्रम पर चलते समय उभरती हैं:

डेटा का प्रश्न: जबकि शुरुआती स्पेक्ट्रम चरण (NTP, मल्टी-टोकन प्रेडिक्शन, फ्यूचर समरी) इंटरनेट-स्केल टेक्स्ट का उपयोग कर सकते हैं, अंतिम चरण JEPA तक पहुँचने के लिए इंस्ट्रूमेंटेड वातावरण से युग्मित (paired) (अवलोकन, क्रिया, अगला अवलोकन) डेटा की आवश्यकता होती है। यह डेटा इंटरनेट टेक्स्ट ( $\sim 10^{13}$ टोकन) की तुलना में कई गुना दुर्लभ ( $\sim 10^9$ नमूने) है।
आर्किटेक्चर का प्रश्न: ट्रांसफॉर्मर आर्किटेक्चर डिस्क्रीट टोकन के लिए अत्यधिक अनुकूलित है। जैसे-जैसे प्रेडिक्शन टारगेट निरंतर लेटेंट स्पेस (Next-Latent, JEPA) की ओर बढ़ते हैं, ट्रांसफॉर्मर का इंडक्टिव बायस कम अनुकूल हो जाता है। शोध पत्र सुझाव देता है कि क्षेत्र में संभवतः एक ऐसा "क्रिस्टलाइज्ड" आर्किटेक्चर की कमी है जो टेक्स्ट के लिए ट्रांसफॉर्मर के समान निरंतर-स्टेट प्रेडिक्शन के लिए उपयुक्त हो।

4. आंतरिक प्रतिनिधित्वों का अनुभवजन्य पुनर्व्याख्या (Empirical Reinterpretation of Internal Representations)
यह शोध पत्र मैकेनिस्टिक इंटरप्रिटेबिलिटी निष्कर्षों (जैसे OthelloGPT, Llama-2) को यह तर्क देने के लिए संश्लेषित करता है कि LLMs के भीतर पहले से ही "वर्ल्ड मॉडल्स" मौजूद हैं। ये मॉडल केवल टोकन अनुक्रमों पर प्रशिक्षित होने के बावजूद, अपने हिडन एक्टिवेशन्स में बोर्ड स्टेट्स, भौगोलिक स्थान और समय के समृद्ध, लीनियर रिप्रेजेंटेशन को एनकोड करते हैं। यह इस दावे का समर्थन करता है कि "वर्ल्ड मॉडल" लेटेंट एक्टिवेशन्स में निवास करता है, जबकि टोकन केवल एक इंटरफेस के रूप में कार्य करते हैं।

परिणाम और साक्ष्य

यह शोध पत्र नए प्रयोगात्मक परिणाम प्रस्तुत नहीं करता है, बल्कि अपने सैद्धांतिक दावों का समर्थन करने के लिए मौजूदा शोध को संश्लेषित करता है:

OthelloGPT और चेस मॉडल्स: प्रदर्शित करते हैं कि हिडन एक्टिवेशन्स 99% से अधिक सटीकता के साथ पूर्ण बोर्ड स्टेट्स को एनकोड करते हैं, जो यह सिद्ध करता है कि टोकन-प्रेडिक्टिंग आर्किटेक्चर के भीतर वर्ल्ड-स्टेट रिप्रेजेंटेशन संभव है।
मल्टी-टोकन प्रेडिक्शन (MTP): Gloeckle et al. (2024) और DeepSeek-V3 का हवाला देते हुए, यह दिखाते हैं कि $k$ टोकन को एक साथ प्रेडिक्ट करने से डेटा या आर्किटेक्चर लाभों को खोए बिना रीजनिंग में सुधार होता है।
फ्यूचर समरी और नेक्स्ट-लेटेंट: Mahajan et al. (2026) और Teoh et al. (2026) का हवाला देते हुए यह दिखाते हैं कि मध्यवर्ती आर्किटेक्चर संपीड़ित भविष्य या लेटेंट स्टेट्स की भविष्यवाणी करते हैं, जो NTP और JEPA के बीच के अंतर को पाटते हैं।
चेन-ऑफ-थॉट (CoT): इसे एक नए प्रतिमान के रूप में नहीं, बल्कि मौजूदा टोकन-स्टेट वर्ल्ड मॉडल के भीतर प्लानिंग हॉरिजन को बढ़ाने वाले एक तंत्र के रूप में पुनर्व्याख्या करता है, जो प्रभावी रूप से स्पेक्ट्रम के ग्रेनुलैरिटी एक्सिस पर आगे बढ़ता है।

महत्व और दावे

शोध पत्र का दावा है कि इसका महत्व "टोकन प्रेडिक्टर्स" और "वर्ल्ड मॉडल्स" के बीच के झूठे द्वंद्व को समाप्त करने में निहित है। LLMs को वर्ल्ड मॉडल्स के एक सीमित उपसमुच्चय (subset) के रूप में फ्रेम करके, यह सुझाव देता है कि सामान्य बुद्धिमत्ता की ओर का मार्ग एक विच्छिन्न छलांग (discontinuous jump) के बजाय एक ग्रेडिएंट एसेंट (gradient ascent) पथ है।

क्रमिक संक्रमण (Incremental Transition): आगे का रास्ता LLMs को त्यागना नहीं है, बल्कि बाधाओं को धीरे-धीरे शिथिल करना है। मध्यवर्ती चरण (MTP, फ्यूचर समरी, नेक्स्ट-लेटेंट) इंटरनेट-स्केल डेटा और ट्रांसफॉर्मर आर्किटेक्चर के लाभों को बनाए रखते हुए वर्ल्ड-मॉडल क्षमता में सुधार करने का एक तरीका प्रदान करते हैं।
सीमा का स्पष्टीकरण: शोध पत्र का मानना है कि वास्तविक अनुसंधान सीमा JEPA की ओर संक्रमण में है, जहाँ डेटा उपलब्धता और आर्किटेक्चरल फिट दोनों एक साथ ढह जाते हैं। यह सुझाव देता है कि "एक्शन-कंडीशन्ड वर्ल्ड मॉडल" की समस्या को हल करने के लिए केवल अधिक डेटा की ही नहीं, बल्कि निरंतर-स्टेट प्रेडिक्शन के लिए एक नए आर्किटेक्चरल प्रिमिटिव की भी आवश्यकता हो सकती है।
लेकन की आलोचना का पुनर्मूल्यांकन: शोध पत्र तर्क देता है कि लेकन इस मामले में सही हैं कि वर्तमान LLMs भौतिक दुनिया में क्लोज्ड-लूप प्लानिंग नहीं कर सकते, लेकिन वे इस मामले में गलत हैं कि इसके लिए टोकन-प्रेडिक्शन प्रतिमान को पूरी तरह से छोड़ने की आवश्यकता है। इसके बजाय, स्पेक्ट्रम का दृष्टिकोण दिखाता है कि CoT और लेटेंट-स्पेस प्रेडिक्शन उसी अंतर्निहित औपचारिकता के प्राकृतिक विस्तार हैं।

निष्कर्षतः, शोध पत्र का दावा है कि गंतव्य (एक्शन-कंडीशन्ड लेटेंट-स्पेस वर्ल्ड मॉडल्स) स्पष्ट है, लेकिन यह पथ दो विपरीत तकनीकों के बीच एक द्विआधारी विकल्प नहीं, बल्कि आर्किटेक्चरल और डेटा विकास का एक निरंतर स्पेक्ट्रम है।