🤖 machine learning

PriorZero: Bridging Language Priors and World Models for Decision Making

PriorZero एक एकीकृत ढांचा है जो केंद्रित अन्वेषण के लिए मोंटे कार्लो ट्री सर्च (Monte Carlo Tree Search) के केवल मूल (root) पर LLM मार्गदर्शन को इंजेक्ट करके स्थिर और सूक्ष्म क्रेडिट असाइनमेंट (credit assignment) को सक्षम करने के लिए स्टैटिक लार्ज लैंग्वेज मॉडल प्रायर्स (LLMs priors) और डायनेमिक वर्ल्ड मॉडल्स के बीच के अंतर को पाटता है, जिससे वर्ल्ड मॉडल ट्रेनिंग को LLM अनुकूलन से अलग किया जाता है और इस प्रकार लॉन्ग-होरिजन कार्यों में निर्णय लेने की दक्षता और प्रदर्शन को महत्वपूर्ण रूप से बढ़ाया जाता है।

मूल लेखक: Junyu Xiong, Yuan Pu, Jia Tang, Yazhe Niu

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Junyu Xiong, Yuan Pu, Jia Tang, Yazhe Niu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (LLM) को Zork या Detective जैसे एक जटिल, टेक्स्ट-आधारित एडवेंचर गेम खेलना सिखाने की कोशिश कर रहे हैं। लाइब्रेरियन दुनिया और कहानियों के बारे में बहुत कुछ जानता है, लेकिन उसने कभी गेम खेला नहीं है। वह दुनिया के नियमों, छिपे हुए जाल या हर चाल पर गेम की प्रतिक्रिया के बारे में नहीं जानता।

PriorZero एक ऐसा तरीका है जिससे आप इस लाइब्रेरियन को यह सिखा सकते हैं कि वह उसे पागल किए बिना या उसकी पहले से मौजूद जानकारी को भुलाए बिना गेम कैसे खेले।

यहाँ समस्या और समाधान का विवरण दिया गया है, सरल उपमाओं (analogies) का उपयोग करते हुए:

समस्या: "जानने और करने" का अंतर (The "Know-Do" Gap)

लेखकों ने पाया कि लाइब्रेरियन के ज्ञान को गेम खेलने के साथ जोड़ने वाले मौजूदा तरीके दो मुख्य तरीकों से विफल हो जाते हैं:

"स्थिर मार्गदर्शक" की समस्या (The "Static Guide" Problem): यदि आप केवल लाइब्रेरियन से अपने सामान्य ज्ञान के आधार पर आपको क्या करना चाहिए, यह बताने के लिए कहते हैं, तो वे एक तार्किक उत्तर दे सकते हैं जो वास्तव में गेम में एक जाल हो सकता है। वे जानते हैं कि एक दरवाजा आमतौर पर क्या करता है, लेकिन वे यह नहीं जानते कि इस विशेष गेम में यह दरवाजा एक अथाह गड्ढे की ओर ले जाता है। वे गेम के विशिष्ट नियमों के प्रति "अंधे" हैं।
"अनंत परीक्षण और त्रुटि" की समस्या (The "Endless Trial-and-Error" Problem): यदि आप लाइब्रेरियन को हजारों बार गेम खिलाकर और हर बार हारने पर उन्हें सुधारकर (जिसे "फाइन-ट्यूनिंग" कहा जाता है) सिखाने की कोशिश करते हैं, तो यह एक आपदा है। गेम बहुत कम पुरस्कार (जैसे खजाना मिलना) देता है, इसलिए लाइब्रेरियन भ्रमित हो जाता है। वे बेतरतीब ढंग से अनुमान लगाना शुरू कर सकते हैं, या वे अपने अच्छे सामान्य ज्ञान को "भूल" सकते हैं क्योंकि गेम के विशिष्ट नियम बहुत अजीब होते हैं।

समाधान: PriorZero

PriorZero लाइब्रेरियन के सामान्य ज्ञान और एक विशेष "गेम सिम्युलेटर" (जिसे वर्ल्ड मॉडल कहा जाता है) के बीच एक पुल के रूप में कार्य करता है। यह दो-भागों वाली रणनीति का उपयोग करता है:

1. "रूट-प्रायर इंजेक्शन" (The Smart Start)

कल्पना कीजिए कि लाइब्रेरियन और गेम सिम्युलेटर एक विशाल निर्णय वृक्ष (जिसे MCTS कहा जाता है) का उपयोग करके अपने अगले कदम की योजना बना रहे हैं।

पुराना तरीका: लाइब्रेरियन भविष्य के हर एक कदम का अनुमान लगाने की कोशिश करता है। यह धीमा है और अक्सर गलत होता है क्योंकि लाइब्रेरियन को गेम के भौतिक विज्ञान (physics) का पता नहीं होता।
PriorZero का तरीका: लाइब्रेरियन केवल सबसे पहले कदम (वृक्ष के मूल या रूट) पर सलाह देता है। वे कहते हैं, "मेरे ज्ञान के आधार पर, उत्तर दिशा में जाना एक अच्छा विचार लगता है।"
सिम्युलेटर का काम: एक बार जब लाइब्रेरियन "उत्तर" का सुझाव दे देता है, तो गेम सिम्युलेटर नियंत्रण संभाल लेता है। यह केवल उस सुझाव से शुरू होने वाले हजारों संभावित भविष्य का अनुकरण (simulate) करता है ताकि यह देखा जा सके कि क्या यह वास्तव में खजाने या किसी जाल की ओर ले जाता है। लाइब्रेरियन गहरे सिमुलेशन में हस्तक्षेप नहीं करता है; वे बस सिम्युलेटर को सही दिशा दिखाने में मदद करते हैं ताकि सिम्युलेटर उन रास्तों को देखने में समय बर्बाद न करे जो स्पष्ट रूप से खराब हैं।

उपमा: सोचिए कि लाइब्रेरियन एक टूर गाइड है जो शहर के इतिहास को जानता है। वे आपको "ऐतिहासिक जिले" (रूट) की ओर इशारा करते हैं। एक बार जब आप वहां पहुँच जाते हैं, तो एक जीपीएस (वर्ल्ड मॉडल) नियंत्रण संभाल लेता है और ट्रैफ़िक जाम से बचते हुए सड़कों के माध्यम से सटीक, सबसे तेज़ रास्ता कैलकुलेट करता है, जिसके बारे में गाइड को पता नहीं है।

2. "अल्टरनेटिंग ट्रेनिंग" (The Safe Lesson)

यह उन्हें लाइब्रेरियन के दिमाग को खराब किए बिना बेहतर बनने के लिए सिखाने का तरीका है।

चरण A (सिम्युलेटर सीखता है): पहले, गेम सिम्युेटर गेम खेलता है और खेल के नियमों, पुरस्कारों और हर क्रिया के परिणामों को सीखता है। यह भविष्य की भविष्यवाणी करने में बहुत कुशल हो जाता है।
चरण B (लाइब्रेरियन सीखता है): एक बार जब सिम्युलेटर स्मार्ट हो जाता है, तो वह एक सख्त लेकिन निष्पक्ष शिक्षक के रूप में कार्य करता है। वह लाइब्रेरियन को बताता है, "आपने 'उत्तर' का सुझाव दिया था, और यहाँ बताया गया है कि उस चाल से आपको कितना पुरस्कार मिला।" क्योंकि सिम्युलेटर ने पहले ही कठिन गणित कर लिया है, इसलिए फीडबैक स्पष्ट और भ्रमित करने वाला नहीं होता है। लाइब्रेरियन इस विशिष्ट फीडबैक से सीखता है।
चक्र (The Cycle): वे बारी-बारी से काम करते हैं। सिम्युेटर स्मार्ट होता है, फिर लाइब्रेरियन को सिखाता है, फिर लाइब्रेरियन स्मार्ट होता है, जो सिम्युेटर को बेहतर खोज (explore) करने में मदद करता है, और इसी तरह।

उपमा: कल्पना कीजिए कि एक शतरंज कोच (सिम्युलेटर) है जिसने लाखों गेम खेले हैं। एक छात्र (लाइब्रेरियन) को बेतरतीब ढंग से खेलने और निराश होने देने के बजाय, कोच छात्र के लिए गेम का अनुकरण करता है। कोच कहता है, "यदि आप यहाँ चलते हैं, तो आप 5 चालों में जीत जाएंगे।" छात्र पूरे गेम को खुद झेलने के तनाव के बिना उस चाल के मूल्य को सीखता है।

परिणाम

लेखकों ने दो प्रकार के गेम्स पर इसका परीक्षण किया:

टेक्स्ट एडवेंचर्स (Jericho): ऐसे गेम्स जहाँ आप दुनिया का पता लगाने के लिए कमांड टाइप करते हैं।
ग्रिड वर्ल्ड्स (BabyAI): ऐसे गेम्स जहाँ आप वस्तुओं को खोजने के लिए एक ग्रिड में नेविगेट करते हैं।

क्या हुआ?

PriorZero ने उन तरीकों की तुलना में तेजी से सीखा जो या तो केवल लाइब्रेरियन का उपयोग करते थे या केवल सिम्युलेटर का।
इसने लंबे समय में उच्च स्कोर प्राप्त किया (अधिक खजाना पाया)।
इसने उन "डेड लूप्स" (dead loops) को हल किया जहाँ एजेंट एक ही कमरे में बार-बार घूमते रहते थे। लाइब्रेरियन के शुरुआती संकेत ने सिम्युलेटर को इन लूप्स से बाहर निकलने में मदद की।

सारांश

PriorZero एक टीम-अप रणनीति है। यह LLM (लाइब्रेरियन) को वह करने देती है जिसमें वह सर्वश्रेष्ठ है: सामान्य समझ का उपयोग करके एक अच्छा शुरुआती बिंदु सुझाना। यह वर्ल्ड मॉडल (सिम्युलेटर) को वह करने देती है जिसमें वह सर्वश्रेष्ठ है: उन चालों के जटिल, दीर्घकालिक परिणामों की गणना करना। उन्हें अलग लेकिन जुड़ा हुआ रखकर, वे लाइब्रेरियन को गेम इंजन बनाने या गेम इंजन को दार्शनिक बनाने की कोशिश करने की गलतियों से बचते हैं।

तकनीकी सारांश: PriorZero

समस्या विवरण (Problem Statement)

लॉन्ग-होरिज़न (long-horizon), स्पार्स-रिवॉर्ड (sparse-reward) निर्णय लेने वाले कार्यों को हल करने के लिए समृद्ध विश्व ज्ञान (world knowledge) का लाभ उठाने हेतु लार्ज लैंग्वेज मॉडल्स (LLMs) को रिइन्फोर्समेंट लर्निंग (RL) एजेंटों में एकीकृत करना एक आशाजनक मार्ग प्रदान करता है। हालाँकि, मौजूदा दृष्टिकोण एक मौलिक प्रायर-डायनेमिक्स मिसमैच (prior-dynamics mismatch) के कारण बाधित हैं।

वर्तमान प्रतिमान (paradigms) विशिष्ट संरचनात्मक बाधाओं का सामना करते हैं:

नैव पॉलिसी (P1): ज़ीरो-शॉट पॉलिसी के रूप में LLMs का उपयोग करने से मायोपिक (myopic) निर्णय होते हैं क्योंकि भाषाई संभावना (linguistic likelihood) पर्यावरण रिटर्न के बराबर नहीं होती है, जिससे एक "जानने-करने का अंतर" (knowing-doing gap) पैदा होता है।
नैव RL फाइन-ट्यूनिंग (P2): RL के माध्यम से LLMs की एंड-टू-एंड फाइन-ट्यूनिंग उच्च-वेरिएंस क्रेडिट असाइनमेंट और अनुकूलन अस्थिरता (optimization instability) से ग्रस्त होती है, विशेष रूप से स्पार्स-रिवॉर्ड वातावरण में।
डायनेमिक्स मॉडलिंग (P3): स्टेट ट्रांज़िशन की भविष्यवाणी करने के लिए LLMs का उपयोग करना ग्रैनुलैरिटी मिसमैच के कारण विफल रहता है; LLMs टोकन-लेवल टेक्स्ट जनरेशन पर प्री-ट्रेन किए गए हैं, जबकि लेटेंट डायनेमिक्स मॉडल को स्टेट-एक्शन लेवल ट्रांज़िशन प्रेडिक्शन की आवश्यकता होती है।
टेक्स्ट एनकोडर (P4): फ्रोजन LLM फीचर्स को स्टैटिक रिप्रेजेंटेशन के रूप में उपयोग करने से टास्क-विशिष्ट अनुकूलन सीमित हो जाता है, जिससे प्रदर्शन की एक सीमा (performance ceiling) लागू हो जाती है।

मुख्य चुनौती LLMs के स्टैटिक, सिमेंटिक प्रायर और प्रभावी प्लानिंग के लिए आवश्यक डायनेमिक, एनवायरनमेंट-विशिष्ट ट्रांज़िशन मॉडल के बीच के अंतर को पाटने की है।

कार्यप्रणाली: PriorZero फ्रेमवर्क (Methodology: PriorZero Framework)

PriorZero एक एकीकृत फ्रेमवर्क प्रस्तावित करता है जो वर्ल्ड मॉडल से LLM को अलग (decouple) करता है, उन्हें एक डिकपल्ड रोलआउट-ट्रेनिंग डिज़ाइन के माध्यम से एकीकृत करता है। सिस्टम एक लर्न करने योग्य वर्ल्ड मॉडल को LLM और एनवायरनमेंट के बीच रखता है, जिससे LLM को सिमेंटिक मार्गदर्शन प्रदान करने और वर्ल्ड मॉडल को ट्रांज़िशन मॉडलिंग, वैल्यू एस्टीमेशन और मल्टी-स्टेप प्लानिंग संभालने की अनुमति मिलती है।

1. रूट-प्रायर इंजेक्शन (रोलआउट चरण) (Root-Prior Injection - Rollout Phase)

रोलआउट चरण के दौरान, PriorZero एक लेटेंट वर्ल्ड मॉडल (UniZero पर आधारित) का उपयोग करके लेटेंट स्पेस में मोंटे कार्लो ट्री सर्च (MCTS) करने के लिए करता है।

तंत्र (Mechanism): एक अभिनव रूट-प्रायर इंजेक्शन तंत्र केवल MCTS के रूट नोड पर LLM के सिमेंटिक एक्शन प्रायर को फ्यूज करता है।
कार्यान्वयन (Implementation): LLM वर्तमान टेक्स्टुअल कॉन्टेक्स्ट के आधार पर एक सिचुएशन एनालिसिस (Chain-of-Thought) और एक एक्शन डिस्ट्रीब्यूशन ( $\pi_{LLM}$ ) जेनरेट करता है। इसे रूट पर वर्ल्ड मॉडल की पॉलिसी ( $\pi_{WM}$ ) के साथ फ्यूज किया जाता है:
$P_{root}(a | z_t) = (1 - \alpha) \pi_{WM}(a | z_t) + \alpha \pi_{LLM}(a | C_t)$
प्रतिबंध (Constraint): सर्च ट्री के नॉन-रूट नोड्स पूरी तरह से वर्ल्ड मॉडल के लेटेंट डायनेमिक्स पर निर्भर रहते हैं। यह P3 प्रतिमान के "ग्रैनुलैरिटी मिसमैच" को रोकता है, क्योंकि LLM को कभी भी इमेजिन्ड लेटेंट स्टेट्स के लिए स्टेट ट्रांज़िशन प्रेडिक्ट करने के लिए मजबूर नहीं किया जाता है।
लाभ (Benefit): यह सर्च को सिमेंटिक रूप से आशाजनक कार्यों की ओर निर्देशित करता है, जिससे MCTS को अर्थहीन ट्रैजेक्टरीज (जैसे रिवॉर्ड लूप्स) में गिरने से रोका जा सके, जबकि वर्ल्ड मॉडल की गहरी लुकअहेड क्षमता को सुरक्षित रखा जा सके।

2. अल्टरनेटिंग रिइन्फोर्समेंट फाइन-ट्यूनिंग (ट्रेनिंग चरण) (Alternating Reinforcement Fine-Tuning - Training Phase)

P2 प्रतिमान के क्रेडिट असाइनमेंट फेलियर को संबोधित करने के लिए, PriorZero एक अल्टरनेटिंग फाइन-ट्यूनिंग रणनीति का उपयोग करता है जो वर्ल्ड-मॉडल लर्निंग को LLM अडैप्टेशन से अलग करता है।

शेड्यूल (Schedule): ट्रेनिंग एक एसिमेट्रिक शेड्यूल का पालन करती है (उदाहरण के लिए, प्रत्येक 1 LLM अपडेट के लिए 10 वर्ल्ड-मॉडल अपडेट)।
वर्ल्ड मॉडल लर्निंग: वर्ल्ड मॉडल को इंटरैक्शन डेटा पर डायनेमिक्स, वैल्यू और पॉलिसी प्रेडिक्शन को रिफाइन करने के लिए अपडेट किया जाता है।
LLM अडैप्टेशन: हाई-वेरिएंस ऑन-पॉलिसी रिटर्न्स के बजाय, LLM को वर्ल्ड मॉडल के वैल्यू एस्टीमेट्स से प्राप्त लो-वेरिएंस एडवांटेज सिग्नल्स का उपयोग करके फाइन-ट्यून किया जाता है।
- एडवांटेज की गणना $n$ -स्टेप बूटस्ट्रैप्ड TD टारगेट का उपयोग करके की जाती है: $A(z_t, a_t) = Q_n(z_t, a_t) - v_\theta(z_t)$ ।
- LLM को क्लिप्ड PPO ऑब्जेक्टिव के माध्यम से अपडेट किया जाता है, जिसमें एक विशिष्ट वेटिंग स्कीम का उपयोग किया जाता है जो एक्शन टोकन्स पर पूर्ण भार (full weight) और स्थिरता बनाए रखने के लिए चेन-ऑफ-थॉट (CoT) रीजनिंग टोकन्स पर कम भार ( $w_{cot}=0.1$ ) लागू करती है।
लाभ (Benefit): यह एक क्लोज्ड-लूप बनाता है जहाँ वर्ल्ड मॉडल LLM के लिए स्थिर, फाइन-ग्रेन्ड सुपरविजन प्रदान करता है, जिससे LLM के प्रायर को एंड-टू-एंड ऑप्टिमाइजेशन की अस्थिरता के बिना एनवायरनमेंट डायनेमिक्स के साथ सह-विकसित (co-evolve) होने की अनुमति मिलती है।

मुख्य योगदान (Key Contributions)

प्रतिमानों का विश्लेषण (Analysis of Paradigms): पेपर ने LLM नॉलेज को लॉन्ग-होरिज़न RL में ट्रांसफर करने के केंद्रीय अवरोध के रूप में प्रायर-डायनेमिक्स मिसमैच की पहचान की है, और मौजूदा दृष्टिकोणों (P1–P4) तथा उनके विशिष्ट फेल्योर मोड्स को वर्गीकृत किया है।
PriorZero फ्रेमवर्क: एक नवीन आर्किटेक्चर जो दो मुख्य तंत्रों के माध्यम से LLM प्रायर और वर्ल्ड-मॉडल प्लानिंग को सिनर्जी प्रदान करता है:
- रूट-प्रायर इंजेक्शन: लेटेंट डायनेमिक्स को दूषित किए बिना एक्सप्लोरेशन को सुगम बनाने के लिए MCTS रूट में सिमेंटिक गाइडेंस इंजेक्ट करता है।
- अल्टरनेटिंग रिइन्फोर्समेंट फाइन-ट्यूनिंग: LLM अडैप्टेशन के लिए स्थिर, लो-वेरिएंस क्रेडिट असाइनमेंट सिग्नल्स बनाने के लिए वर्ल्ड-मॉडल वैल्यू एस्टीमेट्स का उपयोग करता है।
अनुभवजन्य सत्यापन (Empirical Validation): Jericho (टेक्स्ट-आधारित एडवेंचर गेम्स) और BabyAI (ग्रिड-वर्ल्ड इंस्ट्रक्शन फॉलोइंग) पर व्यापक प्रयोगों से पता चलता है कि PriorZero बेसलाइन्स की तुलना में एक्सप्लोरेशन एफिशिएंसी और एसिम्प्टोटिक परफॉरमेंस (asymptotic performance) में लगातार सुधार करता है।

प्रयोगात्मक परिणाम (Experimental Results)

Jericho बेंचमार्क्स: PriorZero चार अलग-अलग गेम्स (Detective, Acorncourt, Zork1, Omniquest) में UniZero (बिना LLM प्रायर वाला एक मजबूत वर्ल्ड-मॉडल बेसलाइन) से बेहतर प्रदर्शन करता है।
- Zork1 (लॉन्ग-होरिज़न, स्पार्स रिवॉर्ड्स) में, PriorZero उच्च एसिम्प्टोटिक रिटर्न्स और तेज़ कन्वर्जेंस प्राप्त करता है।
- Detective में, PriorZero शुरुआती बढ़त के बाद UniZero से आगे निकल जाता है, जो टास्क-विशिष्ट डायनेमिक्स के लिए प्रायर को अडैप्ट करने के महत्व को प्रदर्शित करता है।
BabyAI बेंचमार्क्स: BabyAI ग्रिड-वर्ल्ड के 18 लेवल्स पर, PriorZero उच्च रिटर्न प्लेटो (0.82 बनाम UniZero के लिए 0.79) तक पहुँचता है और कंपोजिशनल टास्क (जैसे SynthLoc) में महत्वपूर्ण लाभ दिखाता है, जहाँ LLM प्रायर लक्ष्यों को सब-टास्क में तोड़ने में मदद करता है।
एब्लेशन स्टडीज (Ablation Studies):
- अल्टरनेटिंग शेड्यूल: स्थिरता के लिए महत्वपूर्ण; नॉन-अल्टरनेटिंग वेरिएंट्स नॉइज़ी वैल्यू सिग्नल्स के कारण "नॉलेज करप्शन" से ग्रस्त होते हैं।
- रूट-ओनली इंजेक्शन: लुकअहेड के दौरान LLM को वर्ल्ड मॉडल के डायनेमिक्स को ओवरराइड करने से रोकने के लिए आवश्यक है।
- CoT लॉस वेट: एक संतुलित वेट ( $w_{cot}=0.1$ ) की आवश्यकता होती; CoT को हटाने से न्यूमेरिकल इंस्टेबिलिटी आती है, जबकि फुल वेट से वोलेटाइल लर्निंग होती है।
- MCTS: MCTS को अक्षम करने से प्रदर्शन गिर जाता है, जो प्लानिंग-सुधारित टारगेट्स की आवश्यकता की पुष्टि करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि PriorZero प्रायर ट्रांसफर के संरचनात्मक बॉटलनेक्स को हल करके LLM-एम्पोवर्ड डिसीजन-मेकिंग के लिए एक आशाजनक फ्रेमवर्क स्थापित करता है। इसका महत्व निम्नलिखित में निहित है:

डिकपलिंग (Decoupling): वर्ल्ड मॉडल (डायनेमिक्स और प्लानिंग सीखना) से LLM की भूमिका (सिमेंटिक प्रायर प्रदान करना) को सफलतापूर्वक अलग करना, जिससे पिछले तरीकों के ग्रैनुलैरिटी मिसमैच और क्रेडिट असाइनमेंट फेलियर से बचा जा सके।
स्थिरता (Stability): वर्ल्ड मॉडल को लो-वेरिएंस क्रिटिक के रूप में उपयोग करके लॉन्ग-होरिज़न, स्पार्स-रिवॉर्ड एनवायरनमेंट्स में LLMs की स्थिर फाइन-ट्यूनिंग को सक्षम बनाना।
स्केलेबिलिटी (Scalability): यह प्रदर्शित करना कि फ्रेमवर्क LLM कैपेसिटी के साथ स्केल करता है (जटिल कार्यों में 7B मॉडल्स के साथ प्रदर्शन में सुधार), जबकि अल्टरनेटिंग ट्रेनिंग शेड्यूल के माध्यम से मजबूती बनाए रखता है।

लेखक PriorZero को वर्ल्ड मॉडल्स या LLMs के विकल्प के रूप में नहीं, बल्कि एक सिनर्जिस्टिक इंटीग्रेशन के रूप में प्रस्तुत करते हैं जहाँ LLM सर्च को केंद्रित करता है और वर्ल्ड मॉडल निरंतर इंटरैक्शन के माध्यम से LLM के प्रायर को रिफाइन करता है।