💻 computer science

Thoughts-as-Planning: Latent World Models for Chain-of-Thoughts Optimization via Reinforcement Planning

यह शोध पत्र "थॉट्स-एज़-प्लानिंग" (Thoughts-as-Planning) प्रस्तुत करता है, जो एक नवीन ढांचा है जो LLM को आंशिक रूप से दृश्यमान वातावरण के रूप में मॉडल करके और ग्रेडिएंट डिसेंट या सुदृढीकरण शिक्षण (reinforcement learning) के माध्यम से कुशल, व्याख्यात्मक और बहु-स्तरीय नियोजन सक्षम करने के लिए एक लेटेंट वर्ल्ड मॉडल सीखने के द्वारा तर्क श्रृंखलाओं (reasoning chains) को अनुकूलित करता है।

मूल लेखक: Dong Liu, Yanxuan Yu, Ying Nian Wu

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Dong Liu, Yanxuan Yu, Ying Nian Wu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Thoughts-as-Planning" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

मुख्य विचार: AI को "अपने विचारों को एडिट करना" सिखाना

कल्पना कीजिए कि आप एक जटिल निबंध लिख रहे हैं। आपके पास एक पहला ड्राफ्ट है, लेकिन आप जानते हैं कि यह पूरी तरह सही नहीं है। आप एक वाक्य को हटा सकते हैं, एक पैराग्राफ को आगे-पीछे कर सकते हैं, या एक स्पष्ट करने वाला उदाहरण जोड़ सकते हैं। आमतौर पर, आप ऐसा अपने ड्राफ्ट को पढ़कर, यह सोचकर कि क्या गलत है, और फिर बदलाव करके करते हैं।

लार्ज लैंग्वेज मॉडल्स (LLMs) बहुत प्रतिभाशाली लेकिन कभी-कभी भ्रमित होने वाले लेखकों की तरह हैं। वे गणित की समस्याओं को हल कर सकते हैं या सवालों के जवाब दे सकते हैं, लेकिन वे अक्सर एक "बुरे विचार पैटर्न" में फंस जाते हैं। यदि उनके समाधान का पहला प्रयास थोड़ा भी गलत होता है, तो वे वही गलती बार-बार दोहराते रहते हैं।

इसे ठीक करने के वर्तमान तरीके रैंडम अनुमान लगाने (random guessing) जैसे हैं। आप AI से कहते हैं कि वह एक अलग तरीका आजमाए, देखें कि क्या वह काम करता है, और यदि नहीं, तो फिर से कोशिश करें। यह धीमा है, महंगा है, और यह AI को बेहतर तरीके से सोचना कैसे है, यह वास्तव में नहीं सिखाता है।

"Thoughts-as-Planning" एक नया फ्रेमवर्क है जो खेल बदल देता है। अनुमान लगाने के बजाय, यह AI को एक मानसिक सिम्युलेटर (mental simulator) देता है। यह AI को कल्पना करने की अनुमति देता है, "यदि मैं अपनी सोच के इस विशिष्ट हिस्से को बदल दूँ, तो अंतिम उत्तर कैसा दिखेगा?" इससे पहले कि वह वास्तव में उत्तर जनरेट करने में समय खर्च करे।

मुख्य रूपक (Core Metaphor): वास्तुकार और ब्लूप्रिंट

यह समझने के लिए कि यह कैसे काम करता है, आइए एक वास्तुकार (Architect) (AI) की उपमा लें जो एक घर (सही उत्तर) बनाने की कोशिश कर रहा है।

1. समस्या: बिना नक्शे के निर्माण करना

सामान्यतः, वास्तुकार घर को ईंट-दर-ईंट बनाने की कोशिश करता है। यदि कोई दीवार टेढ़ी दिखती है, तो वह शायद उसे गिरा देगा और फिर से कोशिश करेगा, इस उम्मीद में कि अगली बार वह सीधी होगी। इससे बहुत सारी ईंटें (कंप्यूटिंग पावर) और समय बर्बाद होता है।

2. समाधान: "लेटेंट वर्ल्ड मॉडल" (सिम्युलेटर)

यह पेपर एक सिम्युलेटर (जिसे "Latent World Model" कहा जाता है) पेश करता है।

यह कैसे काम करता है: दीवार बनाने से पहले, वास्तुकार सिम्युलेटर का उपयोग करके एक डिजिटल ब्लूप्रिंट बनाता है।
जादू: सिम्युलेटर भविष्यवाणी कर सकता है: "यदि मैं इस खिड़की को दो फीट बाईं ओर खिसका दूँ, तो कमरा अधिक उज्ज्वल होगा और घर की कीमत बढ़ जाएगी।"
परिणाम: वास्तुकार को यह जानने के लिए कि बदलाव अच्छा है या नहीं, भौतिक रूप से दीवार बनाने की आवश्यकता नहीं है। वह अपने मन में (लेटेंट स्पेस में) हजारों "क्या-होता-यदि" (what-if) परिदृश्यों का तुरंत परीक्षण कर सकता है।

3. प्रक्रिया: "Thoughts-as-Planning"

यह पेपर AI की तर्क प्रक्रिया को शतरंज के खेल या रोड ट्रिप की तरह मानता है:

नक्शा: AI के पास "विचारों" का एक नक्शा (एक लेटेंट स्पेस) होता है। नक्शे के कुछ क्षेत्र अच्छे उत्तरों (उच्च रिवॉर्ड) की ओर ले जाते हैं, और अन्य मृत अंत (dead ends) की ओर।
चालें (Moves): AI विभिन्न प्रकार की चालें चल सकता है:
- टोकन-लेवल (Token-level): एक एकल शब्द को ठीक करना (जैसे टाइपो बदलना)।
- स्टेप-लेवल (Step-level): एक पूरे पैराग्राफ को पुनर्व्यवस्थित करना (जैसे ब्लूप्रिंट में एक कमरे को स्थानांतरित करना)।
- स्ट्रक्चर-लेवल (Structure-level): तर्क के पूरे लॉजिक को बदलना (जैसे घर की नींव का पुनर्गठन करना)।
प्लानर (The Planner): AI आगे देखता है (प्लानिंग करता है) कि कौन सी चाल सबसे अच्छे गंतव्य तक ले जाती है। यह उस चाल को चुनता है जिसकी भविष्यवाणी सिम्युलेटर करता है कि उच्चतम स्कोर देगी।

यह सरल चरणों में कैसे काम करता है

ड्राफ्ट: AI विचारों की एक कच्ची श्रृंखला (एक ड्राफ्ट) के साथ शुरू करता है।
सिमुलेशन: AI अपने सीखे हुए "सिम्युलेटर" का उपयोग यह कल्पना करने के लिए करता है कि यदि वह ड्राफ्ट को एडिट करता है तो क्या होगा। वह अभी मुख्य AI को नया उत्तर जनरेट करने के लिए नहीं कहता; वह बस अपने "मन" में परिणाम की भविष्यवाणी करता है।
चयन (Selection): यह सभी कल्पित परिणामों की तुलना करता है और उसे चुनता है जो सबसे अच्छा दिखता है।
एडिट (The Edit): यह वास्तविक ड्राफ्ट में वह विशिष्ट बदलाव करता है।
दोहराना: यह स्टेप-बाय-स्टेप विचारों को रिफाइन करने के लिए इसे बार-बार करता है, जब तक कि उत्तर एकदम सही न हो जाए।

यह बेहतर क्यों है (पेपर के अनुसार)

यह कुशल (Efficient) है: क्योंकि AI अपने दिमाग में बदलावों का सिमुलेशन करता है, उसे हर छोटे बदलाव के लिए मुख्य कंप्यूटर (LLM) को पूरा नया उत्तर जनरेट करने के लिए कहने की आवश्यकता नहीं होती है। इससे बहुत सारा समय और पैसा (क्वेरी) बचता है।
यह स्मार्ट है: रैंडम अनुमान लगाने के बजाय, यह एक संरचित योजना का उपयोग करता है। यह जानता है कि निष्कर्ष से पहले एक तार्किक चरण को रखना, किसी रैंडम शब्द को बदलने की तुलना में बेहतर होता है।
यह समझने योग्य (Understandable) है: क्योंकि AI विशिष्ट, नियोजित संपादन (जैसे "इन चरणों को पुनर्व्यवस्थित करें" या "इस वाक्य को हटा दें") कर रहा है, इंसान बदलावों को देख सकते हैं और समझ सकते हैं कि AI ने अपने उत्तर में सुधार क्यों किया। यह अब एक "ब्लैक बॉक्स" नहीं रह गया है।

परिणाम (पेपर ने क्या पाया)

लेखकों ने गणित, सामान्य ज्ञान और तार्किक पहेलियों पर इसका परीक्षण किया। उन्होंने पाया कि:

बेहतर स्कोर: AI ने पिछले तरीकों की तुलना में अधिक समस्याओं को सही ढंग से हल किया।
कम गलतियाँ: इसे सही उत्तर पाने के लिए बहुत कम प्रयासों (क्वेरी) की आवश्यकता पड़ी।
सामान्यीकरण (Generalization): AI ने समस्याओं के एक प्रकार (जैसे गणित) पर जो "प्लानिंग स्किल्स" सीखीं, वे उसे बिना दोबारा ट्रेनिंग के अन्य प्रकार की समस्याओं (जैसे लॉजिक) को हल करने में मदद करती हैं।

सारांश

Thoughts-as-Planning को एक AI को रिहर्सल स्पेस देने के रूप में देखें। प्रदर्शन के दौरान लड़खड़ाने और बेहतर होने की उम्मीद करने के बजाय, AI अपने संवादों का अभ्यास करता है, अलग-अलग स्टेज डायरेक्शंस आज़माता है, और मंच पर जाने से पहले एक आदर्श स्क्रिप्ट तैयार करता है। यह प्रदर्शन को तेज़, सस्ता और बहुत अधिक विश्वसनीय बनाता है।

तकनीकी सारांश: थॉट्स-एज़-प्लानिंग (Thoughts-as-Planning)

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) ने चेन-ऑफ-थॉट (CoT) प्रॉम्प्टिंग के माध्यम से तर्क संबंधी कार्यों (reasoning tasks) में महत्वपूर्ण क्षमताएं प्रदर्शित की हैं। हालांकि, CoT की प्रभावशीलता तर्क श्रृंखलाओं (reasoning chains) की संरचना, गुणवत्ता और निर्माण पर अत्यधिक निर्भर करती है। तार्किक प्रवाह या मध्यवर्ती निष्कर्षों में मामूली बदलाव भी प्रदर्शन में भारी गिरावट ला सकते हैं। इन श्रृंखलाओं को अनुकूलित करने के मौजूदा दृष्टिकोण काफी हद तक मैनुअल इंजीनियरिंग, ब्लैक-बॉक्स ह्यूरिस्टिक्स, या ग्रेडिएंट-फ्री सर्च विधियों (जैसे कि इवोल्यूशनरी एल्गोरिदम, रैंडम सैंपलिंग) पर निर्भर करते हैं। ये मौजूदा विधियाँ कम डेटा दक्षता, नए डोमेन में खराब सामान्यीकरण (generalization), और इस बात की व्याख्या की कमी से ग्रस्त हैं कि तर्क श्रृंखलाओं में सुधार कैसे किया जाता है। एक ऐसे ढांचे की आवश्यकता है जो तर्क श्रृंखला अनुकूलन को एक स्थिर खोज समस्या के बजाय एक संरचित, गतिशील निर्णय लेने वाली प्रक्रिया के रूप में मानता हो।

कार्यप्रणाली: थॉट्स-एज़-प्लानिंग (Thoughts-as-Planning)

लेखक थॉट्स-एज़-प्लानिंग का प्रस्ताव करते हैं, जो एक सीखे गए लेटेंट सिमेंटिक स्पेस (latent semantic space) पर तर्क श्रृंखला अनुकूलन को एक अनुक्रमिक निर्णय लेने वाली प्रक्रिया के रूप में औपचारिक रूप देता है। मुख्य दर्शन यह है कि LLM को एक आंशिक रूप से अवलोकन योग्य वातावरण (partially observable environment) के रूप में मॉडल किया जाए और बार-बार महंगे LLM प्रश्नों की आवश्यकता के बिना तर्क श्रृंखला संपादन (edits) के प्रभावों को सिम्युलेट करने के लिए एक लेटेंट वर्ल्ड मॉडल सीखा जाए।

मुख्य घटक

लेटेंट वर्ल्ड मॉडल ( $\hat{T}_\theta$ ):
- सिस्टम एक ट्रांसफार्मर-आधारित एनकोडर $h_\phi$ का उपयोग करके वर्तमान स्थिति (कार्य इनपुट $x$ और तर्क श्रृंखला $c_t$ ) को $d$ -आयामी लेटेंट स्पेस $z_t$ में एनकोड करता है।
- एक ट्रांज़िशन मॉडल $\hat{T}_\theta$ , वर्तमान स्थिति $z_t$ और एक संपादन क्रिया (edit action) $a_t$ को देखते हुए अगले लेटेंट स्टेट $z_{t+1}$ की भविष्यवाणी करता है। यह मॉडल यह सिम्युलेट करता है कि तर्क श्रृंखला में संशोधनों के प्रति LLM कैसे प्रतिक्रिया देगा।
- मॉडल को अनुमानित लेटेंट स्टेट और संपादित श्रृंखला के वास्तविक लेटेंट स्टेट के बीच भविष्यवाणी त्रुटि (prediction error) को कम करने के लिए प्रशिक्षित किया जाता है।
यूटिलिटी प्रेडिक्टर ( $\hat{R}_\psi$ ):
- एक रिवॉर्ड प्रेडिक्टर एक लेटेंट स्टेट $z_t$ के अपेक्षित डाउनस्ट्रीम प्रदर्शन (रिवॉर्ड) का अनुमान लगाता है। यह सिस्टम को योजना चरण के दौरान अंतिम आउटपुट के लिए LLM को क्वेरी किए बिना संभावित संपादनों का मूल्यांकन करने की अनुमति देता है।
मल्टी-स्केल एक्शन स्पेस:
- ढांचा एक एकीकृत नीति के भीतर तीन स्तरों की सूक्ष्मता (granularities) पर संपादन का समर्थन करता है:
  - टोकन-लेवल (Token-level): विशिष्ट टोकन जोड़ना, हटाना या बदलना।
  - स्टेप-लेवल (Step-level): तर्क चरणों को पुनर्व्यवस्थित करना, विभाजित करना या मर्ज करना।
  - स्ट्रक्चर-लेवल (Structure-level): उदाहरण जोड़ना, निर्देश संपादित करना या फॉर्मेट बदलना।
- यह पदानुक्रमित दृष्टिकोण सूक्ष्म सुधारों और व्यापक संरचनात्मक परिवर्तनों दोनों की अनुमति देता है।
प्लानिंग एल्गोरिदम:
- अनुकूलन को एक मार्कोव डिसीजन प्रोसेस (MDP) के रूप में फ्रेम किया गया है।
- प्रत्येक चरण में, प्लानर $K$ संभावित संपादन क्रियाएं उत्पन्न करता है।
- यह सीखे गए ट्रांज़िशन मॉडल $\hat{T}_\theta$ का उपयोग करके $H$ -स्टेप रोलआउट करता है ताकि भविष्य की स्थितियों को सिम्युलेट किया जा सके।
- यूटिलिटी प्रेडिक्टर $\hat{R}_\psi$ इन सिम्युलेटेड ट्राजेक्टरीज को स्कोर करता है, और जिस क्रिया का अनुमानित संचयी रिवॉर्ड (cumulative reward) सबसे अधिक होता है, उसे तर्क श्रृंखला को संपादित करने के लिए चुना जाता है।
- अंतिम अनुकूलित श्रृंखला बनाने के लिए यह प्रक्रिया $T$ चरणों तक दोहराई जाती है।

सैद्धांतिक गारंटी

पेपर एक सैद्धांतिक विश्लेषण प्रदान करता है जो स्थापित करता है कि:

सीखा गया लेटेंट वर्ल्ड मॉडल $O(1/\sqrt{n})$ की दर से वास्तविक ट्रांज़िशन डायनेमिक्स की ओर अभिसरित (converge) होता है।
यदि वर्ल्ड मॉडल पर्याप्त रूप से सटीक है, तो प्लानिंग एल्गोरिदम $O(H^2 \log(1/\epsilon))$ के सैंपल कॉम्प्लेक्सिटी के साथ $\epsilon$ -ऑप्टिमल प्रदर्शन प्राप्त करता है।
मल्टी-स्केल एब्स्ट्रैक्शन, सिंगल-स्केल एडिटिंग की तुलना में तेज़ अभिसरण (convergence) सक्षम बनाता है।

मुख्य योगदान

नवाचार ढांचा: थॉट्स-एज़-प्लानिंग का परिचय, जो CoT अनुकूलन को सीखे गए वर्ल्ड मॉडल के माध्यम से लेटेंट-स्पेस प्लानिंग के रूप में मानता है, जो सीधे LLM क्वेरी से सिम्युलेशन को अलग करता है।
मल्टी-स्केल कंट्रोल: एक एकीकृत नीति का विकास जो टोकन-लेवल से लेकर स्ट्रक्चरल-लेवल तक संपादन सक्षम करता है, जिससे सूक्ष्म अनुकूलन रणनीतियों की अनुमति मिलती है।
सैद्धांतिक विश्लेषण: लेटेंट वर्ल्ड मॉडल के अभिसरण और प्लानिंग एल्गोरिदम की इष्टतमता (optimality) के संबंध में गणितीय प्रमाण।
अनुभवजन्य सत्यापन (Empirical Validation): स्टेट-ऑफ-द-आर्ट बेसलाइन्स की तुलना में बेहतर दक्षता, मजबूती और सामान्यीकरण का प्रदर्शन।

प्रयोगात्मक परिणाम

लेखकों ने गणितीय तर्क (GSM8K, MATH), कॉमन सेंस रीजनिंग (PIQA, HellaSwag), और लॉजिकल इन्फरेंस (StrategyQA, LogiQA) कार्यों के लिए ब्लैक-बॉक्स (GPT-3.5, GPT-4o) और ओपन-सोर्स मॉडल (LLaMA 2/3, Qwen2.5) दोनों का उपयोग करके ढांचे का मूल्यांकन किया।

प्रदर्शन: थॉट्स-एज़-प्लानिंग ने लगातार बेसलाइन्स (Manual CoT, AutoCoT, CoTGen, RLCoT, SoftCoT) को पछाड़ दिया। उदाहरण के लिए, इसने GSM8K पर 83.7% सटीकता प्राप्त की (RLCoT के 81.0% के मुकाबले) और MATH पर 73.2% प्राप्त की।
दक्षता: इस पद्धति ने आवश्यक LLM क्वेरी की संख्या को काफी कम कर दिया। अधिकतम रिवॉर्ड के 95% तक पहुँचने के लिए औसत संपादनों की संख्या घटकर 47 रह गई, जबकि अन्य विधियों के लिए यह 150–200+ थी। यह ट्यूनिंग लागत में 70% की कमी को दर्शाता है।
सामान्यीकरण और ट्रांसफर: ढांचे ने मजबूत ज़ीरो-शॉट ट्रांसफर क्षमताएं (AlpacaEval पर 73.4% विन रेट) और प्रभावी फ्यू-शॉट अनुकूलन का प्रदर्शन किया। यह पाया गया कि सीखे गए लेटेंट डायनेमिक्स और एडिट पैटर्न विभिन्न तर्क कार्यों के बीच पुन: प्रयोज्य (reusable) हैं।
व्याख्यात्मकता (Interpretability): प्लानिंग ट्राजेक्टरीज को विज़ुअलाइज़ किया गया, जिससे पता चला कि सफल संपादन अक्सर बड़े पैमाने पर पुनर्गठन के बाद सूक्ष्म टोकन ट्यूनिंग के पैटर्न का पालन करते हैं, जो मानव संशोधन प्रक्रियाओं (human revision processes) की नकल करते हैं।

महत्व और दावे

पेपर का दावा है कि थॉट्स-एज़-प्लानिंग CoT अनुकूलन की महत्वपूर्ण सीमाओं, विशेष रूप से व्याख्यात्मकता की कमी, खराब सामान्यीकरण और अक्षम अन्वेषण (exploration) रणनीतियों को संबोधित करता है। एक सीखने योग्य ट्रांज़िशन डायनेमिक्स के साथ एक गतिशील प्रणाली के रूप में तर्क को मॉडल करके, यह विधि सक्षम बनाती है:

सैंपल दक्षता: अनुकूलन के लिए आवश्यक महंगे LLM प्रश्नों को नाटकीय रूप से कम करना।
संरचित अनुकूलन: रैंडम या ह्यूरिस्टिक सर्च से व्यवस्थित, मॉडल-आधारित प्लानिंग की ओर बढ़ना।
स्थानांतरणीयता (Transferability): पुन: प्रयोज्य तर्क पैटर्न को कैप्चर करना जिन्हें पूर्ण रिट्रेनिंग के बिना नए डोमेन में अनुकूलित किया जा सकता है।

लेखक इस कार्य को LLM तर्क क्षमताओं के सिद्धांतपूर्ण, व्याख्यात्मक संवर्धन की दिशा में एक कदम के रूप में देखते हैं, जो पारदर्शिता बनाए रखते हुए जटिल कार्यों तक स्केल करने वाला एक ढांचा प्रदान करता है। भविष्य के कार्य के रूप में इसे मल्टी-स्टेज ट्री-ऑफ-थॉट्स सेटिंग्स और मल्टीमॉडल रीजनिंग तक विस्तारित करने का सुझाव दिया गया है।