🤖 machine learning

Uncovering Latent Reasoning Strategies in Language Models

यह शोध पत्र एक वेरिएशनल इन्फरेंस फ्रेमवर्क प्रस्तावित करता है जो लेटेंट रीजनिंग स्ट्रैटेजीज़ को उजागर करने के लिए एक प्री-ट्रेन्ड लैंग्वेज मॉडल के रिस्पॉन्स डिस्ट्रीब्यूशन को एक राउटर और एक जनरेटर में विभाजित करता है, जो यह सुनिश्चित करने के लिए कि लेटेंट कोड्स स्ट्रैटेजी-संबंधित विविधताओं को कैप्चर करें हाई बेस-मॉडल सरप्राइज़ल वाले टोकन्स को प्राथमिकता देकर पोस्टीरियर कोलैप्स पर विजय प्राप्त करता है।

मूल लेखक: Awni Altabaa, John Lafferty

प्रकाशित 2026-07-21

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Awni Altabaa, John Lafferty

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, हलचल भरी लाइब्रेरी में कदम रख रहे हैं जहाँ किताबें केवल कहानियाँ नहीं हैं, बल्कि मानवीय ज्ञान और तर्क का संपूर्ण योग हैं। इस लाइब्रेरी के भीतर एक बहुत ही बुद्धिमान, बहुत तेज़ लाइब्रेरियन रहता है जिसे "लैंग्वेज मॉडल" कहा जाता है। इस लाइब्रेरियन ने सब कुछ पढ़ लिया है और वह आपके किसी भी प्रश्न का उत्तर दे सकता है, चाहे वह "मैं केक कैसे बनाऊं?" हो या "इस गणितीय प्रमेय को सिद्ध करें।" लेकिन यहाँ एक पेच है: लाइब्रेरियन के पास कोई एक स्पष्ट विचार प्रक्रिया नहीं है। जब आप कोई प्रश्न पूछते हैं, तो लाइब्रेरियन का मस्तिष्क एक साथ समस्या को हल करने के कई अलग-अलग तरीकों का एक घूमता हुआ मिश्रण होता है। वह एक ही समय में गणित की समस्या को चित्र बनाकर, सूत्र का उपयोग करके, या अनुमान और जाँच करके हल करने के बारे में सोच रहा हो सकता है। अंतिम उत्तर सही आता है, लेकिन अपनाया गया रास्ता संभावनाओं की एक उलझी हुई गांठ है।

वैज्ञानिक लंबे समय से इस गांठ को सुलझाना चाहते आए हैं। वे जानना चाहते हैं: "लाइब्रेरियन ने वास्तव में कौन सा विशिष्ट पथ अपनाया था?" और "क्या हम लाइब्रेरियन से अगली बार एक अलग पथ अपनाने के लिए कह सकते हैं?" यह लेटेंट वेरिएबल्स (छिपे हुए कारक जो परिणाम को प्रभावित करते हैं) और रीज़निंग स्ट्रैटेजीज़ (समस्याओं को हल करने के लिए उपयोग की जाने वाली चरण-दर-चरण योजनाएं) की दुनिया है। आमतौर पर, जब वैज्ञानिक इन छिपे हुए रास्तों को खोजने की कोशिश करते हैं, तो वे वेरिएशनल इन्फरेंस नामक एक विधि का उपयोग करते हैं, जो अंतिम व्यंजन का स्वाद चखकर लाइब्रेरियन की गुप्त रेसिपी का अनुमान लगाने जैसा है। समस्या यह है कि लाइब्रेरियन खाना बनाने में इतना कुशल है कि आप जिस भी गुप्त रेसिपी का अनुमान लगाएं, व्यंजन एकदम सही स्वाद वाला ही होता है। इसलिए, अनुमान लगाने वाली मशीन हार मान लेती है, कहती है, "मुझे रेसिपी का अनुमान लगाने की ज़रूरत नहीं है, व्यंजन पहले से ही उत्तम है," और पूरी तरह से छिपे हुए रास्तों की तलाश करना बंद कर देती है। यह एक निराशाजनक गतिरोध है जहाँ वह उपकरण जो गुप्त चीज़ को खोजने के लिए बनाया गया था, उसे खोजने के बजाय उसे पूरी तरह से अनदेखा कर देता है।

यह शोध पत्र, जिसका शीर्षक "अनकवरिंग लेटेंट रीज़निंग स्ट्रैटेजीज़ इन लैंग्वेज मॉडल्स" है, ठीक उसी गतिरोध को संबोधित करता है। येल यूनिवर्सिटी के लेखक, अ्वनी अल्ताबा और जॉन लाफ़र्टी ने महसूस किया कि छिपे हुए रणनीतियों को खोजने का मानक तरीका विफल हो रहा था क्योंकि मॉडल अपने काम में बहुत अधिक कुशल था। उन्होंने एक चतुर नया तरीका प्रस्तावित किया: केवल मॉडल को "एक उत्तम व्यंजन बनाने" के लिए कहने के बजाय, उन्होंने उससे व्यंजन के उन हिस्सों को समझाने के लिए कहा जो बनाने में कठिन थे।

इसे ऐसे समझें: यदि आप एक मास्टर शेफ से पूछते हैं कि उन्होंने एक आदर्श केक कैसे बनाया, तो वे बस कह सकते हैं, "मैंने रेसिपी का पालन किया।" लेकिन यदि आप उनसे पूछते हैं कि उस विशिष्ट क्षण के बारे में बताएं जब उन्होंने नींबू के बजाय अतिरिक्त वैनिला डालने का निर्णय लिया, या क्यों उन्होंने बैटर को एक निश्चित तरीके से फेंटा, तो उन्हें गहराई तक जाना होगा। लेखकों ने एक नया प्रशिक्षण तरीका बनाया जो एक जिज्ञासु खाद्य समीक्षक (फूड क्रिटिक) की तरह कार्य करता है। उन्होंने मॉडल से कहा: "आप पहले से ही जानते हैं कि केक को पूरी तरह से कैसे बनाना है। लेकिन मैं चाहता हूँ कि आप अपने छिपे हुए 'स्ट्रैटेजी स्विच' का उपयोग करके उन विशिष्ट क्षणों को समझाएं जहाँ रेसिपी स्पष्ट नहीं थी—जहाँ आपको वास्तव में एक विकल्प चुनना पड़ा था।"

केवल उत्तर के "कठिन हिस्सों" (उन क्षणों पर जहाँ मॉडल सबसे अधिक अनिश्चित था या जहाँ कई रास्ते संभव थे) पर ध्यान केंद्रित करके, इस नई विधि ने छिपे हुए "स्ट्रैटेजी स्विच" को वास्तव में कुछ करने के लिए मजबूर किया। परिणाम? मॉडल सफलतापूर्वक अपनी सोच को अलग-अलग, उपयोग योग्य रास्तों में विभाजित करना सीख गया। उदाहरण के लिए, जब गणितीय प्रमेय सिद्ध करने के लिए पूछा जाता है, तो अब मॉडल को "प्रूफ बाय कॉन्ट्राडिक्शन" स्विच का उपयोग करने के लिए कहा जा सकता है, और वह अन्य विधियों के साथ मिश्रण किए बिना लगातार उसी विशिष्ट तार्किक पथ को चुन सकता है।

शोधकर्ताओं ने इसका परीक्षण एल्गोरिदम पहेलियों के एक सेट पर किया, जैसे संख्याओं की सूचियों को क्रमबद्ध करना या समीकरणों को हल करना, जहाँ वे जानते थे कि विभिन्न रणनीतियाँ क्या थीं। उन्होंने पाया कि उनके नए तरीके ने सफलतापूर्वक इन छिपी हुई रणनीतियों को उजागर किया और विभिन्न समस्याओं में उन्हें सुसंगत बनाए रखा। इसके विपरीत, पुराने मानक तरीके विफल रहे, जिससे "स्ट्रैटेजी स्विच" बेकार रह गया और सोचने की प्रक्रिया अभी भी उलझी हुई रही। हालांकि यह कार्य वर्तमान में सिंथेटिक गणित और तर्क पहेलियों पर केंद्रित है, यह AI के भीतर झांकने का एक शक्तिशाली नया तरीका सुझाता है, जिससे संभावित रूप से हम AI के सोचने के तरीके को नियंत्रित कर पाएंगे, न कि केवल उसके द्वारा कही गई बात को। यह संभावनाओं के उलझे हुए जाल को विकल्पों के एक स्पष्ट मेनू में बदल देता है, जिससे हमें इन डिजिटल दिमागों की तर्क शक्ति पर बेहतर नियंत्रण मिलता है।

तकनीकी सारांश: भाषा मॉडलों में अंतर्निहित तर्क रणनीतियों (Latent Reasoning Strategies) का अनावरण

समस्या विवरण

तर्क संबंधी कार्यों (reasoning tasks) पर प्रशिक्षित प्रीट्रेंड लैंग्वेज मॉडल्स (LMs) अक्सर कई अलग-अलग, उच्च-स्तरीय रणनीतियों (जैसे, विरोधाभास द्वारा प्रमाण बनाम आगमन, या विभिन्न सॉर्टिंग एल्गोरिदम) का उपयोग करके समस्याओं को हल करते हैं। हालाँकि, ये रणनीतियाँ मॉडल के रिस्पॉन्स डिस्ट्रीब्यूशन $p_\theta(y|x)$ के भीतर अंतर्निहित (implicit) और उलझी हुई (entangled) होती हैं। ऐसा कोई स्पष्ट चर (variable) नहीं है जिससे यह पहचाना या नियंत्रित किया जा सके कि जनरेशन के दौरान किस रणनीति का उपयोग किया जा रहा है।

यह शोध पत्र इस रिस्पॉन्स डिस्ट्रीब्यूशन को एक स्ट्रक्चर्ड, स्ट्रैटेजी-कंडीशन्ड रिप्रेजेंटेशन में विघटित (decompose) करने की समस्या को फॉर्म्युलेट करता है। लक्ष्य एक रूटर-जेनेरेटर फैक्टराइजेशन $(r_\phi(z|x), g_\phi(y|x, z))$ सीखना है ताकि:

मार्जिनल फिडेलिटी (Marginal Fidelity): एकीकृत वितरण $\int r_\phi(z|x)g_\phi(y|x, z) dz$ मूल बेस मॉडल वितरण $p_\theta(y|x)$ के करीब हो।
स्ट्रैटेजी अलाइनमेंट (Strategy Alignment): लेटेंट वेरिएबल $z$ सूचनात्मक और स्ट्रैटेजी-अलाइन्ड हो, जिसका अर्थ है कि $z$ को बदलने से उपयोग की जाने वाली उच्च-स्तरीय रणनीति बदल जाती है, और एक ही लेटेंट वैल्यू अलग-अलग इनपुट्स के लिए सुसंगत स्ट्रैटेजी अर्थ वहन करती है।

मुख्य चुनौती: मानक लेटेंट वेरिएबल मॉडलिंग के विपरीत, जहाँ एक मॉडल को शून्य से प्रशिक्षित किया जाता है, यहाँ बेस मॉडल $p_\theta$ पहले से ही टारगेट डिस्ट्रीब्यूशन को कैप्चर कर चुका है जिसमें कोई लेटेंट वेरिएबल नहीं है। परिणामस्वरूप, एक ऐसा फैक्टराइजेशन जो $z$ को अनदेखा करता है (जहाँ $g_\phi(y|x, z) = p_\theta(y|x)$ सभी $z$ के लिए है) इनिशियलाइजेशन पर उपलब्ध होता है और उन उद्देश्यों के लिए वैश्विक रूप से अनुकूल (globally optimal) होता है जो केवल मार्जिनल फिट को मापते हैं। मानक वेरिएशनल इन्फरेंस (जैसे, कंडीशनल ELBO) इस सेटिंग में पोस्टीरियर कोलैप्स (posterior collapse) से ग्रस्त होता है, और $z$ को स्ट्रैटेजी-लेवल वेरिएशन को एनकोड करने के लिए प्रेरित करने में विफल रहता है।

कार्यप्रणाली (Methodology)

आर्किटेक्चर

लेखक एक प्रीट्रेंड ट्रांसफार्मर को रूटर-जेनेरेटर फ्रेमवर्क में अनुकूलित करते हैं:

रूटर ( $r_\phi$ ): इनपुट $x$ को पढ़ता है और एक निरंतर लेटेंट स्ट्रैटेजी $z$ (जिसे डायगोनल गौसियन के रूप में मॉडल किया गया है) पर एक वितरण आउटपुट करता है।
जेनेरेटर ( $g_\phi$ ): एक ऑटोरेग्रेसिव मॉडल जो $x$ और सैंपल्ड लेटेंट के एक प्रोजेक्टेड एम्बेडिंग $E(z)$ पर कंडिशन करता है।
पोस्टीरियर ( $q_\xi$ ): एक अलग मॉडल जिसका उपयोग केवल प्रशिक्षण के दौरान पूर्ण इनपुट-रिस्पॉन्स जोड़ी $(x, y)$ से $z$ को इन्फर करने के लिए किया जाता है।
पैरामीट्राइजेशन: रूटर और जेनेरेटर बेस मॉडल $\theta$ से इनिशियलाइज किए गए पैरामीटर्स साझा करते हैं, जिन्हें LoRA-शैली के लो-रैंक अडैप्टेशन के माध्यम से अपडेट किया जाता है।

मॉडल-निर्देशित पुनर्निर्माण उद्देश्य (Model-Directed Reconstruction Objective)

मानक ELBO की अपूर्णता को दूर करने के लिए, लेखक एक मॉडल-निर्देशित पुनर्निर्माण उद्देश्य का प्रस्ताव करते हैं। यह उद्देश्य फिक्स्ड बेस मॉडल $p_\theta$ को एक संदर्भ के रूप में उपयोग करता है ताकि यह निर्देशित किया जा सके कि लेटेंट वेरिएबल $z$ को किस प्रकार के वेरिएशन को समझाना चाहिए।

ऑब्जेक्टिव फंक्शन $J_\theta$ एक रिकंस्ट्रक्शन टर्म $R_\theta$ और एक KL पेनल्टी से बना है:
$J_\theta(x, y; \phi, \xi) = R_\theta(x, y; \phi, \xi) + \beta \text{KL}(q_\xi(\cdot|x, y) \parallel r_\phi(\cdot|x))$

रिकंस्ट्रक्शन टर्म के मुख्य घटक:

बेस-मॉडल नॉर्मलाइजेशन: रिकंस्ट्रक्शन लॉस को बेस मॉडल के अपेक्षित रिस्पॉन्स लॉस ( $c_\theta$ ) द्वारा नॉर्मलाइज किया जाता है, जो लॉस को "बेस मॉडल रेफरेंस यूनिट्स" में व्यक्त करता है।
सरप्राइज़ल-निर्देशित वेटिंग (Surprisal-Directed Weighting): यूनिफॉर्म टोकन वेटिंग के बजाय, लॉस को बेस मॉडल के टोकन-लेवल सरप्राइज़ल ( $b_{\theta,t}$ $b_{θ, t}$ ) द्वारा वेट किया जाता है।
- $b_{\theta,t}(x, y) = -\log p_\theta(y_t | x, y_{<t})$
- उच्च सरप्राइज़ल वाले टोकन (वे ब्रांच पॉइंट्स जहाँ बेस मॉडल अनिश्चित है) अधिक रिकंस्ट्रक्शन प्रेशर प्राप्त करते हैं।
- यह $z$ को उन स्थितियों पर वेरिएशन एनकोड करने के लिए प्रोत्साहित करता है जहाँ बेस मॉडल कई निरंतरताओं (continuations) को संभावित छोड़ देता है, जो आमतौर पर स्ट्रैटेजी चॉइस पॉइंट्स होते हैं।

रिकंस्ट्रक्शन टर्म को बेस मॉडल के लॉस के एक वेटेड, नॉर्मलाइज्ड अंश के रूप में परिभाषित किया गया है:
$R_\theta = \frac{1}{c_\theta} \mathbb{E}_{z \sim q_\xi} \left[ \sum_{t} a_{\theta,t}(x, y) [-\log g_\phi(y_t | x, z, y_{<t})] \right]$
जहाँ वेट्स $a_{\theta,t}$ , यूनिफॉर्म प्रेशर और सरप्राइज़ल-निर्देशित प्रेशर के बीच इंटरपोलेट करते हैं।

प्रयोगात्मक सेटअप और बेंचमार्क

लेखक स्ट्रैटेजी अलाइनमेंट को मापने योग्य बनाने के लिए एक नियंत्रित मल्टी-स्ट्रैटेजी एल्गोरिथमिक टास्क बेंचमार्क पेश करते हैं।

टास्क: लिस्ट समेशन, सॉर्टिंग एल्गोरिदम, ग्रिड पाथफाइंडिंग, लीनियर इक्वेशन सॉल्विंग, बेस कन्वर्जन और मल्टी-डिजिट एडिशन।
डिज़ाइन: प्रत्येक कार्य एक ही समस्या इंस्टेंस के लिए कई वैध समाधान ट्रेसेस (रणनीतियाँ) की अनुमति देता है। ग्राउंड-ट्रुथ स्ट्रैटेजी लेबल्स जेनरेट किए जाते हैं लेकिन प्रशिक्षण के दौरान उन्हें छिपा दिया जाता है, जिनका उपयोग केवल मूल्यांकन के लिए किया जाता है।
मूल्यांकन मेट्रिक्स:
1. डिस्ट्रीबशनल फिडेलिटी (Distributional Fidelity): जेनरेट किए गए ट्रेसेस का वह हिस्सा जो कार्य के लिए वैध समाधान बने रहते हैं।
2. स्ट्रैटेजी अलाइनमेंट (एनालॉजिकल कंसिस्टेंसी): एक सोर्स इनपुट $X$ से एक लेटेंट $z$ को सैंपल करने और उसे संबंधित टारगेट इनपुट $X'$ पर लागू करने की संभावना, जिसके परिणामस्वरूप $X$ से $Y$ जेनरेट करने वाले $Y'$ के समान ही स्ट्रैटेजी वाला सॉल्यूशन ट्रेस प्राप्त हो।

मुख्य परिणाम

अंतर्निहित सूचना मौजूद है: बेस मॉडल के हिडन स्टेट्स पर लीनियर प्रोब्स स्ट्रैटेजी लेबल्स को डिकोड कर सकते हैं, जो पुष्टि करता है कि फैक्टराइजेशन से पहले लक्षित संरचना (target structure) अंतर्निहित रूप से मौजूद है।
मानक ELBO की विफलता: मानक वेरिएशनल ऑब्जेक्टिव्स डिस्ट्रीबशनल फिडेलिटी को बनाए रखते हैं लेकिन लेटेंट कोलैप्स का परिणाम देते हैं, जहाँ $z$ निष्क्रिय रहता है और स्ट्रैटेजी के साथ अलाइन होने में विफल रहता है।
मॉडल-निर्देशित पुनर्निर्माण की सफलता: प्रस्तावित ऑब्जेक्टिव ऐसे लेटेंट कोड्स को सफलतापूर्वक रिकवर करता है जो:
- उच्च डिस्ट्रीबशनल फिडेलिटी बनाए रखते हैं (बेस मॉडल के वैध आउटपुट्स को सुरक्षित रखते हैं)।
- उच्च एनालॉजिकल कंसिस्टेंसी प्राप्त करते हैं, जो यह प्रदर्शित करता है कि $z$ अलग-अलग इनपुट्स के बीच पुन: प्रयोज्य (reusable) स्ट्रैटेजी सिमेंटिक्स वहन करता है।
- प्रशिक्षण के दौरान लेटेंट स्पेस में विशिष्ट टास्क- और स्ट्रैटेजी-विशिष्ट क्षेत्रों में अलग हो जाते हैं।
एब्लेशन स्टडीज (Ablation Studies):
- ग्लोबल स्केल (नॉर्मलाइजेशन) या टोकन वेटिंग (सरप्राइज़ल डायरेक्शन) को हटाने से स्ट्रैटेजी अलाइनमेंट कम हो जाता है।
- इनवर्स-सरप्राइज़ल वेटिंग (कम सरप्राइज़ल वाले टोकन पर जोर देना) अलाइनमेंट को कमजोर करती है, जो पुष्टि करती है कि स्ट्रैटेजी वेरिएशन को रिकवर करने के लिए अनिश्चित/ब्रांचिंग टोकन्स पर दबाव डालना आवश्यक है।

सैद्धांतिक विश्लेषण

यह शोध पत्र रिकवरी समस्या के लिए एक सैद्धांतिक विश्लेषण शुरू करता है। यह ऑब्जेक्टिव को म्यूचुअल इंफॉर्मेशन $I(Y; Z|X)$ और एक एप्रोक्सिमेशन कॉम्प्लेक्सिटी पेनल्टी के शामिल प्रोफाइल स्कोर को मैक्सिमाइज करने के रूप में फ्रेम करता है। लेखक पर्याप्त स्थितियाँ प्रदान करते हैं जिनके तहत एक कॉम्प्लेक्सिटी-पेनलाइज्ड वेरिएशनल ऑब्जेक्टिव एक लक्षित स्ट्रैटेजी स्ट्रक्चर $S^*$ के साथ अलाइन्ड लेटेंट फैक्टराइजेशन को चुनता है, बशर्ते कि ऑप्टिमल सॉल्यूशन और सब-ऑप्टिमल सॉल्यूशंस के बीच "रिकवरी डिस्क्रेपेंसी" पॉजिटिव हो।

महत्व और दावे

यह शोध पत्र एक विशिष्ट पैथोलॉजिकल (pathological) रूप के पोस्टीरियर कोलैप्स को संबोधित करने का दावा करता है जो शून्य से प्रशिक्षण के बजाय अनुकूलित (adapting) प्रीट्रेंड मॉडल्स के लिए विशिष्ट है। एक मॉडल-निर्देशित पुनर्निर्माण उद्देश्य पेश करके, लेखक एक विधि प्रदर्शित करते हैं जिससे:

अंतर्निहित तर्क रणनीतियों को एक स्पष्ट, नियंत्रणीय लेटेंट वेरिएबल में विघटित (disentangle) किया जा सके।
बेस मॉडल के रिस्पॉन्स डिस्ट्रीब्यूशन को सुरक्षित रखते हुए लेटेंट वेरिएबल को सूचनात्मक बनाया जा सके।
हस्तक्षेप (Intervention) सक्षम हो: रिकवर की गई लेटेंट संरचना विशिष्ट उच्च-स्तरीय रणनीतियों (जैसे, एक विशिष्ट प्रूफ मेथड को मजबूर करना) की ओर जनरेशन को निर्देशित करने की अनुमति देती है, बिना बेस मॉडल को फिर से प्रशिक्षित किए।

लेखक नोट करते हैं कि पद्धति को सिंथेटिक एल्गोरिथमिक कार्यों पर मान्य किया गया है जिनमें ग्राउंड-ट्रुथ स्ट्रैटेजी उपलब्ध हैं। वे स्पष्ट रूप से कहते हैं कि इस पद्धति को ओपन-एंडेड रीजनिंग कार्यों तक विस्तारित करना और वास्तविक ट्रेनिंग डायनेमिक्स के साथ उनके सैद्धांतिक ऑरेकल सिलेक्शन मानदंड के संबंध को पूरी तरह से समझना भविष्य के कार्य के लिए खुले प्रश्न हैं। उल्लेखित संभावित अनुप्रयोगों में मॉडल इंटरप्रिटेबिलिटी, कंट्रोलेबिलिटी और पोस्ट-ट्रेनिंग में निर्देशित एक्सप्लोरेशन (directed exploration) शामिल हैं।