💬 NLP

Markovian Transformers for Informative Language Modeling

यह शोध पत्र मार्कोवियन ट्रांसफॉर्मर्स (Markovian Transformers) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो सीमित-लंबाई वाले चेन-ऑफ-थॉट (Chain-of-Thought) तर्क के माध्यम से एक सख्त सूचना बाधा (information bottleneck) लागू करता है, जो भाषा मॉडलों को केवल स्पष्ट प्राकृतिक-भाषा चरणों से उत्तर प्राप्त करने के लिए बाध्य करता है और साथ ही गैर-मार्कोवियन वेरिएंट के समान प्रदर्शन प्राप्त करते हुए उनकी तर्क प्रक्रियाओं में मजबूत कारण निर्भरता (causal reliance) और सामान्यीकरण प्रदर्शित करता है।

मूल लेखक: Scott Viteri, Max Lamparth, Peter Chatain, Clark Barrett

प्रकाशित 2026-03-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Scott Viteri, Max Lamparth, Peter Chatain, Clark Barrett

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "मार्कोवियन ट्रांसफॉर्मर्स फॉर इन्फॉर्मेटिव लैंग्वेज मॉडलिंग" (Markovian Transformers for Informative Language Modeling) पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रोजमर्रा के उदाहरणों के साथ समझाया गया है।

बड़ी समस्या: "नकली" स्पष्टीकरण

कल्पना कीजिए कि आपने एक बुद्धिमान लेकिन रहस्यमयी छात्र से पूछा, "आपने इस गणित के सवाल को कैसे हल किया?"
वह एक लंबा, चरण-दर-चरण स्पष्टीकरण लिखता है। यह एकदम सही दिखता है। लेकिन यहाँ एक पेंच है: उसने उस स्पष्टीकरण का उपयोग उत्तर पाने के लिए वास्तव में नहीं किया था।

AI की दुनिया में, यह एक आम समस्या है। लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर "चेन-ऑफ-थॉट" (CoT) तर्क उत्पन्न करते हैं जो एक तार्किक स्पष्टीकरण जैसा दिखता है, लेकिन मॉडल ने वास्तव में सवाल पढ़ते ही तुरंत उत्तर निकाल लिया था। वह स्पष्टीकरण केवल एक "पोस्ट-हॉक" (घटना के बाद की) कहानी है जो वह स्मार्ट दिखने के लिए सुनाता है। यदि आप स्पष्टीकरण को बदलते हैं (जैसे, एक शब्द हटा देते हैं), तो मॉडल अक्सर फिर भी सही उत्तर दे देता है क्योंकि उसने वास्तव में उस टेक्स्ट पर भरोसा ही नहीं किया था।

लक्ष्य: लेखक चाहते थे कि AI को समस्या हल करने के लिए उस स्पष्टीकरण की वास्तव में आवश्यकता हो। वे चाहते थे कि स्पष्टीकरण घर की एक सजावटी पेंटिंग नहीं, बल्कि उसकी "भार वहन करने वाली दीवार" (load-bearing wall) बने।

समाधान: "बॉटलनेक" (Bottleneck) का उदाहरण

लेखकों ने AI को प्रशिक्षित करने का एक नया तरीका बनाया जिसे मार्कोवियन ट्रेनिंग कहा जाता है।

AI के मस्तिष्क को तीन कमरों वाले एक कारखाने के रूप में सोचें:

प्रश्न कक्ष (The Question Room): जहाँ समस्या आती है।
तर्क कक्ष (The Reasoning Room - द बॉटलनेक): एक बहुत ही संकरा गलियारा जहाँ AI को अपने विचार लिखने होते हैं।
उत्तर कक्ष (The Answer Room): जहाँ अंतिम समाधान तैयार होता है।

सामान्य AI ट्रेनिंग में:
कारखाने में एक गुप्त सुरंग होती है। AI रूम 1 में प्रश्न पढ़ सकता है, अपने दिमाग में तुरंत समस्या हल कर सकता है, और फिर रूम 3 में जाने के लिए गुप्त सुरंग का उपयोग करके उत्तर लिख सकता है। वह रूम 2 में एक नोट भी लिखता है, लेकिन इससे कोई फर्क नहीं पड़ता क्योंकि उसके पास पहले से ही उत्तर मौजूद है।

मार्कोवियन ट्रेनिंग में:
लेखकों ने गुप्त सुरंग को बंद कर दिया है।

AI प्रश्न पढ़ता है।
उसे अपने विचार तर्क कक्ष (Reasoning Room) में लिखने ही होंगे।
महत्वपूर्ण बात: जब वह उत्तर कक्ष (Answer Room) में जाता है, तो उसकी आंखों पर पट्टी बंधी होती है। वह मूल प्रश्न को अब नहीं देख सकता। वह केवल उन नोट्स को देख सकता है जो उसने तर्क कक्ष में लिखे थे।

यदि तर्क कक्ष में नोट्स खराब, भ्रमित करने वाले या अधूरे हैं, तो AI गलत उत्तर देगा। यह AI को वास्तव में एक उपयोगी स्पष्टीकरण लिखने के लिए मजबूर करता है, क्योंकि वह स्पष्टीकरण ही सही उत्तर और उसके बीच खड़ा एकमात्र सहारा है।

उन्होंने इसे कैसे सिखाया: "कोच और खिलाड़ी"

आप एक AI को यह करने के लिए कैसे प्रशिक्षित करेंगे? आप इसे केवल यह नहीं कह सकते कि "बेहतर नोट्स लिखें।" आपको एक परीक्षण और त्रुटि (trial-and-error) विधि का उपयोग करना होगा जिसे रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) कहते हैं।

एक कोच (AI का रिवॉर्ड सिस्टम) और एक खिलाड़ी (AI) की कल्पना करें:

सेटअप: खिलाड़ी एक गणित की समस्या हल करने की कोशिश करता है। वह एक "विचार प्रक्रिया" (CoT) लिखता है और फिर केवल उस विचार प्रक्रिया के आधार पर उत्तर का अनुमान लगाने की कोशिश करता है।
तुलना: कोच के पास एक "बेसलाइन" खिलाड़ी (एक मानक AI) भी है जो प्रश्न और विचार प्रक्रिया दोनों को देखता है।
स्कोर: यदि मुख्य खिलाड़ी केवल विचार प्रक्रिया का उपयोग करके सही उत्तर प्राप्त करता है, तो उसे उच्च स्कोर मिलता है। यदि वह विफल रहता है, तो उसे कम स्कोर मिलता है।
ट्विस्ट: लेखकों ने एक विशेष नियम जोड़ा। उन्होंने खिलाड़ी को केवल सही होने के लिए पुरस्कृत नहीं किया; उन्होंने उन्हें इस बात के लिए पुरस्कृत किया कि स्वयं विचार प्रक्रिया कितनी सहायक थी। उन्होंने एक गणितीय ट्रिक (जिसे "एक्टर-रिवॉर्ड ग्रेडिएंट्स" कहा जाता है) का उपयोग किया ताकि यह सुनिश्चित हो सके कि AI यह सीखे कि अच्छे नोट्स = सही उत्तर।

परिणाम: क्या यह काम आया?

हाँ, और परिणाम प्रभावशाली थे।

गणित में बेहतर: कठिन गणित परीक्षणों (जैसे GSM8K) पर, AI का स्कोर 19% से बढ़कर 57% हो गया। विज्ञान के सवालों (ARC-Challenge) पर, यह 36% से बढ़कर 79% हो गया।
"फ्रेजिलिटी" (Fragility) टेस्ट: यह सबसे महत्वपूर्ण प्रमाण है। शोधकर्ताओं ने AI की "विचार प्रक्रिया" ली और जानबूझकर उसमें गड़बड़ी की (शब्द हटा दिए, नंबर बदल दिए)।
- सामान्य AI: जब आप नोट्स के साथ छेड़छाड़ करते हैं, तो AI अभी भी सही उत्तर दे देता है (क्योंकि उसे नोट्स की आवश्यकता नहीं थी)।
- मार्कोवियन AI: जब आप नोट्स के साथ छेड़छाड़ करते हैं, तो AI का प्रदर्शन धड़ाम से गिर जाता है। यह साबित करता है कि AI वास्तव में समस्या हल करने के लिए नोट्स पर निर्भर था। नोट्स अब "भार वहन करने वाले" बन गए हैं।

"यूनिवर्सल ट्रांसलेटर" टेस्ट

लेखकों ने यह भी परीक्षण किया कि क्या ये "विचार" केवल एक विशिष्ट AI मॉडल के लिए गुप्त कोड थे।

उन्होंने Llama मॉडल द्वारा लिखे गए "विचार प्रक्रिया" को लिया।
उन्होंने इसे एक पूरी तरह से अलग मॉडल (जैसे Mistral या यहाँ तक कि एक पुराना GPT-2) को दिया।
परिणाम: दूसरे मॉडल नोट्स को समझ सके और समस्या को हल कर सके!

यह साबित करता है कि AI कोई ऐसा गुप्त कोड (स्टेगनोग्राफी) नहीं लिख रहा है जिसे केवल वह समझ सके। यह प्राकृतिक भाषा तर्क (Natural Language Reasoning) लिख रहा है जो वास्तव में मददगार है।

सारांश

यह पेपर AI मॉडल्स को अपनी वास्तविक सोच प्रक्रिया को छिपाकर "चीटिंग" करने से रोकने के लिए एक प्रशिक्षण पद्धति पेश करता है। एक "बॉटलनेक" बनाकर जहाँ AI को उत्तर देने के लिए केवल अपने लिखे हुए विचारों पर निर्भर रहना पड़ता है, वे मॉडल को ऐसे स्पष्टीकरण उत्पन्न करने के लिए मजबूर करते हैं जो हैं:

आवश्यक (Necessary): AI को समस्या हल करने के लिए वास्तव में उनकी आवश्यकता होती है।
नाजुक (Fragile): यदि आप स्पष्टीकरण को तोड़ते हैं, तो उत्तर भी टूट जाता है।
समझने योग्य (Understandable): तर्क स्पष्ट अंग्रेजी में है, न कि किसी गुप्त कोड में।

यह एक छात्र को परीक्षा में अपना काम दिखाने के लिए मजबूर करने जैसा है, केवल इसलिए नहीं कि उसे दिखाना है, बल्कि इसलिए क्योंकि वह बिना दिखाए सही उत्तर नहीं पा सकता।

यहाँ शोध पत्र "Markovian Transformers for Informative Language Modeling" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) में वर्तमान चेन-ऑफ-थॉट (CoT) प्रॉम्प्टिंग अक्सर विश्वसनीयता (faithfulness) की कमी से ग्रस्त होती है। जबकि मॉडल सुसंगत तर्क चरणों (reasoning steps) को उत्पन्न करते हैं, ये चरण वास्तव में अंतिम उत्तर को संचालित नहीं कर पाते हैं। इसके बजाय, मॉडल CoT को "बायपास" कर सकता है, और उत्तर की गणना करने के लिए आंतरिक छिपी हुई अवस्थाओं (hidden internal states) या मूल प्रॉम्प्ट तक सीधी पहुँच का उपयोग कर सकता है, जिससे CoT एक वास्तविक कारण (causal necessity) के बजाय केवल एक सतही वृत्तांत बनकर रह जाता है।

मुख्य मुद्दा: मानक CoT प्रशिक्षण मॉडल को उत्तर ( $C$ ) उत्पन्न करते समय मूल प्रश्न ( $A$ ) तक पहुँचने की अनुमति देता है, भले ही एक तर्क श्रृंखला ( $B$ ) मौजूद हो। यह एक "आर्किटेक्चरल एस्केप हैच" (architectural escape hatch) बनाता है जहाँ CoT अनिवार्य नहीं रह जाता।
लक्ष्य: लेखक पूर्ण आंतरिक विश्वसनीयता के बजाय सूचनात्मकता (informativeness) को लागू करने का लक्ष्य रखते हैं। वे यह आवश्यक बनाते हैं कि सही उत्तर प्राप्त करने के लिए केवल CoT ही पर्याप्त होना चाहिए, जिससे तर्क प्रक्रिया कारण-आधारित (causally load-bearing) बन जाए।

2. कार्यप्रणाली: मार्कोवियन ढांचा (Methodology: The Markovian Framework)

लेखक एक संरचनात्मक बाधा (structural constraint) पेश करते हैं जिसे मार्कोवियन लैंग्वेज मॉडल (MLM) ढांचा कहा जाता है, जो यह सुनिश्चित करता है कि प्रश्न से उत्तर तक की सारी जानकारी एक सीमित लंबाई वाले CoT बॉटलनेक (bottleneck) के माध्यम से प्रवाहित हो।

A. संरचनात्मक बाधा (The Bottleneck)

यह ढांचा पीढ़ी प्रक्रिया को अवस्थाओं (states) और अवलोकनों (observations) के एक अनुक्रम के रूप में मॉडल करता है:

अवलोकन ( $O$ ): इनपुट (जैसे, एक प्रश्न) और आउटपुट (उत्तर)।
अवस्था ( $S$ ): CoT तर्क पाठ।
संक्रमण (Transition):
- स्टेट अपडेट ( $u_\theta$ ): प्रश्न ( $A$ ) और एक प्रारंभिक प्रॉम्प्ट से CoT ( $B$ ) उत्पन्न करना।
- पॉलिसी ( $\pi_\theta$ ): केवल CoT ( $B$ ) से उत्तर ( $C$ ) का अनुमान लगाना।
- बाधा (Constraint): उत्तर प्रेडिक्टर $\pi_\theta$ मूल प्रश्न $A$ पर ध्यान (attend) नहीं दे सकता। वह केवल CoT को देखता है। यह एक बैंडविड्थ बॉटलनेक बनाता है जो ऑटोएन्कोडर की लेटेंट लेयर (latent layer) के समान है।

B. प्रशिक्षण उद्देश्य और रिवॉर्ड (Training Objective & Reward)

प्रशिक्षण एक विशिष्ट रिवॉर्ड फंक्शन के साथ सुदृढीकरण शिक्षण (Reinforcement Learning - RL) दृष्टिकोण का उपयोग करता है, जिसे बेसलाइन के सापेक्ष CoT की सूचनात्मकता को अधिकतम करने के लिए डिज़ाइन किया गया है।

रिवॉर्ड फंक्शन ( $R_\theta$ ):
$R_\theta(\tau) = \ln \pi_\theta(\text{ans} \mid \text{CoT}) - \ln \pi'(\text{ans} \mid \text{CoT}')$
जहाँ $\pi_\theta$ प्रशिक्षित एक्टर (actor) है और $\pi'$ एक फ्रोजन बेसलाइन (frozen baseline) (अप्रशिक्षित मॉडल) है। रिवॉर्ड यह मापता है कि प्रशिक्षित CoT के तहत सही उत्तर, बेसलाइन CoT की तुलना में कितना अधिक संभावित है।
KL पेनल्टी: मॉडल को "स्टेगनोग्राफिक" एन्कोडिंग (अप्राकृतिक टोकन अनुक्रमों में उत्तर छिपाना) सीखने से रोकने के लिए एक पेनल्टी टर्म ( $\beta_{KL}$ ) जोड़ा गया है, जो CoT वितरण को प्री-ट्रेंड प्रायोर (prior) के करीब रखता है।

C. ऑप्टिमाइज़ेशन एल्गोरिदम (GRPO-Style)

लेखक इस डिस्क्रीट टेक्स्ट बॉटलनेक को अनुकूलित करने के लिए एक नया पॉलिसी ग्रेडिएंट एल्गोरिदम प्रस्तावित करते हैं:

समानांतर सैंपलिंग (Parallel Sampling): प्रत्येक प्रश्न के लिए, मॉडल $B$ विविध CoT नमूने उत्पन्न करता है।
फ्रोजन बेसलाइन: प्रत्येक बैच के लिए फ्रोजन बेसलाइन मॉडल द्वारा एक संदर्भ CoT उत्पन्न किया जाता है।
एक्टर-रिवॉर्ड ग्रेडिएंट्स (प्रमुख नवाचार): मानक पॉलिसी ग्रेडिएंट्स के विपरीत, जहाँ रिवॉर्ड पॉलिसी से अलग (detached) होता है, लेखक स्वयं रिवॉर्ड टर्म के माध्यम से बैकप्रोपैगेट करते हैं। चूंकि समान वेट्स $\theta$ $θ$ ही CoT जनरेशन ( $u_\theta$ $u_{θ}$ ) और उत्तर भविष्यवाणी ( $\pi_\theta$ $π_{θ}$ ) दोनों को परिभाषित करते हैं, इसलिए ग्रेडिएंट में शामिल है:
- मानक पॉलिसी ग्रेडिएंट टर्म ( $R \cdot \nabla \ln P$ )।
- डायरेक्ट रिवॉर्ड ग्रेडिएंट ( $\nabla R$ ), जो चेन रूल का उपयोग करता है।
विथ-बैच मानकीकरण (Within-Batch Standardization): ऐतिहासिक मूविंग एवरेज पर निर्भर रहने के बजाय प्रशिक्षण को स्थिर करने के लिए एडवांटेज को प्रत्येक बैच के भीतर मानकीकृत किया जाता है (शून्य माध्य, इकाई विचरण)।

3. मुख्य योगदान (Key Contributions)

संरचनात्मक प्रवर्तनीयता (Structural Enforceability): एक मार्कोवियन ढांचे को पेश किया गया जो संरचनात्मक रूप से CoT को भविष्यवाणी के लिए कारण-अनिवार्य बनाता है, जिससे मॉडल द्वारा उत्तर जनरेशन के दौरान मूल प्रॉम्प्ट को देखकर "चीटिंग" करने की क्षमता समाप्त हो जाती है।
नया प्रशिक्षण नुस्खा (Novel Training Recipe): एक GRPO-शैली का प्रशिक्षण एल्गोरिदम विकसित किया गया जिसमें एक्टर-रिवॉर्ड ग्रेडिएंट्स (रिवॉर्ड के माध्यम से बैकप्रोपैगेट करना) और फ्रोजन बेसलाइन्स शामिल हैं, ताकि डिस्क्रीट टेक्स्ट बॉटलनेक को अनुकूलित किया जा सके।
अनुभवजन्य प्रदर्शन (Empirical Performance): मार्कोवियन प्रशिक्षण ने नॉन-मार्कोवियन वेरिएंट्स (जो अभी भी प्रश्न देख सकते हैं) के प्रदर्शन लाभों को लगभग पूरी तरह से रिकवर किया, जबकि मॉडल को CoT पर निर्भर रहने के लिए मजबूर किया।
- GSM8K: नॉन-मार्कोवियन (63.3%) की तुलना में बेसलाइन (19.6%) से सुधरकर 57.1% (मार्कोवियन) तक पहुँचा।
- ARC-Challenge: 36.1% से सुधरकर 79.9% हुआ, जो नॉन-मार्कोवियन वेरिएंट (78.6%) के लगभग बराबर है।
कारण निर्भरता के प्रमाण (Causal Reliance Evidence):
- परटर्बेशन विश्लेषण (Perturbation Analysis): मार्कोवियन मॉडल्स ने नॉन-मार्कोवियन बेसलाइन्स की तुलना में CoT भ्रष्टाचार (जैसे, कैरेक्टर डिलीशन, ट्रंकेशन) के प्रति काफी अधिक संवेदनशीलता दिखाई, जिससे सिद्ध हुआ कि CoT ही प्राथमिक चालक है।
- क्रॉस-मॉडल सामान्यीकरण (Cross-Model Generalization): Llama 3.1 द्वारा उत्पन्न CoTs अन्य मॉडल्स (Mistral, Phi, GPT-2) द्वारा उपयोग किए जाने पर प्रभावी रहे। चूंकि GPT-2 परिष्कृत स्टेगनोग्राफी को डिकोड नहीं कर सकता, यह पुष्टि करता है कि CoTs प्राकृतिक भाषा में तर्क को एनकोड करते हैं, न कि मॉडल-विशिष्ट आर्टिफैक्ट्स में।

4. परिणाम सारांश (Results Summary)

प्रदर्शन: मार्कोवियन मॉडल्स ने अंकगणित, GSM8K, MMLU, SVAMP और ARC-Challenge में बेस मॉडल्स पर पर्याप्त पूर्ण लाभ प्राप्त किया। सख्त सूचनात्मक बाधा के बावजूद, वे नॉन-मार्कोवियन GRPO वेरिएंट्स के लगभग ~3–4 प्रतिशत अंक के भीतर रहे।
मजबूती बनाम नाजुकता (Robustness vs. Fragility):
- Wikipedia continuation और अधिकांश QA कार्यों में, मार्कोवियन मॉडल CoT परटर्बेशन के प्रति अधिक नाजुक (उच्च लॉग-प्रोबेबिलिटी ड्रॉप) थे, जो पुष्टि करता है कि CoT "लोड-बियरिंग" है।
- अंकगणित (Arithmetic) में, दोनों मॉडल परटर्बेशन के प्रति अत्यधिक संवेदनशील थे क्योंकि प्रत्येक चरण महत्वपूर्ण है, हालांकि नॉन-मार्कोवियन मॉडल थोड़ा अधिक मजबूत था (संभवतः क्योंकि वह मूल संख्याओं को क्रॉस-रेफरेंस कर सकता था)।
व्याख्यात्मकता (Interpretability): "ऑटोएन्कोडर" सादृश्य सटीक है; मॉडल उत्तर की भविष्यवाणी करने के लिए आवश्यक तर्क को CoT में संकुचित करना सीखता है, और मूल प्रॉम्प्ट के अप्रासंगिक विवरणों को त्याग देता है।

5. महत्व और निहितार्थ (Significance and Implications)

विश्वसनीय तर्क (Faithful Reasoning): यह कार्य यह सुनिश्चित करने के लिए एक व्यावहारिक तरीका प्रदान करता है कि CoT स्पष्टीकरण केवल पोस्ट-हॉक औचित्य (post-hoc rationalizations) नहीं हैं, बल्कि वे वास्तव में वह तंत्र हैं जिसके द्वारा मॉडल समस्या को हल करता है।
पूर्ण विश्वसनीयता के बिना व्याख्यात्मकता: लेखक व्याख्यात्मकता के लिए "सूचनात्मकता" (informativeness) को एक व्यावहारिक प्रॉक्सी के रूप में तर्क देते हैं। भले ही CoT हर आंतरिक सक्रियण (internal activation) को प्रतिबिंबित न करे, यदि उत्तर उस पर निर्भर है, तो CoT आउटपुट के लिए एक वैध स्पष्टीकरण है।
स्टेगनोग्राफी प्रतिरोध: KL पेनल्टी और ग्रेडिएंट डिसेंट बायस का संयोजन मॉडल को CoT का उपयोग एक छिपे हुए कोड के रूप में करने से रोकने और प्राकृतिक भाषा तर्क को प्राथमिकता देने के लिए स्वाभाविक रूप से हतोत्साहित करता है।
सामान्यीकरण (Generalization): क्रॉस-मॉडल ट्रांसफर परिणाम बताते हैं कि सीखे गए तर्क चरण सार्वभौमिक और हस्तांतरणीय हैं, न कि केवल उन्हें उत्पन्न करने वाले आर्किटेक्चर के विशिष्ट।

निष्कर्षतः, यह शोध पत्र LLMs को कारण-अनिवार्य (causally essential) तर्क श्रृंखलाएं उत्पन्न करने के लिए प्रशिक्षित करने हेतु एक मजबूत ढांचा प्रस्तुत करता है, जो तर्क प्रक्रिया को मॉडल के आउटपुट के लिए एक संरचनात्मक आवश्यकता बनाकर उच्च प्रदर्शन और व्याख्यात्मकता के बीच के अंतर को पाटता है।