🤖 machine learning

Breaking the Capability Ceiling of LLM Post-Training by Reintroducing Markov States

यह शोध पत्र मानक सुदृढीकरण शिक्षण (reinforcement learning) की क्षमता सीमा को पार करने के लिए एलएलएम (LLM) पोस्ट-ट्रेनिंग में स्पष्ट मार्कोव अवस्थाओं (Markov states) को पुन: पेश करने का प्रस्ताव देता है, जो सैद्धांतिक रूप से नमूना जटिलता (sample complexity) को कम करता है और इतिहास-निर्भर मॉडलिंग से संरचित मार्कोवियन प्रतिनिधित्वों की ओर स्थानांतरित होकर जटिल तर्क पहेलियों पर बेहतर प्रदर्शन को अनुभवजन्य रूप से प्रदर्शित करता है।

मूल लेखक: Yurun Yuan, Tengyang Xie

प्रकाशित 2026-03-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yurun Yuan, Tengyang Xie

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन थोड़े भ्रमित छात्र को एक विशाल, बहु-चरणीय पहेली हल करना सिखा रहे हैं, जैसे कि एक जटिल सुडोकू या भूलभुलैया।

वर्तमान समस्या: "मेमोरी ओवरलोड" वाला छात्र
अभी, AI (लार्ज लैंग्वेज मॉडल्स) को ये पहेलियाँ हल करने के लिए प्रशिक्षित करने का मानक तरीका ऐसा है जैसे आप छात्र को एक नोटबुक दे रहे हैं जहाँ उसे अगला कदम उठाने के लिए अपने द्वारा किए गए हर एक पिछले कदम को लिखना होगा।

उपमा: कल्पना कीजिए कि आप शतरंज खेल रहे हैं। अपने अगले कदम को तय करने के लिए, वर्तमान AI विधि आपको चाल संख्या 1 से चाल संख्या 50 तक के पूरे इतिहास को, शब्द-दर-शब्द, हर बार पढ़ने के लिए मजबूर करती है।
परिणाम: छात्र अभिभूत (overwhelmed) हो जाता है। नोटबुक बहुत लंबी हो जाती है, स्याही फैल जाती है (शोर/noise), और छात्र घबराने लगता है। वह पेड़ों के बीच जंगल को नहीं देख पाता। वह बस अंदाज़ा लगाने लगता है या उन पैटर्न को दोहराने लगता है जिन्हें वह पहले से जानता है, जिससे वह एक ऐसे "सीलिंग" (सीमा) पर पहुँच जाता है जहाँ वह कितना भी अभ्यास कर ले, अधिक स्मार्ट नहीं हो सकता। वह केवल इतिहास को याद रखने में फंस जाता है, बजाय इसके कि वह स्थिति को समझे।

पेपर का समाधान: "स्नैपशॉट" वाला छात्र
यह पेपर तर्क देता है कि हमें छात्र को पूरा इतिहास पढ़ने के बजाय, उसे वर्तमान बोर्ड की स्थिति का एक स्नैपशॉट (झलक) देना चाहिए।

उपमा: पूरे इतिहास को पढ़ने के बजाय, आप छात्र को शतरंज का बोर्ड ठीक वैसा ही दिखाते हैं जैसा वह अभी दिख रहा है। आप कहते हैं, "बोर्ड पर रखे मोहरों को देखो। इस तस्वीर के आधार पर, सबसे अच्छा कदम क्या है?"
जादू: यह स्नैपशॉट एक मार्कोव स्टेट (Markov State) कहलाता है। इसमें अगला निर्णय लेने के लिए आवश्यक सभी जानकारी होती है, लेकिन यह उस शोर-शराबे को हटा देता है कि आप वहाँ तक कैसे पहुँचे। यह एक नक्शे को देखने जैसा है जो आपकी वर्तमान स्थिति बताता है, बजाय इसके कि आप उस डायरी को पढ़ें जिसमें आपने हर उस सड़क का वर्णन किया है जिस पर आप चले थे।

यह सब कुछ कैसे बदल देता है

सीलिंग (सीमा) को तोड़ना:
- पुराना तरीका: छात्र 50 कदमों के एक विशिष्ट क्रम को याद रखने की कोशिश करता है। यदि वह कदम 12 भूल जाता है, तो वह विफल हो जाता है।
- नया तरीका: छात्र बोर्ड के पैटर्न को पहचानना सीखता है। यदि वह मोहरों की एक विशिष्ट व्यवस्था देखता है, तो वह कदम जान जाता है, चाहे वह वहाँ तक कैसे भी पहुँचा हो। यह उसे ऐसी पहेलियाँ हल करने की अनुमति देता है जो उसने पहले कभी नहीं देखीं (सामान्यीकरण/generalization) और बहुत कठिन पहेलियों को हल करने की अनुमति देता है (क्षमता की सीमा को तोड़ना)।
तेजी से सीखना (सैंपल एफिशिएंसी):
- पुराना तरीका: एक 50-कदम वाली पहेली सीखने के लिए, छात्र को लाखों बार अभ्यास करने की आवश्यकता हो सकती है क्योंकि गलत रास्तों की संख्या बहुत अधिक है।
- नया तरीका: क्योंकि छात्र केवल वर्तमान बोर्ड को देखता है, वह खेल के नियमों को बहुत तेज़ी से सीखता है। यह सड़क को देखते हुए गाड़ी चलाना सीखने जैसा है, बजाय इसके कि आप हर कार यात्रा के GPS निर्देशांकों को याद करने की कोशिश करें।
"कॉम्बिनेशन लॉक" का उदाहरण:
- पेपर एक सरल उपमा का उपयोग करता है: 10 डायल वाला एक कॉम्बिनेशन लॉक।
- एक्शन-सीक्वेंस (पुराना): छात्र को उन 10 क्लिकों के सटीक क्रम को याद रखना होगा जो उसने किए थे। यदि वह कदम 3 पर गलत क्लिक करता है, तो उसे पूरा क्लिक इतिहास फिर से पढ़ना होगा।
- मार्कोव स्टेट (नया): छात्र बस लॉक को देखता है। यदि लॉक "खुली" स्थिति में है, तो वह जानता है कि अगला डायल घुमाना है। यदि यह "रीसेट" है, तो वह फिर से शुरू करना जानता है। उसे क्लिक याद रखने की ज़रूरत नहीं है; उसे बस लॉक की स्थिति देखनी है।

वास्तविक दुनिया पर प्रभाव
लेखकों ने सुडोकू, सोकोबान (एक बॉक्स धकेलने वाला खेल), और फुतोशिकी जैसे तर्क संबंधी पहेलियों पर इसका परीक्षण किया।

परिणाम: "स्नैपशॉट" वाले छात्रों (मार्कोव मॉडल) ने पहेलियों में सबको पछाड़ दिया। "इतिहास" वाले छात्र (एक्शन-सीक्वेंस मॉडल) अक्सर फंस जाते थे या पूरी तरह विफल हो जाते थे, विशेष रूप से कठिन स्तरों पर।

बड़ी तस्वीर
यह पेपर सुझाव देता है कि वास्तव में स्मार्ट AI बनाने के लिए, जो नई रणनीतियों की खोज कर सके और खुले-अंत वाली समस्याओं को हल कर सके, हमें AI को एक लंबी कहानियों को याद करने वाली मशीन के रूप में मानना बंद करना होगा। इसके बजाय, हमें इसे एक ऐसे एजेंट के रूप में मानना चाहिए जो वर्तमान वास्तविकता को समझता है। उसे "वह अभी कहाँ है" का एक स्पष्ट, संक्षिप्त दृश्य देकर, हम उसकी गहराई से सोचने, तेज़ी से सीखने और उन समस्याओं को हल करने की क्षमता को अनलॉक करते हैं जो पहले असंभव थीं।

संक्षेप में:
AI को यह तय करने के लिए कि क्या करना है, अपनी डायरी पढ़ने के लिए कहना बंद करें। बस उसे उस कमरे की तस्वीर दिखा दें जिसमें वह खड़ा है। वह बाकी सब खुद समझ लेगा।

यहाँ शोध पत्र "Breaking the Capability Ceiling of LLM Post-Training by Reintroducing Markov States" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र लार्ज लैंग्वेज मॉडल्स (LLMs) के पोस्ट-ट्रेनिंग में देखे जाने वाले एक निरंतर "क्षमता सीलिंग" (capability ceiling) को संबोधित करता है। जबकि क्लासिकल RL सिस्टम (जैसे AlphaZero) खोज इंजन (discovery engines) के रूप में कार्य करते हैं जो नवीन रणनीतियों को खोजने में सक्षम होते हैं, LLMs के लिए RL अक्सर केवल प्री-ट्रेंड वेट्स (pre-trained weights) में पहले से मौजूद पैटर्न के रिफाइनर (refiner) के रूप में कार्य करता है, और समाधान स्थान (solution space) को महत्वपूर्ण रूप से विस्तारित करने में विफल रहता है।

लेखक इसके मूल कारण के रूप में वर्तमान LLM फॉर्मुलेशन में एक संरचनात्मक बाधा (structural bottleneck) की पहचान करते हैं:

वर्तमान प्रतिमान (इतिहास-एक-अवस्था/History-as-State): LLMs को आमतौर पर ऐसे एजेंटों के रूप में माना जाता है जहाँ "अवस्था" (state) पिछले सभी कार्यों (टोकन) के संयोजन (concatenation) द्वारा परिभाषित होती है। इसके परिणामस्वरूप एक निरंतर बढ़ता हुआ, शोर युक्त (noisy) इतिहास अनुक्रम प्राप्त होता है।
सैद्धांतिक सीमा (Theoretical Limitation): यह फॉर्मुलेशन एजेंट को एक अनंत रूप से बड़े एक्शन-हिस्ट्री स्पेस पर सीखने के लिए मजबूर करता है। सैद्धांतिक विश्लेषण (Foster et al., 2025 का संदर्भ देते हुए) बताता है कि इस स्थान में नवीन क्षमताओं की खोज के लिए ऐसी सैंपल कॉम्प्लेक्सिटी (sample complexity) की आवश्यकता होती है जो क्षितिज (horizon) के साथ तेजी से बढ़ती है, जिससे जटिल तर्क कार्यों के लिए यह गणनात्मक रूप से अव्यवहार्य (intractable) हो जाता है।
लुप्त घटक (Missing Component): वर्तमान LLM पोस्ट-ट्रेनिंग में स्पष्ट मार्कोव अवस्थाओं (explicit Markov states) की कमी है—ऐसे संक्षिप्त प्रतिनिधित्व जो भविष्य के इष्टतम निर्णय लेने के लिए आवश्यक सभी जानकारी को संपुटित (encapsulate) करते हैं और अप्रासंगिक इतिहास को त्याग देते हैं।

2. कार्यप्रणाली (Methodology)

यह शोध पत्र LLM पोस्ट-ट्रेनिंग पाइपलाइन में स्पष्ट मार्कोव अवस्थाओं (explicit Markov states) को पुन: पेश करने का प्रस्ताव करता है, जिससे "इतिहास-एक-अवस्था" से बदलकर एक संरचित मार्कोवियन प्रतिनिधित्व की ओर बदलाव आता है।

मुख्य अवधारणा: मार्कोव अवस्था अनुमान (Markov State Estimation)

पूरे इतिहास $(a_1, \dots, a_{h-1})$ को मॉडल में फीड करने के बजाय, प्रस्तावित विधि एक अवस्था $s_h$ बनाए रखती है जो वातावरण के वर्तमान विन्यास (configuration) का सारांश देती है।

अवस्था संक्रमण (State Transition): एक नई अवस्था $s_{h+1}$ को वर्तमान अवस्था $s_h$ और क्रिया $a_h$ को एक ट्रांज़िशन फंक्शन $P(s_h, a_h)$ के माध्यम से जोड़कर उत्पन्न किया जाता है।
कार्यान्वयन (Implementation): ट्रांज़िशन फंक्शन $P$ $P$ को निम्नलिखित द्वारा साकार किया जा सकता है:
1. एक बाहरी वातावरण जिसमें ग्राउंड-ट्रुथ डायनेमिक्स हो (प्रशिक्षण के दौरान उपयोग किया जाता है)।
2. एक नियम-आधारित तंत्र (rule-based mechanism)।
3. एक सीखा हुआ स्टेट प्रेडिक्शन मॉडल ( $\hat{P}$ ) जिसे वर्तमान अवस्था और क्रिया से अगली अवस्था की भविष्यवाणी करने के लिए सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) के माध्यम से प्रशिक्षित किया गया है।

प्रयोगात्मक सेटअप (Experimental Setup)

कार्य (Tasks): लेखकों ने अच्छी तरह से परिभाषित मार्कोव संरचनाओं वाले तीन सिंथेटिक लॉजिकल रीजनिंग कार्यों पर इस दृष्टिकोण का मूल्यांकन किया: Sudoku, Sokoban, और Futoshiki।
मॉडल: उन्होंने Qwen3-4B और Qwen2.5-3B-Instruct का उपयोग किया।
एल्गोरिदम:
- बेसलाइन (Action-Sequence): मानक RL जहाँ इनपुट पूर्ण टोकन इतिहास है।
- प्रस्तावित (Markov): RL जहाँ इनपुट स्पष्ट अवस्था $s_h$ (जो $\hat{P}$ द्वारा अपडेट की जाती है) है।
- मध्यवर्ती बेसलाइन (State-Action-Sequence): एक मॉडल जो अवस्थाओं और क्रियाओं के पूर्ण इतिहास पर आधारित (conditioned) है, ताकि मार्कोव गुण बनाम केवल स्टेट एक्सेस के लाभ को अलग किया जा सके।
प्रशिक्षण: मॉडल को SFT वार्म-अप के बाद GRPO (Group Relative Policy Optimization) का उपयोग करके RL पोस्ट-ट्रेनिंग के दौर से गुजरना पड़ा।

3. मुख्य योगदान (Key Contributions)

क्षमता सीलिंग को तोड़ना (Breaking the Capability Ceiling):
- शोध पत्र प्रदर्शित करता है कि स्पष्ट मार्कोव अवस्थाओं का उपयोग करने वाले मॉडल पारंपरिक इतिहास-निर्भर RL की प्रदर्शन सीमाओं को लगातार पार कर जाते हैं।
- कठिन कार्यों (जैसे Sokoban, Futoshiki) पर, एक्शन-सीक्वेंस मॉडल अक्सर शून्य के करीब सटीकता पर रुक जाते हैं, जबकि मार्कोव मॉडल उच्च सफलता दर प्राप्त करते हैं।
मजबूत सामान्यीकरण (Robust Generalization - OOD):
- मार्कोव मॉडल बेहतर आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) सामान्यीकरण प्रदर्शित करते हैं। वे प्रशिक्षण के दौरान सामना किए गए कार्यों की तुलना में उच्च संरचनात्मक जटिलता और गहरे सर्च डेप्थ वाले पहेलियों को सफलतापूर्वक हल करते हैं, जबकि इतिहास-आधारित मॉडल अपने प्रशिक्षण वितरण से परे सामान्यीकरण करने में विफल रहते हैं।
सैंपल दक्षता गारंटी (Sample Efficiency Guarantees):
- सैद्धांतिक प्रमाण: लेखक कठोर सैद्धांतिक सीमाएँ प्रदान करते हैं जो दिखाती हैं कि मार्कोवियन लर्निंग काफी कम सैंपल कॉम्प्लेक्सिटी प्राप्त करती है।
- तंत्र: एक्शन-सीक्वेंस लर्निंग में, स्टेट स्पेस तेजी से बढ़ता है ( $O(|A|^H)$ ), जिसके लिए व्यापक कवरेज की आवश्यकता होती है। मार्कोव लर्निंग में, स्टेट स्पेस रैखिक रूप से बढ़ता है ( $O(H)$ ), जिससे कवरेज की आवश्यकता और वेरिएंस (variance) तेजी से कम हो जाता है।
- ट्रेड-ऑफ: शोध पत्र अनुमानित अवस्था संक्रमणों द्वारा उत्पन्न एक बहुपद बायस टर्म ( $O(H^3 \epsilon_P)$ ) को स्वीकार करता है लेकिन तर्क देता है कि यह इतिहास-आधारित अन्वेषण की घातीय लागत की तुलना में एक अनुकूल ट्रेड-ऑफ है।

4. परिणाम (Results)

प्रदर्शन मेट्रिक्स: Avg@128 (औसत सफलता दर) और Pass@128 (128 नमूनों में से कम से कम एक सही समाधान होने की संभावना) का उपयोग करके मूल्यांकन किया गया।
मात्रात्मक लाभ (Quantitative Gains):
- Sudoku: मार्कोव मॉडल ~97.1% Pass@128 तक पहुँचे बनाम Action-Seq के लिए 92.3%।
- Sokoban: मार्कोव मॉडल ने 76.1% प्राप्त किया बनाम Action-Seq के लिए 2.5% (एक बड़ी सफलता)।
- Futoshiki: मार्कोव मॉडल ने 75.0% प्राप्त किया बनाम Action-Seq के लिए 0.2%।
प्रशिक्षण गतिशीलता (Training Dynamics): मार्कोव मॉडल काफी तेजी से अभिसरित (converge) हुए, कम प्रशिक्षण चरणों में उच्च रिवॉर्ड प्राप्त किया (कम सैंपल कॉम्प्लेक्सिटी)।
एब्लेशन अध्ययन (Ablation Studies):
- State-Action-Sequence बनाम Markov: यहाँ तक कि जब उन्हें अवस्थाओं के पूर्ण इतिहास तक पहुँच दी गई, तब भी वे मॉडल जिन्होंने मार्कोवियन पॉलिसी संरचना को लागू नहीं किया (अर्थात, वे अभी भी पूरे इतिहास को देखते हैं), शुद्ध मार्कोव मॉडल की तुलना में खराब प्रदर्शन करते हैं। यह सुझाव देता है कि अतिरिक्त ऐतिहासिक संदर्भ अक्सर अनावश्यक शोर होता है जो सीखने में बाधा डालता है।
- SFT बनाम RL: मार्कोव अवस्थाओं के लाभ RL चरण में सबसे अधिक स्पष्ट होते हैं। शुद्ध SFT में, अंतर कम हो जाता है, जो यह दर्शाता है कि मार्कोव गुण RL के एक्सप्लोरेशन (exploration) और क्रेडिट असाइनमेंट (credit assignment) पहलुओं के लिए महत्वपूर्ण है।

5. महत्व और निहितार्थ (Significance and Implications)

प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र LLM अलाइनमेंट में प्रचलित "इतिहास-एक-अवस्था" धारणा को चुनौती देता है। यह तर्क देता है कि ओपन-एंडेड डिस्कवरी और जटिल तर्क के लिए, LLMs को पूरे जनरेशन इतिहास को अवस्था के रूप में मानने के बजाय कार्य के अंतर्निहित तर्क (मार्कोवियन संरचना) के साथ संरेखित होना चाहिए।
AGI का मार्ग: निष्कर्ष बताते हैं कि जेनरेटिव AI में वास्तविक नई तर्क क्षमताओं और ओपन-एंडेड विकास को अनलॉक करने के लिए, एजेंट के प्रतिनिधित्व को कच्चे टोकन अनुक्रमों पर निर्भर रहने के बजाय कार्य की संरचना (मार्कोवियन स्ट्रक्चर) के साथ संरेखित करना आवश्यक है।
व्यावहारिक प्रयोज्यता (Practical Applicability): यह दृष्टिकोण वास्तविक दुनिया के डोमेन जैसे कोडिंग (जहाँ अवस्था कोडबेस स्नैपशॉट है), गणितीय तर्क (अवस्था लेम्मा का सेट है), और पुनरावृत्ति सुधार (iterative refinement) (अवस्था वर्तमान ड्राफ्ट है) पर लागू किया जा सकता है, जो अधिक सक्षम और कुशल एजेंटिक सिस्टम बनाने के लिए एक ब्लूप्रिंट प्रदान करता है।

निष्कर्षतः, शोध पत्र ठोस सैद्धांतिक और अनुभवजन्य प्रमाण प्रदान करता है कि स्पष्ट मार्कोव अवस्थाओं को पुन: पेश करना LLMs में RL की वर्तमान सीमाओं को पार करने के लिए आवश्यक है, जिससे मॉडल मौजूदा पैटर्न को केवल रिफाइन करने के बजाय नवीन रणनीतियों की खोज करने में सक्षम होते हैं।