💬 NLP

Latent Reasoning in TRMs is Secretly a Policy Improvement Operator

यह शोध पत्र प्रदर्शित करता है कि छोटे मॉडलों में लेटेंट रिकर्सिव रीजनिंग (latent recursive reasoning) एक पॉलिसी इम्प्रूवमेंट ऑपरेटर के रूप में कार्य करती है, जो अप्रभावी कंप्यूटेशन स्टेप्स को समाप्त करने और प्रदर्शन को बनाए रखते हुए फॉरवर्ड पासेस को महत्वपूर्ण रूप से कम करने के लिए रिइन्फोर्समेंट लर्निंग और डिफ्यूजन ट्रेनिंग स्कीम्स के अनुप्रयोग को सक्षम बनाती है।

मूल लेखक: Arip Asadulaev, Rayan Banerjee, Fakhri Karray, Martin Takac

प्रकाशित 2026-06-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Arip Asadulaev, Rayan Banerjee, Fakhri Karray, Martin Takac

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: क्यों "सोचना" कभी-कभी सिर्फ समय की बर्बादी है

कल्पना कीजिए कि आप एक कठिन पहेली सुलझाने की कोशिश कर रहे हैं। आपके पास एक छोटा, बुद्धिमान सहायक (AI मॉडल) है जो इसे हल करने की कोशिश करता है।

हाल के वर्षों में, शोधकर्ताओं ने इस सहायक को और अधिक स्मार्ट बनाने की कोशिश की, उसे "लूप में सोचने" (think in loops) के लिए कहा। एक उत्तर देने के बजाय, सहायक अपने पिछले अनुमान को देखता, उस पर एक क्षण के लिए विचार करता, और फिर एक नया, थोड़ा बेहतर अनुमान लगाता। वह ऐसा बार-बार करता, इस उम्मीद में कि 10वें या 20वें अनुमान तक, वह पूर्ण समाधान तक पहुँच जाएगा।

इसे लेटेंट रीजनिंग (Latent Reasoning) कहा जाता है। सिद्धांत यह था: "यदि हम मॉडल को खुद पर वापस लूप करने दें, तो यह बिना मस्तिष्क को बड़ा किए, उसे एक बहुत गहरे मस्तिष्क देने जैसा है।"

समस्या: इस पेपर के लेखकों ने इस तर्क में एक दोष पाया। हालांकि मॉडल लूप तो कर रहा था, लेकिन उनमें से कई लूप उपयोगी कुछ भी नहीं कर रहे थे। यह एक छात्र की तरह था जो गणित के सवाल को घूर रहा है, वही गलत उत्तर लिख रहा है, उसे मिटा रहा है, और फिर से लिख रहा है, इस उम्मीद में कि वह जादुई रूप से सही हो जाएगा। पेपर इसे "डेड कंप्यूट" (dead compute) कहता है—उन चरणों पर ऊर्जा बर्बाद करना जो वास्तव में उत्तर में सुधार नहीं करते हैं।

खोज: यह गुप्त रूप से एक "पॉलिसी इम्प्रूवमेंट" मशीन है

लेखकों ने एक बड़ा सवाल पूछा: इन लूप्स के दौरान मॉडल के मस्तिष्क के अंदर वास्तव में क्या हो रहा है?

उन्होंने पाया कि मॉडल केवल "गहराई से सोच" नहीं रहा है। वह गुप्त रूप से एक रीइन्फोर्समेंट लर्निंग एजेंट (reinforcement learning agent) (एक प्रकार का AI जो परीक्षण और त्रुटि से सीखता है) की तरह कार्य कर रहा है।

यहाँ उपमा दी गई है:

पुराना तरीका: मॉडल अनुमान लगाता है, फिर दोबारा अनुमान लगाता है, इस उम्मीद में कि दूसरा अनुमान बेहतर होगा। यह आँखों पर पट्टी बाँधकर निशाना लगाने और इस उम्मीद में दूसरा प्रहार करने जैसा है कि दूसरा प्रहार लक्ष्य के करीब होगा।
नई अंतर्दृष्टि: लेखकों ने महसूस किया कि मॉडल वास्तव में "पॉलिसी इम्प्रूवमेंट" (Policy Improvement) कर रहा है। यह कहने का एक तकनीकी तरीका है: "अपने वर्तमान अनुमान को लें, अपने अनुमान और सत्य के बीच के अंतर को देखें, और उस अंतर का उपयोग अपने अगले अनुमान को लक्ष्य के करीब धकेलने के लिए करें।"

पेपर साबित करता है कि हर बार जब मॉडल लूप करता है, तो उसे एक विशिष्ट "एडवांटेज" (एक स्कोर कि नया अनुमान पुराने की तुलना में कितना बेहतर है) की गणना करनी चाहिए। यदि यह ऐसा नहीं कर रहा है, तो यह केवल पहिए घुमा रहा है (बिना आगे बढ़े)।

समाधान: डीप इम्प्रवमेंट सुपरविजन (DIS)

चूंकि मॉडल "डेड कंप्यूट" में खो रहा था, इसलिए लेखकों ने डीप इम्प्रूवमेंट सुपरविजन (Deep Improvement Supervision - DIS) नामक एक नई प्रशिक्षण विधि बनाई।

उपमा: "ब्रेडक्रंब" (रोटी के टुकड़े) का रास्ता
कल्पना कीजिए कि आप अपने घर से छिपे हुए खजाने तक जाने की कोशिश कर रहे हैं।

पुराना तरीका (TRM): आपको बताया जाता है, "खजाना खोजने तक गोल-गोल चलते रहो।" आप 100 चक्कर लगा सकते हैं, लेकिन उनमें से केवल 5 ही वास्तव में आपको करीब ले जाते हैं। बाकी सब बर्बाद कदम थे।
नया तरीका (DIS): शिक्षक आपको ब्रेडक्रंब्स (रोटी के टुकड़ों) वाला एक नक्शा देता है।
1. चरण 1: पहले ब्रेडक्रम (एक थोड़ा बेहतर अनुमान) तक चलें।
2. चरण 2: दूसरे ब्रेडक्रम (एक और भी बेहतर अनुमान) तक चलें।
  ...और इसी तरह, जब तक आप खजाने तक नहीं पहुँच जाते।

लेखक इन "ब्रेडक्रम्स" को सही उत्तर लेकर और उसे धीरे-धीरे "करप्ट" (थोड़ा गलत) करके बनाते हैं ताकि मध्यवर्ती लक्ष्यों का एक पथ बनाया जा सके। फिर वे मॉडल को हर एक ब्रेडक्रम को पूरी तरह से हिट करने के लिए प्रशिक्षित करते हैं।

यह क्यों काम करता है:
मॉडल खुद से यह समझने की उम्मीद करने के बजाय कि कैसे सुधार किया जाए, शिक्षक मॉडल को मजबूर करते हैं कि हर एक कदम एक सुधार होना चाहिए। यह "डेड कंप्यूट" को "सक्रिय सुधार" में बदल देता है।

परिणाम: तेज़, छोटा और बेहतर

लेखकों ने इस नई विधि (DIS) का परीक्षण टाइनी रिकर्सिव मॉडल (Tiny Recursive Model - TRM) पर किया, जो एक बहुत छोटा AI मॉडल है।

कम काम, समान परिणाम: उन्होंने पाया कि DIS के साथ, मॉडल को उतनी बार लूप करने की आवश्यकता नहीं थी। उन्होंने "सोचने के चरणों" को 18 गुना कम कर दिया (336 चरणों से घटाकर केवल 18) और फिर भी समान या बेहतर परिणाम प्राप्त किए।
दिग्गजों को पछाड़ना: उन्होंने इसका परीक्षण ARC-AGI बेंचमार्क (सामान्य बुद्धिमत्ता का एक बहुत कठिन परीक्षण, जैसे AI के लिए आधुनिक IQ टेस्ट) पर किया।
- उनके छोटे से मॉडल (जिसमें केवल 0.8 मिलियन पैरामीटर्स थे) ने 24% स्कोर किया।
- यह बहुत बड़ी बात है क्योंकि अधिकांश अन्य ओपन-सोर्स मॉडल्स को उस स्कोर के करीब पहुँचने के लिए अरबों पैरामीटर्स की आवश्यकता होती है।
- उन्होंने मूल TRM मॉडल को महत्वपूर्ण रूप से पीछे छोड़ दिया, जिससे यह साबित हुआ कि "सीक्रेट सॉस" मॉडल का आकार नहीं, बल्कि प्रशिक्षण विधि थी।

एक वाक्य में सारांश

पेपर यह खुलासा करता है कि रिकर्सिव AI मॉडल गुप्त रूप से एक रीइन्फोर्समेंट लर्नर की तरह अपने अनुमानों को सुधारने की कोशिश कर रहे थे, लेकिन वे विफल हो रहे थे क्योंकि उन्हें यह नहीं सिखाया गया था कि कैसे सुधार किया जाए; उन्हें एक चरण-दर-चरण "ब्रेडक्रम" प्रशिक्षण पथ देकर, लेखकों ने उनके मॉडलों को 18 गुना अधिक कुशल और काफी स्मार्ट बना दिया, और वह भी कंप्यूटिंग पावर के एक बहुत छोटे अंश का उपयोग करते हुए।

तकनीकी सारांश: TRMs में लेटेंट रीजनिंग (Latent Reasoning) वास्तव में एक पॉलिसी इम्प्रूवमेंट ऑपरेटर है

1. समस्या विवरण (Problem Statement)

लेटेंट रिकर्शन (latent recursion) का उपयोग करने वाले हालिया छोटे मॉडल्स, जैसे कि टिनी रिकर्सिव मॉडल्स (Tiny Recursive Models - TRMs) और हिरार्किकल रीजनिंग मॉडल्स (Hierarchical Reasoning Models - HRMs), ने ARC-AGI जैसे जटिल रीजनिंग कार्यों पर आशाजनक परिणाम प्रदर्शित किए हैं। प्रचलित सिद्धांत यह सुझाव देता है कि ये मॉडल्स प्रभावी नेटवर्क डेप्थ (effective network depth) को बढ़ाकर प्रदर्शन में सुधार करते हैं, जिससे वे कम पैरामीटर्स के साथ बड़े मॉडल्स का अनुकरण (emulate) कर पाते हैं। हालांकि, अनुभवजन्य अवलोकन (empirical observations) एक विसंगति प्रकट करते हैं: रिकर्सिव रूप से जोड़े गए लेयर्स अक्सर समान फीड-फॉरवर्ड डेप्थ वाले वन-पास मॉडल्स की तुलना में खराब प्रदर्शन करते हैं। यह इंगित करता है कि लूप वाली आर्किटेक्चर में, प्रत्येक रिकर्सिव स्टेप सार्थक योगदान नहीं देता है, जिसके परिणामस्वरूप "डेड कंप्यूट" (dead compute) होता है।

यह कार्य निम्नलिखित प्रश्नों को संबोधित करता है:

लेटेंट रीजनिंग कब और क्यों प्रदर्शन में सुधार करती है?
यह कब अनावश्यक गणना (redundant computation) का परिणाम बनती है?
इन मॉडल्स के प्रशिक्षण को कैसे सुधारा जा सकता है ताकि सुनिश्चित हो सके कि प्रत्येक स्टेप प्रभावी हो?

TRMs के लिए वर्तमान प्रशिक्षण विधियाँ मुख्य रूप से अंतिम आउटपुट पर सुपरविजन लागू करती हैं। यह शुरुआती रिफाइनमेंट स्टेप्स को कमजोर क्रेडिट असाइनमेंट (weak credit assignment) छोड़ देता है, जिससे अनुकूलन (optimization) नाजुक हो जाता है, विशेष रूप से कम डेटा वाले परिदृश्यों में।

2. कार्यप्रणाली (Methodology)

लेखक लेटेंट रीजनिंग के एक सैद्धांतिक पुनर्गठन और एक संगत प्रशिक्षण पद्धति का प्रस्ताव करते हैं।

सैद्धांतिक औपचारिकीकरण: पॉलिसी इम्प्रूवमेंट के रूप में लेटेंट रीजनिंग (Latent Reasoning as Policy Improvement)
पेपर लेटेंट रिकर्सिव रीजनिंग को एक पॉलिसी इम्प्रूवमेंट ऑपरेटर के रूप में औपचारिक रूप देता है।

रेफरेंस पॉलिसी ( $\hat{\pi}_t$ ): लेटेंट रीजनिंग स्टेप से पहले मॉडल का आउटपुट डिस्ट्रीब्यूशन (पहला अनुमान)।
इम्प्रूव्ड पॉलिसी ( $\pi^+_t$ ): एक लेटेंट रीजनिंग अपडेट के बाद आउटपुट डिस्ट्रीब्यूशन।
एडवांटेज सिग्नल (Advantage Signal): इम्प्रूव्ड पॉलिसी और रेफरेंस पॉलिसी के लॉग-प्रोबेबिलिटी के बीच का अंतर एक अंतर्निहित एडवांटेज सिग्नल ( $A_t(s, a) = \log \pi^+_t(a|s) - \log \hat{\pi}_t(a|s)$ ) के रूप में कार्य करता है।
तंत्र (Mechanism): लेखक प्रदर्शित करते हैं कि एक एकल TRM स्टेप एक ऐसी पॉलिसी अपडेट को लागू करता है जो ऑप्टिमैलिटी कंडीशन के आधार पर रेफरेंस पॉलिसी को रीवेट (reweight) करती है। विशेष रूप से, लेटेंट रीजनिंग स्टेप एक ऐसी पॉलिसी की तरह व्यवहार करता है जो इस घटना पर आधारित (conditioned) होती है कि उत्तर में सुधार हुआ है। यह लेटेंट स्पेस एल्गोरिदम को पॉलिसी इम्प्रवेमेंट (RL में) और डिफ्यूजन मॉडल्स में क्लासिफायर-फ्री गाइडेंस (CFG) के सुस्थापित ढांचे से जोड़ता है।

प्रस्तावित प्रशिक्षण योजना: डीप इम्प्रूवमेंट सुपरविजन (Deep Improvement Supervision - DIS)
पॉलिसी इम्प्रवमेंट के इस अंतर्दृष्टि पर आधारित, लेखक "डेड कंप्यूट" स्टेप्स को समाप्त करने के लिए डीप इम्प्रूवमेंट सुपरविजन (DIS) पेश करते हैं।

स्टेप-वाइज टारगेट्स (Step-wise Targets): केवल अंतिम आउटपुट को सुपरवाइज करने के बजाय, DIS प्रत्येक रिकर्शन स्टेप $s$ के लिए मध्यवर्ती लक्ष्य $\{y^\dagger_s\}$ प्रदान करता है। ये लक्ष्य ग्राउंड-ट्रुथ आउटपुट $y^*$ के मोनोटोनिक डिस्क्रीट करप्शन शेड्यूल (monotonic discrete corruption schedule) के माध्यम से उत्पन्न किए जाते हैं।
प्रशिक्षण उद्देश्य (Training Objective): मॉडल को पिछले लक्ष्य $y^\dagger_{s-1}$ (रेफरेंस पॉलिसी के माध्यम से) को अगले, कम करप्टेड लक्ष्य $y^\dagger_s$ (इम्प्रूव्ड पॉलिसी के माध्यम से) में मैप करने के लिए प्रशिक्षित किया जाता है।
लॉस फंक्शन (Loss Function): प्रशिक्षण पोस्ट-रीजनिंग लॉजिट्स और स्टेप-विशिष्ट लक्ष्य $y^\dagger_s$ के बीच क्रॉस-एन्ट्रॉपी लॉस को कम करता है। यह सुनिश्चित करता है कि प्रत्येक रिकर्शन स्टेप एक निर्देशित सुधार (directed improvement) करे, न कि केवल अनावश्यक गणना।

आर्किटेक्चरल सरलीकरण
प्रस्तावित विधि TRM आर्किटेक्चर को सरल बनाती है:

लर्निंग हॉल्टिंग मैकेनिज्म (Adaptive Computation Time) की आवश्यकता को हटाना।
सुपरविजन स्टेप्स और लेटेंट रीजनिंग स्टेप्स की संख्या को कम करना।
करप्शन शेड्यूल द्वारा निर्धारित निश्चित रिकर्शन स्टेप्स ( $N_{sup}$ ) का उपयोग करना।

3. प्रमुख योगदान (Key Contributions)

सैद्धांतिक अंतर्दृष्टि: पेपर स्थापित करता है कि लेटेंट रीजनिंग में TRMs, पॉलिसी इम्प्रूवमेंट ऑपरेटर के गणितीय रूप से समकक्ष है। यह लेटेंट स्पेस रीजनिंग एल्गोरिदम और RL फ्रेमवर्क के बीच के अंतर को पाटता है, जो एडवांटेज मैक्सिमाइजेशन के लेंस के माध्यम से मॉडल के व्यवहार को समझाता है।
डीप इम्प्रूवमेंट सुपरविजन (DIS): एक नवीन प्रशिक्षण योजना जो स्टेप-वाइज इंटरमीडिएट टारगेट्स प्रदान करती है। यह कठिन 'लॉन्ग-टर्म क्रेडिट असाइनमेंट' की समस्या को एक सुलभ सुपर्वाइज्ड लर्निंग टास्क में बदल देता है, जहाँ प्रत्येक स्टेप को स्पष्ट रूप से पिछले स्टेट में सुधार करने के लिए प्रशिक्षित किया जाता है।
दक्षता लाभ (Efficiency Gains): यह विधि प्रतिस्पर्धी प्रदर्शन प्राप्त करते हुए कंप्यूटेशनल ओवरहेड को काफी कम करती है। यह हॉल्टिंग मॉड्यूल को प्रशिक्षित करने की आवश्यकता को समाप्त करती है और मानक TRM सेटअप की तुलना में फॉरवर्ड पासेज की कुल संख्या को 18 गुना कम करती है, जबकि सटीकता को बनाए रखती है या सुधारती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने अपने मेथड का मूल्यांकन N-Queens समस्या और ARC-AGI बेंचमार्क (ARC-AGI-1 और ARC-AGI-2) पर किया।

N-Queens: एक कॉम्पैक्ट मॉडल (0.8M पैरामीटर्स) का उपयोग करते हुए, DIS मेथड ने 0.69 सटीकता प्राप्त की, जो एक मानक TRM (हॉल्टिंग हेड और 16 सुपरविजन स्टेप्स के साथ) के प्रदर्शन से मेल खाती है, लेकिन काफी कम इन्फरेंस स्टेप्स ( $T=1, n=2$ बनाम $T=3, n=6$ ) का उपयोग करती है।
ARC-AGI:
- कॉम्पैक्ट मॉडल (0.8M पैरामीटर्स): DIS ने ARC-AGI-1 पर 24.0% सटीकता प्राप्त की, जो मूल TRM-compact (12.0%) और बिना बाहरी ज्ञान वाले अधिकांश मौजूदा ओपन-सोर्स LLMs से बेहतर है।
- मीडियम मॉडल (7M पैरामीटर्स): DIS ने ARC-AGI-1 पर 41.3% और ARC-AGI-2 पर 6.0% प्राप्त किया, जो मानक TRM-medium (40.4% / 3.3%) से बेहतर है और मूल TRM (40.4% / 3.3%) के बराबर है, जबकि कम लेटेंट रीजनिंग स्टेप्स का उपयोग करता है।
कंप्यूट रिडक्शन: विधि ने बेसलाइन TRM कॉन्फ़िगरेशन की तुलना में फॉरवर्ड पासेज की कुल संख्या को 18 गुना कम कर दिया, जिससे यह सिद्ध होता है कि मध्यवर्ती स्टेप्स का स्पष्ट सुपरविजन अत्यधिक लेटेंट रीजनिंग लूप्स की आवश्यकता को हटा देता है।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि लेटेंट रीजनिंग को एक पॉलिसी इम्प्रूवमेंट प्रक्रिया के रूप में देखकर, यह समझाया जा सकता है कि मानक रिकर्सिव मॉडल्स कभी-कभी क्यों विफल होते हैं ( "डेड कंप्यूट" के कारण जहाँ स्टेप्स एडवांटेज मार्जिन में सुधार नहीं करते हैं) और इसे कैसे ठीक किया जाए।

प्राथमिक महत्व डीप इम्प्रूवमेंट सुपरविजन फ्रेमवर्क में निहित है, जो:

एक रचनात्मक प्रशिक्षण नियम प्रदान करता है ताकि यह सुनिश्चित हो सके कि प्रत्येक रिकर्शन स्टेप एक गैर-तुच्छ (non-trivial) सुधार करे।
जटिल हॉल्टिंग मैकेनिज्म और नाजुक क्रेडिट असाइनमेंट की आवश्यकता को हटाकर रिकर्सिव मॉडल्स के प्रशिक्षण को सरल बनाता है।
यह प्रदर्शित करता है कि छोटे, पैरामीटर-कुशल मॉडल्स जटिल रीजनिंग कार्यों (जैसे ARC-AGI) पर अत्याधुनिक परिणाम प्राप्त कर सकते हैं जब प्रशिक्षण उद्देश्य (training objective) पॉलिसी इम्प्रूवमेंट के सैद्धांतिक तंत्र के साथ संरेखित हो।

लेखक निष्कर्ष निकालते हैं कि उनका दृष्टिकोण लेटेंट रिकर्शन की अंतर्निहित एल्गोरिद्मिक प्रकृति के साथ प्रशिक्षण सिग्नल को संरेखित करके अधिक कुशल और प्रभावी रीजनिंग मॉडल्स के लिए एक मार्ग प्रदान करता है।