🤖 machine learning

TEMPO: Scaling Test-time Training for Large Reasoning Models

यह शोध पत्र TEMPO का प्रस्ताव करता है, जो एक टेस्ट-टाइम ट्रेनिंग फ्रेमवर्क है जो अनलेबल डेटा पर पॉलिसी रिफाइनमेंट को लेबल किए गए डेटा पर आवधिक क्रिटिक रीकैलिब्रेशन के साथ इंटरलीव करता है ताकि लार्ज रीजनिंग मॉडल्स में प्रदर्शन प्लेटो और डाइवर्सिटी कोलैप्स को दूर किया जा सके, जिससे गणितीय तर्क बेंचमार्क पर महत्वपूर्ण सटीकता लाभ प्राप्त होता है।

मूल लेखक: Qingyang Zhang, Xinke Kong, Haitao Wu, Qinghua Hu, Minghao Wu, Baosong Yang, Yu Cheng, Yun Luo, Ganqu Cui, Changqing Zhang

प्रकाशित 2026-04-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Qingyang Zhang, Xinke Kong, Haitao Wu, Qinghua Hu, Minghao Wu, Baosong Yang, Yu Cheng, Yun Luo, Ganqu Cui, Changqing Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली छात्र हैं जो दुनिया की सबसे कठिन गणित प्रतियोगिता (जैसे AIME) की तैयारी कर रहे हैं। आपने कड़ी मेहनत की है, लेकिन जैसे ही परीक्षा शुरू होती है, आप उत्तर नहीं देख सकते या अपने शिक्षक से मदद नहीं मांग सकते। आपको केवल उसी पर भरोसा करना है जो आप जानते हैं।

वर्तमान AI के साथ समस्या:
अधिकांश उन्नत AI मॉडल (जिन्हें लार्ज रीजनिंग मॉडल्स कहा जाता है) उन छात्रों की तरह हैं जो परीक्षा शुरू होते ही सीखना बंद कर देते हैं। वे किसी समस्या को सुलझाने के लिए बहुत अधिक मानसिक शक्ति का उपयोग करते हैं, लेकिन वे सीखने के दौरान अपने मस्तिष्क (brain) को वास्तव में बदलते नहीं हैं।

कुछ नए तरीके इस समस्या को ठीक करने की कोशिश करते हैं, जिससे AI परीक्षा देते समय खुद को "ग्रेड" दे सके। वह सोचता है, "हम्म, यह उत्तर सही लग रहा है," और अपने मस्तिष्क को अपडेट करता है।

खामी: यह एक ऐसे छात्र की तरह है जो गणित में कमजोर है और खुद अपने होमवर्क को ग्रेड दे रहा है। शुरुआत में, वह कुछ चीजें सही कर सकता है। लेकिन जल्द ही, वह अपने गलत उत्तरों के प्रति आश्वस्त होने लगता है। वह खुद को समझाने लगता है, "मुझे यकीन है कि यह सही है!" और अन्य संभावनाओं को तलाशना बंद कर देता है। वह अति-आत्मविश्वास के चक्र में फंस जाता है, उसका प्रदर्शन एक सीमा पर आकर रुक जाता है, और वह बेहतर होना बंद कर देता है। वह रचनात्मक समाधान भी आज़माना बंद कर देता है, केवल उन्हीं कुछ पैटर्नों को दोहराता रहता है जिन्हें वह लगता है कि काम करते हैं।

समाधान: TEMPO
यह शोध पत्र TEMPO (टेस्ट-टाइम एक्सपेक्टेशन-मैक्सिमाइज़ेशन पॉलिसी ऑप्टिमाइज़ेशन) पेश करता है। TEMPO को खुद को ग्रेड देने वाले छात्र के रूप में नहीं, बल्कि एक स्मार्ट, बारी-बारी से आने वाले ट्यूटर (शिक्षक) वाले छात्र के रूप में सोचें।

TEMPO कैसे काम करता है, इसे एक सरल उपमा (analogy) का उपयोग करके यहाँ समझाया गया है:

दो चरणों वाला नृत्य: "ट्यूटर" और "छात्र"

TEMPO काम को दो भूमिकाओं में विभाजित करता है जो बारी-बारी से काम करती हैं:

छात्र (द पॉलिसी): यह वह AI है जो कठिन, बिना लेबल वाले समस्याओं (परीक्षा के प्रश्नों) को हल करने की कोशिश कर रहा है। यह उत्तर उत्पन्न करता है और उनसे सीखने का प्रयास करता है।
ट्यूटर (द क्रिटिक): यह एक अलग AI मॉडल है जिसका एकमात्र काम छात्र के उत्तरों को ग्रेड देना है।

सीक्रेट सॉस: "रीकैलिब्रेशन" ब्रेक
अधिकांश अन्य तरीके AI को हमेशा के लिए खुद को ग्रेड देने देते हैं। TEMPO कुछ अलग करता है। यह एक सख्त कार्यक्रम का पालन करता है:

चरण 1: छात्र समाधान करता है (M-Step)। छात्र कई कठिन, अनसुलझे प्रश्नों पर काम करता है। वह सीखने और सुधार करने के लिए ट्यूटर के वर्तमान ग्रेडिंग कौशल का उपयोग करता है।
चरण 2: ट्यूटर वास्तविकता की जांच करता है (E-Step)। यही जादुई हिस्सा है। इससे पहले कि छात्र बहुत अधिक आत्मविश्वासी हो जाए, ट्यूटर छात्र के काम को ग्रेड देना बंद कर देता है। इसके बजाय, ट्यूटर सही उत्तरों वाली एक पाठ्यपुस्तक (textbook) पर वापस जाता है (एक लेबल किया गया डेटासेट) और सही ढंग से ग्रेड करना फिर से सीखता है। यह सुनिश्चित करता है कि उसके ग्रेडिंग के मानक भटक न जाएं।

यह क्यों काम करता है:

"नशे में ग्रेड देने वाले" (Drunk Grader) प्रभाव को रोकता है: यदि ट्यूटर केवल छात्र के काम को ग्रेड देता रहेगा, तो वह अंततः छात्र की गलतियों के साथ सहमत होने लगेगा (क्योंकि छात्र ही एकमात्र उत्तर उत्पन्न कर रहा है)। छात्र के काम को बीच-बीच में "पाठ्यपुस्तक" (सही उत्तरों) के माध्यम से ट्यूटर को मजबूर करके, TEMPO ग्रेडिंग को ईमानदार बनाए रखता है।
रचनात्मकता को जीवित रखता है: क्योंकि ट्यूटर ईमानदार है, वह केवल "सबसे सामान्य" उत्तर को पुरस्कृत नहीं करता है। वह अच्छे उत्तरों को पुरस्कृत करता है, भले ही वे अद्वितीय हों। यह AI को एक उबाऊ, दोहराव वाले लूप में ढहने से रोकता है।

परिणाम: क्या हुआ?

शोधकर्ताओं ने कठिन गणितीय समस्याओं (जैसे AIME 2024 और 2025) पर इसका परीक्षण किया।

पुराना तरीका: AI थोड़ा बेहतर होता था, एक दीवार से टकराता था और फिर सुधार करना बंद कर देता था। वह एक ही उत्तर बार-बार देने भी लगता था।
TEMPO का तरीका: AI जितना अधिक अभ्यास करता गया, उतना ही स्मार्ट होता गया।
- एक मॉडल (OLMO3-7B) की सटीकता 33% से बढ़कर 51% हो गई।
- दूसरा मॉडल (Qwen3-14B) 42% से बढ़कर 65% हो गया।

इससे भी अधिक प्रभावशाली बात यह है कि जबकि अन्य तरीके लगातार 16 बार एक ही उत्तर देने लगे (डाइवर्सिटी कोलैप्स), TEMPO ने 16 अलग-अलग उच्च-गुणवत्ता वाले समाधान उत्पन्न करना जारी रखा।

बड़ी तस्वीर (The Big Picture)

TEMPO को एक अंधेरे कमरे में अकेले अभ्यास करने (जहाँ आप अपनी बुरी आदतों को मजबूत कर सकते हैं) बनाम एक कोच के साथ अभ्यास करने (जो यह सुनिश्चित करने के लिए कभी-कभी नियम पुस्तिका की जांच करता है कि वे आपको गलत चालें तो नहीं सिखा रहे हैं) के बीच के अंतर के रूप में देखें।

"काम करने" और "नियमों की जांच करने" के बीच बारी-बारी से चलकर, TEMPO को यह क्षमता मिलती है कि वह अपने औपचारिक प्रशिक्षण को समाप्त करने के बाद भी सीखना और सुधारना जारी रख सके, जिससे "टेस्ट टाइम" सीखने के एक नए युग में बदल जाता है।

यहाँ शोध पत्र "TEMPO: Scaling Test-time Training for Large Reasoning Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज रीजनिंग मॉडल्स (LRMs) इन्फरेंस के समय व्यापक कंप्यूटेशन आवंटित करके जटिल कार्यों (जैसे, ओलंपियाड गणित, लॉजिक पज़ल्स) में उत्कृष्ट प्रदर्शन करते हैं। हालाँकि, उनके पैरामीटर्स मूल प्रशिक्षण के बाद स्थिर रहते हैं, जो उन्हें अनलेबल टेस्ट इंस्टेंस से सीखने से रोकते हैं।

टेस्ट-टाइम ट्रेनिंग (TTT) का लक्ष्य अनलेबल टेस्ट डेटा पर मॉडल पैरामीटर्स को अपडेट करना है ताकि मूल प्रशिक्षण वितरण (distribution) से परे क्षमताओं का विस्तार किया जा सके। वर्तमान TTT विधियाँ (जैसे, TTRL, EMPO, Theta-Evolve) बिना ग्राउंड-ट्रुथ लेबल के नीतियों (policies) को परिष्कृत करने के लिए स्व-जनित रिवॉर्ड सिग्नल (एन्ट्रॉपी, मेजॉरिटी वोटिंग, सेल्फ-कंसिस्टेंसी) पर निर्भर करती हैं। ये विधियाँ दो महत्वपूर्ण विफलता मोडों से ग्रस्त हैं:

परफॉरमेंस प्लेटो (Performance Plateaus): जैसे-जैसे मॉडल विकसित होता है, स्व-रिवॉर्ड सिग्नल स्व-सुदृढ़ (self-reinforcing) हो जाते हैं और संकीर्ण रीजनिंग पैटर्न की गुणवत्ता का अतिरंजित अनुमान लगाते हैं, जिससे प्रदर्शन तेजी से संतृप्त (saturate) हो जाता है।
डाइवर्सिटी कोलैप्स (Diversity Collapse): उच्च औसत स्कोर प्राप्त करने की खोज में, मॉडल एक ही प्रमुख रीजनिंग पैटर्न पर अभिसरित (converge) हो जाते हैं, जिससे वैध वैकल्पिक समाधान दब जाते हैं और $pass@k$ मेट्रिक्स में गिरावट आती है।

इसका मूल कारण बाहरी अंशांकन (external calibration) का अभाव है; जैसे-जैसे पॉलिसी बदलती है, रिवॉर्ड सिग्नल भटक (drift) जाता है, जिससे एक डिजेनरेट ऑप्टिमाइज़ेशन लूप बन जाता है।

2. कार्यप्रणाली: TEMPO (Methodology: TEMPO)

लेखक TEMPO (Test-time Expectation-Maximization Policy Optimization) प्रस्तावित करते हैं, जो एक एक्टर-क्रिटिक (Actor-Critic) डिज़ाइन का उपयोग करके रिवॉर्ड जनरेशन को पॉलिसी ऑप्टिमाइज़ेशन से अलग करता है, जिसे एक्सपेक्टेशन-मैक्सिमाइज़ेशन (EM) एल्गोरिदम के माध्यम से औपचारिक रूप दिया गया है।

सैद्धांतिक आधार (Theoretical Foundation)

उद्देश्य सही प्रतिक्रिया उत्पन्न करने की अपेक्षित लॉग-संभावना को अधिकतम करना है, $J(\theta) = \mathbb{E}_x[\log P(\text{Correct}|x; \theta)]$ । चूंकि अनलेबल टेस्ट डेटा ( $D_u$ ) पर शुद्धता (correctness) अज्ञात है, इसलिए लेखक एक एविडेंस लोअर बाउंड (ELBO) व्युत्पन्न करते हैं:
$J(\theta) \geq \mathcal{L}(q, \theta) = \sum_{x \in D_u} \sum_{y} q(y|x) \log \frac{P(\text{Correct}|y, x)\pi_\theta(y|x)}{q(y|x)}$
जहाँ $q(y|x)$ सही प्रतिक्रियाओं के पोस्टीरियर (posterior) का अनुमान लगाने वाला एक सहायक वितरण है।

वैकल्पिक प्रक्रिया (The Alternating Procedure)

TEMPO ELBO को सुदृढ़ करने के लिए दो चरणों के बीच बारी-बारी से चलता है:

E-स्टेप (क्रिटिक रीकैलिब्रेशन - Critic Recalibration):
- लक्ष्य: पोस्टीरियर वितरण $q(y|x)$ का अनुमान लगाना (अर्थात, एक प्रतिक्रिया के सही होने की संभावना)।
- तंत्र: एक क्रिटिक मॉडल ( $V_\phi$ ) को टोकन-स्तरीय शुद्धता की भविष्यवाणी करने के लिए एक छोटे, लेबल वाले डेटासेट ( $D_L$ ) पर आवधिक रूप से प्रशिक्षित किया जाता है।
- कार्य: क्रिटिक एक ग्राउंडेड, बाहरी रिवॉर्ड सिग्नल प्रदान करता है। यह मॉडल के वर्तमान आउटपुट को पुन: भारित (reweighting) करके पोस्टीरियर का अनुमान लगाता है: $q(y|x) \propto V_\phi(x, y_T) \pi_{\theta_0}(y|x)$ ।
- महत्व: यह सिग्नल को ग्राउंड ट्रुथ से बांधकर रिवॉर्ड ड्रिफ्ट को रोकता है।
M-स्टेप (पॉलिसी रिफाइनमेंट - Policy Refinement):
- लक्ष्य: फिक्स्ड $q(y|x)$ के दिए गए मान के आधार पर एक्टर पॉलिसी ( $\pi_\theta$ ) को अपडेट करना।
- तंत्र: एक्टर अनलेबल टेस्ट प्रश्नों ( $D_u$ ) पर ट्राजेक्टरीज जेनरेट करता है। पॉलिसी को पॉलिसी ग्रेडिएंट (PPO-शैली) का उपयोग करके अपडेट किया जाता है जहाँ एडवांटेज की गणना अपडेटेड क्रिटिक के वैल्यू प्रेडिक्शन के आधार पर की जाती है।
- एडवांटेज कैलकुलेशन: $A_t = R - V_\phi(x, y_{1:t})$ , जहाँ $R = V_\phi(x, y_T)$ अंतिम रिवॉर्ड है। यह उन टोकन्स को प्रोत्साहित करता है जो उच्च-मूल्य वाले परिणामों की ओर ले जाते हैं।

एल्गोरिदम फ्लो (Algorithm Flow)

लेबल किए गए डेटा पर मानक RLVR के माध्यम से एक्टर और क्रिटिक को इनिशियलाइज़ करें।
लूप:
- E-स्टेप: $D_L$ से सैंपल लें, क्रिटिक पैरामीटर्स $\phi$ को अपडेट करें।
- M-स्टेप: $D_u$ से सैंपल लें, प्रतिक्रियाएं जेनरेट करें, अपडेटेड क्रिटिक का उपयोग करके एडवांटेज की गणना करें, और एक्टर पैरामीटर्स $\theta$ को अपडेट करें।

3. मुख्य योगदान (Key Contributions)

TEMPO फ्रेमवर्क: एक स्केलेबल TTT फ्रेमवर्क जो पॉलिसी रिफाइनमेंट को आवधिक क्रिटिक रीकैलिब्रेशन के साथ इंटरलीव करके निरंतर प्रदर्शन लाभ प्राप्त करता है, जिससे पूर्ववर्ती स्व-रिवॉर्ड विधियों के डाइवर्सिटी कोलैप्स और प्लेटो को रोका जा सके।
एकीकृत EM परिप्रेक्ष्य: यह पेपर TTT विधियों का एक सैद्धांतिक एकीकरण प्रदान करता है, जो मौजूदा दृष्टिकोणों (TTRL, EMPO) को डिजेनरेट EM वेरिएंट के रूप में वर्णित करता है जो महत्वपूर्ण E-स्टेप (पोस्टीरियर रीकैलिब्रेशन) को छोड़ देते हैं। यह पहचानता है कि गायब E-स्टेप ही स्केलेबिलिटी विफलताओं का मूल कारण है।
अनुभवजन्य सत्यापन (Empirical Validation): मॉडल परिवारों (OLMO3, Qwen3) और स्केल्स (7B से 14B) में व्यापक प्रयोग दर्शाते हैं कि TEMPO गणित, तर्क (logic), और STEM डोमेन में सटीकता और आउटपुट विविधता दोनों में बेसलाइन से काफी बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने AIME 2024/2025/2026, OlymMath, BigBenchHard, AGI Eval, और ZebraLogic पर TEMPO का मूल्यांकन किया।

स्केलेबिलिटी (गणितीय तर्क - Math Reasoning):
- OLMO3-7B: AIME 2024 की सटीकता को 33.0% से 51.1% (+18.1 अंक) तक सुधारा।
- Qwen3-14B: AIME 2024 की सटीकता को 42.3% से 65.8% (+23.5 अंक) तक सुधारा।
- बेसलाइन (TTRL, EMPO) के विपरीत, जो शुरुआती लाभ के बाद प्लेटो हो गए थे, TEMPO ने 350+ ट्रेनिंग स्टेप्स के दौरान एक निरंतर ऊपर की ओर जाने वाला प्रक्षेपवक्र (trajectory) दिखाया।
विविधता संरक्षण (Diversity Preservation):
- बेसलाइन डाइवर्सिटी कोलैप्स से ग्रस्त थे (उदाहरण के लिए, जब $avg@16$ बढ़ा, तो TTRL का $pass@8$ काफी गिर गया)।
- TEMPO ने उच्च $pass@k$ स्कोर बनाए रखा (उदाहरण के लिए, Qwen3-14B ने AIME 2024 पर 73.3% pass@8 प्राप्त किया जबकि TTRL का 56.7% था), जो सिद्ध करता है कि यह कई वैध रीजनिंग पथों को सुरक्षित रखता है।
सामान्यीकरण (Generalization):
- TEMPO गैर-गणितीय डोमेन में भी सामान्यीकृत हुआ। BBH और AGI Eval पर, OLMO3-7B ने क्रमशः +21.4 और +24.5 अंकों की वृद्धि देखी, जो स्पेशलाइज्ड फ्रंटियर मॉडल्स से बेहतर है।
एब्लेशन स्टडीज (Ablation Studies):
- फ्रोजन क्रिटिक (Frozen Critic): E-स्टेप को हटाने (क्रिटिक को स्थिर रखने) से ~100 स्टेप्स के बाद प्रदर्शन प्लेटो हो गया, जो आवधिक रीकैलिब्रेशन की आवश्यकता की पुष्टि करता है।
- सुपरवाइज्ड कंटीन्यूएशन (Supervised Continuation): केवल लेबल किए गए डेटा पर प्रशिक्षण जारी रखने से नगण्य लाभ हुआ, जो सिद्ध करता है कि आगे सुधार के लिए नए टेस्ट-टाइम समस्याओं की आवश्यकता है।

5. महत्व (Significance)

सैद्धांतिक अंतर्दृष्टि: यह पेपर टेस्ट-टाइम ट्रेनिंग को केवल एक ह्यूरिस्टिक इंजीनियरिंग ट्रिक के रूप में नहीं, बल्कि एक अपूर्ण EM एल्गोरिदम के रूप में पुनर्गठित करता है। यह स्थापित करता है कि एविडेंस लोअर बाउंड को विचलन (divergence) से बचाने के लिए बाहरी अंशांकन (E-स्टेप) गणितीय रूप से आवश्यक है।
व्यावहारिक प्रभाव: TEMPO प्रदर्शित करता है कि अतिरिक्त टेस्ट-टाइम कंप्यूट को प्रभावी ढंग से निरंतर क्षमता लाभ में बदला जा सकता है, जो ऑफलाइन ट्रेनिंग और स्व-रिवॉर्ड लूप द्वारा लगाई गई "सीमा" (ceiling) को तोड़ता है।
मजबूती (Robustness): एक ग्राउंडेड क्रिटिक को बनाए रखकर, TEMPO "स्व-सुदृढ़ीकरण जाल" (self-reinforcement trap) को हल करता है, जिससे मॉडल एकल मोड में ढलने के बजाय विविध, उच्च-गुणवत्ता वाले रीजनिंग पथों का पता लगा सकते हैं।

निष्कर्ष: TEMPO बड़े रीजनिंग मॉडल्स को वास्तव में अनुकूलनीय बनाने की दिशा में एक महत्वपूर्ण कदम है, जो टेस्ट-टाइम लर्निंग के लिए एक सिद्धांत-आधारित, स्केलेबल और विविधता-संरक्षण दृष्टिकोण प्रदान करता है।