💻 computer science

REVES: REvision and VErification--Augmented Training for Test-Time Scaling

यह शोध पत्र REVES का प्रस्ताव करता है, जो एक दो-चरणीय पुनरावृत्ति ढांचा (two-stage iterative framework) है जो सफल रिकवरी प्रक्षेपवक्रों (trajectories) से मध्यवर्ती "नियर-मिस" (near-miss) चरणों को विच्छेदित संशोधन और सत्यापन प्रॉम्प्ट्स में परिवर्तित करके प्रशिक्षण को संवर्धित करता है, जिससे कुशल ऑफ-पॉलिसी लर्निंग सक्षम होती है जो कोडिंग, गणितीय और बाधा-संतोष (constraint-satisfaction) कार्यों में मानक मल्टी-टर्न आरएल (RL) और विकासवादी खोज (evolutionary search) विधियों से काफी बेहतर प्रदर्शन करती है।

मूल लेखक: Yuanxin Liu, Ruida Zhou, Xinyan Zhao, Amr Sharaf, Hongzhou Lin, Arijit Biswas, Mohammad Ghavamzadeh, Zhaoran Wang, Mingyi Hong

प्रकाशित 2026-06-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuanxin Liu, Ruida Zhou, Xinyan Zhao, Amr Sharaf, Hongzhou Lin, Arijit Biswas, Mohammad Ghavamzadeh, Zhaoran Wang, Mingyi Hong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ REVES (REvision and VErification–Augmented Training for Test-Time Scaling) पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

मुख्य विचार: क्यों "पहली कोशिश" काफी नहीं है

कल्पना कीजिए कि आप एक कठिन परीक्षा दे रहे हैं। अधिकांश लोग पहली बार में ही सही उत्तर नहीं दे पाते। इसके बजाय, वे सोचते हैं, "रुको, यह सही नहीं लग रहा है," अपना काम चेक करते हैं, एक गलती पाते हैं, और फिर से प्रयास करते हैं।

वर्तमान AI मॉडल (लार्ज लैंग्वेज मॉडल्स) सवालों के जवाब देने में माहिर हैं, लेकिन उन्हें अक्सर "वन-शॉट" (एक बार में ही सोचने वाले) विचारक के रूप में प्रशिक्षित किया जाता है। उन्हें तुरंत अपना सबसे अच्छा उत्तर देने और रुक जाने के लिए सिखाया जाता है। समस्या यह है कि जब ये मॉडल वास्तविक दुनिया में तैनात किए जाते हैं, तो उन्हें फीडबैक (जैसे कोडिंग में कंपाइलर एरर या गणित में लॉजिक चेक) के आधार पर अपने उत्तरों को संशोधित करने की आवश्यकता होती है।

इस पेपर के लेखक तर्क देते हैं कि एक मॉडल को "वन-शॉट जीनियस" बनने के लिए प्रशिक्षित करना उसे एक अच्छा "संशोधक" (reviser) नहीं बनाता। आप किसी को एक बेहतरीन संपादक बनाना नहीं सीख सकते यदि आप उन्हें केवल ऐसे टेस्ट देते हैं जहाँ उन्हें एक ही बार में निबंध को पूरी तरह से सही लिखना हो।

समस्या: "अंधा" कोच

पेपर इस खामी की ओर इशारा करता है कि हम वर्तमान में AI को उसके काम को संशोधित करने के लिए कैसे प्रशिक्षित करते हैं।

उपमा: मैराथन धावक
कल्पना कीजिए कि एक धावक को मैराथन के लिए प्रशिक्षित किया जा रहा है।

मानक प्रशिक्षण: आप धावक को पूरी 26 मील दौड़ने देते हैं। यदि वह समाप्त करता है, तो आप उसे ट्रॉफी देते हैं। यदि वह 10वें मील पर लड़खड़ाता है, चलता रहता है, और अंत में समाप्त करता है, तो भी आप उसे ट्रॉफी देते हैं।
खामी: धावक सोचता है, "शानदार! 10वें मील पर लड़खड़ाना जीतने की रणनीति का हिस्सा था!" वह यह नहीं सीख पाता कि लड़खड़ाना एक गलती थी। वह केवल यह जानता है कि अंतिम परिणाम अच्छा था।

AI के संदर्भ में, इसे ट्रैजेक्टरी-लेवल क्रेडिट कहा जाता है। यदि एक मॉडल तीन गलत अनुमान लगाता है और चौथी कोशिश में सही उत्तर प्राप्त करता है, तो मानक प्रशिक्षण उन तीनों गलत अनुमानों को "क्रेडिट" देता है क्योंकि वे सफलता के मार्ग का हिस्सा थे। यह मॉडल को भ्रमित करता है।

समाधान: REVES (एक "ड्रिल सार्जेंट" दृष्टिकोण)

लेखक REVES नामक एक नई विधि प्रस्तावित करते हैं। पूरे रेस को देखने के बजाय, वे इसे व्यक्तिगत चरणों में तोड़ देते हैं।

उपमा: स्पोर्ट्स ड्रिल
REVES प्रशिक्षण को "पूरी रेस दौड़ें" से बदलकर "विशिष्ट ड्रिल्स का अभ्यास करें" में बदल देता है।

गलती पकड़ें: AI एक समस्या को हल करने की कोशिश करता है। वह अटक जाता है या एक "नियर-मिस्स" (लगभग सही, पर गलत) त्रुटि करता है।
रुकें और अलग करें: AI को आगे बढ़ने देने के बजाय कि वह किस्मत के भरोसे अंत तक जाए, REVES प्रक्रिया को वहीं रोक देता है।
दो-भाग वाला ड्रिल:
- संशोधन ड्रिल (The Revision Drill): AI को वह गलती दिखाई जाती है और पूछा जाता है, "आप इस विशिष्ट त्रुटि को कैसे ठीक करेंगे?"
- सत्यापन ड्रिल (The Verification Drill): AI को वह गलती दिखाई जाती है और पूछा जाता है, "क्या यह उत्तर सही है या गलत? क्यों?"

ऐसा करके, AI दो अलग-अलग कौशल सीखता है:

एक विशिष्ट त्रुटि को कैसे ठीक करें (संशोधन)।
एक त्रुटि को कैसे पहचानें (सत्यापन)।

यह कैसे काम करता है (दो-चरणीय लूप)

पेपर एक चक्र का वर्णन करता है जो बार-बार होता है:

चरण 1: सिमुलेशन (डेटा ऑग्मेंटेशन)
AI कई समस्याओं को हल करने का प्रयास करता है। जब वह कुछ प्रयासों के बाद सफल होता है, तो सिस्टम उन "नियर-मिस्स" क्षणों को सहेज लेता है। वे क्षण नए अभ्यास प्रश्नों में बदल जाते हैं: "यहाँ एक गलत उत्तर है; इसे ठीक करें," और "यहाँ एक गलत उत्तर है; इसे गलत बताएं।"
चरण 2: प्रशिक्षण (सिंगल-टर्न RL)
AI को इन नए अभ्यास प्रश्नों पर मानक, सरल प्रशिक्षण विधियों का उपयोग करके प्रशिक्षित किया जाता है। वह त्रुटियों को ठीक करना और उन्हें पहचानना सीखता है।
दोहराव: AI बेहतर होता जाता है, इसलिए "नियर-मिस्स" त्रुटियां कठिन होती जाती हैं। सिस्टम नए, कठिन ड्रिल्स उत्पन्न करता है, और यह चक्र जारी रहता है।

परिणाम: उन्होंने क्या पाया?

लेखकों ने तीन मुख्य प्रकार की चुनौतियों पर इसका परीक्षण किया:

कोडिंग: AI को कंप्यूटर प्रोग्राम लिखने थे। REVES ने इसे पिछले तरीकों की तुलना में बग्स को बहुत बेहतर तरीके से ठीक करने में मदद की, जिससे इसने मानक कोडिंग बेंचमार्क पर काफी अधिक स्कोर किया।
गणित: AI ने जटिल गणितीय समस्याओं को हल किया। इसने अपने स्वयं के लॉजिक एरर्स को प्रभावी ढंग से सुधारना सीखा।
पहेलियाँ और "सर्कल पैकिंग": उन्होंने "सर्कल पैकिंग" (एक वर्ग में वृत्तों को फिट करना) नामक एक बहुत कठिन ज्यामिति समस्या पर परीक्षण किया।
- आश्चर्य: REVES के साथ प्रशिक्षित एक अपेक्षाकृत छोटा AI मॉडल (4 बिलियन पैरामीटर्स) उन विशाल, अत्यधिक जटिल सिस्टम के समान प्रदर्शन करता है जो विशाल इवोल्यूशनरी सर्च विधियों (जो हजारों रैंडम वेरिएशंस का प्रयास करते हैं) का उपयोग करते हैं।
- सामान्यीकरण (Generalization): भले ही AI को केवल गणित और कोडिंग पर प्रशिक्षित किया गया था, फिर भी यह उन लॉजिक पहेलियों (जैसे सुडोकू और N-Queens) को हल करने में बहुत बेहतर हो गया जिन्हें उसने पहले कभी नहीं देखा था। यह सुझाव देता है कि "गलतियों को सुधारने" का कौशल एक सामान्य सुपरपावर है, न कि केवल गणित के लिए।

मुख्य निष्कर्ष

पेपर का दावा है कि एक एकल चरण को संशोधित करने की मॉडल की क्षमता में सुधार स्वतः ही इसकी किसी भी जटिल रणनीति (जैसे ट्री सर्च या इवोल्यूशनरी एल्गोरिदम) का उपयोग करने की क्षमता में सुधार करता है जिसमें काम की जाँच और सुधार शामिल है।

संक्षेप में: AI को केवल सही उत्तर प्राप्त करना न सिखाएं। उसे यह सिखाएं कि वह कब गलत है और उसे कैसे ठीक किया जाए। "नियर-मिस्स" विफलताओं को विशिष्ट अभ्यास ड्रिल्स में बदलकर, AI एक बहुत अधिक स्मार्ट, आत्म-सुधार करने वाला विचारक बन जाता है।

तकनीकी सारांश: REVES – REvision and VErification–Augmented Training for Test-Time Scaling

1. समस्या विवरण (Problem Statement)

जटिल तर्क कार्यों (complex reasoning tasks) में तैनात बड़े भाषा मॉडल (LLMs) शायद ही कभी अपने पहले प्रयास में सही उत्तर देते हैं। वास्तविक दुनिया के वर्कफ़्लो अक्सर टेस्ट-टाइम स्केलिंग (Test-Time Scaling - TTS) एल्गोरिदम पर निर्भर करते हैं, जैसे कि अनुक्रमिक संशोधन (sequential revision), ट्री सर्च (tree search), या विकासवादी परिशोधन (evolutionary refinement), जो पिछले प्रयासों और फीडबैक के आधार पर प्रतिक्रियाओं को पुनरावृत्ति (iteratively) के रूप में उत्पन्न करते हैं।

लेखकों द्वारा पहचाना गया मुख्य मुद्दा मानक पोस्ट-ट्रेनिंग उद्देश्यों और इन बहु-चरणीय अनुमान गतिकी (multi-step inference dynamics) के बीच एक मौलिक विसंगति (fundamental misalignment) है:

मानक उद्देश्य: RLHF, RLVR, और GRPO जैसी विधियाँ एक सिंगल-शॉट अपेक्षित पुरस्कार ( $J_{OneShot}$ ) को अनुकूलित करती हैं। वे मॉडल को समस्या से उत्तर तक एक स्थिर मैपिंग (static mapping) के रूप में मानती हैं।
विसंगति: TTS एल्गोरिदम बहु-चरणीय प्रक्षेपवक्र (multi-step trajectories) के माध्यम से कार्य करते हैं। मानक बहु-टर्न सुदृढीकरण शिक्षण (multi-turn Reinforcement Learning - RL) पूरे प्रक्षेपवक्रों पर अनुकूलन करके इसे ठीक करने का प्रयास करता है। हालाँकि, यह दृष्टिकोण पथ-निर्भर क्रेडिट असाइनमेंट (path-dependent credit assignment) से ग्रस्त है। "गलत $\to$ गलत $\to$ सही" जैसे प्रक्षेपवक्र में, मानक RL मध्यवर्ती "गलत" चरणों को सकारात्मक क्रेडिट देता है क्योंकि अंतिम परिणाम सफल रहा। यह एक पक्षपाती लर्निंग सिग्नल बनाता है जो मॉडल को विशेष रूप से मध्यवर्ती त्रुटियों को पहचानने और सुधारने के लिए सिखाने में विफल रहता है।

लेखक पूछते हैं: क्या हम एक ऐसा पोस्ट-ट्रेनिंग एल्गोरिदम डिज़ाइन कर सकते हैं जो केवल एक विशिष्ट रोलआउट के अंतिम परिणाम के बजाय, स्पष्ट रूप से मॉडल की अनुक्रमिक संशोधन (sequential revision) करने की क्षमता को अनुकूलित करे?

2. कार्यप्रणाली: REVES फ्रेमवर्क (Methodology: The REVES Framework)

लेखक REVES (REvision and VErification–Augmented Training) प्रस्तावित करते हैं, जो सीधे अनुक्रमिक संशोधन (Sequential Revision - SR) उद्देश्य ( $J_{\phi_{SR}}$ ) को अनुकूलित करने के लिए डिज़ाइन किया गया एक दो-चरणीय पुनरावृत्त (iterative) फ्रेमवर्क है।

सैद्धांतिक आधार (Theoretical Foundation)

यह शोध पत्र स्थापित करता है कि SR उद्देश्य को प्रति-अवस्था एक-चरणीय रिकवरी संभावनाओं (per-state one-step recovery probabilities) के भारित योग में सटीक रूप से विघटित (exactly decomposed) किया जा सकता है (लेम्मा 4.1)।
$J_{\phi_{SR}}(\theta) = \sum_{z} \rho_{\theta}(z) \mathbb{E}_{y' \sim \pi_\theta(\cdot|z)} [r^*(x, y')]$
जहाँ:

$z$ एक संशोधन अवस्था (समस्या + पिछला प्रयास + फीडबैक) का प्रतिनिधित्व करता है।
$\rho_{\theta}(z)$ अवस्था $z$ के अपेक्षित विज़िट काउंट (expected visit count) को दर्शाता है।
$V_\pi(z)$ एक एकल चरण में अवस्था $z$ से सही उत्तर तक उबरने (recover) की संभावना है।

यह विघटन प्रकट करता है कि $J_{\phi_{SR}}$ को अनुकूलित करने के लिए लंबे समय तक चलने वाले प्रक्षेपवक्र क्रेडिट असाइनमेंट की आवश्यकता नहीं है। इसके बजाय, इसके लिए प्रत्येक मध्यवर्ती अवस्था पर रिकवरी की संभावना को अधिकतम करने की आवश्यकता है।

दो-चरणीय एल्गोरिदम (The Two-Stage Algorithm)

REVES डेटा संवर्धन (data augmentation) और पॉलिसी ऑप्टिमाइज़ेशन के बीच बारी-बारी से कार्य करता है:

चरण I: ऑनलाइन डेटा/प्रॉम्प्ट संवर्धन (Online Data/Prompt Augmentation)

वर्तमान पॉलिसी $\pi_\theta$ समस्याओं के एक सेट पर अनुक्रमिक संशोधन रोलआउट (Sequential Revision rollouts) करती है।
फिल्टरिंग: केवल वे प्रक्षेपवक्र जिन्हें बजट $K$ के भीतर सफलतापूर्वक रिकवर किया गया है, उन्हें रखा जाता है।
डिकपलिंग (Decoupling): प्रत्येक सफल प्रक्षेपवक्रम के लिए, मध्यवर्ती "नियर-मिस" (गलत) उत्तरों को दो प्रकार के प्रशिक्षण प्रॉम्प्ट्स में परिवर्तित किया जाता है:
- संशोधन प्रॉम्प्ट (Revision Prompts): "समस्या $x$ और पिछले प्रयास $y_{prev}$ (जो कि गलत है) को देखते हुए, एक सुधारा गया समाधान तैयार करें।"
- सत्यापन प्रॉम्प्ट (Verification Prompts): "समस्या $x$ और प्रस्तावित उत्तर $y$ को देखते हुए, निर्णय लें कि क्या यह सही है।"
यह एक ऐसा संवर्धित डेटासेट बनाता है जहाँ मॉडल विशिष्ट त्रुटि अवस्थाओं से उबरना और स्वयं का सत्यापन करना सीखता है।

चरण II: सिंगल-टर्न पॉलिसी ऑप्टिमाइज़ेशन (Single-Turn Policy Optimization)

पॉलिसी को संवर्धित डेटासेट पर मानक सिंगल-टर्न RL (जैसे, GRPO या PPO) का उपयोग करके प्रशिक्षित किया जाता है।
क्योंकि डेटा को सिंगल-टर्न (अवस्था $\to$ रिकवरी) जोड़ों में अलग (decouple) कर दिया गया है, इसलिए प्रशिक्षण मल्टी-टर्न प्रक्षेपवक्र क्रेडिट असाइनमेंट के उच्च विचरण (variance) और पूर्वाग्रह (bias) से बचता है।
अपडेट की गई पॉलिसी का उपयोग अगले इपॉक (epoch) के लिए नया संवर्धित डेटा उत्पन्न करने के लिए किया जाता है, जिससे यह सुनिश्चित होता है कि प्रशिक्षण वितरण मॉडल के वर्तमान विफलता मोड के साथ संरेखित रहे।

दक्षता और स्टॉपिंग नियम (Efficiency and Stopping Rules)

ऑफ-पॉलिसी दक्षता (Off-Policy Efficiency): डेटा जनरेशन (चरण I) प्रशिक्षण के साथ एसिंक्रोनस और समानांतर में चल सकता है, जिससे सिंक्रोनस मल्टी-टर्न रोलआउट की कम्प्यूटेशनल बाधा से बचा जा सकता है।
टेस्ट-टाइम स्टॉपिंग (Test-Time Stopping): चूंकि टेस्ट-टाइम पर ग्राउंड-ट्रुथ वेरीफायर अक्सर उपलब्ध नहीं होते हैं, REVES सरोगेट स्टॉपिंग नियमों का उपयोग करता है:
- गणित (Math): यह पता लगाने के लिए "टेल कॉन्फिडेंस" (Tail Confidence) मेट्रिक्स का उपयोग करता है कि मॉडल का आत्मविश्वास कब स्थिर होता है या गिरता है।
- कोडिंग (Coding): सार्वजनिक टेस्ट केस निष्पादन परिणामों को प्रॉक्सी रिवॉर्ड के रूप में उपयोग करता है।

3. प्रमुख योगदान (Key Contributions)

वैचारिक (Conceptual): यह शोध पत्र टेस्ट-टाइम स्केलिंग को एक मेटा-RL समस्या के रूप में फ्रेम करता है। यह सिद्ध करता है (थ्योरम 3.1) कि अनुक्रमिक संशोधन इनपुट पर एक-चरणीय रिकवरी संभावना में सुधार करना सैद्धांतिक रूप से किसी भी ऐसे TTS एल्गोरिदम के प्रदर्शन में लाभ की गारंटी देता है जो संशोधन (MCTS और इवोल्यूशनरी सर्च सहित) का उपयोग करता है, बशर्ते कि प्रशिक्षण वितरण परिनियोजन इनपुट को कवर करता हो।
कार्यप्रणाली संबंधी (Methodological): लेखक REVES का प्रस्ताव करते हैं, जो मध्यवर्ती त्रुटियों को डिकपल्ड ट्रेनिंग स्टेट्स के रूप में पुनर्गठित करता है। "नियर-मिस" उत्तरों को संशोधन और सत्यापन प्रॉम्प्ट्स में बदलकर, यह विधि लर्निंग सिग्नल को वैश्विक प्रक्षेपवक्र सफलता के बजाय स्थानीय रिकवरी (local recovery) तक सीमित करती है।
अनुभवजन्य (Empirical): यह विधि विविध डोमेन (कोडिंग, गणित, पहेलियाँ) में निरंतर सुधार प्रदर्शित करती है और बिना किसी विशिष्ट प्रशिक्षण के आउट-ऑफ-डिस्ट्रीब्यूशन कार्यों में सामान्यीकरण (generalize) करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 3B से 7B पैरामीटर्स (Qwen2.5, Qwen3, DeepSeek-R1-Distill) वाले मॉडलों का उपयोग करके कई बेंचमार्क पर REVES का मूल्यांकन किया।

कोडिंग (LiveCodeBench): REVES ने सिंगल-शॉट RL बेसलाइन पर +6.5 अंक और मानक मल्टी-टर्न ट्रेनिंग पर +4.0 अंक की बढ़त हासिल की। इसने विभिन्न टेस्ट-टाइम बजटों में मजबूती दिखाई।
गणित (AIME24/25, MATH500): "ऑरेकल" स्टॉपिंग (सही उत्तर मिलने पर तुरंत रुकना) के तहत, REVES ने अनुक्रमिक संशोधन क्षमता में पर्याप्त लाभ दिखाया। ये लाभ "सेल्फ-कॉन्फिडेंस" स्टॉपिंग नियमों के तहत भी बने रहे, जो व्यावहारिक परिनियोजन के लिए सीखी गई क्षमता के हस्तांतरण को इंगित करते हैं।
सर्कल पैकिंग (Circle Packing): REVES के साथ प्रशिक्षित एक Qwen3-4B मॉडल ने Gemini-2.0 Pro/Flash और Qwen3-8B पर निर्मित बहुत बड़े इवोल्यूशनरी सर्च सिस्टम द्वारा पहले प्राप्त SOTA (स्टेट-ऑफ-द-आर्ट) परिणामों (2.635983 त्रिज्या का योग) के बराबर प्रदर्शन किया। यह एक छोटे बेस मॉडल और काफी कम रोलआउट के साथ प्राप्त किया गया।
आउट-ऑफ-डिस्ट्रीब्यूशन सामान्यीकरण (Out-of-Distribution Generalization): केवल गणित और कोड डेटा पर प्रशिक्षित मॉडलों ने कंस्ट्रेंट-सैटिस्फैक्शन पहेलियों (n_queens, mini_sudoku) पर महत्वपूर्ण प्रदर्शन सुधार दिखाया, जहाँ शुद्धता पूरी तरह से समस्या की बाधाओं (constraints) द्वारा परिभाषित होती है, जो मजबूत क्रॉस-टास्क सामान्यीकरण को प्रदर्शित करता है।
अन्य TTS एल्गोरिदम में स्थानांतरण (Transfer to Other TTS Algorithms): जैसा कि थ्योरम 3.1 में भविष्यवाणी की गई थी, REVES के साथ प्रशिक्षित मॉडलों ने MCTS, AB-MCTS वेरिएंट और माइंड इवोल्यूशन (Mind Evolution) सहित अन्य रिवीजन-आधारित TTS एल्गोरिदम के प्रदर्शन में सुधार किया।

5. महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि REVES LLM प्रशिक्षण में एक महत्वपूर्ण अंतर को संबोधित करता है: सिंगल-शॉट ट्रेनिंग उद्देश्यों और बहु-चरणीय टेस्ट-टाइम रीजनिंग के बीच की विसंगति।

दक्षता (Efficiency): पूर्ण-प्रक्षेपवक्र अनुकूलन के बजाय प्रति-अवस्था रिकवरी पर ध्यान केंद्रित करके, REVES लंबे समय तक चलने वाले सैंपलिंग के कम्प्यूटेशनल ओवरहेड को कम करता है और एक अधिक सटीक, कम पक्षपाती लर्निंग सिग्नल प्रदान करता है।
स्केलेबिलिटी (Scalability): यह विधि ऑग्मेंटेशन बजट के साथ प्रभावी ढंग से स्केल करती है और छोटे मॉडलों (4B) को जटिल अनुकूलन समस्याओं पर बहुत बड़े सिस्टम के बराबर प्रदर्शन करने की अनुमति देती है।
सामान्यीकरण (Generalizability): यह दृष्टिकोण केवल विशिष्ट डोमेन तक सीमित नहीं है; यह मॉडल की मौलिक क्षमता को "फिर से सोचने" और स्वयं को सुधारने में सुधार करता है, जिससे किसी भी इंफरेंस रणनीति को लाभ होता है जो संशोधन पर निर्भर करती है।

लेखक निष्कर्ष निकालते हैं कि टेस्ट-टाइम स्केलिंग (विशेष रूप से अनुक्रमिक संशोधन) के विशिष्ट तंत्र के साथ संरेखित करना LLMs की पूर्ण तर्क क्षमता को अनलॉक करने के लिए एक आवश्यक कदम है, विशेष रूप से कोडिंग, गणित और वैज्ञानिक खोज जैसे सत्यापन योग्य डोमेन में।