🤖 AI

Think Again or Think Longer? Selective Verification for Budget-Aware Reasoning

यह शोध पत्र \sevra को प्रस्तुत करता है, जो एक सर्विंग-लेयर कंट्रोलर है जो सटीकता और कंप्यूट लागत के बीच संतुलन बनाने के लिए चयनात्मक रूप से सत्यापन (verification) को लागू करता है, यह प्रदर्शित करते हुए कि जबकि चयनात्मक रिकवरी हमेशा चालू रहने वाले सत्यापन की तुलना में हानिकारक बदलावों (harmful flips) और टोकन उपयोग को कम करती है, प्रारंभिक रीजनिंग बजट को अनुकूलित करना अक्सर एक बेहतर लागत-सटीकता सीमा (cost-accuracy frontier) प्रदान करता है।

मूल लेखक: Sajib Acharjee Dip, Dawei Zhou, Liqing Zhang

प्रकाशित 2026-06-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Sajib Acharjee Dip, Dawei Zhou, Liqing Zhang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, लेकिन थोड़ा अधीर, गणित का ट्यूटर (शिक्षक) है। आप उन्हें एक कठिन समस्या देते हैं, और वे उस पर काम करना शुरू कर देते हैं। कभी-कभी, वे पूरी तरह से सही काम पूरा करते हैं। कभी-कभी, वे बीच में ही रुक जाते हैं क्योंकि उनका समय (या "टोकन") खत्म हो जाता है। और कभी-कभी, वे सही उत्तर के साथ समाप्त करते हैं, लेकिन फिर भ्रमित होकर अपना मन बदल लेते हैं और गलत उत्तर दे देते हैं।

यह शोध पत्र, जिसका शीर्षक "Think Again or Think Longer?" (फिर से सोचें या अधिक देर तक सोचें?) है, इन AI ट्यूटर्स को चलाने वाली कंपनियों से एक सरल प्रश्न पूछता है: जब ट्यूटर अपना पहला ड्राफ्ट पूरा कर लेता है, तो क्या आपको उन्हें "फिर से सोचने" (think again) के लिए काम जारी रखने देना चाहिए, या आपको शुरुआत में ही उन्हें "अधिक देर तक सोचने" (think longer) के लिए अधिक समय दे देना चाहिए?

लेखक एक प्रणाली पेश करते हैं जिसे SEVRA (Selective Verification for Reasoning Allocation) कहा जाता है। SEVRA को ट्यूटर के कार्यालय के बाहर खड़े एक स्मार्ट ट्रैफिक पुलिस के रूप में समझें।

ट्रैफिक पुलिस का काम

जब ट्यूटर अपना पहला प्रयास पूरा कर लेता है, तो ट्रैफिक पुलिस (SEVRA) कुछ त्वरित संकेतों को देखती है:

क्या उन्होंने वाक्य पूरा किया, या वे बीच में ही रुक गए?
इसमें कितना समय लगा?
क्या उन्होंने उत्तर को समाप्त करने के लिए किसी विशेष "फाइनलाइज़र" टूल का उपयोग किया?

इन संकेतों के आधार पर, पुलिस निर्णय लेती है:

स्वीकार करें (Accept): उत्तर अच्छा लग रहा है। इसे तुरंत उपयोगकर्ता को भेज दें।
फिर से सोचें (Verify): उत्तर संदिग्ध या अधूरा लग रहा है। ट्यूटर को अपना काम दोबारा जांचने और उसे ठीक करने के लिए वापस भेजें।
अधिक देर तक सोचें (The Alternative): उन्हें वापस भेजने के बजाय, शुरुआत में ही उन्हें एक बड़ी समय सीमा दें ताकि वे बीच में न रुकें।

बड़ी खोज: "अधिक देर तक सोचना" (Think Longer) जीतता है

शोधकर्ताओं ने गणित की समस्याओं (जैसे MATH500 और GSM8K) पर इसका परीक्षण किया और पाया कि यह आश्चर्यजनक है:

"फिर से सोचें" की रणनीति (SEVRA): यह ट्यूटर को हर उत्तर की बिना सोचे-समझे जांच करने से बेहतर है। यह केवल उन उत्तरों की जांच करके जो वास्तव में सुधार की आवश्यकता रखते हैं, समय और पैसा बचाता है। यह ट्यूटर को अनजाने में एक सही उत्तर को गलत में बदलने से भी रोकता है (जो कि आश्चर्यजनक रूप से अक्सर होता है जब आप उन्हें "फिर से सोचने" के लिए कहते हैं)।
"अधिक देर तक सोचें" की रणनीति: हालांकि, सबसे कम लागत के लिए उच्चतम सटीकता प्राप्त करने का सबसे अच्छा तरीका ट्यूटर को वापस भेजना नहीं था। बल्कि, यह केवल उन्हें पहली बार में ही समस्या हल करने के लिए अधिक समय देना था ताकि वे बीच में न रुकें।

उपमा (Analogy):
कल्पना कीजिए कि आप एक केक बना रहे हैं।

SEVRA एक गुणवत्ता निरीक्षक (quality inspector) को काम पर रखने जैसा है जो केक बेक होने के बाद उसे चखता है। यदि वह जल गया है, तो वे उसे ठीक करते हैं। यदि वह एकदम सही है, तो वे उसे जाने देते हैं। यह हर केक को चखने से बेहतर है, लेकिन...
"लॉन्गर बजट" (Longer Budget) ऐसा है जैसे बेकर को शुरुआत में ही ओवन में अधिक समय देना ताकि केक पहली बार में ही एकदम सही आए। अध्ययन में पाया गया कि निरीक्षक को काम पर रखने की तुलना में शुरुआत में बेकर को अधिक समय देना वास्तव में सस्ता और अधिक विश्वसनीय था।

सब कुछ क्यों नहीं जांचते?

यह शोध पत्र चेतावनी देता है कि AI को हर एक समस्या पर "फिर से सोचने" के लिए कहना खतरनाक है।

"ओवरथिंकर" (अति-विचार करने वाला) प्रभाव: कभी-कभी, AI एक सटीक उत्तर प्राप्त करता है, लेकिन जब आप उसे दोबारा जांचने के लिए कहते हैं, तो वह खुद पर संदेह करने लगता है और सही उत्तर को गलत में बदल देता है।
"बर्बादी" (Waste) प्रभाव: आसान समस्याओं की जांच करना पैसे की बर्बादी है।

"कॉमन सेंस" का मोड़

शोधकर्ताओं ने गैर-गणितीय प्रश्नों (CommonsenseQA) पर भी इसका परीक्षण किया, जैसे "एक गाय के मालिक कहाँ रहता है?"

यहाँ, "फिर से सोचें" की रणनीति विफल रही। AI को सरल सामान्य ज्ञान वाले उत्तरों को दोबारा जांचने के लिए कहना उन्हें और भी खराब बना देता है। यह एक व्यक्ति से यह पूछने जैसा है कि पानी गीला क्यों है; वे जटिल, गलत सिद्धांत बनाने लगते हैं।
यह साबित करता है कि "सर्वश्रेष्ठ" रणनीति पूरी तरह से काम के प्रकार पर निर्भर करती है। गणित के लिए, जांच करना उपयोगी है (लेकिन अधिक समय देना बेहतर है)। सामान्य ज्ञान के लिए, पहले उत्तर पर भरोसा करें।

वास्तविक दुनिया के उपयोग के लिए निष्कर्ष

यह शोध पत्र उन लोगों के लिए एक सरल नियम के साथ समाप्त होता है जो AI सिस्टम बना रहे हैं:

सबसे पहले, प्रारंभिक बजट (initial budget) को ट्यून करें। कोई भी फैंसी "मेरा काम जांचें" जैसे फीचर्स जोड़ने से पहले, सुनिश्चित करें कि आपने AI को पहली बार में ही समस्या को सही ढंग से हल करने के लिए पर्याप्त समय और संसाधन दिए हैं। सही परिणाम प्राप्त करने का यह सबसे कुशल तरीका है।
दूसरा, यदि आपको सुरक्षा की आवश्यकता है तो ही एक स्मार्ट गेटकीपर (जैसे SEVRA) का उपयोग करें। यदि आपको वास्तव में त्रुटियों को पकड़ने की आवश्यकता है, या यदि आपको यह ऑडिट करने की आवश्यकता है कि AI ने अपना मन कब बदला, तो एक चयनात्मक चेकर (selective checker) का उपयोग करें जो केवल तभी हस्तक्षेप करता है जब संकेत (जैसे अधूरा वाक्य) बताते हैं कि उत्तर टूटा हुआ है।

संक्षेप में: हर चीज़ के लिए "पुनः जांचें" (re-check) बटन न जोड़ें। पहले, यह सुनिश्चित करें कि AI के पास पहली बार में सही होने के लिए पर्याप्त समय है। यदि आपको अभी भी सुरक्षा जाल की आवश्यकता है, तो एक स्मार्ट गेटकीपर का उपयोग करें जो केवल तभी मदद के लिए बुलाता है जब AI संघर्ष करता हुआ दिखाई दे, न कि तब जब वह पहले से ही काम पूरा कर चुका हो।

तकनीकी सारांश: SEVRA – बजट-जागरूक तर्क के लिए चयनात्मक सत्यापन (Selective Verification for Budget-Aware Reasoning)

1. समस्या का निरूपण (Problem Formulation)

यह शोध पत्र टेस्ट-टाइम रीजनिंग एलोकेशन (inference-time reasoning allocation) की तैनाती की चुनौती को संबोधित करता है। जबकि इन्फरेंस-टाइम कंप्यूट (जैसे, लंबा तर्क, सत्यापन, या सेल्फ-कंसिस्टेंसी) बढ़ाने से सटीकता में सुधार हो सकता है, यह समान रूप से मूल्यवान नहीं है। अतिरिक्त तर्क विफल प्रयासों को सुधार सकता है, लेकिन यह पहले से सही उत्तरों पर कंप्यूट बर्बाद कर सकता है या, अधिक महत्वपूर्ण रूप से, हानिकारक बदलाव (harmful flips) पेश कर सकता है जहाँ एक सही उत्तर को गलत में बदल दिया जाता है।

लेखक इसे एक नए सत्यापनकर्ता (verifier) प्रशिक्षण समस्या के रूप में नहीं, बल्कि एक सर्विंग-लेयर एलोकेशन समस्या के रूप में देखते हैं। एक फ्रीज्ड सॉल्वर (frozen solver) को देखते हुए जिसने एक प्रारंभिक प्रयास ( $s_0$ ) और उत्तर ( $a_0$ ) उत्पन्न किया है, सिस्टम को यह निर्णय लेना चाहिए कि:

प्रारंभिक उत्तर को स्वीकार (Accept) करें।
प्रयास को जारी (Continue) रखें (तर्क का विस्तार करें)।
सक्रिय रूप से सत्यापित (Actively Verify) करें (उम्मीदवार-विशिष्ट जाँच बनाएँ और यदि आवश्यक हो तो सुधार करें)।

मुख्य प्रश्न यह है: एक प्रारंभिक प्रयास को देखने के बाद, क्या सिस्टम को सत्यापन या संशोधन के लिए दूसरा कॉल करना चाहिए, या क्या वर्तमान प्रयास केवल एक विशिष्ट हस्तक्षेप द्वारा ही सुधारा जा सकता है? लक्ष्य कुल मॉडल टोकन को कम करते हुए और हानिकारक प्रतिगमन (harmful regressions) से बचते हुए सटीकता को अधिकतम करना है।

2. कार्यप्रणाली: SEVRA

लेखक SEVRA (Selective Verification for Reasoning Allocation) पेश करते हैं, जो एक हल्का सर्विंग-लेयर कंट्रोलर है।

2.1 सक्रिय सत्यापन तंत्र (Active Verification Mechanism)

जेनेरिक "सोचो और गहराई से" (think harder) प्रॉम्प्ट्स के विपरीत, SEV در SEVRA का सक्रिय सत्यापन उम्मीदवार-विशिष्ट (candidate-specific) है। यह उसी फ्रीज्ड सॉल्वर को निर्देश देता है कि वह:

उम्मीदवार उत्तर के लिए कम से कम दो विशिष्ट जाँच बनाए (जैसे, समीकरणों का पुनर्निर्माण, इकाइयों/सीमाओं का परीक्षण, उत्तर का प्रतिस्थापन, या एक स्वतंत्र मार्ग से समाधान करना)।
यदि सभी जाँचें पास हो जाती हैं तो मूल उत्तर को सुरक्षित रखे।
यदि जाँच विफल होती है तो उत्तर को केवल तभी सुधारे।

2.2 रिकवरेबिलिटी-अवेयर रूटिंग (Recoverability-Aware Routing)

SEVRA एक रिकवरेबिलिटी गेट ( $g_\theta$ ) का उपयोग करता है जो यह भविष्यवाणी करता है कि क्या सक्रिय सत्यापन एक "सहायक सुधार" (गलत उत्तर को ठीक करना) प्रदान करेगा, बिना परिनियोजन (deployment) के समय गोल्ड आंसर (gold answer) तक पहुँच के। गेट इनपुट लेता है:

समस्या का टेक्स्ट ( $x$ )।
आधारभूत प्रयास ( $s_0$ )।
सर्विंग-दृश्य मेटाडेटा ( $m_0$ ): कंप्लीशन कारण, टोकन गणना, फाइनलाइज़र का उपयोग, और टास्क-लेवल फीचर्स।

कंट्रोलर एक निर्णय $z \in \{ \text{ACCEPT}, \text{CONTINUE}, \text{ACTIVE-VERIFY} \}$ आउटपुट करता है। यदि गेट स्कोर थ्रेशोल्ड $\tau$ से अधिक होता है, तो सक्रिय सत्यापन को बुलाया जाता है; अन्यथा, आधारभूत उत्तर को स्वीकार कर लिया जाता है।

2.3 गेट आर्किटेक्चर (Gate Architectures)

शोध पत्र तीन गेट परिवारों की तुलना करता है:

चीप फीचर गेट (Cheap Feature Gate): एक लॉजिस्टिक रिग्रेशन मॉडल जो केवल अवलोकन योग्य निष्पादन विशेषताओं (कंप्लीशन स्टेटस, टोकन काउंट, आदि) का उपयोग करता है।
QLoRA गेट्स: Qwen3-0.6B और Qwen3-1.7B (4-बिट क्वांटाइज्ड) पर आधारित सीक्वेंस क्लासिफायर, जिन्हें 'हेल्पफुल-फिक्स इंडिकेटर' की भविष्यवाणी करने के लिए प्रशिक्षित किया गया है।

2.4 मूल्यांकन प्रोटोकॉल (Evaluation Protocol)

अध्ययन एक फ्रीज्ड सॉल्वर (Qwen3-4B) का उपयोग करता है और नीतियों का मूल्यांकन वास्तविक कुल मॉडल टोकन (प्रॉम्प्ट + जनरेशन + फाइनलाइज़र टोकन) के आधार पर करता है, न कि केवल कॉन्फ़िगर किए गए बजट के आधार पर। मुख्य मेट्रिक्स शामिल हैं:

सटीकता (Accuracy): सही अंतिम उत्तरों का प्रतिशत।
हेल्पफुल फिक्सेस (Helpful Fixes): गलत आधारभूत उत्तरों को सुधारने की दर।
हार्मफुल फ्लिप्स (Harmful Flips): सही आधारभूत उत्तरों को गलत में बदलने की दर।
कॉस्ट फ्रंटियर (Cost Frontier): "लॉन्ग बेस" (Long Base) नीति (बढ़ता हुआ प्रारंभिक टोकन बजट) के विरुद्ध तुलना, यह सुनिश्चित करने के लिए कि रिकवरी कंट्रोलर्स को सरल बजट एलोकेशन द्वारा पीछे न छोड़ा जाए।

3. मुख्य योगदान

शोध पत्र चार विशिष्ट योगदान देता है:

निरूपण (Formulation): यह पोस्ट-जनरेशन रीजनिंग को एक हस्तक्षेप-विशिष्ट (intervention-specific) सर्विंग निर्णय के रूप में परिभाषित करता है, जो स्पष्ट रूप से हेल्पफुल फिक्सेस, हार्मफुल फ्लिप्स और वास्तविक कुल टोकन को मापता है।
बजट-मैच्ड तुलना: यह स्वीकार करने, जारी रखने, सत्यापित करने और प्रारंभिक बजट बढ़ाने का एक कठोर तुलनात्मक अध्ययन प्रदान करता है, यह प्रदर्शित करते हुए कि रिकवरी कंट्रोलर्स का मूल्यांकन ट्यून किए गए प्रारंभिक-बजट बेसलाइन्स के विरुद्ध किया जाना चाहिए।
नीति प्रभावकारिता (Policy Efficacy): यह दिखाता है कि चयनात्मक सक्रिय सत्यापन सबसे मजबूत परीक्षण किया गया पोस्ट-जनरेशन रिकवरी पॉलिसी है, लेकिन लंबा प्रारंभिक तर्क अक्सर गणितीय कॉस्ट फ्रंटियर पर अधिक कंप्यूट-कुशल होता है।
फीचर दक्षता: यह पाता है कि सस्ते, सर्विंग-दृश्य निष्पादन फीचर्स बड़े QLoRA-प्रशिक्षित गेट्स के प्रदर्शन के लगभग बराबर हैं, जो यह सुझाव देता है कि जब छोटे सटीकता अंतर स्वीकार्य हों, तो हल्के फीचर गेट्स सबसे व्यावहारिक परिनियोजन विकल्प हैं।

4. प्रयोगात्मक परिणाम

4.1 MATH500 बेंचमार्क

चयनात्मक सत्यापन (Selective Verification): इसने 76.3% सटीकता प्राप्त की। यह "ऑलवेज वेरिफाई" (75.5%) और "सेलेक्टिव कंटिन्यू" (73.6%) की तुलना में सुधार है।
दक्षता: इसने पोस्ट-जनरेशन टोकन को 26.8% कम किया और "ऑलवेज वेरिफाई" की तुलना में हार्मफुल फ्लिप्स को 2.2% से घटाकर 1.0% कर दिया।
कॉस्ट फ्रंटियर: एक "लॉन्ग बेस" नीति (8,192-टोकन प्रारंभिक बजट, कोई पोस्ट-जनरेशन कॉल नहीं) ने चयनात्मक सत्यापन की तुलना में 28% कम कुल टोकन के साथ 76.0% सटीकता प्राप्त की। यह दर्शाता है कि हालांकि चयनात्मक रिकवरी उपयोगी है, लेकिन केवल प्रारंभिक बजट आवंटित करना इस विशिष्ट गणितीय फ्रंटियर के लिए सबसे कुशल रणनीति है।

4.2 GSM8K बेंचमार्क (फ्रीज्ड ट्रांसफर)

चयनात्मकता (Selectivity): MATH-प्रशिक्षित गेट प्रभावी ढंग से स्थानांतरित हुआ, जिसने केवल 3.0% उदाहरणों को सत्यापित किया।
प्रदर्शन: सटीकता 93.4% (बेस) से बढ़कर 94.47% हो गई, जिससे देखे गए हार्मफुल फ्लिप्स समाप्त हो गए।
तुलना: "लॉन्ग बेस" नीति (8,192 टोकन) ने चयनात्मक नीति की तुलना में प्रति उदाहरण 178 कम वास्तविक टोकन के साथ 94.54% सटीकता प्राप्त की, फिर से यह दर्शाता है कि प्रारंभिक बजट एक प्रमुख लागत कारक है।

4.3 CommonsenseQA बेंचमार्क

वर्कलोड शिफ्ट: सक्रिय सत्यापन इस गैर-गणितीय सेटिंग में हानिकारक साबित हुआ, जिससे सटीकता में 4.17 अंक की कमी आई और हार्मफुल फ्लिप्स बढ़कर 5.94% हो गए।
विकल्प: सेल्फ-कंसिस्टेंसी@5 ने सटीकता में सुधार (+1.88 अंक) किया, लेकिन लगभग 5x टोकन लागत पर।
निष्कर्ष: इष्टतम इन्फरेंस-स्केलिंग एक्शन वर्कलोड-निर्भर है; सत्यापन एक सार्वभौमिक समाधान नहीं है।

4.4 गेट जटिलता (Gate Complexity)

चीप फीचर गेट (मेटाडेटा पर लॉजिस्टिक रिग्रेशन) ने MATH500 पर 75.9% सटीकता प्राप्त की, जो 1.7B QLoRA गेट (76.3%) के लगभग बराबर है।
GSM8K पर, सभी गेट्स ने समान सटीकता (94.47%) प्राप्त की।
निहितार्थ: चीप गेट का छोटा सटीकता अंतर इसे कम लेटेंसी, मेमोरी और रखरखाव ओवरहेड के कारण सबसे आकर्षक परिनियोजन विकल्प बनाता है।

5. महत्व और परिनियोजन नियम

शोध पत्र एक सार्वभौमिक एल्गोरिथम ब्रेकथ्रू के बजाय एक व्यावहारिक परिनियोजन नियम के साथ समाप्त होता है:

पहले प्रारंभिक बजट को ट्यून करें: जटिल रिकवरी कंट्रोलर्स जोड़ने से पहले, ऑपरेटरों को प्रारंभिक रीजनिंग बजट को अनुकूलित करना चाहिए। गणितीय बेंचमार्क पर, एक लंबा प्रारंभिक समाधान अक्सर कॉस्ट फ्रंटियर पर हावी रहता है।
विशिष्ट आवश्यकताओं के लिए चयनात्मक रिकवरी का उपयोग करें: चयनात्मक सत्यापन तब मूल्यवान है जब स्पष्ट जाँच, बाउंडेड रिट्राइज़, ऑडिटेबिलिटी, या रिग्रेशन-रिस्क कंट्रोल परिचालन रूप से महत्वपूर्ण हों, भले ही एक लंबा प्रारंभिक बजट थोड़ा अधिक टोकन-कुशल हो।
हानिकारक फ्लिप्स (Harmful Flips) की निगरानी करें: उत्तर परिवर्तन को विश्वसनीयता जोखिम के रूप में माना जाना चाहिए। सिस्टम को "हेल्पफुल फिक्स" और "हार्मफुल फ्लिप्स" को अलग-अलग मॉनिटर करना चाहिए, क्योंकि एक हस्तक्षेप कुल सटीकता को बढ़ा सकता है जबकि सही इनपुट पर विश्वसनीयता को कम कर सकता है।
वर्कलोड जागरूकता: सत्यापन रणनीतियाँ सार्वभौमिक नहीं हैं। जो गणितीय व्युत्पत्ति (जहाँ जाँच सत्यापन योग्य होती है) के लिए काम करता है, वह कॉमनसेन्स रीजनिंग (जहाँ अधिक सोचने से त्रुटियाँ उत्पन्न होती हैं) के लिए सक्रिय रूप से हानिकारक हो सकता है।

लेखक इस बात पर जोर देते हैं कि SEVRA फ्रीज्ड मॉडल्स के लिए एक सर्विंग-लेयर कंट्रोलर है, न कि नई रीजनिंग क्षमताओं को प्रशिक्षित करने की विधि। इसका प्राथमिक मूल्य कंप्यूट लागत, सटीकता और उत्पादन वातावरण में सही उत्तरों को कम करने के जोखिम के बीच संतुलन को अनुकूलित करने में निहित है।