तकनीकी सारांश: परिणाम-जागरूक तर्क गणना आवंटन (Consequence-Aware Reasoning Compute Allocation)

समस्या विवरण

आधुनिक तर्क मॉडल (जैसे, OpenAI o-सीरीज, DeepSeek-R1, विस्तारित विचार के साथ Claude) अनुमानित कार्य कठिनाई के आधार पर परिवर्तनीय मात्रा में टेस्ट-टाइम कंप्यूटेशन (सोचने वाले टोकन, मॉडल कॉल) आवंटित करते हैं। वर्तमान अनुकूली-कंप्यूट (adaptive-compute) रणनीतियाँ इस अंतर्निहित धारणा पर काम करती हैं कि सभी विफलताएँ समान रूप से महंगी होती हैं, जिससे वे औसत सटीकता को अनुकूलित करती हैं जहाँ प्रत्येक कार्य अंतिम स्कोर में एक इकाई का योगदान देता है।

हालाँकि, यह धारणा वास्तविक दुनिया की तैनाती (deployment) में विफल हो जाती है। शोध पत्र का तर्क है कि त्रुटि की "लागत" विफलता के परिणाम (consequence) के आधार पर मौलिक रूप से भिन्न होती है। उदाहरण के लिए, एक लॉग संदेश में टाइपो और एक डेटाबेस माइग्रेशन जो प्रोडक्शन डेटा को दूषित कर देता है, दोनों ही एक एकल बेंचमार्क विफलता के रूप में दर्ज किए जा सकते हैं, फिर भी उनकी वास्तविक दुनिया की तैनाती लागत बहुत अलग हो सकती है। वर्तमान अनुकूली-कंप्यूट उद्देश्य गणना की उपयोगिता को एक समान सटीकता मीट्रिक में समाहित कर देते हैं, जिससे त्रुटि के तैनाती-विशिष्ट प्रभाव की अनदेखी होती है। इसके अलावा, लेखक प्रदर्शित करते हैं कि मौजूदा मजबूत तर्क मॉडल उच्च-परिणाम वाले कार्यों (high-consequence tasks) के लिए अधिक कंप्यूट आवंटित करना स्वतः नहीं सीखते हैं; वे या तो परिणाम और सोचने की लंबाई के बीच कोई सहसंबंध नहीं दिखाते हैं, या वे कार्य के प्रकार की परवाह किए बिना अपने टोकन बजट को संतृप्त (saturate) कर देते हैं, या वे केवल एक कमजोर संवेदनशीलता प्रदर्शित करते हैं जो तैनाती की जरूरतों के लिए अपर्याप्त है।

कार्यप्रणाली (Methodology)

शोध पत्र परिणाम-जागरूक टेस्ट-टाइम कंप्यूट आवंटन (consequence-aware test-time compute allocation) का प्रस्ताव करता है, जो एक शेड्यूलिंग फ्रेमवर्क है जो त्रुटि लागत के पूर्वानुमान को स्वयं तर्क मॉडल से अलग करता है। यह विधि दो चरणों में कार्य करती है:

1. परिणाम पूर्वानुमान (Consequence Prediction): एक हल्का प्रेडिक्टर (predictor) कार्य को हल करने से पहले सीधे इश्यू टेक्स्ट और फ़ाइल पाथ से तैनाती लागत का अनुमान लगाता है। प्रेडिक्टर एक ऑर्डिनल लेबल आउटपुट करता है:

   • 0 (निम्न/Low): कॉस्मेटिक या दस्तावेज़ीकरण त्रुटियाँ।
   • 1 (मध्यम/Medium): सीमित कार्यात्मक बग्स (contained functional bugs)।
   • 2 (उच्च/High): साइलेंट डेटा भ्रष्टाचार (silent data corruption), सुरक्षा उल्लंघन, या अपरिवर्तनीय संचालन।
     महत्वपूर्ण रूप से, प्रेडिक्टर को "गंभीर अल्प-आवंटन" (severe under-allocation) त्रुटियों (एक उच्च-परिणाम वाले कार्य को निम्न-परिणाम के रूप में अनुमानित करना) से बचने के लिए प्रशिक्षित किया जाता है।

2. लागत-भारित शेड्यूलिंग (Cost-Weighted Scheduling): एक शेड्यूलर अनुमानित परिणाम के आधार पर कार्यों को विभिन्न कंप्यूट टियर्स (जैसे, सस्ते बनाम प्रीमियम मॉडल या टोकन बजट) में भेजता है। इसका उद्देश्य लागत-भारित हानि (cost-weighted loss) को कम करना है:
   $$\sum_{x \in X} \text{cost}(x) \cdot [1 - p(\text{correct} | x, T(x))]$$
   कुल कंप्यूट बजट के अधीन।

   लेखक एक प्राथमिकता-जागरूक (priority-aware) संस्करण पेश करते हैं जो अनुमानित परिणाम ($\hat{c}$) को अतिरिक्त कंप्यूट के अनुमानित सीमांत उपयोगिता (marginal utility of extra compute - $\Delta \text{success}$) के साथ जोड़ता है, और उन कार्यों को रूट करता है जहाँ परिणाम और सीमांत लाभ का गुणनफल उच्चतम होता है।

मुख्य योगदान और निष्कर्ष

1. परिणाम कठिनाई के लंबवत (Orthogonal) है

300 SWE-bench Lite और 400 Multi-SWE-bench mini कार्यों के विश्लेषण के माध्यम से, शोध पत्र स्थापित करता है कि परिणाम (consequence) कठिनाई से सांख्यिकीय रूप से भिन्न है।

• सहसंबंध: नियम-आधारित, LLM-विद-पैच, और मानव एनोटेशन केAcross कठिनाई (1 - पास रेट) और परिणाम के बीच स्पीयरमैन रैंक सहसंबंध (Spearman rank correlation) लगभग शून्य ($\rho \approx \pm 0.1$) है।
• निहितार्थ: उच्च-परिणाम वाले कार्य सभी कठिनाई स्तरों पर मौजूद हैं। केवल कठिनाई-आधारित शेड्यूलर तैनाती जोखिम के प्रति अंधा होता है।

2. मौजूदा मॉडलों में परिणाम संवेदनशीलता का अभाव है

तीन समकालीन तर्क मॉडलों के ऑडिट से परिणाम-जागरूक आवंटन में विशिष्ट विफलता मोड प्रकट होते हैं:

• Qwen3-8B: सोचने की लंबाई और परिणाम के बीच कोई सहसंबंध नहीं है ($\rho = 0.002$)।
• Qwen3-VL-8B-Thinking: 99.3% कार्य टोकन कैप तक पहुँच जाते हैं, जिससे विभेदन के लिए कोई जगह नहीं बचती।
• Claude Sonnet 4.5: एक सांख्यिकीय रूप से महत्वपूर्ण लेकिन कमजोर सहसंबंध ($\rho = 0.20$) दिखाता है, जिसके परिणामस्वरूप उच्च-परिणाम वाले कार्यों को निम्न-परिणाम वाले कार्यों की तुलना में केवल ~20% अधिक 'थिंकिंग' मिलती है, जो मात्रात्मक रूप से अपर्याप्त है।

3. प्री-सॉल्विंग भविष्यवाणी की व्यवहार्यता (Feasibility of Pre-Solving Prediction)

केवल इश्यू-आधारित प्रेडिक्टर (केवल GitHub इश्यू टेक्स्ट और फ़ाइल पाथ का उपयोग करके) "विद-पैच" गोल्ड-स्टैंडर्ड संदर्भ के साथ पर्याप्त सहमति प्राप्त करता है ($\kappa = 0.57 \text{ (Qwen3-8B के लिए)}$)।

• सुरक्षा महत्वपूर्णता (Safety Criticality): महत्वपूर्ण रूप से, प्रेडिक्टर 300 SWE-bench Lite कार्यों में से किसी भी उच्च-परिणाम वाले कार्य (Class 2) को निम्न-परिणाम वाले कार्य (Class 0) के रूप में गलत वर्गीकृत नहीं करता है। यह सुनिश्चित करता है कि सबसे खतरनाक कार्यों को कभी भी सबसे सस्ते कंप्यूट टियर पर नहीं भेजा जाता है।

4. प्रदर्शन लाभ

16-मॉडल SWE-bench टियर बेंचमार्क पर समान कंप्यूट बजट के तहत:

• परिणाम-जागरूक रूटिंग (Consequence-Aware Routing): कठिनाई-जागरूक रूटिंग (एक तैनात Qwen प्रेडिक्टर का उपयोग करके) की तुलना में लागत-भारित हानि को 21.8% कम करती है।
• प्राथमिकता-जागरूक रूटिंग (Priority-Aware Routing): सीमांत उपयोगिता को शामिल करके, यह संस्करण लागत-भारित हानि को 30.7% कम करता है, जो सैद्धांतिक "ओरेकल" लाभ के 90% से अधिक को बनाए रखता है।
• कठिनाई-जागरूक रूटिंग की विफलता: आश्चर्यजनक रूप से, कठिनाई-जागरूक शेड्यूलर शीर्ष-25% प्रीमियम ऑपरेटिंग पॉइंट पर रैंडम (यादृच्छिक) से भी खराब प्रदर्शन करता है (13.1% अधिक हानि)।

महत्व और विफलता का तंत्र (Significance and Mechanism of Failure)

शोध पत्र का दावा है कि इस कार्य का प्राथमिक महत्व अनुकूली-कंप्यूट उद्देश्य को सटीकता अधिकतमकरण (accuracy maximization) से बदलकर लागत-भारित हानि न्यूनीकरण (cost-weighted loss minimization) करना है।

लेखक कठिनाई-जागरूक रूटिंग के विफल होने के लिए एक यांत्रिक स्पष्टीकरण प्रदान करते हैं:

• प्रति-सहसंबंध (Anti-Correlation): सबसे कठिन कार्य (सबसे कम पास दर) अक्सर वे होते हैं जहाँ प्रीमियम कंप्यूट के उपयोग के बावजूद भी शून्य सीमांत लाभ ($\Delta \text{success} \approx 0$) मिलता है। वे "असमाधान योग्य" (unsolvable) होते हैं।
• गलत आवंटन: कठिनाई-जागरूक शेड्यूलर इन असाधान योग्य कार्यों पर महंगा कंप्यूट केंद्रित करते हैं, जिससे बजट बर्बाद होता है।
• परिणाम उपयोगिता (Consequence Utility): परिणाम सही उत्तर के मूल्य की भविष्यवाणी करता है, न कि उसके सही होने की संभावना की। जब इसे सीमांत उपयोगिता (कि अतिरिक्त कंप्यूट मदद करेगा या नहीं) के साथ जोड़ा जाता है, तो यह उन कार्यों की पहचान करता है जहाँ अतिरिक्त कंप्यूट या तो सफल होने की संभावना रखता है या यदि वह सफल होता है तो अत्यधिक मूल्यवान होता है।

संक्षेप में, यह शोध पत्र प्रदर्शित करता है कि तैनाती-उन्मुख प्रणालियों के लिए, कंप्यूट आवंटित करना कार्य की कठिनाई के बजाय विफलता के परिणाम के आधार पर, बेहतर लागत-भारित प्रदर्शन देता है, बशर्ते कि शेड्यूलर मूल तर्क मॉडल को पुन: प्रशिक्षित किए बिना इश्यू विवरणों से परिणाम की विश्वसनीय भविष्यवाणी कर सके।