CodeRescue: Budget-Calibrated Recovery Routing for Coding Agents

तकनीकी सारांश: CodeRescue: कोडिंग एजेंटों के लिए बजट-कैलिब्रेटेड रिकवरी रूटिंग

1. समस्या का निरूपण (Problem Formulation)

यह शोधपत्र कोडिंग एजेंटों की तैनाती की चुनौती को संबोधित करता है जो निष्पादन योग्य वातावरण (executable environments) में कार्य करते हैं, जहाँ विफल प्रयास केवल गलत आउटपुट ही नहीं, बल्कि कार्रवाई योग्य फीडबैक (जैसे कंपाइलर त्रुटियाँ, विफल परीक्षण, stderr ट्रेसेस) भी उत्पन्न करते हैं। मौजूदा लागत-जागरूक प्रणालियाँ आमतौर पर मॉडल की विफलताओं को एक बाइनरी निर्णय के रूप में देखती हैं: तुरंत एक अधिक शक्तिशाली, अधिक महंगी मॉडल पर स्विच करना।

लेखकों का तर्क है कि कोडिंग के लिए यह दृष्टिकोण उप-इष्टतम (suboptimal) है क्योंकि निष्पादन फीडबैक (execution feedback) एक सस्ते मॉडल द्वारा किए गए आगे के प्रयासों को सार्थक बना सकता है। यह एक बजटेड परिनियोजन प्रश्न (budgeted deployment question) बनाता है: जब एक एजेंट विफल होता है, तो क्या उसे समाधान को सुधारने (reflect) या पुनर्कल्पना करने (replan) के लिए अधिक सस्ता कंप्यूट खर्च करना चाहिए, या उसे एक मजबूत मॉडल को सौंप (escalate) देना चाहिए?

समस्या को पोस्ट-फेलियर रिकवरी रूटिंग (post-failure recovery routing) के रूप में निरूपित किया गया है। एक सस्ते मॉडल द्वारा विफल प्रारंभिक प्रयास के बाद, सिस्टम को तीन विषम (heterogeneous) कार्यों में से चुनना होता है:

1. Reflect (चिंतन): निष्पादन फीडबैक का उपयोग करके मौजूदा समाधान को संशोधित करना।
2. Replan (पुनर्कल्पना): सस्ते मॉडल का उपयोग करके एक अलग योजना से एक नया समाधान उत्पन्न करना।
3. Escalate (सौंपना): समस्या (फीडबैक के साथ) को एक अधिक शक्तिशाली, अधिक महंगी मॉडल को सौंप देना।

लक्ष्य एक उपयोगकर्ता-निर्दिष्ट औसत रिकवरी बजट ($B$) के अधीन सुलझाने की दर (solve rate) को अधिकतम करना है, बिना प्रत्येक नए बजट प्रतिबंध के लिए पॉलिसी को फिर से प्रशिक्षित किए।

2. कार्यप्रणाली (Methodology)

2.1 सुपरवाइज्ड रिकवरी राउटर (Supervised Recovery Router)

मुख्य घटक एक सुपरवाइज्ड राउटर है जिसे ऑफलाइन निष्पादन रोलआउट्स पर प्रशिक्षित किया गया है।

• इनपुट: एक रिकवरी संदर्भ $x = (q, v_0, e_0)$, जिसमें समस्या विवरण, निष्पादन निर्णय (verdict), और stderr ट्रेस शामिल है।
• लेबलिंग: प्रत्येक विफल उदाहरण के लिए, "ओरेकल" लेबल उन कार्यों के सेट ($S(x)$) में से सबसे सस्ता सफल कार्य ($a^\dagger$) है जो उस उदाहरण को हल करता है। वे उदाहरण जहाँ कोई भी कार्य सफल नहीं होता, उन्हें बाहर रखा गया है।
• प्रशिक्षण: एक लैंग्वेज मॉडल (जैसे Qwen3.5-4B) को क्रॉस-एन्ट्रॉपी के माध्यम से फाइन-ट्यून किया जाता है ताकि सबसे सस्ते सफल कार्य की भविष्यवाणी की जा सके। राउटर लॉग-प्रोबेबिलिटीज के आधार पर कार्यों को स्कोर करता है और उन्हें सॉफ्टमैक्स (softmax) के माध्यम से सामान्यीकृत करता है।

2.2 कॉस्ट-रेगुलराइज्ड पॉलिसी (Cost-Regularized Policy)

विभिन्न बजटों के तहत परिनियोजन को सक्षम करने के लिए, लेखक एक लागत दंड (cost penalty) $\lambda \ge 0$ पेश करते हैं। पॉलिसी $\pi_\lambda(x)$ निम्नलिखित को अधिकतम करने वाले कार्य को चुनती है:
$$s_\theta(a | x) - \lambda c(a, x)$$
जहाँ $s_\theta$ राउटर का स्कोर है और $c(a, x)$ अनुमानित परिनियोजन लागत है।

• जैसे-जैसे $\lambda$ बढ़ता है, पॉलिसी सस्ते कार्यों (reflect/replan) की ओर झुकती है।
• यह एक एकल प्रशिक्षित राउटर से प्राप्त एक डिस्क्रीट सेट ऑफ ऑपरेटिंग पॉइंट्स (एक कॉस्ट-क्वालिटी फ्रंटियर) बनाता है।

2.3 कॉन्फॉर्मल बजट कैलिब्रेशन (Conformal Budget Calibration - CRC)

एक विशिष्ट उपयोगकर्ता बजट $B$ के लिए उपयुक्त $\lambda$ चुनने के लिए, लेखक कॉन्फॉर्मल रिस्क कंट्रोल (CRC) लागू करते हैं।

• तंत्र: होल्ड-आउट कैलिब्रेशन सेट का उपयोग करके, सिस्टम विभिन्न $\lambda$ मानों के लिए अनुभवजन्य औसत लागत (empirical mean cost) की गणना करता है।
• चयन नियम: यह न्यूनतम प्रतिबंधात्मक दंड $\hat{\lambda}$ का चयन करता है जो कि इस प्रकार है कि परिमित-नमूना बजट प्रतिबंध संतुष्ट हो:
  $$\frac{n \hat{C}_n(\lambda) + c_{\max}}{n + 1} \le B$$
  जहाँ $c_{\max}$ एक ज्ञात लागत कैप है और योगात्मक पद (additive term) एक लीव-वन-आउट कॉन्फॉर्मल करेक्शन प्रदान करता है।
• गारंटी: विनिमयशीलता (exchangeability) की धारणा के तहत, यह प्रक्रिया गारंटी देती है कि भविष्य के टेस्ट डेटा पर तैनात पॉलिसी की औसत रिकवरी लागत $B$ से अधिक नहीं होगी। महत्वपूर्ण रूप से, यह गारंटी लागत पर लागू होती है, न कि सॉल्व रेट पर, जिससे कार्यों के बीच गैर-मोनोटोनिक सफलता पैटर्न संभव होते हैं।

3. मुख्य योगदान (Key Contributions)

1. पोस्ट-फेलियर रिकवरी रूटिंग: यह शोधपत्र कोडिंग-एजेंट रिकवरी को एक साधारण कैस्केड (cascade) के बजाय विषम कार्यों (reflect, replan, escalate) पर एक रूटिंग समस्या के रूप में रूपित करता है।
2. बजट-नियंत्रणीय परिनियोजन: यह एक CRC-कैलिब्रेटेड कॉस्ट पेनल्टी पेश करता है जो एक एकल प्रशिक्षित राउटर को कई बजट बिंदुओं पर संचालित करने की अनुमति देता है, जिससे मार्जिनल अपेक्षित-लागत नियंत्रण के साथ दक्षता मिलती है, और अलग-अलग बजट प्रतिबंधों के लिए पुनः प्रशिक्षण की आवश्यकता को समाप्त करती है।
3. अनुभवजन्य रिकवरी ट्रेड-ऑफ: अध्ययन प्रमाण देता है कि सस्ते रिकवरी और मॉडल एस्केलेशन के पूरक सफलता पैटर्न (complementary success patterns) होते हैं (अर्थात, कुछ विफलताएं केवल सस्ते कार्यों द्वारा हल की जा सकती हैं, कुछ केवल एस्केलेशन द्वारा, और कुछ दोनों द्वारा), जो एक डिस्क्रीट कॉस्ट-क्वालिटी फ्रंटियर बनाते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

सिस्टम का मूल्यांकन पांच कोडिंग बेंचमार्क (APPS, TACO, BigCodeBench, LiveCodeBench, CodeContests) पर GPT-5.4-NANO को सस्ते मॉडल और GPT-5.4 को मजबूत मॉडल के रूप में उपयोग करके किया गया।

• राउटर प्रभावकारिता: एक सीखा हुआ राउटर फिक्स्ड-एक्शन बेसलाइन्स की तुलना में काफी बेहतर प्रदर्शन करता है। अनकन्स्ट्रेंड (unconstrained) सीखा हुआ राउटर 5.51 m$ की औसत लागत पर 81.7% सॉल्व रेट प्राप्त करता है, जबकि "ऑलवेज-एस्केलेट" (always-escalate) 7.22 m$ पर 68.6% प्राप्त करता है।
• पूरकता (Complementarity): "ओरेकल" सबसे सस्ते कार्यों के विश्लेषण से पता चला कि 28% विफलताओं को केवल सस्ते कार्यों द्वारा हल किया जा सकता था, 45% केवल एस्केलेशन द्वारा, और 27% दोनों द्वारा। यह विषमता (heterogeneity) एक फिक्स्ड कैस्केड के बजाय एक राउटर की आवश्यकता को न्यायसंगत बनाती है।
• बजट कैलिब्रेशन: CRC-कैलिब्रेटेड फ्रंटियर ने दिखाया कि 2.56 m$ के बजट पर, सिस्टम ने 71.7% सॉल्व रेट प्राप्त किया। यह "ऑलवेज-एस्केलेट" बेसलाइन (68.6%) से अधिक था, जबकि इसने "ऑलवेज-एस्केलेट" रणनीति की औसत लागत के केवल 35% का उपयोग किया।
• बेसलाइन्स: सीखा हुआ राउटर प्रॉम्प्ट-ओनली राउटर (जीरो-शॉट LLMs जो राउटर के रूप में कार्य करते हैं) और बाइनरी कैस्केड बेसलाइन्स से बेहतर रहा, जो पुष्टि करता है कि रूटिंग सिग्नल के लिए केवल प्रॉम्प्ट इंजीनियरिंग के बजाय रोलआउट्स से सीखने की आवश्यकता होती है।

5. महत्व और दावे (Significance and Claims)

शोधपत्र का दावा है कि कोडिंग विफलताओं को एक सरल क्षमता अंतराल (capability gap) के बजाय एक निदान योग्य मरम्मत समस्या (diagnosable repair problem) के रूप में मानना अधिक कुशल संसाधन आवंटन की अनुमति देता है। CRC के माध्यम से राउटर के प्रशिक्षण को परिनियोजन बजट से अलग करके, सिस्टम बजट-नियंत्रित इन्फरेंस के लिए एक व्यावहारिक तंत्र प्रदान करता है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण यह दावा नहीं करता है कि वह सॉल्व रेट को कॉन्फॉर्मली नियंत्रित करता है; बल्कि, यह एक लागत गारंटी (cost guarantee) प्रदान करता है, जबकि सॉल्व रेट में सुधार अनुभवजन्य (empirical) अवलोकन हैं। यह कार्य सुझाव देता है कि कोडिंग एजेंटों के लिए, "सबसे सस्ता उपयोगी अगला कदम" अक्सर सबसे मजबूत मॉडल नहीं होता, बल्कि विफलता मोड के अनुरूप एक विशिष्ट रिकवरी एक्शन होता है, और यह निर्णय सख्त बजट प्रतिबंधों के तहत गतिशील रूप से लिया जा सकता है।

लेखकों द्वारा नोट की गई सीमाएँ:

• रिकवरी को एक एकल पोस्ट-फेलियर निर्णय के रूप में मॉडल किया गया है, जबकि वास्तविक एजेंट कई राउंड में इटरेट कर सकते हैं।
• "सबसे सस्ता सफल" लेबल एक प्रॉक्सी है और एक कैलिब्रेटेड प्रोबेबिलिटी एस्टीमेट नहीं है।
• CRC अपेक्षित लागत को नियंत्रित करता है, सॉल्व रेट को नहीं, जिसका अर्थ है कि गुणवत्ता में सुधार अनुभवजन्य अवलोकन बने रहते हैं।