💻 computer science

SWE-Router: Routing in Multi-turn Agentic Software Engineering Tasks

यह शोध पत्र SWE-Router को प्रस्तुत करता है, जो एक वैल्यू-आधारित रूटिंग फ्रेमवर्क है जो एक सस्ते मॉडल के प्रारंभिक अन्वेषणात्मक प्रक्षेपवक्र (exploratory trajectory) का लाभ उठाकर मल्टी-टर्न एजेंटिक सॉफ्टवेयर इंजीनियरिंग में लागत दक्षता में सुधार करता है ताकि सूचित एस्केलेशन निर्णय लिए जा सकें, जिससे यह मजबूत प्रदर्शन बनाए रखते हुए पारंपरिक विवरण-मात्र (description-only) राउटरों से बेहतर प्रदर्शन करता है।

मूल लेखक: Seongho Son, Sangwoong Yoon, Jiahua Tang, Shuhan Wang, Lorenz Wolf, Ilija Bogunovic

प्रकाशित 2026-07-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Seongho Son, Sangwoong Yoon, Jiahua Tang, Shuhan Wang, Lorenz Wolf, Ilija Bogunovic

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ SWE-Router पेपर का स्पष्टीकरण दिया गया है, जिसे सरल भाषा और रोज़मर्रा के उदाहरणों के साथ अनुवादित किया गया है।

बड़ी समस्या: गलत विशेषज्ञ को काम पर रखना

कल्पना कीजिए कि आप एक रिपेयर शॉप चलाते हैं। आपके पास दो प्रकार के मैकेनिक हैं:

अपरेंटिस (Apprentice): सस्ता, तेज़, और छोटे कामों में कुशल (जैसे बल्ब बदलना या ढीले पेंच को कसना)।
मास्टर इंजीनियर (Master Engineer): अत्यंत महंगा, धीमा, और जटिल, बहु-स्तरीय आपदाओं को सुलझाने में माहिर (जैसे कार के इंजन को शुरू से फिर से बनाना)।

सॉफ्टवेयर की दुनिया में, ये लार्ज लैंग्वेज मॉडल्स (LLMs) हैं। "मास्टर" मॉडल कोड ठीक करने में बेहतरीन होते हैं, लेकिन उन्हें चलाने में बहुत पैसा खर्च होता है। "अपरेंटिस" मॉडल सस्ते होते हैं लेकिन कभी-कभी कठिन समस्याओं पर अटक जाते हैं।

वर्तमान गलती:
अभी, जब कोई ग्राहक टूटे हुए कोड का हिस्सा लेकर आता है, तो शॉप मैनेजर (राउटर) केवल समस्या के विवरण को देखकर निर्णय लेता है।

ग्राहक कहता है: "मेरी कार स्टार्ट नहीं हो रही है।"
मैनेजर सोचता है: "यह गंभीर लग रहा है। चलिए तुरंत मास्टर इंजीनियर को बुलाते हैं।"

वास्तविकता:
कभी-कभी, "मेरी कार स्टार्ट नहीं हो रही है" का मतलब सिर्फ एक ढीला बैटरी केबल हो सकता है (एक छोटा काम जिसे अपरेंटिस संभाल सकता है)। अन्य समय में, इसका मतलब इंजन ब्लॉक का फटना हो सकता है (जिसके लिए मास्टर की आवश्यकता होती है)। मैनेजर केवल नोट पढ़कर अंतर नहीं कर सकता। इससे साधारण कामों के लिए भी मास्टर पर पैसा बर्बाद होता है।

समाधान: SWE-Router (द "टेस्ट ड्राइव" दृष्टिकोण)

इस पेपर के लेखकों ने SWE-Router नामक एक नई प्रणाली बनाई है। केवल विवरण के आधार पर अनुमान लगाने के बजाय, वे अपरेंटिस को पहले कुछ मिनटों के लिए समस्या को ठीक करने का मौका देते हैं।

यह इस प्रकार काम करता है:

एक्सप्लोरेशन फेज (Exploration Phase): सस्ते अपरेंटिस मॉडल को कार्य दिया जाता है और उसे कुछ "टर्न" (कदम) लेने की अनुमति दी जाती है। वह कोड को देखता है, टेस्ट चलाता है, और देखता है कि कौन सी त्रुटियाँ (errors) आ रही हैं।
अवलोकन (Observation): सिस्टम यह देखता है कि अपरेंटिस क्या कर रहा है।
- परिदृश्य A: अपरेंटिस जल्दी से एक टाइपो (typo) ढूंढ लेता है और उसे ठीक कर देता है। सिस्टम इसे देखता है और कहता है, "बहुत बढ़िया! अपरेंटिस इसे संभाल सकता है। चलिए पैसे बचाते हैं और उन्हें इसे पूरा करने देते हैं।"
- परिदृश्य B: अपरेंटिस भ्रमित हो जाता है, दीवार से टकरा जाता है, और समझ नहीं पाता कि बग कहाँ है। सिस्टम इस संघर्ष को देखता है और कहता है, "ठीक है, यह बहुत कठिन है। अपरेंटिस को रोकें और तुरंत मास्टर इंजीनियर को बुलाएं।"
निर्णय (Decision): एक विशेष "वैल्यू हेड" (एक स्मार्ट जज) अपरेंटिस की प्रगति को देखता है और निर्णय लेता है: क्या यह अपरेंटिस के लिए इतना आसान है कि वह इसे पूरा कर सके, या हमें इसे ऊपर (escalate) भेजने की आवश्यकता है?

यह बेहतर क्यों है (द "सूचना" लाभ)

पेपर का तर्क है कि आंशिक इतिहास (उन पहले कुछ कदमों के दौरान क्या हुआ) को देखने से आपको केवल मूल समस्या विवरण को पढ़ने की तुलना में बहुत अधिक जानकारी मिलती है।

पुराना तरीका: जैसे फिल्म के शीर्षक को पढ़कर यह अनुमान लगाने की कोशिश करना कि वह कॉमेडी है या त्रासदी। आप गलत हो सकते हैं।
नया तरीका: जैसे फिल्म के पहले 5 मिनट देखना। यदि आप लोगों को हंसते हुए देखते हैं, तो आप जानते हैं कि यह कॉमेडी है। यदि आप अंतिम संस्कार देखते हैं, तो आप जानते हैं कि यह त्रासदी है। आपके पास अधिक डेटा है, इसलिए आपका अनुमान बेहतर है।

पेपर गणितीय रूप से सिद्ध करता है कि इस अतिरिक्त जानकारी ( "partial trajectory") का होना आपके निर्णय लेने की क्षमता को कभी नुकसान नहीं पहुँचाता है। निर्णय लेने से पहले कहानी का थोड़ा सा हिस्सा जानना हमेशा बेहतर होता है।

परिणाम

शोधकर्ताओं ने वास्तविक दुनिया के कोडिंग कार्यों (बड़े सॉफ्टवेयर प्रोजेक्ट्स में बग ठीक करना) पर इसका परीक्षण किया।

लागत बचत (Cost Savings): उन्होंने बहुत सारे पैसे बचाए क्योंकि सस्ते अपरेंटिस ने उन कई कार्यों को संभाला जो पहले महंगे मास्टर को भेजे जाते थे।
सफलता दर (Success Rate): उन्होंने गुणवत्ता में कोई कमी नहीं आने दी। जब अपरेंटिस विफल हुआ, तो उन्होंने मास्टर की मदद ली, जिससे कार्य सफलतापूर्वक पूरे हुए।
सरप्राइज बोनस: कुछ मामलों में, अपरेंटिस ने वास्तव में उन समस्याओं को हल किया जिन्हें मास्टर विफल हो जाता यदि उसे तुरंत बुलाया गया होता। ऐसा इसलिए हुआ क्योंकि अपरेंटिस के "एक्सप्लोरेशन" ने समस्या को स्पष्ट करने में मदद की, जो मास्टर के सीधे दृष्टिकोण से संभव नहीं था।

सारांश

SWE-Router सॉफ्टवेयर रिपेयर के लिए एक स्मार्ट ट्रैफिक पुलिस वाला है। हर कार को सबसे महंगे मैकेनिक के पास भेजने के बजाय, यह एक सस्ते मैकेनिक को त्वरित डायग्नोस्टिक (जांच) करने देता है। यदि मैकेनिक इसे ठीक कर सकता है, तो बहुत अच्छा! यदि नहीं, तो वे विशेषज्ञ को बुला लेते हैं। यह गुणवत्ता से समझौता किए बिना पैसे बचाता है, और यह इसलिए काम करता है क्योंकि यह केवल समस्या के विवरण से नहीं, बल्कि समस्या को ठीक करने की प्रक्रिया से सीखता है।

तकनीकी सारांश: SWE-Router

समस्या विवरण

मल्टी-टर्न एजेंटिक फ्रेमवर्क में एकीकृत लार्ज लैंग्वेज मॉडल्स (LLMs) सॉफ्टवेयर इंजीनियरिंग (SWE) कार्यों, जैसे कि रिपॉजिटरी-स्केल GitHub इश्यू को हल करने में अत्याधुनिक परिणाम प्राप्त कर रहे हैं। हालांकि, फ्रंटियर मॉडल्स की इन्फरेंस लागत अक्सर प्रतिस्पर्धी ओपन-वेट विकल्पों की तुलना में एक क्रम (order of magnitude) अधिक होती है। एक महत्वपूर्ण अक्षमता यह है कि मौजूदा रूटिंग रणनीतियाँ हर कार्य को फ्रंटियर क्षमता की आवश्यकता के रूप में देखती हैं, जबकि वास्तव में कई इश्यू "सस्ते समाधानों" (cheap fixes) के योग्य होते हैं।

वर्तमान LLM राउटर केवल प्रारंभिक कार्य विवरण ( $q$ ) के आधार पर क्लासिफायर या प्रोबेबिलिटी एस्टिमेटर के रूप में कार्य करते हैं। लेखक इस दृष्टिकोण में एक मौलिक सीमा की पहचान करते हैं: एजेंटिक सेटिंग्स में, एक समान इश्यू विवरण बहुत अलग अंतर्निहित कठिनाइयों (जैसे, एक स्थानीयकृत टाइपो बनाम एक मल्टी-मॉड्यूल रिफैक्टर) को छिपा सकता है। यह अस्पष्टता एक "इन्फॉर्मेशन-थ्योरेटिक बेयस-एरर फ्लोर" (information-theoretic Bayes-error floor) बनाती है, जहाँ केवल प्रॉम्प्ट ही आसान और कठिन उदाहरणों के बीच अंतर नहीं कर सकता। फलस्वरूप, केवल $q$ पर आधारित रूटिंग निर्णय उच्च त्रुटि दर विरासत में प्राप्त करते हैं, जिससे उन कार्यों के लिए महंगे मॉडल्स का अनावश्यक उपयोग होता है जिन्हें एक सस्ता मॉडल हल कर सकता था।

कार्यप्रणाली: SWE-Router

यह शोध पत्र SWE-Router को पेश करता है, जो एक वैल्यू-आधारित टेम्पोरल रूटिंग फ्रेमवर्क है जिसे प्रॉम्प्ट-ओनली रूटिंग की सूचनात्मक सीमाओं को दूर करने के लिए डिज़ाइन किया गया है। $q$ के आधार पर तत्काल निर्णय लेने के बजाय, SWE-Router एक "खरीदने से पहले आजमाएं" (try-before-you-buy) रणनीति अपनाता है:

एक्सप्लोरेटरी फेज (Exploratory Phase): एक सस्ता, कमजोर मॉडल ( $m_1$ ) $K$ एक्सप्लोरेटरी टर्न के लिए चलने की अनुमति दी जाती है। इन टर्न्स के दौरान, एजेंट एक आंशिक ट्राजेक्टरी ( $\mathcal{T}_{\le K}$ ) उत्पन्न करता है जिसमें विचार (thoughts), क्रियाएं (actions), और अवलोकन (observations) (जैसे, विफल टेस्ट, फ़ाइल सामग्री, स्टैक ट्रेस) शामिल होते हैं।
वैल्यू एस्टीमेशन (Value Estimation): एक सीखा हुआ वैल्यू हेड (एक बाइनरी ट्राजेक्टरी रिवॉर्ड्स पर प्रशिक्षित क्लासिफायर) आंशिक ट्राजेक्टरी $\mathcal{T}_{\le K}$ को पढ़ता है और इस बात की संभावना का अनुमान लगाता है कि $m_1$ अंततः कार्य को हल कर पाएगा।
रूटिंग निर्णय (Routing Decision): सिस्टम $m_1$ $m_{1}$ के साथ जारी रखने बनाम एक मजबूत, महंगे मॉडल ( $m_2$ $m_{2}$ ) में अपग्रेड (escalate) करने के लागत-समायोजित अपेक्षित उपयोगिता (cost-adjusted expected utility) की तुलना करता है।
- यदि $m_1$ की अनुमानित सफलता की संभावना लागत-समायोजित थ्रेशोल्ड से अधिक है, तो $m_1$ कार्य को जारी रखता है।
- अन्यथा, सिस्टम $m_2$ में अपग्रेड करता है, जो मूल प्रॉम्प्ट $q$ से कार्य को पुनः प्रारंभ करता है ( $m_1$ के तर्क/reasoning से होने वाले पूर्वाग्रह से बचने के लिए)।

सैद्धांतिक आधार:
लेखक एक बेयस-ऑप्टिमैलिटी थ्योरम (Theorem 4.1) प्रदान करते हैं जो यह सिद्ध करता है कि केवल $q$ पर आधारित होने की तुलना में आंशिक ट्राजेक्टरी $\mathcal{T}_{\le K}$ पर आधारित होना रूटिंग प्रदर्शन को कभी नुकसान नहीं पहुँचाता है। यह प्रमेय स्थापित करता है कि आंशिक ट्राजेक्टरी, प्रॉम्प्ट की तुलना में स्पष्ट रूप से अधिक जानकारी वहन करती है। रूटिंग में सुधार तब होता है जब एक्सप्लोरेशन टर्न्स कार्य की कठिनाई के बारे में सूचनात्मक संकेत प्रदान करते हैं (अर्थात, जब प्रॉम्प्ट द्वारा मापने योग्य उपयोगिताओं में कंडीशनल गैप मौजूद हो)।

कार्यान्वयन विवरण:

वैल्यू हेड (Value Head): एक प्री-ट्रेन्ड LLM (Qwen2.5-Coder-7B-Instruct) जिसके साथ एक छोटा क्लासिफिकेशन हेड है, जिसे बाइनरी ट्राजेक्टरी रिवॉर्ड्स पर LoRA के माध्यम से फाइन-ट्यून किया गया है।
ट्रेनिंग डेटा: फ्रेमवर्क एक मल्टी-LLM ट्राजेक्टरी डेटासेट का उपयोग करता है जिसे SWE-Smith और SWE-Bench डेटासेट्स पर कमजोर मॉडल्स को चलाकर जनरेट किया गया है।
रूटिंग नियम: लेखक निर्णय नियम को एक वन-साइडेड रूटिंग दृष्टिकोण में सरल बनाते हैं: यदि $\hat{r}_1(\mathcal{T}_{\le K}) \ge \lambda'$ है, तो $m_1$ के साथ जारी रखें, जहाँ $\lambda'$ वैलिडेशन डेटा पर ट्यून किया गया एक थ्रेशोल्ड है।

मुख्य योगदान

बेयस-एरर फ्लोर की पहचान: पेपर पहचान करता है कि मल्टी-टर्न एजेंटिक SWE में प्रॉम्प्ट-कंडीशन्ड राउटर एक सूचनात्मक सीमा विरासत में प्राप्त करते हैं क्योंकि कार्य विवरण अक्सर स्थानीयकृत और जटिल इश्यू के बीच अंतर करने में विफल रहता है।
टेम्पोरल रूटिंग फ्रेमवर्क: SWE-Router पहला रूटिंग फ्रेमवर्क है जो केवल प्रॉम्प्ट के बजाय एजेंट के अपने मध्यवर्ती अवलोकनों (आंशिक ट्राजेक्टरी) पर रूटिंग निर्णयों को कंडिशन करता है।
सैद्धांतिक गारंटी: एक प्रमाण जो दर्शाता है कि आंशिक-ट्राजेक्टरी कंडीशनिंग तब मजबूती से सुधार करती है जब एक्सप्लोरेशन सूचनात्मक होता है।
अनुभवजन्य सत्यापन (Empirical Validation): व्यापक प्रयोग दिखाते हैं कि SWE-Router मजबूत मॉडल्स की रेजोल्यूशन दरों को बनाए रखते हुए लागत दक्षता में काफी सुधार करता है।
डेटासेट रिलीज: लेखक ट्राजेक्टरी-लेवल रूटिंग रिसर्च को सक्षम करने के लिए एक मल्टी-LLM ट्राजेक्टरी डेटासेट जारी करते हैं।

प्रयोगात्मक परिणाम

लेखकों ने दो LLM पेयर्स (कमजोर: gpt-5-mini या deepseek-v3.2; मजबूत: gemini-3-pro-preview) का उपयोग करके SWE-Bench Verified और SWE-Smith डेटासेट्स पर SWE-Router का मूल्यांकन किया।

कॉस्ट-परफॉरमेंस पारेटो फ्रंटियर (Cost-Performance Pareto Frontier): SWE-Router (के साथ $K=3$ ) एक पारेटो फ्रंटियर बनाता है जो अधिकांश कॉस्ट रेंज में एम्बेडिंग-आधारित बेसलाइन्स (Logistic Regression, k-NN, XGBoost) और नॉन-टेम्पोरल राउटरों ( $K=0$ ) से बेहतर प्रदर्शन करता है।
Route-AUC सुधार: SWE-Bench Verified टेस्ट स्प्लिट पर, SWE-Router ने 0.780 का Route-AUC प्राप्त किया (उपयोगकर्ता deepseek-v3.2 को $m_1$ के रूप में), जो नॉन-टेम्पोरल बेसलाइन की तुलना में +15.3 प्रतिशत अंक का सुधार है। gpt-5-mini पेयर ने +12 प्रतिशत अंक का सुधार दिखाया।
सिनर्जिस्टिक प्रभाव (Synergistic Effects): रूटिंग कर्व्स कभी-कभी "ऑल-स्ट्रॉन्ग" बेसलाइन के प्रदर्शन से भी आगे निकल गए। यह इंगित करता है कि आसान इंस्टेंसेस को कमजोर मॉडल के लिए सही ढंग से रूट करने से उन मामलों को हल किया गया जहाँ स्ट्रॉन्ग मॉडल (जब वह सभी कार्यों पर चलने के लिए मजबूर था) विफल रहा था, जो संभवतः कमजोर मॉडल की बिना स्ट्रॉन्ग मॉडल के विशिष्ट विफलता मोड या लागत बाधाओं के एक्सप्लोर करने की क्षमता के कारण था।
मेट्रिक सहसंबंध (Metric Correlation): लेखक नोट करते हैं कि वैल्यू हेड का AUROC (डिस्क्रिमिनेटिव क्वालिटी) वास्तविक रूटिंग प्रदर्शन (Route-AUC) के साथ मजबूती से सहसंबंधित नहीं है, जो यह सुझाव देता है कि वैल्यू हेड केवल रॉ एक्यूरेसी के बजाय विशिष्ट लागत-लाभ व्यापार (cost-benefit trade-off) के लिए प्रासंगिक सूक्ष्म संकेतों को कैप्चर करता है।

महत्व और दावे

पेपर का दावा है कि SWE-Router समग्र प्रदर्शन के न्यूनतम समझौते के साथ फ्रंटियर मॉडल्स की इन्फरेंस लागत और ऊर्जा खपत को कम करके स्पष्ट सकारात्मक प्रभाव डालता है। यह विचार कि मध्यवर्ती एजेंट अवलोकन संरचनात्मक संकेत (जैसे बग लोकलाइजेशन डेटा) प्रदान करते हैं जो प्रारंभिक प्रॉम्प्ट में उपलब्ध नहीं होते, इसे संचालित करके, यह फ्रेमवर्क प्रॉम्प्ट-ओनली राउटरों द्वारा सामना की जाने वाली सूचनात्मक सीमा को तोड़ता है।

लेखक अपने योगदान को "SWE कार्यों की लागत दक्षता में बहुत सुधार करने" के रूप में विनम्रतापूर्वक प्रस्तुत करते हैं, जबकि मजबूत मॉडल के अधिकांश प्रदर्शन को बनाए रखते हैं। वे स्वीकार करते हैं कि जबकि उनका दृष्टिकोण लागत कम करता है, आंशिक ट्राजेक्टरी का उपयोग सैद्धांतिक रूप से सुरक्षा-केंद्रित मॉडल्स को बायपास करने के लिए किया जा सकता है, जिससे सुरक्षा-जागरूक रूटिंग भविष्य के काम के लिए एक महत्वपूर्ण दिशा के रूप में पहचानी गई है। मुख्य महत्व स्टैटिक प्रॉम्प्ट विश्लेषण से डायनेमिक, ट्राजेक्टरी-अवेयर निर्णय लेने की ओर रूटिंग प्रतिमान (paradigm) को स्थानांतरित करने में निहित है।