Scrouting: Cost-Aware Routing of Coding Agents by Scouting the Repository First

एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर टूटे हुए सॉफ़्टवेयर को ठीक करने के लिए कोड लिख सकते हैं, लेकिन उन्हें काम पर रखना बेहद महंगा है। इन "AI कोडर्स" को एक विशिष्ट जासूसों की टीम की तरह समझें: कुछ सुपरस्टार्स हैं जो लगभग किसी भी रहस्य को सुलझा सकते हैं, लेकिन वे प्रति घंटे भारी शुल्क वसूलते हैं। अन्य बुद्धिमान और सक्षम जासूस हैं जो कीमत में बहुत कम हैं, लेकिन वे पेचीदा सुरागों को मिस कर सकते हैं। लंबे समय तक, इस क्षेत्र में मुख्य सवाल यह था: "हम एक विशिष्ट मामले के लिए किस जासूस को काम पर रखें, यह हम कैसे जानें?" अधिकांश लोग केवल समस्या के विवरण ( "इश्यू टेक्स्ट") को पढ़कर अनुमान लगाने की कोशिश करते थे, इस उम्मीद में कि क्या सस्ता जासूस पर्याप्त होगा या उन्हें महंगे सुपरस्टार को बुलाने की आवश्यकता होगी।

लेकिन यहाँ एक पेंच है: समस्या के विवरण को पढ़ना वैसा ही है जैसे बिना कभी अपराध स्थल पर जाए केवल पुलिस रिपोर्ट देखकर अपराध को सुलझाने की कोशिश करना। आप जिस पेपर को पढ़ने जा रहे हैं वह एक स्मार्ट विचार की खोज करता है: क्या होगा अगर हम पहले अपराध स्थल पर एक छोटा, सस्ता स्काउट (जासूस) भेजें? यह स्काउट पूरे रहस्य को सुलझाने की कोशिश नहीं करता; वह बस आसपास देखता है, टूटे हुए हिस्सों को ढूंढता है, और एक त्वरित, सत्यापित रिपोर्ट लिखता है। फिर एक मैनेजर उस रिपोर्ट का उपयोग यह तय करने के लिए करता है कि किस जासूस को काम पर रखा जाए। "स्काउटिंग" (scrouting) नामक यह दृष्टिकोण बताता है कि समस्या के संदर्भ (context) को जानना केवल समस्या के शीर्षक के आधार पर अनुमान लगाने से कहीं अधिक मूल्यवान है।

---

SuperScout की कहानी: वह जासूस जो पहले स्काउटिंग करता है

SuperScout से मिलिए, एक नया सिस्टम जिसे बिना बजट बिगाड़े सॉफ़्टवेयर बग्स को ठीक करने के लिए डिज़ाइन किया गया है। इसे बनाने वाली टीम ने महसूस किया कि AI कोडर्स को काम पर रखने का पुराना तरीका अक्षम था। आमतौर पर, एक राउटर (निर्णय लेने वाला) एक बग रिपोर्ट को देखता है और तुरंत एक मॉडल चुन लेता है। लेकिन लेखकों ने कुछ आश्चर्यजनक पाया: यदि आप पिछले सॉफ़्टवेयर सुधारों के परिणामों को देखें, तो "सुपरस्टार" मॉडल लगभग उन सभी समस्याओं को हल कर लेते हैं जिन्हें सस्ते मॉडल हल कर सकते हैं, साथ ही कुछ और भी। इसका मतलब है कि सटीकता (accuracy) के लिए रूटिंग करने की कोशिश करना (यानी सबसे अधिक सुधार प्राप्त करने के लिए एकदम सही मॉडल चुनना) एक बंद रास्ता है; आप हमेशा सबसे महंगे मॉडल को काम पर रखकर बेहतर प्रदर्शन नहीं कर सकते।

इसलिए, टीम ने अपना नजरिया बदल दिया। पूर्ण होने की कोशिश करने के बजाय, उन्होंने लागत-जागरूक (cost-aware) होने का निर्णय लिया। उनका लक्ष्य अधिक समस्याओं को हल करना नहीं था, बल्कि बहुत कम कीमत पर उतनी ही समस्याओं को हल करना था।

तीन-अंकों वाला नाटक: स्काउट, सत्यापित करें और प्रेषित करें

SuperScout सिस्टम एक तीन-चरणीय असेंबली लाइन की तरह काम करता है:

1. द स्काउट (SuperScout-7B): सबसे पहले, एक छोटा, 7-बिलियन पैरामीटर वाला AI मॉडल (इसे एक जूनियर इंटर्न की तरह समझें) को सॉफ़्टवेयर रिपॉजिटरी में भेजा जाता है। इसका काम बग को ठीक करना नहीं है, बल्कि कोड को एक्सप्लोर करना, शामिल फाइलों को ढूंढना और एक ऐसा टेस्ट लिखने की कोशिश करना है जो साबित करे कि बग मौजूद है। यह एक "हैंडऑफ" (handoff) तैयार करता है—एक संरचित नोट जिसमें संदिग्ध फाइलें, एक रिप्रोडक्शन टेस्ट और कुछ जासूसी नोट्स होते हैं।
2. द सिक्योरिटी गेट (Verify-then-Strip): यहाँ एक जादुई ट्रिक है। इंटर्न के नोट्स पर आँख मूंदकर भरोसा नहीं किया जाता। मुख्य जासूस के देखने से पहले, एक "सैंडबॉक्स" (एक सुरक्षित, अलग परीक्षण कक्ष) इंटर्न के रिप्रोडक्शन टेस्ट को चलाता है। यदि टेस्ट वास्तव में कोड को तोड़ने में विफल रहता है (यानी इंटर्न भ्रमित था या गलत था), तो उस दावे को हटा दिया जाता है और फेंक दिया जाता है। केवल सत्यापित, वास्तविक तथ्य ही अगले चरण तक पहुँचते हैं।
3. द रेज़्यूमे राउटर: अंत में, एक मैनेजर कार्य को देखता है और इंटर्न के "छिपे हुए विचारों" (स्काउट मॉडल के आंतरिक डेटा स्टेट्स) का उपयोग करके यह तय करता है कि किस "फिक्सर" को काम पर रखा जाए। फिक्सर्स का पूल चार अलग-अलग फ्रंटियर AI मॉडल्स का है, जो सस्ते से लेकर महंगे तक हैं। राउटर सबसे सस्ते मॉडल को चुनता है जिसे वह लगता है कि काम संभाल सकता है। यदि इंटर्न ने कुछ नहीं पाया, तो फिक्सर मूल बग रिपोर्ट से ही काम करता है।

बड़ा खुलासा: हैंडऑफ ही असली नायक है

जब टीम ने 266 वास्तविक दुनिया के पायथन सॉफ़्टवेयर बग्स (एक बड़ी चुनौती जिसे SWE-bench Pro कहा जाता है) पर SuperScout का परीक्षण किया, तो परिणाम चौंकाने वाले थे।

• स्कोर: SuperScout ने 266 में से 159 कार्यों को हल किया।
• प्रतिस्पर्धा: एकल सबसे अच्छा, सबसे महंगा मॉडल (Claude Opus 4.6) ने 266 में से 158 कार्यों को हल किया।
• लागत: SuperScout ने यह परिणाम लगभग $0.23 प्रति समाधान** में प्राप्त किया, जबकि महंगे एकल मॉडल की लागत **$1.27 प्रति समाधान थी। यह लगभग पाँचवें हिस्से की लागत है!

हालाँकि, सबसे दिलचस्प खोज राउटर के निर्णय लेने के बारे में नहीं थी। जब शोधकर्ताओं ने राउटर को पूरी तरह से हटा दिया और हर कार्य को इंटर्न के सत्यापित हैंडऑफ के साथ सबसे सस्ते मॉडल (Kimi K2.5) को भेज दिया, तो इसने 159 कार्य हल किए—जो पूर्ण SuperScout सिस्टम के बिल्कुल बराबर है।

यह सुझाव देता है कि सत्यापित हैंडऑफ (verified handoff) ही असली हीरो है। रिपॉजिटरी को स्काउट करने और एक सत्यापित रिपोर्ट प्रदान करने के कार्य ने सस्ते मॉडल्स के प्रदर्शन को इतना ऊपर उठा दिया कि वे महंगे मॉडल्स के बराबर पहुँच गए। स्वयं रूटिंग निर्णय ने ज्यादा जादू नहीं जोड़ा; इसने बस यह सुनिश्चित किया कि सस्ते मॉडल्स को हैंडऑफ मिले।

यह क्यों महत्वपूर्ण है (और यह क्या नहीं है)

पेपर स्पष्ट रूप से कुछ चीजों को खारिज करता है:

• सटीकता के लिए रूटिंग बेकार है: आप केवल समस्या के टेक्स्ट के आधार पर मॉडल बदलकर हल किए गए कार्यों की संख्या में सुधार नहीं कर सकते; सबसे अच्छा मॉडल ही जीतता है।
• हैंडऑफ टेक्स्ट राउटर के लिए नहीं है: दिलचस्प बात यह है कि इंटर्न की रिपोर्ट का टेक्स्ट राउटर को खिलाने से वास्तव में प्रदर्शन खराब हो गया। राउटर, स्काउट के "हिडन स्टेट्स" (उसकी आंतरिक मस्तिष्क गतिविधि) का उपयोग करके बेहतर काम करता है बजाय लिखित नोट्स के। नोट्स फिक्सर के लिए हैं, मैनेजर के लिए नहीं।
• यह हर चीज़ के लिए जादुвई समाधान नहीं है: सिस्टम का परीक्षण 266 पायथन कार्यों के एक विशिष्ट सेट पर किया गया था। हालांकि स्काउट मॉडल ने उन भाषाओं पर भी काम करने की क्षमता दिखाई जिन पर उसे प्रशिक्षित नहीं किया गया था, अन्य बेंचमार्क पर पूरे सिस्टम का प्रदर्शन अभी भी अनटेस्टेड है।

लेखक सावधानीपूर्वक नोट करते हैं कि यह भविष्य के लिए "हल की गई" समस्या नहीं है। परिणाम इन विशिष्ट कार्यों और वर्तमान मॉडल्स के लिए विशिष्ट हैं। हालाँकि, तंत्र मजबूत है: तथ्यों को सत्यापित करने के लिए एक छोटा स्काउट भेजने से, आप समाधान करने की शक्ति को पुनर्वितरित कर सकते हैं। हैंडऑफ सस्ते मॉडल्स के स्तर को ऊपर उठा देता है, जिससे वे महंगे मॉडल्स के लगभग बराबर हो जाते हैं, जबकि स्काउट की लागत नगण्य है (प्रति कार्य आधे सेंट से भी कम)।

संक्षेप में, SuperScout हमें सिखाता है कि AI कोडिंग की दुनिया में, संदर्भ ही राजा है (Context is King)। केवल जॉब डिस्क्रिप्शन के आधार पर यह अनुमान न लगाएं कि किसे काम पर रखना है; पहले अपराध स्थल पर एक स्काउट भेजें, उनके द्वारा खोजी गई चीजों को सत्यापित करें, और फिर सबसे सक्षम सस्ते कार्यकर्ता को काम करने दें। यह सॉफ़्टवेयर बनाने का एक स्मार्ट, सस्ता तरीका है, जो यह साबित करता है कि कभी-कभी, पैसे बचाने का सबसे अच्छा तरीका थोड़ा होमवर्क करना होता है।