Steer, Don't Solve: Training Small Critic Models for Large Code Agents
यह शोध पत्र बड़े कोड एजेंटों के लिए इंट्रा-ट्रैजेक्टरी स्टीयरिंग (intra-trajectory steering) प्रदान करने हेतु छोटे, सुपरवाइज्ड फाइन-ट्यून्ड क्रिटिक मॉडल्स को प्रशिक्षित करने का प्रस्ताव देता है, जो यह प्रदर्शित करता है कि यह दृष्टिकोण एंड-टू-एंड ट्रेनिंग या पोस्ट-हॉक स्कोरिंग की तुलना में कम्प्यूटेशनल लागत और ट्रैजेक्टरी की लंबाई दोनों को कम करते हुए SWE-bench Verified जैसे बेंचमार्क पर प्रदर्शन में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मुख्य विचार: GPS बनाम ड्राइवर
कल्पना कीजिए कि आप न्यूयॉर्क से लॉस एंजिल्स तक कार चलाने की कोशिश कर रहे हैं। आपके पास एक बहुत ही कुशल ड्राइवर (कोड एजेंट) है जो जानता है कि स्टीयरिंग व्हील कैसे घुमाना है, एक्सीलेटर दबाना है और गियर बदलना है। हालाँकि, यह ड्राइवर कभी-कभी बड़े परिप्रेक्ष्य (big picture) को लेकर भ्रमित हो जाता है। वे गोल-गोल घूम सकते हैं, कोई गलत साइन पढ़ने के कारण गलत मोड़ ले सकते हैं, या किसी दीवार के माध्यम से जाने की कोशिश करते रह सकते हैं क्योंकि उन्हें लगता है कि वह एक दरवाजा है।
आमतौर पर, इसे ठीक करने के लिए, लोग ड्राइवर को शुरू से से फिर से प्रशिक्षित (retrain) करने की कोशिश करते हैं। लेकिन यह महंगा है, इसमें बहुत समय लगता है, और ड्राइवर अभी भी उन्हीं भ्रमित करने वाली सड़कों पर फंस सकता है।
यह पेपर एक अलग समाधान प्रस्तावित करता है: ड्राइवर को फिर से प्रशिक्षित करने के बजाय, हम एक छोटा, स्मार्ट GPS नेविगेटर (क्रिटिक मॉडल) काम पर रखते हैं।
- ड्राइवर (एजेंट): सारा वास्तविक काम करता है (कोड लिखना, कमांड चलाना)। वे बिल्कुल वैसे ही रहते हैं; हम उनके दिमाग को नहीं बदलते।
- GPS (क्रिटिक): स्टीयरिंग व्हील को नहीं छूता है। इसके बजाय, यह हर कुछ मिनटों में ड्राइवर को देखता है। यदि ड्राइवर गोल-गोल घूमने लगता है या किसी खाई की ओर बढ़ने लगता है, तो GPS कहता है, "हे, तुम लूप में फंस रहे हो! तुम गलत फ़ाइल को ठीक करने की कोशिश कर रहे हो। रुको और अपनी रणनीति पर फिर से विचार करो।"
यह पेपर दिखाता है कि यह छोटा GPS एक सुपर-स्मार्ट मानव नेविगेटर को काम पर रखने की तुलना में बहुत सस्ता है, और यह ड्राइवर को मंजिल तक बहुत तेज़ी से और अधिक बार पहुँचाने में मदद करता है।
समस्या: केवल "प्रशिक्षण" पर्याप्त क्यों नहीं है
लेखकों ने देखा कि जब आप बड़े AI कोडिंग एजेंटों को सॉफ़्टवेयर बग्स हल करने के लिए प्रशिक्षित करते हैं, तो वे मैकेनिक्स (कोड टाइप करना, टूल्स चलाना) में बहुत अच्छे हो जाते हैं। लेकिन वे अक्सर रणनीति (सही योजना बनाना) में विफल हो जाते हैं।
यह एक छात्र को निबंध लिखना सिखाने जैसा है। आप उन्हें सटीक व्याकरण और वर्तनी (mechanics) सिखा सकते हैं, लेकिन यदि उन्हें यह नहीं पता कि अपने विचारों को कैसे व्यवस्थित करना है या विषय पर कैसे टिके रहना है (strategy), तो निबंध फिर भी खराब ही होगा।
जब आप AI को ये दोनों चीजें एक साथ करने के लिए प्रशिक्षित करने की कोशिश करते हैं, तो वह एक "सीलिंग" (सीमा) से टकरा जाता है। वह अटक जाता है। लेखकों ने पाया कि लगभग 65% विफलताएं इसलिए नहीं थीं कि AI ने बुरा कोड लिखा था, बल्कि इसलिए थीं क्योंकि उसकी तर्क प्रक्रिया (reasoning) त्रुटिपूर्ण थी।
समाधान: एक "छोटा क्रिटिक"
टीम ने एक ऐसा सिस्टम बनाया जहाँ एक छोटा AI मॉडल (क्रिटिक) एक बड़े कोडिंग एजेंट के बगल में बैठता है।
- सेटअप: बड़ा एजेंट किसी समस्या को हल करने की कोशिश करता है। हर 5 या 10 स्टेप्स के बाद, वह रुकता है।
- चेक-इन: छोटा क्रिटिक देखता है कि एजेंट ने अब तक क्या किया है।
- सलाह: क्रिटिक एक छोटी, उच्च-स्तरीय टिप देता है।
- बुरी सलाह: "लाइन 42 को डिलीट करें और यहाँ एक लूप लिखें।" (यह "बैकसीट ड्राइविंग" है और पेपर कहता है कि यह बुरा है क्योंकि छोटा मॉडल कोड के मामले में बड़े मॉडल से बेहतर नहीं जान पाता)।
- अच्छी सलाह: "आप एक ही कमांड को तीन बार दोहरा रहे हैं। आप एक लूप में फंस गए हैं। एक अलग दृष्टिकोण आज़माएँ।" (यह "स्टीयरिंग" है)।
- फिर से शुरू करना: बड़ा एजेंट सलाह पढ़ता है और काम जारी रखता है।
उन्होंने GPS को कैसे प्रशिक्षित किया
छोटे क्रिटिक को अच्छी सलाह देना सिखाने के लिए, उन्होंने केवल अनुमान नहीं लगाया। उन्होंने एक "टीचर" (एक विशाल, बहुत महंगा AI जिसे Claude-Opus-4.6 कहा जाता है) का उपयोग करके पहले सलाह जेनरेट की।
- टीचर: महंगे AI ने एजेंट को काम करते हुए देखा और आदर्श, उच्च-स्तरीय सलाह लिखी।
- स्टूडेंट: छोटे, सस्ते AI (Qwen3-8B) ने इन नोट्स का अध्ययन किया। इसने सलाह की शैली (रणनीति पर ध्यान केंद्रित करना, विशिष्ट कोड लाइनों पर नहीं) की नकल करना सीखा, बिना उतना स्मार्ट हुए जितना कि टीचर था।
महत्वपूर्ण खोज: पेपर ने पाया कि सलाह का प्रकार सबसे अधिक मायने रखता है।
- यदि टीचर ने विशिष्ट कोड निर्देश दिए, तो छोटा स्टूडेंट उन्हें अच्छी तरह से नहीं सीख सका।
- यदि टीचर ने उच्च-स्तरीय रणनीति दी (जैसे, "आप फंस गए हैं," "अपनी धारणाओं की जांच करें"), तो छोटे स्टूडेंट ने इसे पूरी तरह से सीख लिया।
परिणाम: तेज़, सस्ता और स्मार्ट
टीम ने इसका परीक्षण SWE-bench नामक एक प्रसिद्ध बेंचमार्क पर किया, जो 500 वास्तविक दुनिया के सॉफ़्टवेयर बग्स का एक टेस्ट है।
- यह विभिन्न ड्राइवरों पर काम करता है: उन्होंने एक प्रकार के कोडिंग एजेंट (CWM-32B) का उपयोग करके क्रिटिक को प्रशिक्षित किया। फिर, उन्होंने उसी क्रिटिक का उपयोग दो अलग कोडिंग एजेंटों (Qwen मॉडल्स) की मदद करने के लिए किया, जिन्हें उसने पहले कभी नहीं देखा था।
- परिणाम: नए एजेंटों ने क्रिटिक को सुनकर बग्स को हल करने में उल्लेखनीय सुधार किया।
- यह पैसे बचाता है: "टीचर" (Claude-Opus) को चलाना बहुत महंगा है। "स्टूडेंट" (Qwen3-8B) बहुत छोटा और सस्ता है।
- परिणाम: छोटे क्रिटिक का उपयोग करने वाला सिस्टम महंगे टीचर का उपयोग करने की तुलना में 30 से 92 गुना सस्ता था।
- यह वास्तव में समय बचाता है: एक बड़े एजेंट पर, क्रिटिक ने न केवल एजेंट को स्मार्ट बनाया; बल्कि इसने एजेंट को समय बर्बाद करने से रोका। एजेंट ने कार्यों को तेज़ी से पूरा किया, जिससे और भी अधिक पैसे बचे। वास्तव में, पूरा सिस्टम (एजेंट + क्रिटिक) अकेले एजेंट के काम करने की तुलना में सस्ता था।
"सीक्रेट सॉस" (Secret Sauce)
पेपर इस बात पर प्रकाश डालता है कि यह दो मुख्य कारणों से सफल रहा:
- चिंताओं का पृथक्करण (Separation of Concerns): एजेंट करने (कोडिंग) पर ध्यान केंद्रित करता है, और क्रिटिक सोचने (रणनीति) पर ध्यान केंद्रित करता है। वे इस बात पर बहस नहीं करते कि किसका नियंत्रण होगा।
- बैकसीट ड्राइविंग नहीं: क्रिटिक को सख्ती से "यह विशिष्ट लाइन का कोड लिखें" कहने से मना किया गया है। वह केवल कहता है "आप गलत दिशा में जा रहे हैं।" यह छोटे मॉडल को खराब, विशिष्ट निर्देश देने से रोकता है जो बड़े मॉडल को भ्रमित कर सकते हैं।
सारांश
इस पेपर को एक सुपर-हीरो के बजाय एक टीम बनाने के ब्लूप्रिंट के रूप में देखें। एक विशाल, पूर्ण AI बनाने के बजाय जो सब कुछ करता है (जो कठिन और महंगा है), उन्होंने एक ऐसा सिस्टम बनाया जहाँ एक छोटा, विशेष कोच एक शक्तिशाली कार्यकर्ता का मार्गदर्शन करता है।
कोच काम नहीं करता है, लेकिन सही उच्च-स्तरीय संकेत देकर, वह कार्यकर्ता उन समस्याओं को हल करता है जिन्हें वह अकेले नहीं कर सकता था, और पूरी टीम काम को तेज़ी से और कम लागत में पूरा करती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।