Disagree to Explore, Agree to Commit: Routing-Guided Test-Time Scaling for Software Agents
यह शोधपत्र Risa प्रस्तुत करता है, जो सॉफ्टवेयर एजेंटों के लिए एक टेस्ट-टाइम स्केलिंग विधि है जो विविध अन्वेषण (exploration) को निर्देशित करने और प्रमुख निर्णय बिंदुओं पर सहमति के माध्यम से अंतिम समाधानों का चयन करने के लिए नेटिव MoE राउटर ट्रेसेस का लाभ उठाती है, जिससे बिना किसी बाहरी जज या उत्तर-स्ट्रिंग मिलान के SWE-bench Verified पर बेहतर रिज़ॉल्यूशन दर प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, सॉफ्टवेयर इंजीनियरों की तरह काम करने के लिए डिज़ाइन किए गए प्रोग्रामों का एक बढ़ता हुआ वर्ग है। ये एजेंट केवल सवालों के जवाब ही नहीं देते; वे जटिल डिजिटल वातावरणों को समझते हैं, कोड पढ़ते हैं, परीक्षण चलाते हैं और टूटे हुए सॉफ्टवेयर को ठीक करने के लिए सुधार (fixes) लिखते हैं। एक कठिन समस्या को हल करने के लिए, एक एजेंट को अक्सर निर्णयों की एक लंबी श्रृंखला बनानी पड़ती है, जिसमें वह तब तक विभिन्न उपकरणों और कमांड्स को आज़माता रहता है जब तक कि उसे समाधान न मिल जाए। क्योंकि ये कार्य इतने जटिल होते हैं, शोधकर्ताओं ने पाया है कि एजेंट को एक साथ कई अलग-अलग रास्तों को आज़माने के लिए अधिक कंप्यूटिंग पावर देने से अक्सर बेहतर परिणाम मिलते हैं। हालाँकि, जब एजेंट कई रास्ते आज़माता है, तो एक नई समस्या उत्पन्न होती है: उम्मीदवारों की भीड़ में से सबसे अच्छे एकल समाधान को कैसे चुना जाए? एक सरल गणितीय समस्या के विपरीत जहाँ एक स्पष्ट सही उत्तर होता है, एक सॉफ्टवेयर सुधार कई तरीकों से अलग दिख सकता है, जिससे यह बताना कठिन हो जाता है कि वास्तविक सिस्टम में चलाए बिना कौन सा संस्करण वास्तव में सबसे अच्छा है, जो कि धीमा और महंगा है।
फ़ुदान यूनिवर्सिटी और शंघाई इनोवेशन इंस्टीट्यूट के शोधकर्ताओं की एक टीम ने इस चयन समस्या को हल करने का एक नया तरीका विकसित किया है, जो अंतिम आउटपुट की प्रतीक्षा करने के बजाय स्वयं AI की आंतरिक "विचार प्रक्रिया" को सुनकर काम करता है। उन्होंने एक विशिष्ट प्रकार के AI आर्किटेक्चर पर ध्यान केंद्रित किया जिसे 'स्पार्स मिक्सचर-ऑफ-एक्सपर्ट्स' (sparse mixture-of-experts) कहा जाता है। इन मॉडलों में, हर बार जब AI एक शब्द बनाता है, तो एक छोटा आंतरिक राउटर यह निर्णय लेता है कि किन विशिष्ट उप-नेटवर्कों, या "विशेषज्ञों" (experts), को कार्य करना चाहिए। यह राउटर एक निशान छोड़ता है, जो इस बात का रिकॉर्ड है कि किन विशेषज्ञों को चुना गया था और उनके योगदान की मात्रा कितनी थी। शोधकर्ताओं ने महसूस किया कि यह निशान AI के व्यवहार के लिए एक अनूठे फिंगरप्रिंट की तरह कार्य करता है। भले ही दो अलग-अलग समाधान सतह पर पूरी तरह से अलग दिखें, लेकिन वह आंतरिक मार्ग जो AI ने उन्हें बनाने के लिए अपनाया था, वह यह प्रकट कर सकता है कि क्या वह नए क्षेत्रों की खोज कर रहा है या एक ठोस उत्तर की ओर बढ़ रहा है।
शोधकर्ताओं ने एक प्रणाली बनाई जिसे वे 'रिसा' (Risa) कहते हैं, जो एजेंट की यात्रा को निर्देशित करने के लिए इन आंतरिक फिंगरप्रिंट्स का उपयोग करती है। जब एजेंट किसी समस्या को हल करने के शुरुआती चरणों में होता है, तो रिसा उसे निरंतर अन्वेषण (exploring) करने के लिए प्रोत्साहित करता है। यह एजेंट के हालिया इतिहास की जाँच करके ऐसा करता है; यदि AI एक ऐसा कदम उठाने वाला होता है जो उसके पिछले कदम के बहुत समान दिखता है, तो सिस्टम उसे एक अलग, अधिक नवीन क्रिया की ओर मोड़ देता है। यह एजेंट को एक ही गलतियों को दोहराने के चक्र में फंसने से रोकता है। हालाँकि, जैसे ही एजेंट एक 'पैच' (कोड में बदलावों का एक सेट) लिखना शुरू करता है, रणनीति बदल जाती है। इस चरण में, सिस्टम विभिन्न उम्मीदवारों के बीच सहमति की तलाश करता है। यदि कई अलग-अलग प्रयास, जो अलग-अलग बिंदुओं से शुरू हुए थे, एक ही समान आंतरिक संरचना वाले सुधार पर पहुँचते हैं, तो सिस्टम इसे एक मजबूत संकेत मानता है कि समाधान सही है।
इस विचार का परीक्षण करने के लिए, टीम ने एक मानक बेंचमार्क पर प्रयोग किया जिसे 'SWE-bench Verified' कहा जाता है, जिसमें वास्तविक दुनिया के सैकड़ों सॉफ्टवेयर मरम्मत कार्य शामिल हैं। उन्होंने कई अलग-अलग AI मॉडलों का उपयोग किया और उन्हें कार्यों को कई बार करने दिया। एक परीक्षण सेट में, उन्होंने अपने नए 'राउटिंग-गाइडेड' तरीके की तुलना एक सरल दृष्टिकोण से की जहाँ अंतिम चुनाव रैंडम (यादृच्छिक) रूप से किया जाता है। परिणामों ने एक स्पष्ट सुधार दिखाया। जब राउटिंग सिस्टम का उपयोग किया गया, तो एजेंटों द्वारा सॉफ्टवेयर को सफलतापूर्वक ठीक करने की दर लगभग 45 प्रतिशत से बढ़कर 48 प्रतिशत से अधिक हो गई। यह एक छोटी संख्या लग सकती है, लेकिन स्वचालित सॉफ्टवेयर मरम्मत की दुनिया में, जहाँ प्रत्येक प्रतिशत अंक महत्वपूर्ण प्रगति का प्रतिनिधित्व करता है, यह एक सार्थक लाभ है। यह प्रणाली इतनी अच्छी तरह से काम करती है कि इसने उन तरीकों के प्रदर्शन का मुकाबला किया जो समाधानों के वास्तविक टेक्स्ट की तुलना करने पर निर्भर करते हैं, लेकिन इसके लिए कोड को चलाने या उत्तर को सत्यापित करने के लिए किसी अलग जज की आवश्यकता नहीं होती है।
अध्ययन में यह भी पाया गया कि सबसे उपयोगी जानकारी AI के पूरे आउटपुट के इतिहास में नहीं, बल्कि निर्णय लेने के विशिष्ट क्षणों में थी। जब AI को कोड की एक पंक्ति लिखने के कई संभावित तरीकों में से एक को चुनना पड़ता था, तो उन विशिष्ट विकल्पों ने आंतरिक राउटिंग ट्रेस पर एक विशिष्ट छाप छोड़ी। केवल इन महत्वपूर्ण निर्णय बिंदुओं पर ध्यान केंद्रित करके, सिस्टम एक भाग्यशाली अनुमान और एक तर्कसंगत समाधान के बीच अंतर कर सका। यह दृष्टिकोण विभिन्न प्रकार के AI मॉडलों पर काम कर गया, जिससे पता चलता है कि आंतरिक राउटिंग ट्रेस एक विश्वसनीय संकेत है जिसका उपयोग जटिल कार्यों को समन्वित करने के लिए किया जा सकता है। शोधकर्ताओं ने निष्कर्ष निकाला कि AI द्वारा क्या कहा जाता है, इसके बजाय इस बात पर ध्यान देकर कि वह अपने आंतरिक संसाधनों को कैसे आवंटित करता है, हम बेहतर एजेंट बना सकते हैं जो अन्वेषण करने में बेहतर, समाधान के प्रति प्रतिबद्ध होने में अधिक सुसंगत और अंततः कठिन समस्याओं को हल करने में अधिक सफल होते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।