Scalable Supervision for Software Agents via Patch Reasoning
यह शोध पत्र R4P को प्रस्तुत करता है, जो एक तर्क-आधारित पद्धति है जो समूह-वार पैच सत्यापन (group-wise patch verification) के माध्यम से स्कैफोल्ड-अज्ञेय रिवॉर्ड्स (scaffold-agnostic rewards) प्रदान करके सॉफ्टवेयर एजेंटों के लिए स्केलेबल सुपरविजन को सक्षम बनाती है, जिससे टेस्ट-आधारित सुपरविजन की सीमाओं को दूर किया जा सकता है और Mini-SE जैसे निष्पादन-मुक्त (execution-free) एजेंटों के प्रशिक्षण में महत्वपूर्ण प्रदर्शन सुधार प्रदर्शित किए जा सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक सॉफ्टवेयर के विशाल और विस्तृत परिदृश्य में, कोड वह आधार है जिस पर लगभग सब कुछ डिजिटल रूप से निर्मित है। जब कोई प्रोग्राम खराब हो जाता है या उसे किसी नई विशेषता की आवश्यकता होती है, तो मानव डेवलपर्स को समस्या का निदान करना होता है और एक सटीक समाधान लिखना होता है, जिसे पैच (patch) कहा जाता है। हाल के वर्षों में, आर्टिफिशियल इंटेलिजेंस ने इस प्रक्रिया में सहायता करना शुरू कर दिया है, जिसमें लार्ज लैंग्वेज मॉडल्स डिजिटल सहायकों के रूप में कार्य करते हैं जो कोड को पढ़ सकते हैं, त्रुटियों को समझ सकते हैं और समाधान प्रस्तावित कर सकते हैं। हालाँकि, इन एआई सहायकों को वास्तव में विश्वसनीय बनाने के लिए सिखाना एक बाधा से टकरा गया है। उन्हें प्रशिक्षित करने की पारंपरिक विधि स्वचालित परीक्षणों (automated tests) के एक समूह को चलाने पर निर्भर करती है, ठीक वैसे ही जैसे एक मैकेनिक यह देखने के लिए कि क्या मरम्मत सफल रही, कार को डायग्नोस्टिक मशीन के माध्यम से चलाता है। छोटे, नियंत्रित उदाहरणों के लिए प्रभावी होने के बावजूद, यह दृष्टिकोण वास्तविक दुनिया में विफल हो जाता है। इंटरनेट पर अधिकांश सॉफ्टवेयर प्रोजेक्ट्स में ये व्यापक टेस्ट सूट्स मौजूद नहीं होते हैं, और हर एक समस्या के लिए आवश्यक जटिल वातावरण बनाना धीमा, महंगा और क्रैश होने के प्रति संवेदनशील है। बिना किसी तरीके के कि सुधारों को जल्दी और सस्ते में सत्यापित किया जा सके, एआई की क्षमता लाखों खुले सॉफ्टवेयर मुद्दों को हल करने के लिए स्केल करने की संभावना पहुंच से बाहर बनी हुई है।
द चाइनीज यूनिवर्सिटी ऑफ होंग कॉन्ग, शेनझेन और बाइटडांस (ByteDance) के शोधकर्ताओं ने एक नया रास्ता प्रस्तावित किया है जो इन भारी, स्वचालित परीक्षणों की आवश्यकता को पूरी तरह से समाप्त कर देता है। उन्होंने R4P नामक एक विधि पेश की, जो सॉफ्टवेयर सुधार के सत्यापन को एक यांत्रिक जांच के रूप में नहीं, बल्कि एक तर्क संबंधी कार्य (reasoning task) के रूप में देखती है। कोड को यह देखने के लिए चलाने के बजाय कि वह काम करता है या नहीं, यह प्रणाली एआई से एक वरिष्ठ इंजीनियर की तरह अपने सहयोगी के काम की समीक्षा करने के लिए कहती है। यह एक सॉफ्टवेयर समस्या और विभिन्न प्रस्तावित समाधानों के एक समूह को एक साथ देखती है। इन समाधानों की आपस में तुलना करके, एआई उन सूक्ष्म गलतियों या तार्किक खामियों को पकड़ सकता है जो शायद अदृश्य रह जाएं यदि वह केवल एक अकेले पैच को देख रहा होता। यह दृष्टिकोण सिस्टम को बहुत अधिक विविध वास्तविक दुनिया की समस्याओं से सीखने की अनुमति देता है, जिनमें वे भी शामिल हैं जिन्हें पहले कभी टेस्ट नहीं किया गया है, क्योंकि यह पूर्व-लिखित टेस्ट स्क्रिप्ट के अस्तित्व के बजाय कोड लॉजिक को समझने की एआई की क्षमता पर निर्भर करता है।
इस नवाचार का मूल एक प्रशिक्षण तकनीक है जहाँ एआई एक साथ कई पैच का मूल्यांकन करता है। कल्पना कीजिए कि न्यायाधीशों का एक पैनल एक ही प्रतियोगिता के लिए कई अलग-अलग प्रविष्टियों की समीक्षा कर रहा है। यदि न्यायाधीश प्रत्येक प्रविष्टि को अकेले देखते हैं, तो उन्हें यह तय करने में संघर्ष करना पड़ सकता है कि कौन सा सबसे अच्छा है या वे एक छोटी गलती को मिस कर सकते हैं। लेकिन जब वे सभी प्रविष्टियों को एक साथ देखते हैं, तो वे देख सकते हैं कि एक समाधान एक वेरिएबल को इस तरह बदलता है जो दूसरों के विपरीत है, या दूसरा समाधान एक विशिष्ट एज केस (edge case) को संभालता है जिसे बाकी अनदेखा कर देते हैं। शोधकर्ताओं ने पाया कि यह समूह-आधारित तुलना केवल यह पूछने की तुलना में कहीं अधिक समृद्ध संकेत प्रदान करती है कि क्या एक एकल पैच सही है या गलत। यह एआई को केवल एक प्रशंसनीय समाधान और एक वास्तव में सही समाधान के बीच अंतर करना सीखने में मदद करता है, भले ही उसके पास टेस्ट सूट का सुरक्षा जाल न हो।
इस पद्धति को व्यवहार में सिद्ध करने के लिए, टीम ने मिनी-एसई (Mini-SE) नामक एक हल्का सॉफ्टवेयर एजेंट बनाया। इस एजेंट को बिना कभी कोई टेस्ट चलाए या जटिल वातावरण बनाए सॉफ्टवेयर समस्याओं को हल करने के लिए डिज़ाइन किया गया था। यह पूरी तरह से R4P सिस्टम पर निर्भर करता है कि वह इसे बताए कि इसके प्रस्तावित सुधार अच्छे हैं या नहीं। प्रयोगों में, मिनी-एसई अपने पहले प्रयास में लगभग 26.2 प्रतिशत वास्तविक दुनिया के सॉफ्टवेयर मुद्दों को हल करने में सक्षम रहा। यह मूल Qwen3-32B मॉडल की तुलना में 10.0 प्रतिशत अंक का सुधार था। इसके अलावा, जब शोधकर्ताओं ने एजेंट द्वारा उत्पन्न उम्मीदवारों के बड़े समूह में से सर्वश्रेष्ठ समाधान चुनने के लिए R4P सिस्टम का उपयोग किया, तो सफलता दर बढ़कर 32.8 प्रतिशत हो गई। ये परिणाम प्रदर्शित करते हैं कि एक सिस्टम अपने काम की गुणवत्ता के बारे में तर्क देकर बेहतर कोड लिखना सीख सकता है, बजाय इसके कि वह पुष्टि के लिए किसी बाहरी टेस्ट का इंतजार करे।
अध्ययन ने यह भी रेखांकित किया कि यह विधि अविश्वसनीय रूप से तेज़ है। एक एकल सॉफ्टवेयर समस्या के लिए पारंपरिक टेस्ट सूट चलाना, वातावरण सेट करने में लगने वाले समय के कारण मिनटों या घंटों तक चल सकता है, जबकि R4P सिस्टम एक पैच को औसतन एक सेकंड से भी कम समय में सत्यापित करता है। यह गति, और उन मुद्दों पर काम करने की क्षमता जिनमें कोई टेस्ट मौजूद नहीं है, यह सुझाव देती है कि इंटरनेट पर मौजूद कोड के विशाल बहुमत तक एआई सहायता को स्केल करने का एक मार्ग प्रशस्त होता है जो वर्तमान में अछूता है। शोधकर्ताओं ने नोट किया, हालांकि, कि यह सिस्टम मानव परीक्षण का पूर्ण विकल्प नहीं है। यह पर्यवेक्षण और सीखने के लिए एक उपकरण है, जिसे उस डेटा की क्षमता को अनलॉक करने के लिए डिज़ाइन किया गया है जो पहले उपयोग करने में बहुत कठिन था। सत्यापन के बोझ को भारी, स्वचालित निष्पादन से बुद्धिमान तर्क की ओर स्थानांतरित करके, यह कार्य एआई एजेंटों को अधिक सक्षम सॉफ्टवेयर इंजीनियर बनने के लिए प्रशिक्षित करने का एक व्यावहारिक तरीका प्रदान करता है, यहाँ तक कि ओपन-सोर्स की अव्यवस्थित और अनटेस्टेड वास्तविकता में भी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।