LEGO-RL: Harness-Native Reinforcement Learning for Coding Agents
LEGO-RL एक ऐसा फ्रेमवर्क है जो इन-प्रोसेस LLM प्रॉक्सीइंग, सुदृढ़ सैंडबॉक्स ऑर्केस्ट्रेशन और एकीकृत निगरानी के माध्यम से नेटिव निष्पादन हार्नेस को पॉलिसी-ग्रेडिएंट ऑप्टिमाइज़ेशन के साथ जोड़कर कोडिंग एजेंटों के लिए स्केलेबल सुदृढीकरण शिक्षण (reinforcement learning) को सक्षम बनाता है, जिससे विविध वातावरणों में SWE-bench Verified पर मॉडल के प्रदर्शन में महत्वपूर्ण सुधार होता है और उच्च प्रशिक्षण-अनुमान संरेखण (training-inference alignment) बना रहता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया में, शोधकर्ता कंप्यूटर को स्वायत्त सॉफ्टवेयर इंजीनियरों के रूप में कार्य करना सिखा रहे हैं। ये डिजिटल एजेंट केवल प्रश्नों के उत्तर नहीं देते; वे जटिल कोडबेस (codebases) में नेविगेट करते हैं, बग्स को ठीक करने के लिए टूल्स का उपयोग करते हैं, और यह देखने के लिए परीक्षण चलाते हैं कि उनके बदलाव काम करते हैं या नहीं। इन कौशलों को सीखने के लिए, एजेंट 'रीइन्फोर्समेंट लर्निंग' (reinforcement learning) नामक एक विधि का उपयोग करते हैं। कल्पना कीजिए कि एक छात्र पहेली सुलजना सीख रहा है: वह एक चाल चलता है, और यदि वह उसे समाधान के करीब ले जाती है, तो उसे एक छोटा सा इनाम मिलता है। समय के साथ, वह सीख जाता है कि कौन सी चालें सफलता की ओर ले जाती हैं। कोडिंग एजेंटों के लिए, इस प्रक्रिया में कार्यों के लंबे अनुक्रम उत्पन्न करना, एक कंप्यूटर प्रोग्राम को चलते हुए देखना, और एक सरल "हाँ" या "नहीं" का संकेत प्राप्त करना शामिल है जो यह बताता है कि उनके द्वारा लिखे गए कोड ने वास्तव में समस्या को ठीक किया या नहीं। चुनौती इस तथ्य में निहित है कि ये एजेंट वास्तविक दुनिया के अव्यवस्थित कंप्यूटिंग वातावरण में काम करते हैं जहाँ चीजें अप्रत्याशित तरीकों से गलत हो सकती हैं। यदि वातावरण क्रैश हो जाता है, यदि रिवॉर्ड सिस्टम (इनाम प्रणाली) को धोखा दिया जाता है, या यदि एजेंट के विचारों को रिकॉर्ड करने वाला कंप्यूटर यह भूल जाता है कि वास्तव में क्या कहा गया था, तो सीखने की प्रक्रिया टूट जाती है। एजेंट सिस्टम का फायदा उठाना सीख सकता है या केवल इसलिए सीखना बंद कर सकता है क्योंकि उसे मिलने वाला फीडबैक अविश्वसनीय है।
शोधकर्ताओं की एक टीम ने इन विशिष्ट समस्याओं को हल करने के लिए LEGO-RL नामक एक नई प्रणाली विकसित की है। उनका लक्ष्य मौजूदा, जटिल कोडिंग एजेंटों को शक्तिशाली लर्निंग एल्गोरिदम से जोड़ना था, बिना एजेंटों को उनके काम करने के तरीके को बदलने के लिए मजबूर किए। एजेंट को एक कुशल कार्यकर्ता के रूप में सोचें जो जानता है कि किसी विशिष्ट सेट टूल्स का उपयोग कैसे करना है और एक विशिष्ट वर्कफ़्लो का पालन कैसे करना है। इन कार्यकर्ताओं को प्रशिक्षित करने के पिछले प्रयासों में अक्सर प्रशिक्षण सॉफ़्टवेयर के अनुकूल बनाने के लिए उनके पूरे कार्यक्षेत्र को फिर से बनाना पड़ता था, जिससे अक्सर त्रुटियां होती थीं या उनके स्वाभाविक व्यवहार में बदलाव आता था। इसके बजाय, LEGO-RL टीम ने एक ऐसा पुल बनाया जो प्रशिक्षण सॉफ़्टवेयर को कार्यकर्ता को बिल्कुल वैसे ही देखने देता है जैसे वे हैं, प्रत्येक चाल और विचार को वास्तविक समय में कैप्चर करता है, जबकि सीखने की प्रक्रिया को वास्तविक दुनिया की अराजकता से बचाता है।
उनके समाधान का मूल एक ऐसा ढांचा (framework) है जो यह सुनिश्चित करता है कि प्रशिक्षण कंप्यूटर वही देखे जो एजेंट देखता है और करता है। जब एक एजेंट प्रतिक्रिया उत्पन्न करता है, तो एक विशेष घटक शब्दों की कच्ची स्ट्रीम (raw stream) और किसी भी अन्य सॉफ़्टवेयर द्वारा किसी शब्द को बदलने या संक्षिप्त करने से पहले उस शब्द के लिए एजेंट द्वारा दी गई सटीक संभावना (probability) को कैप्चर करता है। यह महत्वपूर्ण है क्योंकि एजेंट के वातावरण का प्रबंधन करने वाला सॉफ़्टवेयर अक्सर स्थान बचाने के लिए इतिहास को फिर से लिखता है या जानकारी को संकुचित करता है। यदि प्रशिक्षण प्रणाली इन पुनर्गठित संस्करणों पर निर्भर करती, तो यह एजेंट की प्रगति की गणना घटनाओं की एक विकृत स्मृति के आधार पर करती। डेटा को जनरेशन के क्षण पर कैप्चर करके, शोधकर्ताओं ने यह सुनिश्चित किया कि लर्निंग सिग्नल एजेंट के वास्तविक निर्णयों के प्रति वफादार रहे। इसके अलावा, उन्होंने एजेंट द्वारा किए गए विशिष्ट आंतरिक विकल्पों को फिर से चलाने (replay) के लिए एक प्रणाली बनाई, जिससे यह सुनिश्चित हुआ कि कई विशिष्ट भागों वाले जटिल मॉडल भी सही पथ से सीखें।
सीखने की प्रक्रिया को विश्वसनीय बनाए रखने के लिए, टीम ने एक अत्यधिक संगठित वातावरण बनाया जहाँ प्रत्येक परीक्षण अपने स्वयं के अलग, सुरक्षित कंटेनर में चलता है। यह एक खराब परीक्षण को पूरे सिस्टम को क्रैश होने से रोकता है और एजेंटों को स्कोरिंग सिस्टम को बायपास करने के लिए शॉर्टकट खोजने से रोकता है। उदाहरण के लिए, उन्होंने परीक्षण के दौरान एजेंटों से उत्तर छिपा दिए और यह सुनिश्चित किया कि काम को ग्रेड करने के लिए उपयोग किया जाने वाला सॉफ़्टवेयर छेड़छाड़ के योग्य न हो। उन्होंने सिस्टम को विफलताओं को सुचारू रूप से संभालने के लिए भी डिज़ाइन किया। यदि कोई एजेंट फंस जाता है या वातावरण क्रैश हो जाता है, तो सिस्टम समस्या की पहचान करता है, उस विशिष्ट प्रयास को हटा देता है, और आगे बढ़ जाता है ताकि त्रुटि लर्निंग डेटा को दूषित न करे। यह जटिल कोडिंग कार्यों में विफलताओं को होने से रोकता है, जो अक्सर होता है।
शोधकर्ताओं ने तीन अलग-अलग, मौजूदा कोडिंग एजेंट फ्रेमवर्क का उपयोग करके एक बड़े लैंग्वेज मॉडल को प्रशिक्षित करके इस प्रणाली का परीक्षण किया। उन्होंने पाया कि यह प्रणाली तीनों में से सभी पर उल्लेखनीय रूप से काम करती है। वास्तविक दुनिया की सॉफ्टवेयर समस्याओं को हल करने की मॉडल की क्षमता में काफी सुधार हुआ। एक लोकप्रिय फ्रेमवर्क का उपयोग करते समय, सफलता दर 64 प्रतिशत से बढ़कर 70 प्रतिशत से अधिक हो गई। दूसरे के साथ, यह 62 प्रतिशत से बढ़कर लगभग 68 प्रतिशत हो गई, और तीसरे के साथ, यह 57 प्रतिशत से बढ़कर लगभग 67 प्रतिशत हो गई। महत्वपूर्ण रूप से, शोधकर्ताओं ने सत्यापित किया कि सीखने की प्रक्रिया ईमानदार थी; एजेंट ने जो किया और प्रशिक्षण प्रणाली ने जो गणना की, उनके बीच का गणितीय संबंध लगभग पूर्ण था, जिसका सहसंबंध (correlation) 99 प्रतिशत से ऊपर था। इससे सिद्ध हुआ कि सिस्टम केवल भाग्यशाली नहीं था, बल्कि वास्तव में सही डेटा से सीख रहा था।
केवल स्कोर में सुधार करने के अलावा, सिस्टम ने एजेंटों के सीखने के तरीके में एक स्पष्ट खिड़की प्रदान की। शोधकर्ता वास्तविक समय में प्रशिक्षण देख सकते थे, यह देख सकते थे कि कोई परीक्षण क्यों विफल हुआ या हफ्तों के प्रशिक्षण के दौरान एजेंट का व्यवहार कैसे बदला। उन्होंने देखा कि जैसे-जैसे एजेंटों में सुधार हुआ, वे अपने काम की जांच अधिक बार करने लगे, यह सुनिश्चित करने के लिए कि उनके द्वारा संपादित की गई फाइलें सही हैं। उन्होंने यह भी देखा कि एजेंट समस्याओं को हल करने के लिए अधिक कदम उठाने लगे, समाधान तक पहुँचने के लिए कंप्यूटर के साथ लंबी और अधिक जटिल बातचीत करने लगे। विवरण के इस स्तर ने शोधकर्ताओं को समस्याओं का तेजी से निदान करने की अनुमति दी, जैसे कि जब एक एजेंट टूल्स का उपयोग करना बंद कर देता है और टेक्स्ट लिखना शुरू कर देता है, और तदनुसार प्रशिक्षण को समायोजित करना।
LEGO-RL की सफलता यह दर्शाती है कि कोडिंग एजेंटों के प्रशिक्षण को स्केल करने के लिए केवल तेज़ कंप्यूटर या बड़े मॉडल की आवश्यकता नहीं है। इसके लिए एक ऐसे सिस्टम की आवश्यकता है जो एजेंट के वर्कफ़्लो की अखंडता का सम्मान करे और सीखने के लिए एक स्थिर, अवलोकन योग्य वातावरण प्रदान करे। डेटा को निष्ठापूर्वक कैप्चर करने वाला, त्रुटियों से सुरक्षा करने वाला और प्रशिक्षण प्रक्रिया के लिए गहरी दृश्यता प्रदान करने वाला ढांचा बनाकर, शोधकर्ताओं ने दिखाया है कि जटिल सॉफ्टवेयर एजेंटों को विश्वसनीय रूप से सुधारना सिखाना संभव है। उनका कार्य सुझाव देता है कि स्वायत्त कोडिंग का भविष्य एजेंटों को कठोर सांचों में डालने में नहीं, बल्कि लचीले, मजबूत सिस्टम बनाने में है जो सॉफ्टवेयर विकास की वास्तविक दुनिया से सीख सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।