Learning Globally Reusable Skills for Coding Agents
यह शोध पत्र GSE का प्रस्ताव करता है, जो एक ग्लोबलाइज्ड स्किल इवोल्यूशन फ्रेमवर्क है जो स्किल रिलेशन ग्राफ और क्लस्टर-आधारित कंसोलिडेशन का उपयोग करके स्थानीय अपडेट की सीमाओं को दूर करता है, जिससे एलएलएम कोडिंग एजेंटों को महंगे रिट्रेनिंग के बिना विविध सॉफ्टवेयर इंजीनियरिंग कार्यों में अपने सामान्यीकरण और अनुकूलता को निरंतर सुधारने में सक्षम बनाया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट सहायक है जो आपसे बात करके कंप्यूटर कोड लिख सकता है, बग्स ठीक कर सकता है और सॉफ्टवेयर बना सकता है। यह रोबोट एक "लार्ज लैंग्वेज मॉडल" (LLM) द्वारा संचालित है, जो एक विशाल डिजिटल मस्तिष्क की तरह है जिसने इंटरनेट पर लगभग सब कुछ पढ़ा है। लेकिन यहाँ एक पेंच है: भले ही यह मस्तिष्क बहुत विशाल है, लेकिन यह हर विशिष्ट कार्य के बारे में सब कुछ नहीं जानता। यह एक बहुत ही बुद्धिमान छात्र की तरह है जो ट्रक चलाने का सिद्धांत तो जानता है, लेकिन उसने कभी बर्फीले पहाड़ पर ट्रक नहीं चलाया है। इसकी मदद के लिए, हम रोबोट को एक "स्किल बुक" (कौशल पुस्तिका) देते हैं—निर्देशों और युक्तियों की एक सूची जिसे वह फंसने पर निकाल सकता है।
बड़ा सवाल यह है कि वैज्ञानिक यह कैसे तय करें कि इस रोबोट को अपना पूरा मस्तिष्क फिर से बनाए बिना समय के साथ बेहतर कैसे बनाया जाए? आमतौर पर, जब रोबोट कोई गलती करता है, तो हम उसे उस एक विशिष्ट गलती के लिए एक नया तरीका सिखाने की कोशिश कर सकते हैं। लेकिन क्या होगा अगर वह नया तरीका उस पुराने तरीके को तोड़ दे जो वह पहले से जानता था? या क्या होगा अगर रोबोट एक ऐसा तरीका सीख ले जो एक प्रोजेक्ट के लिए तो एकदम सही काम करता है लेकिन अगले प्रोजेक्ट पर बुरी तरह विफल हो जाता है? यह "स्किल इवोल्यूशन" (कौशल विकास) की पहेली है: हम रोबोट को निरंतर नए कौशल सीखने में कैसे मदद कर सकते हैं, जबकि यह सुनिश्चित किया जा सके कि उसके सभी कौशल एक सुव्यवस्थित मशीन की तरह एक साथ मिलकर काम करें?
समस्या: शून्य में सीखना (Learning in a Vacuum)
मिलिए GSE (ग्लोबलाइज्ड स्किल इवोल्यूशन) से, जो शोधकर्ता चेन यांग और उनकी टीम द्वारा प्रस्तावित एक नया फ्रेमवर्क है। यह समझने के लिए कि GSE क्यों विशेष है, कल्पना कीजिए कि एक छात्र बेकिंग सीखने की कोशिश कर रहा है। यदि वह हर बार केक जलाने पर एक नई रेसिपी सीखने की कोशिश करता है, तो अंत में उसके पास विरोधाभासी निर्देशों से भरा रसोईघर होगा। एक नोट कहता है "चीनी डालें," दूसरा कहता है "चीनी न डालें," और तीसरा कहता है "केवल मंगलवार को ही बेक करें।" यदि छात्र इन नोट्स को बस एक दराज (एक "स्किल बैंक") में ढेर कर देता है, तो वह अंततः भ्रमित हो जाएगा और एक आपदा वाला केक बनाएगा।
वर्तमान में AI एजेंटों को सिखाने के अधिकांश तरीके बिल्कुल इसी अव्यवस्थित दराज की तरह काम करते हैं। जब AI किसी कार्य में विफल होता है, तो वह उस विशिष्ट विफलता को ठीक करने के लिए एक नया कौशल बनाता है। लेकिन यह प्रत्येक नए कौशल को एक अलग अपडेट के रूप में मानता है। यह यह नहीं पूछता, "हे, क्या यह नया नियम कल सीखे गए नियम से टकरा रहा है?" या "क्या यह नया तरीका सिर्फ एक अजीब संयोग है जो केवल इस एक केक के लिए काम करता है?" परिणाम एक ऐसा रोबोट होता है जो एक विशिष्ट बग को ठीक करने में तो बेहतर होता जाता है, लेकिन बाकी सब चीजों में खराब होता जाता है क्योंकि उसका "स्किल ड्रॉअर" विरोधाभासों और अत्यधिक विशिष्ट युक्तियों से भरा होता है।
समाधान: मास्टर प्लानर और ग्रुप हग
शोधकर्ता GSE का प्रस्ताव करते हैं, जो रोबोट के कौशलों के लिए एक मास्टर प्लानर और एक "ग्रुप हग" (समूह आलिंगन) की तरह कार्य करता है। केवल दराज में नए नोट्स डालने के बजाय, GSE पूरे कौशल पुस्तकालय को दो चतुर उपकरणों का उपयोग करके व्यवस्थित करता है।
सबसे पहले, यह एक स्किल रिलेशन ग्राफ (SRG) बनाता है। इसे एक विशाल, जीवित मानचित्र के रूप में सोचें जो प्रत्येक कौशल को दूसरे से जोड़ता है। यह जानता है कि "कौशल A" (जैसे ओवन का तापमान चेक करना) "कौशल B" (जैसे ओवन को प्रीहीट करना) पर निर्भर करता है। यदि रोबोट तापमान जांचने का एक नया तरीका सीखता है, तो मानचित्र तुरंत जांच करता है: "रुको, क्या यह नया तरीका प्रीहीटिंग के नियम को तोड़ रहा है?" यदि ऐसा है, तो GSE केवल नया कौशल नहीं जोड़ता; यह मानचित्र को अपडेट करता है और संबंधित कौशलों को समायोजित करता है ताकि वे सभी अभी भी एक साथ फिट बैठ सकें। यह रोबोट के ज्ञान को याद तथ्यों के ढेर के रूप में नहीं, बल्कि एक जुड़े हुए पारिस्थितिकी तंत्र के रूप में मानता है।
दूसरा, GSE क्लस्टर-आधारित समेकन (Cluster-Based Consolidation) का उपयोग करता है। कल्पना कीजिए कि रोबोट 100 अलग-अलग बग्स को ठीक करने की कोशिश करता है। उन 100 में से दस बग इसलिए होते हैं क्योंकि रोबोट यह जांचना भूल गया कि क्या कोई फ़ाइल मौजूद है। एक सामान्य सिस्टम 100 अलग-अलग नोट्स लिखेगा जैसे "फ़ाइल X चेक करें," "फ़ाइल Y चेक करें," "फ़ाइल Z चेक करें।" हालाँकि, GSE उन सभी 100 नोट्स को देखता है, पैटर्न पहचानता है, और कहता है, "आह, आपको 100 नोट्स की आवश्यकता नहीं है। आपको बस एक मास्टर नियम चाहिए: 'फाइल खोलने से पहले हमेशा जांचें कि क्या फाइल मौजूद है'।" यह समान गलतियों को एक साथ समूहित करता है और उन्हें एक शक्तिशाली, पुन: प्रयोज्य कौशल में बदल देता है। यह रोबोट को हर एक गलती के हर एक विवरण को रटने से रोकता है और उसे सामान्य सबक सीखने में मदद करता है।
अंत में, किसी भी नए कौशल को रोबोट की स्थायी मेमोरी में जोड़ने से पहले, GSE इसे रिप्ले-ड्रिवन वेरिफिकेशन (पुनरावृत्ति-संचालित सत्यापन) से गुजारता है। यह एक रिहर्सल की तरह है। रोबोट नए कौशल को पुराने, पिछले समस्याओं पर आजमाता है ताकि यह सुनिश्चित हो सके कि यह अनजाने में उस चीज़ को न तोड़ दे जिसे वह पहले अच्छी तरह से करता था। यदि नया कौशल एक "रिग्रेशन" (पीछे की ओर कदम) का कारण बनता है, तो उसे बाहर कर दिया जाता है। केवल वे कौशल जो इस सख्त परीक्षण में पास होते हैं, वहीं टिक पाते हैं।
परिणाम: केवल कठिन नहीं, बल्कि स्मार्ट
शोधकर्ताओं ने GSE का परीक्षण दो वास्तविक दुनिया के सॉफ्टवेयर इंजीनियरिंग कार्यों पर किया: बग खोजने के लिए टेस्ट जेनरेट करना और बग रिपोर्ट में गलत अलार्म (false alarms) को फ़िल्टर करना। उन्होंने GSE की तुलना बिना कौशल वाले रोबलों, मानव-लिखित कौशल वाले रोबोटों और अन्य "लर्निंग" विधियों का उपयोग करने वाले रोबोटों से की।
परिणाम प्रभावशाली थे। बग खोजने के कार्य पर, GSE ने रोबोटों को बहुत अधिक सटीक बनाया। उदाहरण के लिए, एक रोबोट (OpenHands) पर, GSE ने अन्य तरीकों की तुलना में वास्तविक बग खोजने की क्षमता (रिकॉल) को 180.0% तक सुधारा, जबकि साथ ही इसने रोबोट को बहुत अधिक सटीक (प्रिसिजन) भी बनाया (6.1% से 34.1%)। गलत अलार्म को फ़िल्टर करने के कार्य पर, इसने प्रिसिजन को 15.4% से 96.4% और रिकॉल को 13.1% से 19.8% तक सुधारा।
अध्ययन ने एक प्रमुख टेक कंपनी द्वारा उपयोग किए जाने वाले एक वास्तविक औद्योगिक रोबोट का भी अध्ययन किया। भले ही यह रोबोट पहले से ही काफी स्मार्ट था, GSE जोड़ने से इसके समग्र सफलता स्कोर (F1-स्कोर) में 61.4% का सुधार हुआ। यह सुझाव देता है कि GSE केवल सरल रोबोटों के लिए एक विधि नहीं है; यह उन्नत सिस्टमों पर भी काम करता है।
इसका क्या अर्थ है
यह पेपर स्पष्ट रूप से इस विचार के विरुद्ध तर्क देता है कि हम बस रोबोट के मस्तिष्क में अलग-थलग, स्थानीय अपडेट जोड़ते रह सकते हैं। वे दिखाते हैं कि वैश्विक दृष्टिकोण के बिना, ये अपडेट जमा होते जाते हैं और अंततः रोबोट को बदतर बना देते हैं। वे यह भी दिखाते हैं कि केवल मानव-लिखित कौशलों की नकल करना पर्याप्त नहीं है, क्योंकि मनुष्य हर संभावित भविष्य के बग के लिए नियम नहीं लिख सकते।
GSE सुझाव देता है कि AI एजेंटों का भविष्य केवल उन्हें शून्य में स्मार्ट बनाने के बारे में नहीं है, बल्कि उन्हें अपने स्वयं के सीखने को व्यवस्थित करने के बारे में सिखाने के बारे में है। यह मानचित्र बनाकर कि उनके कौशल एक-दूसरे से कैसे संबंधित हैं और समान पाठों को एक साथ समूहबद्ध करके, हम ऐसे रोबोट बना सकते हैं जो अपना मानसिक संतुलन खोए बिना निरंतर विकसित हो सकें। शोधकर्ताओं ने वास्तविक कोड और औद्योगिक डेटा पर कठोर परीक्षण के माध्यम से इन सुधारों को मापा है, जो बताता है कि यह "ग्लोबलाइज्ड" दृष्टिकोण AI एजेंटों को वास्तव में स्वायत्त और विश्वसनीय बनाने की दिशा में एक महत्वपूर्ण कदम है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।