SkillMentor: LLM Agent Self-Evolution via Learning Blind-Spot Diagnosis
SkillMentor एक नवीन ढांचा है जो LLM एजेंटों को एक अलग नैदानिक क्षमता (diagnostic capability) सीखकर स्वयं विकसित होने में सक्षम बनाता है ताकि वे अपनी कमियों (blind spots) की पहचान कर उन्हें पुन: प्रयोज्य कौशलों में संकलित कर सकें, जिससे निष्पादक (executor) के भार (weights) को अपडेट किए बिना या मानव पर्यवेक्षण पर निर्भर हुए बिना उसके प्रदर्शन में 44.2% का सुधार होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक ऐसी दुनिया है जहाँ कंप्यूटर अविश्वसनीय रूप से तेज़, सुपर-स्मार्ट प्रशिक्षुओं (apprentices) की तरह हैं। लंबे समय से, वैज्ञानिक इन प्रशिक्षुओं को बेहतर काम करना सिखाने के लिए उनके मस्तिष्क को लगातार फिर से लिखने की कोशिश कर रहे हैं—नए न्यूरॉन्स की परतें जोड़कर, उनकी आंतरिक वायरिंग को ट्यून करके, और उन्हें कैसे व्यवहार करना है इसके अंतहीन उदाहरण खिलाकर। यह "एजेंट सेल्फ-इवोल्यूशन" (agent self-evolution) की दुनिया है, जहाँ लक्ष्य आमतौर पर प्रशिक्षु को कार्य करने में तेज़ और अधिक शक्तिशाली बनाना होता है। लेकिन एक पेंच है: क्या होगा अगर प्रशिक्षु को केवल यह जानने की ज़रूरत नहीं है कि कैसे कार्य करना है, बल्कि उसे यह महसूस करने की भी ज़रूरत है कि वह क्या नहीं जानता? यह एक ऐसे छात्र की तरह है जो गणित के टेस्ट में इसलिए फेल हो रहा है क्योंकि उसे यह नहीं पता कि उसने 'हासिल करने वाला अंक' (carry the one) छोड़ दिया, न कि इसलिए कि उसे गुणा करना नहीं आता। बड़ा सवाल यह है कि क्या हम एक प्रशिक्षु को अपनी गलतियों का जासूस बनना सिखा सकते हैं, जो किसी मानव शिक्षक द्वारा इशारा किए बिना अपनी जानकारी के छिपे हुए अंतराल (gaps) को पहचान सके?
यहाँ SkillMentor आता है, एक चतुर नया सिस्टम जो हमारे AI को प्रशिक्षित करने के सामान्य तरीकों को पूरी तरह बदल देता है। मुख्य AI (जिसे "एक्सेक्यूटर" या Executor कहा गया है) को सीधे उसके मस्तिष्क को अपग्रेड करने के बजाय, शोधकर्ताओं ने एक छोटा, विशिष्ट "मेंटर" (Mentor) एजेंट बनाया। मुख्य AI को एक रोबोट के रूप में समझें जो ऐप्स और टूल्स से भरी एक विशाल, जटिल वीडियो गेम की दुनिया में नेविगेट करने की कोशिश कर रहा है। एक्सेक्यूटर एक ही जगह स्थिर है; उसका मस्तिष्क बदला या अपडेट नहीं किया जा सकता। आमतौर पर, यदि रोबोट विफल होता है, तो एक इंसान हस्तक्षेप करेगा, जैसे, "हे, तुम लॉग इन करना भूल गए," और कोड को ठीक करेगा। लेकिन इस प्रयोग में, इंसानों को कमरे में आने की मनाही है। कोई लेबल नहीं, कोई संकेत नहीं, कोई मदद नहीं।
तो, रोबट बेहतर कैसे होता है? यहाँ मेंटर आता है। यह छोटा जासूस खुद गेम खेलने की कोशिश नहीं करता। इसके बजाय, यह एक्सेक्यूटर को संघर्ष करते हुए देखता है, और फिर कहता है, "आहा! मुझे दिख गया कि क्या गलत है।" मेंटर का काम यह पता लगाना है कि रोबोट क्यों विफल हुआ (निदान/diagnosis) और फिर एक छोटा, पुन: प्रयोज्य (reusable) "चीट शीट" (एक कौशल) लिखना है ताकि रोबोट अगली बार उस विशिष्ट गलती से बच सके। यह वैसा ही है जैसे मेंटर यह नोटिस करता है कि रोबोट बार-बार कालीन में उलझकर गिर रहा है, इसलिए वह एक नोट लिखता है, "कालीन से सावधान रहें!" और उसे रोबोट की दीवार पर चिपका देता है। रोबोट अपना मस्तिष्क नहीं बदलता; उसे बस अपने स्वयं के विफलताओं से सीखे गए बेहतर निर्देशों का एक सेट मिलता है।
शोधकर्ताओं ने इस सेटअप का परीक्षण दो चुनौतीपूर्ण डिजिटल दुनिया में किया: AppWorld, जहाँ रोबोट को विभिन्न ऐप्स (जैसे उड़ान बुक करना या फाइलें व्यवस्थित करना) के माध्यम से जटिल कार्यों को प्रबंधित करना होता है, और BFCLv3, जो यह परीक्षण है कि रोबोट विशिष्ट कंप्यूटर फंक्शन को कितनी सही तरह से कॉल कर सकता है। उन्होंने अपने नए SkillMentor को अन्य विधियों के खिलाफ खड़ा किया जो सही उत्तर का अनुमान लगाने के लिए विशाल, शक्तिशाली मॉडलों या निश्चित नियमों का उपयोग करती हैं। परिणाम आश्चर्यजनक थे। भले ही मेंटर उन विशाल मॉडलों की तुलना में बहुत छोटा और सरल मॉडल था जिनका उपयोग अन्य तरीकों द्वारा किया जाता था, इसने स्थिर एक्सेक्यूटर के प्रदर्शन को औसतन 44.2% तक सुधारने में मदद की।
यह असली जादू है: मेंटर ने केवल अनुमान नहीं लगाया; उसने निदान करना सीखा। उसने समझा कि बेहतर होने का सबसे अच्छा तरीका अधिक प्रयास करना नहीं था, बल्कि उन "अंध बिंदुओं" (blind spots) को खोजना था—वे विशिष्ट, आवर्ती चीजें जिन्हें रोबोट करना नहीं जानता था। पेपर सुझाव देता है कि यह निदान करने की क्षमता अपने आप में एक कौशल है, जिसे प्रशिक्षित किया जा सकता है। मेंटर ने रोबोट की कमजोरियों को उजागर करने के लिए कठिन टेस्ट केस जेनरेट करना, यह मूल्यांकन करना कि वे कमजोरियां कितनी गंभीर थीं, और फिर रोबोट के टूलकिट में जोड़ने के लिए एकदम सही "सुधार" (fix) को क्यूरेट करना सीखा।
सबसे शानदार निष्कर्षों में से एक यह है कि यह सिस्टम एक सकारात्मक फीडबैक लूप बनाता है। जैसे ही मेंटर एक अंध बिंदु को ठीक करता है, रोबet बेहतर होता जाता है, जिसका अर्थ है कि पुराने तरीके अब काम नहीं करेंगे, और नए अंध बिंदु दिखाई देने लगेंगे। मेंटर फिर इन नए अंतराल को पहचानता है और उन्हें भी ठीक करता है। यह एक स्व-सुधार चक्र (self-improving cycle) है जहाँ रोबोट अपना मस्तिष्क बदलकर नहीं, बल्कि अपनी विफलताओं से सीखकर अपने बाहरी "चीट शीट्स" को लगातार अपडेट करके स्मार्ट बनता है।
पेपर यह भी दिखाता है कि ये "चीट शीट्स" पोर्टेबल हैं। यदि आप मेंटर को एक कमजोर रोबोट पर प्रशिक्षित करते हैं, तो उससे सीखे गए कौशल वास्तव में एक मजबूत रोबोट की मदद कर सकते हैं, क्योंकि कमजोर वाला अधिक गलतियाँ करता है जिससे सीखने के लिए सामग्री मिलती है। इसके विपरीत, एक सुपर-स्मार्ट रोबोट से सीखे गए कौशल एक कमजोर रोबोट की उतनी मदद नहीं करते क्योंकि स्मार्ट रोबोट ने बुनियादी बातों को सिखाने के लिए पर्याप्त गलतियाँ नहीं कीं। यह साबित करता है कि प्राप्त किया गया ज्ञान केवल उत्तरों को रटने के बारे में नहीं है, बल्कि त्रुटियों को ठीक करने की प्रक्रिया के बारे में है।
संक्षेप में, SkillMentor सुझाव देता है कि हमें AI को स्मार्ट बनाने के लिए हमेशा उसे बड़ा या अधिक महंगा बनाने की आवश्यकता नहीं होती है। हमें बस उसे अपने स्वयं के अंध बिंदुओं का बेहतर जासूस बनना सिखाने की आवश्यकता हो सकती है। "करने" के कार्य को "यह समझने" के कार्य से अलग करके कि क्या गलत हुआ, शोधकर्ताओं ने एक तरीका खोजा जिससे AI बिना किसी मानवीय हाथ के मार्गदर्शन के, स्वयं विकसित हो सके, अपनी सीमाओं को समझ सके और अपने समाधान बना सके। यह उन मशीनों की ओर एक कदम है जो केवल आदेशों का पालन नहीं करतीं, बल्कि यह भी सीखती हैं कि वे कहाँ चूक रही हैं और उसे कैसे ठीक किया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।