Learning While Acting: A Skill-Enhanced Test-Time Co-Evolution Framework for Online Lifelong Learning Agents
यह शोध पत्र LifeSkill का प्रस्ताव करता है, जो एक दो-चरणीय सुदृढीकरण शिक्षण (reinforcement learning) ढांचा है जो ऑनलाइन आजीवन सीखने वाले एजेंटों को सत्यापनकर्ता-निर्देशित कौशल निष्कर्षण (verifier-guided skill extraction) और ऑनलाइन कौशल आंतरिककरण (online skill internalization) के माध्यम से परीक्षण-समय फीडबैक को निरंतर अपने मापदंडों में आत्मसात करने में सक्षम बनाता है, जिससे स्थिर पुनर्प्राप्ति-आधारित दृष्टिकोणों की सीमाओं को दूर किया जा सके और दीर्घ-क्षित कार्यों (long-horizon tasks) पर प्रदर्शन में महत्वपूर्ण सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक जटिल वीडियो गेम खेलना सिखा रहे हैं। पुराने तरीके में, यदि रोबोट एक लेवल पार करने में विफल रहता, तो वह बस एक नोटबुक में एक नोट लिख देता, जैसे, "यहाँ नहीं कूदना है," और फिर अगली बार उस नोट को याद रखने की कोशिश करता। रोबोट का मस्तिष्क (उसका आंतरिक कोड) वास्तव में कभी नहीं बदलता था; वह बस गलतियों से बचने के लिए अपनी नोटबुक पलटने पर निर्भर रहता था।
पेपर LifeSkill एआई एजेंटों को प्रशिक्षित करने का एक नया तरीका प्रस्तावित करता है ताकि वे केवल गलतियों को याद न रखें, बल्कि अपने काम करने के तरीके को बदलकर उनसे वास्तव में सीखें।
यह सिस्टम कैसे काम करता है, इसे सरल चरणों में विभाजित किया गया है:
1. समस्या: "नोटबुक" की सीमा
वर्तमान एआई एजेंट उन छात्रों की तरह हैं जिन्हें विषय पढ़ने से मना किया गया है; वे केवल परीक्षा के दौरान एक चीट शीट (मेमोरी बैंक) देख सकते हैं।
- समस्या: यदि एआई किसी कार्य में विफल हो जाता है, तो वह एक प्रतिबिंब (reflection) लिख सकता है जैसे, "मुझे अधिक सावधान रहना चाहिए था।" लेकिन यह प्रतिबिंब नोटबुक में एक टेक्स्ट के रूप में ही रहता है। एआई का वास्तविक "मस्तिष्क" (इसके पैरामीटर्स) नहीं बदलता है। उसे हर बार नोटबुक को पढ़ना पड़ता है, जो जैसे-जैसे नोटबुक बड़ी होती जाती है, बहुत अव्यवस्थित और धीमा होता जाता है।
2. समाधान: "कार्य करते हुए सीखना" (Learning While Acting)
शोधकर्ताओं ने एक दो-चरणीय प्रक्रिया बनाई है जिसे LifeSkill कहा जाता है। इसे एक कोच और एक छात्र के रूप में देखें जो वास्तविक समय में एक साथ काम कर रहे हैं।
चरण A: कोच सही सबक ढूँढता है (Verifier-Guided Skill Learning)
जब एआई (छात्र) किसी कार्य में विफल होता है, तो उसे यह समझना चाहिए कि क्यों।
- पुराना तरीका: एआई केवल एक ऐसा कारण सुझा सकता है जो सुनने में "बुद्धिमान" लगे, जैसे, "मुझे अधिक विनम्र होना चाहिए," भले ही वह गणित की समस्या को हल करने में मदद न करे।
- LifeSkill का तरीका: एआई कई संभावित "पाठ" (स्किल्स) उत्पन्न करता है। फिर, एक सख्त वेरिफायर (एक रेफरी की तरह) प्रत्येक पाठ का परीक्षण करता है।
- उपमा: कल्पना कीजिए कि एआई एक टूटी हुई कार को ठीक करने की कोशिश करता है। वह तीन उपकरण सुझाता है: एक हथौड़ा, एक रिंच (wrench), और एक पेचकश। रेफरी इन प्रत्येक उपकरण का उपयोग कार पर करके देखता है। यदि रिंच वास्तव में इंजन को ठीक कर देता है, तो एआई को रिंच सुझाने के लिए इनाम मिलता है। यदि हथौड़ा केवल शोर करता है, तो उसे कोई इनाम नहीं मिलता।
- परिणाम: एआई उपयोगी कौशल (जैसे "रिंच का उपयोग करें") निकालने में सीखता है, न कि केवल सुनने में तर्कसंगत लगने वाले टेक्स्ट को।
चरण B: छात्र पाठ को आत्मसात करता है (Online Skill Internalization)
एक बार जब एआई एक सफल कौशल ढूंढ लेता है (जैसे, "रिंच का उपयोग करें"), तो उसे अगली बार के लिए केवल नोटबुक में नहीं लिखना चाहिए। उसे इसे याद (memorize) करना चाहिए।
- जादू: सिस्टम उस सफल प्रयास को लेता है जहाँ एआई ने "रिंच का उपयोग करें" कौशल का उपयोग किया था, "रिंच का उपयोग करें" के निर्देश को हटा देता है, और एआई के मस्तिष्क को उस निर्देश के बिना समस्या को हल करने के लिए प्रशिक्षित करता है।
- उपमा: कल्पना कीजिए कि एक शेफ केक बनाना सीख रहा है। शुरू में, उन्हें एक रेसिपी कार्ड की आवश्यकता होती है जिसमें लिखा हो, "चीनी डालें।" एक बार जब वे इसमें महारत हासिल कर लेते हैं, तो आप वह कार्ड हटा देते हैं। यदि वे अभी भी कार्ड के बिना केक को पूरी तरह से बना सकते हैं, तो उन्होंने वास्तव में कौशल सीख लिया है।
- परिणाम: एआई का मस्तिष्क खुद को अपडेट करता है। अब उसे अगली बार नोटबुक में सबक खोजने की आवश्यकता नहीं है; ज्ञान अब उसके डीएनए का हिस्सा है।
3. परिणाम: एक स्मार्ट, तेज़ सीखने वाला
शोधकर्ताओं ने इसका परीक्षण LifeflongAgentBench नामक एक बेंचमार्क पर किया, जिसमें डेटाबेस प्रबंधित करना, ऑपरेटिंग सिस्टम चलाना और नॉलेज ग्राफ जैसे कार्य शामिल हैं।
- स्कोर: LifeSkill ने अन्य सभी तरीकों को एक बड़े अंतर से पछाड़ दिया (औसत प्रदर्शन में 7 अंकों का सुधार)।
- यह क्यों जीता:
- Training-Free तरीके (केवल नोटबुक का उपयोग करना) क्योंकि वे अपना मस्तिष्क नहीं बदल सके।
- अन्य Training तरीके सीखने की कोशिश करते थे लेकिन उनके पास यह जानने का अच्छा तरीका नहीं था कि विफलताओं से क्या सीखना है।
- LifeSkill सफल हुआ क्योंकि इसने सही सबक खोजने (वेरिफायर के माध्यम से) और उस सबक को आत्मसात करने (Internalization के माध्यम से) को एक साथ जोड़ा।
सारांश
संक्षेप में, LifeSkill एक एआई एजेंट को उन छात्रों से एक मास्टर में बदल देता है जो चीट शीट के बढ़ते ढेर पर निर्भर रहते हैं, और उसे काम करते हुए सीखने और अनुकूलित होने में सक्षम बनाता है। यह एआई को केवल पिछले अनुभवों को "रिट्रीव" (निकालने) के बजाय उन्हें "इंटरनलाइज" (आत्मसात) करना सिखाता है, जिससे एजेंट समय के साथ स्मार्टर और अधिक कुशल बनता है, बिना भारी मात्रा में टेक्स्ट लाइब्रेरी साथ लेकर चले।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।