Self-Play Meets Skill Evolution: Self-Evolving Search Agents that Pose, Solve, and Remember
यह शोध पत्र SESA को प्रस्तुत करता है, जो एक स्व-विकसित खोज एजेंट (self-evolving search agent) है जो एक द्विआयामी लूप स्थापित करता है जहाँ सूचनात्मक विफलताओं को एक विकसित होते कौशल स्मृति (skill memory) में संकलित किया जाता है ताकि एक सॉल्वर का मार्गदर्शन किया जा सके, जो बदले में चैलेंजर की समस्या निर्माण प्रक्रिया को आकार देता है, जिससे कई QA बेंचमार्क पर प्रदर्शन में सुधार करने के लिए कार्य वितरण और प्रक्रियात्मक ज्ञान का सह-विकास होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक जटिल वीडियो गेम खेलना सिखाने की कोशिश कर रहे हैं, लेकिन आपके पास कोई नियम पुस्तिका या अभ्यास के लिए स्तरों (levels) की सूची नहीं है। इसके बजाय, रोबोट को चलते-चलते अपने स्तर खुद बनाने होंगे। यह विज्ञान का एक क्षेत्र है जिसे सेल्फ-प्ले (Self-Play) कहा जाता है, जहाँ एक आर्टिफिशियल इंटेलिजेंस (AI) छात्र और शिक्षक दोनों की भूमिका निभाता है। AI का "शिक्षक" वाला हिस्सा एक पहेली बनाता है, और "छात्र" वाला हिस्सा उसे हल करने की कोशिश करता है। यदि छात्र सही उत्तर देता है, तो उसे एक अंक मिलता है; यदि वह गलत होता है, तो वह अपनी गलती से थोड़ा सीखता है और फिर से प्रयास करता है।
आमतौर पर, जब ये AI छात्र कोई गलती करते हैं, तो वे उसी क्षण उससे सीखते हैं, लेकिन फिर अगली पहेली पर जाने के बाद वे उस विशिष्ट पाठ को भूल जाते हैं। यह साइकिल चलाने के लिए गिरने, उठने और तुरंत यह भूल जाने जैसा है कि आप क्यों गिरे थे। एक अन्य दृष्टिकोण, जिसे स्किल मेमोरी (Skill Memory) कहा जाता है, एक भौतिक नोटबुक रखने जैसा है जहाँ आप सीखी गई हर तरकीब को लिखते हैं। लेकिन अक्सर, वह नोटबुक उन पुराने, निश्चित खेलों के पाठों से भरी होती है जिन्हें रोबोट ने खेलने के लिए नहीं चुना था। बड़ा सवाल जो शोधकर्ताओं ने पूछा है वह यह है: क्या होगा अगर रोबोट अपने स्वयं के कठिन स्तर बना सके, अपनी विशिष्ट विफलताओं से सीख सके, और उन पाठों को एक ऐसी नोटबुक में लिख सके जो उसके स्मार्ट होने के साथ-साथ बदलती रहे?
यही वह चीज़ है जिसे पेपर "सेल्फ-प्ले मीट्स स्किल इवोल्यूशन" (Self-Play Meets Skill Evolution) तलाशता है। लेखक एक नई प्रणाली पेश करते हैं जिसे SESA (सेल्फ-इवॉल्विंग स्किल-ऑगमेंटेड एजेंट) कहा जाता है। SESA को एक ऐसे रोबट के रूप में सोचें जिसमें दो अलग-अलग व्यक्तित्व मिलकर काम कर रहे हैं: एक "चैलेंजर" (Challenger) और एक "सॉल्वर" (Solver)। चैलेंजर वह शरारती तत्व है जो पेचीदा सवाल बनाता है। सॉल्वर एक जासूस है जो सर्च इंजन का उपयोग करके उत्तर खोजने की कोशिश कर रहा है।
यहाँ जादू का कमाल है: जब सॉल्वर किसी प्रश्न का उत्तर देने में विफल रहता है, तो उस विफलता को बस बेकार समझकर फेंकने के बजाय, SESA उस गलती को एक "स्किल कार्ड" (Skill Card) में बदल देता है। एक स्टिकी नोट की कल्पना करें जिस पर लिखा हो, "हे, अगली बार जब आप प्राग में जन्मे राजकुमार के बारे में कोई प्रश्न देखें, तो याद रखें कि यह जाँच लें कि क्या उसका एक विशिष्ट पारिवारिक नाम है, अन्यथा आप भ्रमित हो सकते हैं!" सॉल्वर नए प्रश्नों को आज़माने से पहले इन स्टिकी नोट्स को पढ़ता है।
लेकिन यहाँ वह चतुर हिस्सा है जो SESA को विशेष बनाता है: चैलेंजर (शरारती तत्व) इन स्टिकी नोट्स को नहीं देख सकता। चैलेंजर केवल यह देखता है कि सॉल्वर ने उत्तर सही दिया या गलत। इससे एक निष्पक्ष खेल बनता है। यदि सॉल्वर स्टिकी नोट्स की मदद से बेहतर होता है, तो चैलेंजर को एहसास होता है, "ओह, मेरे सवाल बहुत आसान थे!" और वह और भी कठिन सवाल बनाना शुरू कर देता है। यह सॉल्वर को और भी उन्नत कौशल सीखने के लिए मजबूर करता है, जिससे और भी कठिन प्रश्न बनते हैं, जिससे एक ऐसा लूप बनता है जहाँ AI अपने आप स्मार्ट और स्मार्ट होता जाता है।
शोधकर्ताओं ने पाया कि यह प्रणाली वास्तव में बहुत अच्छा काम करती है। उन्होंने सात अलग-अलग प्रकार के पेचीदा प्रश्नों पर इसका परीक्षण किया, जिनमें सरल तथ्यों से लेकर जटिल पहेलियाँ शामिल थीं जिनमें सूचना के कई टुकड़ों को जोड़ने की आवश्यकता होती है। उन्होंने पाया कि SESA ने AI की सटीकता में मानक पद्धति (जहाँ AI अपनी गलतियों को भूल जाता है) की तुलना में लगभग 1.2 से 3.2 अंक का सुधार किया। और भी दिलचस्प बात यह है कि उन्होंने पाया कि AI ने पाठों को इतनी अच्छी तरह से "सीखा" कि वह बाद में स्टिकी नोट्स देखे बिना भी समस्याओं को सही ढंग से हल कर सकता था। हालाँकि, नोट्स उपलब्ध होने से इसे एक छोटा सा अतिरिक्त बढ़ावा मिलता था, जैसे कि एक संदर्भ शीट जिसे आपको वास्तव में ज़रूरत नहीं है लेकिन आप उसे देखने से खुद को रोक नहीं पाते।
यह पेपर दिखाता है कि यह "विकसित होती स्मृति" (evolving memory) केवल अंतिम परीक्षण के लिए एक दिखावटी ट्रिक नहीं है; यह वास्तव में प्रशिक्षण के दौरान AI के सीखने के तरीके को बदल देती है। अपनी विफलताओं को पुन: प्रयोज्य कौशल में बदलकर और उन्हें सीखने की प्रक्रिया में वापस फीड करके, SESA एक स्व-सुधार चक्र बनाता है। लेखक सुझाव देते हैं कि यह दृष्टिकोण निश्चित डेटासेट से सबक याद करने की तुलना में बेहतर है क्योंकि यह AI के अपने वर्तमान कौशल स्तर के अनुकूल होता है, लगातार इसे इसकी क्षमता की सीमा तक धकेलता है। संक्षेप में, SESA साबित करता है कि एक AI जो अपनी गलतियों को याद रखता है और उनका उपयोग एक बेहतर भविष्य बनाने के लिए करता है, वह उस छात्र से कहीं अधिक स्मार्ट है जो बस अगले प्रश्न पर आगे बढ़ जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।