Rethinking Self-Evolving Agent Skills: Feedback Dynamics over Multiple Rounds
यह शोध पत्र नियंत्रित प्रयोगों के माध्यम से स्व-विकसित एजेंट कौशल में निरंतर सुधार की धारणा को चुनौती देता है, जो यह प्रदर्शित करता है कि निरंतर कौशल विकास वास्तव में एक विरल (sparse), सत्यापन-छाननी (validation-filtered) आधारित खोज प्रक्रिया है जो अतिरिक्त परिशोधन दौरों से होने वाले निरंतर लाभ के बजाय फीडबैक डायनेमिक्स और विशिष्ट मॉडल-बेंचमार्क इंटरैक्शन पर अत्यधिक निर्भर करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट सहायक है जो अद्भुत चीजें कर सकता है, जैसे गणित की समस्याओं को हल करना या कोड लिखना। लेकिन कभी-कभी, वह गलतियाँ करता है। आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक लोकप्रिय विचार है जिसे "सेल्फ-इवॉल्विंग" (स्व-विकसित होना) कहा जाता है। सपना यह है कि केवल एक गलती को ठीक करने के बजाय, रोबोट अपनी गलतियों से सीख सके, अपने लिए एक नया नियम लिख सके, और उस नियम को हमेशा के लिए याद रख सके। यह एक ऐसे छात्र की तरह है जो, गणित के टेस्ट में फेल होने के बाद, अपनी नोटबुक में एक नया स्टडी गाइड लिखता है जो उसे बिना किसी शिक्षक द्वारा उसके दिमाग को दोबारा लिखे, अगली बार परीक्षा में अव्वल आने में मदद करता है।
लेकिन यहाँ एक बड़ा सवाल है: क्या यह वास्तव में काम करता है? क्या हर प्रयास (अच्छे और बुरे दोनों) को देखना रोबोट को बेहतर सीखने में मदद करता है? या यह अधिक समझदारी है कि केवल विफलताओं को देखा जाए ताकि यह पता चल सके कि कहाँ सुधार की आवश्यकता है? और क्या यह और भी बेहतर है कि केवल अधिक कंप्यूटिंग पावर के साथ एक ही कार्य को बार-बार किया जाए, बजाय इसके कि एक स्थायी नया नियम लिखने की कोशिश की जाए? यह पेपर इन सवालों की गहराई में जाता है ताकि यह देख सके कि क्या "सेल्फ-इवॉल्विंग" एक जादुई समाधान है या बस बहुत मेहनत के बदले बहुत कम इनाम।
महान रोबोट कौशल की खोज
शोधकर्ताओं ने यह देखने के लिए एक विशाल प्रयोग किया कि ये AI एजेंट वास्तव में कैसे सीखते हैं। उन्होंने AI के साथ वैसा ही व्यवहार किया जैसे वह एक वीडियो गेम का पात्र हो जो अपने "कौशल" (skills) को लेवल अप करने की कोशिश कर रहा हो। उन्होंने AI को उसके गेमप्ले से सीखने के तीन अलग-अलग तरीके दिए:
- "सामान्य" दृश्य (The "Normal" View): AI अपनी जीत और अपनी हार दोनों को देखता है।
- "केवल विफलता" दृश्य (The "Fail-Only" View): AI केवल अपनी गलतियाँ देखता है।
- "केवल सफलता" दृश्य (The "Success-Only" View): AI केवल अपनी जीत देखता है।
उन्होंने इस प्रयोग को 14 अलग-अलग परिदृश्यों में चलाया, जिसमें तीन शक्तिशाली AI मॉडल और पांच अलग-अलग प्रकार की चुनौतियाँ शामिल थीं, जो सामान्य ज्ञान के प्रश्नों का उत्तर देने से लेकर जटिल स्प्रेडशीट को नियंत्रित करने तक फैली हुई थीं।
आश्चर्य: विकास दुर्लभ और चयनात्मक है
सबसे बड़ा झटका? विकास अविश्वसनीय रूप से दुर्लभ है। एक नया, बेहतर कौशल बनाने के 388 अलग-अलग प्रयासों में से, केवल 55 ही वास्तव में एक विशिष्ट, बेहतर संस्करण के रूप में सफल हुए जो सख्त परीक्षणों में पास हुआ। यह 388 बार एक परफेक्ट केक बनाने की कोशिश करने जैसा है और केवल 55 केक ही मूल रेसिपी से बेहतर निकले।
यहाँ तक कि अधिक आश्चर्यजनक बात यह है कि "केवल सफलता" वाला दृश्य पूरी तरह से विफल रहा। मुख्य अध्ययन में, शून्य बेहतर कौशल केवल जीत को देखकर आए थे। AI को यह समझने के लिए कि क्या सुधारना है, विफलताओं को देखने की आवश्यकता थी। वास्तव में, उन 11 सर्वश्रेष्ठ कौशलों में से प्रत्येक जो शोधकर्ताओं ने रखे थे, वे एक ऐसे दृश्य से आए थे जिसमें कम से कम कुछ विफलताएं शामिल थीं।
"खोज" बनाम "स्थिर चढ़ाई"
कई लोगों ने सोचा था कि यदि आप बस AI को अधिक राउंड के लिए प्रयास करने देते रहेंगे, तो यह सीढ़ी चढ़ने की तरह लगातार बेहतर होता जाएगा। पेपर सुझाव देता है कि यह गलत है। इसके बजाय, यह प्रक्रिया एक अंधेरी गुफा में छिपे खजाने की खोज करने जैसी है।
कभी-कभी, AI पहले ही प्रयास में एक शानदार नया कौशल ढूंढ लेता है। अन्य समय में, वह कई ऐसे विचारों के साथ काफी समय तक भटकता है जो काम नहीं करते, और फिर अचानक 9वें राउंड में एक बेहतरीन समाधान पा लेता है। लेकिन अक्सर, AI बस एक दीवार से टकरा जाता है और सुधार करना पूरी तरह से बंद कर देता है। शोधकर्ताओं ने पाया कि अधिक राउंड के लिए प्रतीक्षा करने से बेहतर कौशल की गारंटी नहीं मिलती; यह केवल अधिक समय और पैसा खर्च करता है।
"जादुई ट्रिक" की तुलना
शोधकर्ताओं ने यह भी पूछा कि क्या एक नया स्थायी कौशल लिखना वास्तव में एक कार्य को अतिरिक्त कंप्यूटिंग पावर के साथ कई बार करने से बेहतर है?
उन्होंने "विकसित" कौशलों की तुलना दो अन्य तरीकों से की:
- पैरेलल सैंपलिंग (Parallel Sampling): एक साथ कई बार कार्य करने का प्रयास करना और सबसे अच्छा उत्तर चुनना।
- सीक्वेंशियल रिफाइनमेंट (Sequential Refinement): कार्य करने का प्रयास करना, परिणाम देखना, और उसके आधार पर फिर से प्रयास करना।
परिणाम मिले-जुले थे। एक ट्रिविया प्रश्न खेल SearchQA के लिए, "विकसित" कौशल केवल कई बार प्रयास करने से थोड़ा ही बेहतर था। AI का नया नियम मुख्य रूप से उत्तर को अच्छी तरह से फॉर्मेट करने के बारे में था, जो कि केवल कुछ अनुमान लगाकर भी प्राप्त किया जा सकता है।
हालाँकि, एक स्प्रेडशीट चुनौती SpreadsheetBench के लिए, अंतर बहुत बड़ा था। विकसित कौशल, सबसे अच्छे "कई बार प्रयास करने वाले" तरीके से 30.96 अंक बेहतर था। क्यों? क्योंकि स्प्रेडशीट कार्य के लिए एक जटिल, बहु-चरणीय वर्कफ़्लो (जैसे फ़ाइल की जाँच करना, स्क्रिप्ट चलाना, सहेजना और सत्यापित करना) की आवश्यकता थी। आप केवल "अनुमान" लगाकर इसे पार नहीं कर सकते; इसे सही करने के लिए आपको एक स्थायी, लिखित नियम की आवश्यकता होती है।
निष्कर्ष
तो, अंतिम निर्णय क्या है? स्व-विकसित (Self-evolving) AI कौशल एक निरंतर, स्वचालित अपग्रेड नहीं हैं। वे एक दुर्लभ, किस्मत पर आधारित खोज (hit-or-miss search) की तरह हैं जो अत्यधिक रूप से विशिष्ट AI मॉडल और विशिष्ट कार्य पर निर्भर करते हैं।
यदि आप चाहते हैं कि आपका AI जटिल, बहु-चरणीय कार्यों (जैसे स्प्रेडशीट संभालना) में बेहतर हो जाए, तो उसे अपनी विफलताओं से सीखने और एक स्थायी नियम लिखने के लिए सिखाना एक गेम-चेंजर है। लेकिन यदि कार्य सरल है या केवल एक बेहतर उत्तर प्रारूप की आवश्यकता है, तो आप केवल AI को अधिक समय देकर, बार-बार प्रयास करने के लिए देकर भी उतने ही अच्छे परिणाम प्राप्त कर सकते हैं। पेपर सुझाव देता है कि हमें जादू की उम्मीद नहीं करनी चाहिए; इसके बजाय, हमें स्व-विकास को सही काम के लिए सही उपकरण की एक सावधानीपूर्वक, फ़िल्टर की गई खोज के रूप में देखना चाहिए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।