AI4AI-Bench: Benchmarking LLM Agents in Algorithmic Design for Recursive Self-Improvement
यह शोध पत्र AI4AI-Bench प्रस्तुत करता है, जो 10 फ्रीज़्ड (frozen) रिसर्च रिपॉजिटरीज़ से बना एक नवीन बेंचमार्क है जो रिकर्सिव सेल्फ-इम्प्रूवमेंट के लिए ट्रेनिंग एल्गोरिदम को डिज़ाइन करने और उन्हें फिर से लिखने की LLM एजेंट्स की क्षमता का मूल्यांकन करता है, जिससे यह पता चलता है कि वर्तमान में सबसे उन्नत सिस्टम भी मौजूदा एल्गोरिदम और सैद्धांतिक इष्टतम (theoretical optima) के बीच संभावित प्रदर्शन लाभ के एक चौथाई से भी कम तक पहुँच पाते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस का सपना अक्सर एक ऐसी मशीन की कल्पना के साथ जुड़ा होता है जो न केवल अधिक तथ्यों को याद कर सके, बल्कि उन नियमों को भी फिर से लिख सके जिनका उपयोग वह सीखने के लिए करती है, ताकि वह खुद को और स्मार्ट बना सके। यह विचार, जिसे 'रिकर्सिव सेल्फ-इम्प्रूवमेंट' (पुनरावर्ती आत्म-सुधार) के रूप में जाना जाता है, एक ऐसे चक्र का सुझाव देता है जहाँ एक एआई सिस्टम अपने ही बेहतर संस्करण को डिजाइन करता है, जो फिर एक और भी बेहतर संस्करण डिजाइन करता है, जिससे तीव्र प्रगति की एक श्रृंखला बनती है। इस चक्र के सफल होने के लिए, मशीन को अपने प्रशिक्षण एल्गोरिदम (training algorithm) को सुधारने में सक्षम होना चाहिए—यानी निर्देशों का वह समूह जो कंप्यूटर को उसके अनुभव के आधार पर उसके आंतरिक कनेक्शनों को कैसे समायोजित करना है, यह बताता है। हालाँकि मशीनें निर्देशों का पालन करने और यहाँ तक कि उन निर्देशों के भीतर छोटे सेटिंग्स को ट्यून करने में बहुत कुशल हो गई हैं, लेकिन यह अभी भी एक खुला प्रश्न है कि क्या वे वास्तव में उन निर्देशों को खुद से नया रूप दे सकती हैं। यह उस ड्राइवर और मैकेनिक के बीच का अंतर है जो रेडियो का वॉल्यूम तो जानता है, लेकिन एक मैकेनिक जो इंजन को फिर से बनाने (rebuild) का ज्ञान रखता है।
शोधकर्ताओं की एक टीम ने एक नया परीक्षण बनाया है यह देखने के लिए कि क्या वर्तमान आर्टिफिशियल इंटेलिजेंस सिस्टम उस तरह का गहरा यांत्रिक कार्य (deep mechanical work) कर सकते हैं। उन्होंने एक चुनौती बनाई जिसे AI4X-Bench कहा गया, जो उन्नत एआई एजेंटों के एक समूह के सामने दस अलग-अलग, वास्तविक दुनिया के शोध प्रोजेक्ट पेश करती है। प्रत्येक प्रोजेक्ट में सीखने का एक विशिष्ट प्रकार का कार्य शामिल है, जैसे कि कंप्यूटर को गणित की समस्याओं को हल करना सिखाना, चित्र बनाना सिखाना, या मानवीय प्राथमिकताओं को समझना। शोधकर्ताओं ने प्रत्येक एआई एजेंट को उनके एक प्रोजेक्ट के कोड को पढ़ने और उसके अंदर उपयोग किए गए सीखने के तरीके में सुधार करने के लिए चार घंटे का कंप्यूटिंग समय दिया। एजेंट को अपना कोड इच्छानुसार बदलने की अनुमति दी गई थी, लेकिन वह उन चार घंटों के दौरान अपने परिवर्तनों के अंतिम परिणाम नहीं देख सकता था। इसके बजाय, उसे यह अनुमान लगाने के लिए कि उसका विचार अच्छा है या नहीं, एक त्वरित और अनुमानित गणना (rough estimate) पर निर्भर रहना था। समय समाप्त होने के बाद, एजेंट का संशोधित कोड ले लिया गया, और प्रोजेक्ट को अंतिम परिणाम का निर्णय लेने वाले एक निश्चित, छिपे हुए नियमों के सेट का उपयोग करके बारह घंटों तक शुरू से चलाया गया। यह सेटअप एक वास्तविक मानव वैज्ञानिक के अनुभव की नकल करता है, जो एक छोटे विचार का तेजी से परीक्षण कर सकता है लेकिन यह देखने के लिए दिनों तक प्रतीक्षा करनी पड़ती है कि क्या एक नया प्रशिक्षण तरीका बड़े पैमाने पर वास्तव में काम करता है।
इस प्रयोग के परिणाम काफी खुलासा करने वाले थे। बीस-नौ अलग-अलग एआई सिस्टम और प्रयास स्तरों के संयोजन में, औसत प्रदर्शन काफी कम था। एक ऐसे पैमाने पर जहाँ मूल, अपरिवर्तित कोड का स्कोर 0.1 था और सैद्धांतिक रूप से सर्वोत्तम संभव स्कोर 1.0 था, औसत परिणाम केवल 0.166 रहा। यहाँ तक कि सबसे मजबूत सिस्टम भी केवल 0.250 तक पहुँच सका। इसका अर्थ है कि सबसे सक्षम एजेंट मौजूदा विधि और सर्वोत्तम संभव परिणाम के बीच की दूरी का पांचवां हिस्सा भी तय नहीं कर पाए। शोधकर्ताओं ने पाया कि इस अंतर का कारण प्रयास या कंप्यूटिंग शक्ति की कमी नहीं थी, बल्कि दिशा की कमी थी। जब टीम ने एजेंटों द्वारा किए गए कोड परिवर्तनों का विश्लेषण किया, तो उन्होंने पाया कि अधिकांश सबमिशन ने मूल सीखने के नियमों को छुआ तक नहीं था। इसके बजाय, अधिकांश एजेंटों ने केवल इस बात को समायोजित किया कि प्रशिक्षण कितनी देर तक चलता है, प्रगति को कितनी बार सहेजा जाता है, या प्रक्रिया को ट्यून करने के लिए उपयोग किए जाने वाले विशिष्ट नंबर क्या हैं। ये प्रक्रिया के आसपास के बदलाव हैं, न कि सीखने के तरीके में बदलाव।
एजेंटों का एक बहुत छोटा हिस्सा, लगभग 46 प्रतिशत जिन्होंने कोई भी बदलाव किया था, वास्तव में लर्निंग एल्गोरिदम के भीतर जाकर ऑब्जेक्टिव (उद्देश्य), सुपरविजन सिग्नल (supervision signal), या अपडेट रूल (update rule) को बदलने तक पहुँचा। इन एजेंटों ने काफी बेहतर प्रदर्शन किया, जिनका औसत स्कोर 0.226 रहा, जबकि अन्य का 0.126 था। यह सुझाव देता है कि वास्तविक सुधार का मार्ग मशीन के सीखने के मौलिक तरीके को बदलने में निहित है, एक ऐसा कदम जिसे उठाने में वर्तमान सिस्टम हिचकिचाते हैं। अध्ययन ने यह भी दिखाया कि एजेंट को कितने अधिक तर्क (reasoning) प्रयास का उपयोग करने की अनुमति दी गई, इससे एजेंट सामान्य अर्थ में स्मार्ट नहीं हुए, बल्कि वे अधिक साहसी बन गए। जब एजेंटों को सोचने और योजना बनाने के लिए अधिक समय दिया गया, तो मूल लर्निंग नियमों को बदलने का जोखिम उठाने वाले एजेंटों का प्रतिशत 8 प्रतिशत से बढ़कर 64 प्रतिशत हो गया। इस मूल एल्गोरिदम पर जोखिम लेने की बढ़ती इच्छा ही सुधार का कारण बनी, न कि उत्पन्न विचारों की गुणवत्ता में अचानक उछाल।
अंततः, पेपर यह निष्कर्ष निकालता है कि आज के एआई एजेंट अभी भी एक सक्षम डिफ़ॉल्ट (competent default) को पुनः प्राप्त करने की कोशिश कर रहे हैं, न कि उससे आगे का निर्माण कर रहे हैं। वे सीखने के इर्द-गिर्द की प्रक्रिया को अनुकूलित करने में उत्कृष्ट हैं, लेकिन वे सीखने की प्रक्रिया को स्वयं पुनर्गठित करने में संघर्ष करते हैं। शोधकर्ताओं ने अपना सारा डेटा, जिसमें कोड परिवर्तन और स्कोर शामिल हैं, जारी कर दिया है ताकि अन्य लोग एआई सिस्टम के विकसित होने के साथ इस परीक्षण को दोहरा सकें। यह बेंचमार्क प्रगति के एक विशिष्ट प्रकार के लिए मापदंड के रूप में कार्य करता है: क्या एक मशीन अपने स्वयं के प्रशिक्षण पद्धति को देख सकती है, एक दोष का निदान कर सकती है, और उस तंत्र को फिर से लिख सकती है जो उसकी प्रगति को संचालित करता है। फिलहाल, उत्तर यह है कि हालांकि वे प्रयास कर सकते हैं, लेकिन वे शायद ही कभी उन गहरे परिवर्तनों को करने में सफल होते हैं जो वास्तव में उनकी अपनी बुद्धिमत्ता को बढ़ाने के लिए आवश्यक हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।