Self-Evolving Agent Harnesses via Gated Semantic Quality-Diversity
यह शोध पत्र एक स्व-विकसित एजेंट फ्रेमवर्क पेश करता है जो मॉडल के भार (weights) को संशोधित किए बिना, विभिन्न डोमेन में सामान्यीकरण योग्य लाभ सुनिश्चित करने के लिए एक गेटेड क्वालिटी-डाइवर्सिटी आर्काइव का उपयोग करते हुए, हार्नेस पैच के प्रस्ताव को उनके नियतात्मक, सांख्यिकीय रूप से मान्य श्रेय (crediting) से अलग करके, एलएलएम (LLM) प्रदर्शन में स्वतः सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक शानदार, लेकिन थोड़ी जिद्दी, रोबोटिक मस्तिष्क है। आप इसके मस्तिष्क को फिर से वायर (rewire) नहीं कर सकते या इसके सोचने के तरीके को बदल नहीं सकते; वह हिस्सा स्थिर है। हालाँकि, आप इसके चारों ओर एक कस्टम वर्कशॉप (कार्यशाला) बना सकते हैं। आप इसे बेहतर उपकरण दे सकते हैं, स्पष्ट निर्देश लिख सकते हैं, सुरक्षा जाल (safety nets) स्थापित कर सकते हैं, और इसके कार्यक्षेत्र को व्यवस्थित कर सकते हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इस "वर्कशॉप" को हार्नेस (harness) कहा जाता है। यह प्रॉम्प्ट्स, नियमों और उपकरणों का अदृश्य ढांचा है जो एक स्थिर AI मॉडल को किसी समस्या से निपटने के लिए निर्देशित करता है। बड़ा सवाल जो शोधकर्ता पूछ रहे हैं वह यह है: यदि हम मस्तिष्क को नहीं बदल सकते, तो क्या हम इसके चारों ओर स्वचालित रूप से एक बेहतर वर्कशॉप बना सकते हैं? और यदि AI खुद अपनी वर्कशॉप को ठीक करने की कोशिश करता है, तो हमें कैसे पता चलेगा कि वह वास्तव में स्मार्ट हो रहा है या केवल टेस्ट के उत्तर रट रहा है?
यह पेपर सेल्फ-इवॉल्विंग एजेंट हार्नेस (Self-Evolving Agent Harnesses) नामक एक चतुर प्रणाली पेश करता है जो ठीक इसी का उत्तर देने की कोशिश करती है। इसे एक ऐसे रोबोट के रूप में सोचें जो अपने लिए एक बेहतर रोबोट वर्कशॉप बनाता है, लेकिन एक सख्त नियम के साथ: रोबोट सुझाव दे सकता है, लेकिन कोड से बना एक अलग, भावनाहीन "रेफरी" को यह सत्यापित करना होगा कि परिवर्तन वास्तव में काम करते हैं या नहीं, इससे पहले कि उन्हें लागू किया जाए। शोधकर्ताओं ने पाया कि "विचार" को "प्रमाण" से अलग करके, वे सात अलग-अलग प्रकार के कार्यों (जैसे कोडिंग, गणित और वेब ब्राउज़िंग) में एक स्थिर AI के प्रदर्शन को 9 से 15.5 प्रतिशत अंक तक सुधार सकते हैं। महत्वपूर्ण रूप से, ये सुधार केवल भाग्यशाली अनुमान नहीं थे; ये तब भी टिके रहे जब AI को नई, अनदेखी चुनौतियों का सामना करना पड़ा, जिससे यह सिद्ध हुआ कि सिस्टम ने समस्याओं को हल करने का तरीका सीखा, न कि केवल विशिष्ट उत्तरों को रटा।
समस्या: "लकी गेस" (भाग्यशाली अनुमान) का जाल
कल्पना कीजिए कि आप एक छात्र को परीक्षा देने के लिए प्रशिक्षित कर रहे हैं। यदि आप छात्र को अपना होमवर्क खुद ग्रेड करने देते हैं, तो वे अनजाने में (या जानबूझकर) खुद को उच्च अंक दे सकते हैं क्योंकि उन्होंने इस बार सही उत्तर का अनुमान लगा लिया था। AI में, इसे ओवरफिटिंग (overfitting) कहा जाता है। AI अपने निर्देशों को इस तरह से ट्यून कर सकता है कि वह अभ्यास वाले प्रश्नों पर तो एकदम सही दिखे, लेकिन वास्तविक परीक्षा में बुरी तरह विफल हो जाए। ऐसा लग सकता है जैसे कोई कोच यह कहे, "बहुत बढ़िया काम!" बिना यह जांचे कि खिलाड़ी ने वास्तव में स्कोर किया या रेफरी ने केवल फाउल मिस कर दिया।
AI को अपने स्वयं के "वर्कशॉप" को बेहतर बनाने देने के पिछले प्रयासों में अक्सर यह जाल फंस गया। वे कहते थे, "हे, इस नए निर्देश से स्कोर बढ़ गया!" और आगे बढ़ जाते थे। लेकिन उनके पास यह साबित करने का कोई सख्त तरीका नहीं था कि स्कोर केवल एक इत्तेफाक या माप की त्रुटि नहीं था।
समाधान: "विचार बनाम प्रमाण" का विभाजन
इस पेपर के लेखकों ने दो अलग-अलग भूमिकाओं वाला एक सिस्टम बनाया है, जैसे एक रचनात्मक वास्तुकार (architect) और एक सख्त बिल्डिंग इंस्पेक्टर।
- वास्तुकार (The Evolver): यह एक शक्तिशाली AI मॉडल है जो देखता है कि मुख्य रोबोट कहाँ विफल हुआ। यह समस्या का निदान करता है (जैसे, "रोबोट बहुत लंबे समय तक सोचने में फंस गया" या "रोबोट अपना उत्तर जांचना भूल गया") और एक पैच (सुधार) का सुझाव देता है। यह रचनात्मक है और हार्नेस में बदलाव का प्रस्ताव देता है, जैसे कि एक नया टूल जोड़ना या एक नियम को फिर से लिखना।
- इंस्पेक्टर (The Code): यह सबसे महत्वपूर्ण हिस्सा है। इंस्पेक्टर एक AI नहीं है; यह डिटरमिनिस्टिक कोड (deterministic code) है। यह अनुमान नहीं लगाता। यह रोबोट के नए वर्कशॉप को कार्यों के एक सेट पर चलाता है, परिणामों को गिनता है, और यह तय करने के लिए सख्त गणित का उपयोग करता है कि क्या परिवर्तन वास्तव में सहायक था।
सिस्टम यह तय करने के लिए कि क्या बदलाव पर्याप्त अच्छा है, एक विशेष "गेट" का उपयोग करता है। यह केवल उच्चतम स्कोर को नहीं देखता; यह एक पेयर्ड सिग्निफिकेंस टेस्ट (paired significance test) चलाता है। यह एक ही टेस्ट को दो बार चलाने जैसा है: एक पुराने वर्कशॉप के साथ और एक नए के साथ, साथ-साथ। यदि नया वर्कशॉप सांख्यिकीय रूप से महत्वपूर्ण अंतर (विशेष रूप से, एक 2-सिग्मा थ्रेशोल्ड, जो विश्वास का एक उच्च स्तर है) से जीतता है, तभी उस परिवर्तन को श्रेय दिया जाता है। यदि स्कोर केवल एक भाग्यशाली उछाल है, तो कोड उसे खारिज कर देता है।
सुधारों की लाइब्रेरी: "क्वालिटी-डाइवर्सिटी" आर्काइव
सिस्टम केवल एक एकल सर्वश्रेष्ठ सुधार को नहीं रखता है। यह सुधारों को गेटेड सिमेंटिक MAP-Elites (GSME) नामक एक लाइब्रेरी में व्यवस्थित करता है।
एक ऐसी लाइब्रेरी की कल्पना करें जहाँ किताबें कहानी के शीर्षक के आधार पर नहीं, बल्कि उस प्रकार की गलती के आधार पर वर्गीकृत की जाती हैं जिसे कहानी ठीक करती है।
- "कहाँ" और "क्यों": प्रत्येक सुधार को टैग किया जाता है कि वह कहाँ लागू होता है (जैसे, "निर्देशों में", "उपकरणों में", "समय निर्धारण में") और वह क्यों मदद करता है (जैसे, "आलसी सोच को ठीक करता है", "जल्दबाजी को रोकता है")।
- एंटी-ओवरफिटिंग: इस तरह से सुधारों को वर्गीकृत करके, सिस्टम उस जाल से बचता है जो केवल एक विशिष्ट प्रश्न के लिए काम करने वाले बदलावों को खोजने का होता है। इसके बजाय, यह विभिन्न प्रकारों की विफलताओं के लिए समाधानों का एक विविध संग्रह बनाता है।
- मिक्सिंग और मैचिंग: सिस्टम एक लाइब्रेरी के एक हिस्से से "आलसी सोच" के लिए एक सुधार ले सकता है और दूसरे हिस्से से "जल्दबाजी" के लिए एक सुधार को मिला सकता है। यह "क्रॉस-सेल रीकॉम्बिनेशन" अक्सर एक ऐसा सुपर-हार्नेस बनाता है जो अकेले किसी भी सुधार से बेहतर होता है।
परिणाम: वास्तविक लाभ, केवल शोर नहीं
शोधकर्ताओं ने एक फ्रीज़्ड AI मॉडल (जिसका अर्थ है कि वे AI के मस्तिष्क को बिल्कुल नहीं बदल सकते थे) पर सात अलग-अलग डोमेन में इस सिस्टम का परीक्षण किया, जिसमें कोडिंग, गणित और ऐप डेवलपमेंट शामिल हैं। उन्होंने एक "सील्ड टेस्ट" (sealed test) का उपयोग किया—समस्याओं का एक सेट जिसे AI ने पहले कभी नहीं देखा था और जिसे प्रशिक्षण प्रक्रिया के दौरान सिस्टम को कभी देखने की अनुमति नहीं दी गई थी।
परिणाम प्रभावशाली थे:
- विकसित हार्नेस ने सील्ड टेस्ट पर AI की सफलता दर में +9 से +15.5 प्रतिशत अंक का सुधार किया।
- ये लाभ वास्तविक थे। सिस्टम ने उन नए, सील्ड समस्याओं पर प्रशिक्षण के दौरान देखे गए सुधार का 86% से 147% हिस्सा बनाए रखा। यह साबित करता है कि AI ने केवल अभ्यास के उत्तरों को याद नहीं किया; इसने काम करने का एक बेहतर तरीका सीखा।
- सिस्टम ने हानिकारक परिवर्तनों को सफलतापूर्वक पहचाना और खारिज कर दिया। उदाहरण के लिए, एक परीक्षण पर, इसने एक ऐसे उम्मीदवार को पकड़ा जो वास्तव में प्रदर्शन को -6.4 अंक कम कर देता और इसे ब्लॉक कर दिया।
निष्कर्ष: यह प्रक्रिया के बारे में है, पैच के बारे में नहीं
सबसे दिलचस्प निष्कर्षों में से एक यह है कि "परफेक्ट" सुधार पूरी तरह से उपयोग किए जा रहे विशिष्ट AI मॉडल पर निर्भर करता है। एक सुधार जो एक मॉडल के लिए काम करता है वह दूसरे के लिए काम नहीं कर सकता क्योंकि वे अलग-ानों तरीकों से विफल होते हैं। हालाँकि, विफलता का निदान करने और सुधार का कड़ाई से परीक्षण करने की प्रक्रिया हर जगह काम करती है।
यह पेपर दिखाता है कि आपको एक विशाल AI मस्तिष्क को बेहतर बनाने के लिए उसे फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आपको बस एक स्मार्ट, स्वचालित प्रणाली की आवश्यकता है जो उसके चारों ओर एक बेहतर वर्कशॉप बना सके, बशर्ते उस प्रणाली के पास हर सुधार की वास्तविकता सुनिश्चित करने के लिए एक सख्त, बिना पलक झपकाए देखने वाला रेफरी हो। यह एक याद दिलाता है कि AI की दुनिया में, कभी-कभी मस्तिष्क को अपग्रेड करने का सबसे अच्छा तरीका उन हाथों को अपग्रेड करना है जो उसका मार्गदर्शन करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।