Hierarchical Self-Improvement: A Framework for Task-Specific Evolvable Agent Harnesses
यह शोध पत्र पदानुक्रमित स्व-सुधार (Hierarchical Self-Improvement - HSI) को प्रस्तुत करता है, जो एक ऐसा ढांचा है जहाँ एक फ्रोजन (frozen) LLM एजेंट एक पदानुक्रमित स्व-संशोधन प्रक्रिया के माध्यम से अपने कार्य-विशिष्ट निष्पादन हारनेस (execution harness) को निरंतर विकसित करता है, जो अंतर्निहित मॉडल की क्षमताओं और फीडबैक संकेतों की शुद्धता तक सीमित रहते हुए मध्यम-कठिनाई वाले कार्यों पर महत्वपूर्ण प्रदर्शन लाभ प्रदर्शित करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट दिमाग है, लेकिन वह एक कांच के बक्से में फंसा हुआ है। आप उस दिमाग के सोचने के तरीके को बदल नहीं सकते और न ही उसे नई चीजें सिखा सकते हैं; इसकी वायरिंग जमी हुई (frozen) है। हालांकि, आप उस कमरे को बदल सकते हैं जिसमें वह रहता है। आप फर्नीचर को फिर से व्यवस्थित कर सकते हैं, उसकी बेल्ट में नए औज़ार जोड़ सकते हैं, या उसे एक बेहतर नक्शा दे सकते हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, यह "कमरा" एक हार्नेस (harness) कहलाता है। यह उन निर्देशों, औज़ारों और मेमोरी सिस्टम का संग्रह है जो एक बड़े AI मॉडल के चारों ओर लिपटे होते हैं ताकि उसे समस्याओं को हल करने में मदद मिल सके। लंबे समय तक, वैज्ञानिकों ने सोचा कि AI को स्मार्ट बनाने के लिए आपको उसके दिमाग को अपग्रेड करना होगा। लेकिन क्या होगा अगर आप कमरे को इतना उत्तम बना दें कि जमा हुआ दिमाग अचानक एक जीनियस बन जाए? यही वह बड़ा सवाल है जिसे यह शोध पत्र संबोधित करता है: क्या एक रोबोट दिमाग, जो खुद कुछ नया नहीं सीख सकता, खुद को एक बेहतर कमरा बनाना सिखा सकता है?
इस अध्ययन के पीछे के शोधकर्ता, टेलिन झोउ (Tailin Zhou) कहते हैं, "हाँ, लेकिन सीमाओं के साथ।" उन्होंने एक प्रणाली बनाई जिसे हायरार्किकल सेल्फ-इम्प्रूवमेंट (Hierarchical Self-Improvement - HSI) कहा जाता है। इसे एक तीन मंजिला इमारत के रूप में समझें जहाँ वही जमा हुआ दिमाग हर मंजिल पर रहता है, लेकिन वह अलग-अलग काम करता है। निचली मंजिल पर, दिमाग नियमों के एक विशिष्ट सेट (हार्नेस) का उपयोग करके एक खेल खेलता है। बीच की मंजिल पर, दिमाग उन नियमों को देखता है और उच्च स्कोर प्राप्त करने के लिए उन्हें फिर से लिखने की कोशिश करता है। सबसे ऊपरी मंजिल पर, दिमाग इस बात को देखता है कि वह नियमों को कैसे लिख रहा है और उस प्रक्रिया में बेहतर होने की कोशिश करता है। जादुई ट्रिक यह है कि ऊपरी मंजिल वाला दिमाग अपने स्वयं के तर्क (logic) में "जमा हुआ" है—वह खुद को फिर से नहीं लिख सकता, जो उसे भ्रमित होने या सब कुछ बिगाड़ने से रोकता है। यह एक ऐसे शेफ की तरह है जो रेसिपी (बीच की मंजिल) बदल सकता है और यहाँ तक कि रेसिपी बुक लिखने का तरीका (ऊपरी मंजिल) भी बदल सकता है, लेकिन शेफ के अपने हाथ और दिमाग स्थिर हैं।
टीम ने इसका परीक्षण BALROG नामक वीडियो-गेम जैसे पहेलियों के समूह पर किया। उन्होंने पाया कि मध्यम-कठिनाई वाले खेलों के लिए, यह प्रणाली बहुत प्रभावी रही। बिना अपने दिमाग को बदले, केवल अपने निर्देशों को बार-बार फिर से लिखकर, AI ने खेल में काफी सुधार किया। उदाहरण के लिए, 'बेबीAI' (BabyAI) नामक गेम पर स्कोर 39.3% बढ़ गया, और 'क्राफ्टर' (Crafter) पर यह 33.0% बढ़ गया। इसने उन नए स्तरों को खेलना भी सीखा जिन्हें इसने पहले कभी नहीं देखा था, जिससे साबित होता है कि यह केवल उत्तरों को रट नहीं रहा था। हालाँकि, शोध पत्र में एक कठिन दीवार भी मिली: यदि खेल बहुत कठिन था (जैसे कि एक बहुत जटिल डंजन क्रॉलर जिसे NLE कहा जाता है), तो कितना भी कमरा व्यवस्थित करने से कोई मदद नहीं मिली। दिमाग बस सही संकेतों को उत्पन्न करने में सक्षम नहीं था।
तो, मुख्य निष्कर्ष यह है कि आप एक निश्चित AI से बहुत अधिक प्रदर्शन निकाल सकते हैं यदि आप उसे लगातार अपना "यूजर मैनुअल" और "टूलबेल्ट" अपग्रेड करने दें, लेकिन आप केवल फर्नीचर बदलकर एक कमजोर दिमाग को सुपर-ब्रेन नहीं बना सकते। सुधार वास्तविक, मापने योग्य और आश्चर्यजनक रूप से प्रभावी है, लेकिन यह उस सीमा से टकरा जाता है जो मूल रूप से उस दिमाग की बुद्धिमत्ता द्वारा निर्धारित होती है।
तीन मंजिला ब्रेन बिल्डिंग
यह समझने के लिए कि यह कैसे काम करता है, एक एकल, जमा हुए AI दिमाग (मान लीजिए "M") की कल्पना करें जो नए तथ्य सीखने के लिए बहुत स्मार्ट नहीं है लेकिन अपने स्वयं के कोड को बदलने के लिए बहुत जिद्दी है। शोधकर्ता ने इस दिमाग के रहने के लिए एक तीन मंजिला इमारत बनाई है, जहाँ प्रत्येक मंजिल एक अलग काम का प्रतिनिधित्व करती है।
ग्राउंड फ्लोर: द प्लेयर (खिलाड़ी)
यहाँ, दिमाग M एक खेल खेल रहा है। इसके पास एक "हार्नेस" (H) है, जो कवच के एक कस्टम-मेड सूट की तरह है जिसमें औजारों का एक विशिष्ट सेट, एक मेमोरी नोटबुक और गेम से बात करने के नियम शामिल हैं। यही वह हिस्सा है जो वास्तव में काम करता है। यदि गेम "लाल चाबी ढूंढना" है, तो हार्नेस दिमाग को बताता है कि चाबियों को कैसे देखना है और उन्हें कहाँ रखना है।
दूसरी मंजिल: द आर्किटेक्ट (वास्तुकार)
ऊपर, वही दिमाग M अब एक आर्किटेक्ट के रूप में कार्य कर रहा है। वह ग्राउंड फ्लोर पर खिलाड़ी को देखता है, देखता है कि वह कहाँ विफल हुआ, और फिर हार्नेस को फिर से लिखता है। वह कह सकता है, "हे, खिलाड़ी चाबी को बाईं ओर के कमरे में रखना भूल गया। चलिए मेमोरी सिस्टम में एक स्टिकी नोट जोड़ते हैं।" यह इवॉल्वर (Evolver) है। यह गेम नहीं खेलता; यह केवल खिलाड़ी के लिए गेम के नियमों को बदलता है।
तीसरी मंजिल: द ब्लूप्रिंट डिज़ाइनर (ब्लूप्रिंट डिजाइनर)
सबसे ऊपर वाली मंजिल पर, दिमाग M अब ब्लूप्रिंट डिजाइनर है। वह दूसरी मंजिल पर आर्किटेक्ट को देखता है। हो सकता है कि आर्किटेक्ट गलतियाँ खोजने में बहुत धीमा हो, या शायद वह एक ही तरह की गलती बार-बार करता हो। डिजाइनर आर्किटेक्ट की रणनीति को फिर से लिखता है। वह कह सकता है, "पिछले 5 मूव्स को देखने के बजाय, पिछले 20 मूव्स को देखें।" यह मेटा-इवॉल्वर (Meta-Evolver) है।
सेफ्टी लॉक (सुरक्षा लॉक)
सबसे महत्वपूर्ण बात यह है: इमारत में एक सुरक्षा लॉक है। ब्लूप्रिंट डिजाइनर (टॉप फ्लोर) आर्किटेक्ट की रणनीति को बदल सकता है, लेकिन वह अपने स्वयं के कोड को नहीं बदल सकता। टॉप फ्लोर को चलाने वाला कोड "जमा हुआ" और अपरिवर्तनीय है। यह सिस्टम को एक ऐसे लूप में जाने से रोकता है जहाँ वह खुद को अनंत काल तक फिर से लिखने की कोशिश करता रहे और सब कुछ बिगाड़ दे। यह एक ऐसे शिक्षक की तरह है जो छात्रों के लिए पाठ योजना बदल सकता है, और प्रिंसिपल शिक्षक की पाठ योजना को बदल सकता है, लेकिन प्रिंसिपल का अपना जॉब डिस्क्रिप्शन पत्थर की लकीर है।
"थिंकिंग ऑन/ऑफ" स्विच
यह सुनिश्चित करने के लिए कि AI केवल पहेलियों को हल करने के लिए अधिक दिमागी शक्ति का उपयोग नहीं कर रहा था, शोधकर्ता ने एक चतुर तकनीक का उपयोग किया। जब दिमाग गेम खेल रहा था (ग्राउंड फ्लोर), तो उन्होंने इसके "सोचने" (thinking) मोड को बंद कर दिया था। इसे अपनी पहली सहज प्रवृत्ति (instinct) पर कार्य करना था। लेकिन जब यह नियमों को फिर से लिख रहा था (दूसरी और तीसरी मंजिल), तो उन्होंने थिंकिंग मोड को वापस चालू कर दिया। इससे सिद्ध हुआ कि सुधार बेहतर नियमों (हार्नेस) से आए थे, न कि दिमाग के अचानक स्मार्ट होने या अधिक सोचने से।
परिणाम: यह कब काम करता है और कब विफल होता है
टीम ने BALROG नामक एक बेंचमार्क पर इस प्रणाली का परीक्षण किया, जो विभिन्न कठिनाई स्तरों वाले टेक्स्ट-आधारित एडवेंचर गेम्स का एक संग्रह है।
सफलता की कहानियाँ
मध्यम-कठिनाई वाले खेलों पर, यह प्रणाली एक सुपरस्टार थी।
- BabyAI: स्कोर +39.3% सुधरा।
- Crafter: स्कोर +33.0% बढ़ा।
- TextWorld: +25.0% की बढ़त।
- MiniHack: +15.0% का लाभ।
इससे भी अधिक प्रभावशाली बात यह है कि जब उन्होंने 'बाबा-इज-ए-आई' (BabaIsAI) नामक गेम पर इस प्रणाली का परीक्षण किया, तो AI ने ऐसे नियम सीखे जो उन नए स्तरों पर भी काम करते थे जिन्हें उसने पहले कभी नहीं देखा था। एक सब-गेम "ब्रेकस्टॉप" (BreakStop) पर, इसे 0.98 का स्कोर मिला (लगभग पूर्ण), और "गो-टू" (GoTo) पर, इसे 1.00 (पूर्ण) मिला। इसका मतलब है कि AI ने केवल उन विशिष्ट स्तरों को याद नहीं किया जिनका उसने अभ्यास किया था; इसने वास्तव में एक बेहतर रणनीति बनाना सीखा जो पुन: उपयोग की जा सकती थी।
कठिन सीमाएँ
हालाँकि, शोध पत्र में एक स्पष्ट सीमा भी मिली। जब उन्होंने इसे एक बहुत कठिन गेम NLE पर आजमाया (जिसमें गहरा तर्क आवश्यक है और बहुत कम संकेत मिलते हैं), तो प्रणाली सुधार करने में विफल रही। स्कोर 0.0 पर ही रहा।
क्यों? क्योंकि जमा हुआ दिमाग पहले से ही गेम को समझने के लिए पर्याप्त स्मार्ट नहीं था। हार्नेस उपकरणों को पुनर्व्यवस्थित कर सकता है, लेकिन यह दिमाग को समाधान देखने के लिए नई आँखें नहीं दे सकता। शोध पत्र सुझाव देता है कि हार्नेस इवोल्यूशन एक गुणक (multiplier) की तरह है: यदि दिमाग पहले से ही किसी कार्य में ठीक है, तो हार्नेस उसे महान बना सकता है। लेकिन यदि दिमाग उस कार्य के लिए बहुत खराब है, तो किसी भी टूल को व्यवस्थित करने से वह अच्छा नहीं बन पाएगा।
भविष्य के लिए इसका क्या अर्थ है
यह शोध यह सुझाव देता है कि विशाल, महंगे नए मॉडल को प्रशिक्षित करने की आवश्यकता के बिना AI को बेहतर बनाने का एक नया तरीका है। एक स्मार्ट दिमाग बनाने के बजाय, हम दिमाग के रहने के लिए एक स्मार्ट "कमरा" बना सकते हैं। पेपर दिखाता है कि एक एकल, जमा हुआ AI अपने स्वयं के निर्देशों को सुधारने के लिए खुद को सिखा सकता है, जब तक कि कार्य बहुत कठिन न हो और AI को इस पर स्पष्ट फीडबैक मिले कि उसने क्या सही या गलत किया।
यह एक व्यक्ति को कौशल का एक निश्चित सेट देने के लेकिन उन्हें अपना वर्कशॉप डिजाइन करने देने जैसा है। यदि काम उनके कौशल के दायरे में है, तो वे एक ऐसा वर्कशॉप बना सकते हैं जो इतना कुशल हो कि वे एक मास्टर क्राफ्ट्समैन बन जाएं। लेकिन यदि काम के लिए ऐसे कौशल की आवश्यकता है जो उनके पास नहीं है, तो कोई भी वर्कशॉप डिजाइन उन्हें काम पूरा करने में मदद नहीं करेगा। यह शोध सिद्ध करता है कि कई कार्यों के लिए, वर्कशॉप का डिजाइन हमारे पास मौजूद उपकरणों की पूरी क्षमता को अनलॉक करने की कुंजी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।