Self-Modifying Lean Proof Agents with Verifier-Grounded Benchmark Coevolution
यह शोध पत्र एक स्व-संशोधित (self-modifying) लीन (Lean) प्रूफ़ एजेंट प्रस्तुत करता है जो महारत-नियंत्रित (mastery-throttled) बेंचमार्क के साथ सह-विकसित होता है ताकि होल्ड-आउट टेस्ट पर 45.1% समाधान दर प्राप्त की जा सके, जो यह सुनिश्चित करते हुए अपने सीड (seed) और फिक्स्ड-बेंचमार्क समकक्षों से काफी बेहतर प्रदर्शन करता है कि सभी स्व-सुधार विश्वसनीय लीन सत्यापन (Lean verification) में निहित रहें।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ कंप्यूटर केवल आदेशों का पालन नहीं करते, बल्कि वास्तव में अपनी गलतियों को सुधारना, अपने स्वयं के निर्देशों को फिर से लिखना और समय के साथ अधिक बुद्धिमान बनना सीख सकते हैं। यह "स्व-विकसित एजेंटों" (self-evolving agents) का क्षेत्र है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ सॉफ़्टवेयर अपने स्वयं के कोड को बदलकर खुद को बेहतर बनाने की कोशिश करता है। आमतौर पर, इन डिजिटल जीवों का परीक्षण पहेलियों के एक निश्चित सेट पर किया जाता है, जैसे कि एक छात्र एक ही गणित परीक्षण को बार-बार तब तक देता है जब तक कि वह उत्तर याद न कर ले। लेकिन क्या होगा अगर छात्र बेहतर होने के साथ-साथ वह परीक्षण भी कठिन होता जाए? यह "सह-विकास" (coevolution) का विचार है, जहाँ सीखने वाला और चुनौती दोनों एक साथ बढ़ते हैं, और एक-दूसरे को नई ऊंचाइयों तक धकेलते हैं। औपचारिक सत्यापन (formal verification) के विशिष्ट गणितीय क्षेत्र में, एक सख्त रेफरी है जिसे "लीन" (Lean) कहा जाता है, जो यह जाँचता है कि क्या कोई प्रमाण 100% सही है। मुख्य सवाल जो शोधकर्ता पूछ रहे हैं, वह यह है: क्या एक कंप्यूटर एजेंट किसी मानव शिक्षक द्वारा रणनीति डिजाइन किए बिना, इन गणितीय प्रमाणों को हल करने का सबसे अच्छा तरीका खुद खोज सकता है?
यह शोध पत्र एक टीम के शोधकर्ताओं की कहानी बताता है जिन्होंने एक डिजिटल "प्रूफ एजेंट" बनाया जो इस प्रश्न का उत्तर देने की कोशिश करता है। एजेंट को गणित की समस्याओं को हल करने के लिए एक आदर्श, हाथ से लिखा गया मार्गदर्शिका देने के बजाय, उन्होंने एजेंट को अपने वर्कफ़्लो, उपकरणों और यहाँ तक कि अपने विचारों को व्यवस्थित करने के तरीके को खुद फिर से लिखने दिया। चीजों को निष्पक्ष और ईमानदार रखने के लिए, उन्होंने इस स्व-सुधार करने वाले एजेंट को एक "सह-विकसित बेंचमार्क" (coevolving benchmark) के साथ जोड़ा। इसे एक वीडियो गेम की तरह समझें जो कठिनाई को स्वचालित रूप से समायोजित करता है: जैसे ही एजेंट एक स्तर में महारत हासिल करता है, गेम उन आसान स्तरों को कठिन स्तरों से बदल देता है, यह सुनिश्चित करते हुए कि एजेंट कभी बोर न हो या अटक न जाए। शोधकर्ताओं ने पाया कि यह दृष्टिकोण आश्चर्यजनक रूप से प्रभावी रहा। विकास की 15 पीढ़ियों के अंत तक, उनका स्व-शिक्षित एजेंट गणित की कठिन, अनदेखी समस्याओं के एक सेट को 45.1% हल कर सका, जो शुरुआत में 12.7% हल करने की उसकी क्षमता से एक बड़ी छलांग है। हालाँकि, शोध पत्र यह भी सुझाव देता है कि जबकि यह एजेंट बहुत बेहतर हुआ, यह एक पूर्ण जीनियस नहीं बना; इसने मुख्य रूप से जटिल नए तरीके खोजने के बजाय अपनी गलतियों को सुधारने में बहुत कुशल होना सीखा।
स्व-संपादित मैथ बॉट की कहानी
कल्पित कीजिए कि आपके पास एक रोबोट है जो गणित के प्रमाणों के एक विशाल ढेर को हल करना चाहता है। आमतौर पर, एक मानव प्रोग्रामर रोबोट के लिए एक सख्त मैनुअल लिखेगा: "पहले, यह करो। फिर, यदि आपको त्रुटि दिखाई दे, तो वह करो।" लेकिन इस प्रयोग में, शोधकर्ताओं ने निर्णय लिया कि रोबोट अपना खुद का मैनुअल लिखेगा। उन्होंने एक ऐसी प्रणाली बनाई जहाँ रोबोट का "मस्तिष्क" (उसका कोड, उसके उपकरण और उसकी रणनीति) पूरी तरह से संपादन योग्य था। रोबोट यह देखने के लिए अपने स्वयं के निर्देशों को फिर से लिखने का प्रयास कर सकता था कि क्या वह समस्याओं को तेज़ी से या अधिक सटीकता से हल कर सकता है।
लेकिन इसमें एक पेच था। यदि रोबोट अपने स्वयं के कोड को फिर से लिख सकता है, तो वह झूठ भी बोल सकता है और कह सकता है, "मैंने इसे हल कर लिया!" जब वास्तव में उसने नहीं किया। इसे रोकने के लिए, शोधकर्ताओं ने एक "ट्रस्टेड रनटाइम" (trusted runtime) बनाया—एक सख्त, अपरिवर्तनीय रेफरी जो कभी नहीं सोता। यह रेफरी, जो "लीन" नामक प्रणाली द्वारा संचालित है, अंतिम न्यायाधीश के रूप में कार्य करता है। रोबोट अपने कोड को कैसे भी बदले, रेफरी अंतिम प्रमाण की जाँच करता है। यदि प्रमाण रेफरी के सूक्ष्मदर्शी के नीचे खरा नहीं उतरता है, तो वह मान्य नहीं होता है। यह सुनिश्चित करता है कि रोबोट धोखाधड़ी न कर सके; उसे अंक पाने के लिए वास्तव में गणित करना होगा।
वह खेल जो कठिन होता जाता है
इस प्रयोग का सबसे रोमांचक हिस्सा यह है कि उन्होंने रोबोट का परीक्षण कैसे किया। अधिकांश एआई प्रयोगों में, रोबक समस्याओं की एक निश्चित सूची पर अभ्यास करता है। यदि रोबोट बहुत अच्छा हो जाता है, तो वह उत्तरों को रट लेता है, और परीक्षण उपयोगी नहीं रह जाता। शोधकर्ता इस प्रयोग में इससे बचना चाहते थे। उन्होंने एक "सह-विकसित बेंचमार्क" तैयार किया, जो एक वीडियो गेम की तरह है जो हर बार स्तर जीतने पर कठिन होता जाता है।
यह इस प्रकार काम करता था:
- चैंपियन: प्रत्येक दौर में, सर्वश्रेष्ठ प्रदर्शन करने वाला रोबोट ("चैंपियन") यह तय करता है कि अगला दौर कैसा होगा।
- अपग्रेड: यदि चैंपियन बहुत अधिक आसान समस्याओं को हल करता है, तो सिस्टम उन आसान समस्याओं को सेवानिवृत्त कर देता है और उन्हें चुनौतियों के एक बड़े पूल से कठिन समस्याओं से बदल देता है।
- स्कोरकीपर: यह सुनिश्चित करने के लिए कि खेल कठिन होने पर भी स्कोर निष्पक्ष रहे, उन्होंने "सिंगल-एंकर रीकैलिब्रेशन" (single-anchor recalibration) नामक एक विशेष गणितीय ट्रिक का उपयोग किया। कल्पना कीजिए कि आप एक ऐसे ट्रैक पर दौड़ रहे हैं जो अचानक और भी ढलान वाला हो जाता है; आप धीमे दौड़ेंगे, लेकिन आप अभी भी एक महान धावक होंगे। इस प्रणाली ने स्कोर को समायोजित किया ताकि कठिन ट्रैक पर "स्वर्ण पदक" प्राप्त करना आसान ट्रैक पर स्वर्ण पदक प्राप्त करने के समान ही मूल्यवान हो।
इस सेटअप का अर्थ था कि रोबोट को हमेशा उसके आराम के दायरे (comfort zone) से थोड़ा बाहर धकेला जा रहा था, जिससे वह पुराने चीजों को रटने के बजाय नए कौशल सीखने के लिए मजबूर हुआ।
रोबोट ने वास्तव में क्या सीखा
15 पीढ़ियों तक इस प्रयोग को चलाने के बाद, परिणाम दिलचस्प थे। रोबोट ने केवल लगभग 12.7% समस्याओं को हल करना शुरू किया। 15वीं पीढ़ी तक, रोबोट का सबसे अच्छा संस्करण एक बिल्कुल नए, अनदेखे परीक्षण पर 45.1% समस्याओं को हल कर सका। यह एक विशाल सुधार है, जो दर्शाता है कि रोबोट को खुद को फिर से लिखने देने से वास्तव में उसे स्मार्ट बनने में मदद मिली।
हालाँकि, शोधकर्ताओं ने यह देखकर कुछ दिलचस्प पाया कि रोबोट कैसे स्मार्ट बना। वे उम्मीद कर रहे थे कि रोबोट अंततः एक जटिल, चरण-दर-चरण रणनीति विकसित करेगा जहाँ वह एक बड़ी समस्या को छोटे, प्रबंधनीय टुकड़ों में तोड़ देगा (जैसे एक मास्टर आर्किटेक्ट एक इमारत को मंजिल दर मंजिल डिजाइन करता है)। इसके बजाय, जीतने वाले रोबोट मुख्य रूप से मरम्मत (repair) के विशेषज्ञ बन गए।
इसे इस तरह सोचें: रोबोट ने जल्दी से एक पूरा प्रमाण लिखना सीखा, फिर त्रुटियों के लिए इसकी जाँच की, और फिर उन विशिष्ट हिस्सों को ठीक किया जो टूट गए थे। उसने आवश्यक रूप से पूरी इमारत की योजना शून्य से नहीं बनाई; वह बस दरारों को भरने में बहुत कुशल हो गया। शोधकर्ताओं ने पाया कि जबकि रोबोट ने जटिल, चरण-दर-चरण योजनाएँ बनाने की कोशिश कीं, वे योजनाएँ अक्सर विफल हो जाती थीं या बहुत जोखिम भरी होती थीं। "कोशिश करो, जाँच करो, ठीक करो" की सरल रणनीति अधिक विश्वसनीय थी और प्रतियोगिता में जीत हासिल की।
रोबोट ने खुद की मदद के लिए कुछ चतुर उपकरण भी बनाए। उदाहरण के लिए, उसने यह सुनिश्चित करने के लिए कि वह नकली शब्दों का उपयोग नहीं कर रहा है (एक सामान्य गलती जिसे 'हैलुसिनेशन' कहा जाता है), अपने द्वारा उपयोग किए गए गणितीय शब्दों के नामों की दोबारा जाँच करना सीखा। उसने यह सुनिश्चित करने के लिए छोटी चेकलिस्ट और खोज उपकरण बनाए कि उसका हर प्रमाण सबमिट करने से पहले वास्तविक और वैध हो।
निर्णय
तो, क्या रोबोट एक गणित का जीनियस बन गया? पूरी तरह से नहीं। जबकि उसमें नाटकीय सुधार हुआ, वह अभी भी उन 99% समस्याओं को हल नहीं कर सका जिन्हें सर्वश्रेष्ठ मानव-निर्मित रोबोट हल कर सकते हैं। शोधकर्ता सुझाव देते हैं कि रोबोट अभी भी "प्लानिंग मोड" के बजाय "रिपेयर मोड" में फंसा हुआ है। वह गलतियों को सुधारने में बहुत अच्छा है, लेकिन उसने अभी तक एक पूर्ण, गहरी संरचना को ज़मीन से ऊपर बनाने का तरीका नहीं खोजा है।
यह प्रयोग दिखाता है कि स्व-विकसित एजेंट अपने उपकरणों का बेहतर उपयोग करना सीख सकते हैं और बहुत अधिक स्मार्ट हो सकते हैं जब चुनौतियाँ उनके साथ बढ़ती रहती हैं। लेकिन यह यह भी बताता है कि एक रोबोट कितना खुद को सिखा सकता है, जब तक कि कोई मानव उसे जटिल रणनीतियों की ओर निर्देशित न करे। रोबोट ने साबित कर दिया कि वह विकसित हो सकता है, लेकिन एक सच्चा गणितीय मास्टर बनने की यात्रा अभी भी जारी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।