🤖 AI

A Model-Free Universal AI

यह शोध पत्र AIQI को प्रस्तुत करता है, जो वितरण संबंधी एक्शन-वैल्यू फंक्शन्स (distributional action-value functions) पर यूनिवर्सल इंडक्शन (universal induction) को निष्पादित करके सामान्य सुदृढीकरण शिक्षण (reinforcement learning) में एसिम्प्टोटिक $\varepsilon$ -ऑप्टिमैलिटी (asymptotic $\varepsilon$ -optimality) प्राप्त करने वाला पहला सिद्ध मॉडल-मुक्त यूनिवर्सल एजेंट है, साथ ही यह इन प्रमाण तकनीकों को सेल्फ-AIXI (Self-AIXI) की इष्टतमता स्थापित करने के लिए विस्तारित भी करता है।

मूल लेखक: Yegon Kim, Juho Lee

प्रकाशित 2026-06-16

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yegon Kim, Juho Lee

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "A Model-Free Universal AI" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

मुख्य विचार: सोचने से नहीं, बल्कि करके सीखना

कल्पना कीजिए कि आप एक जटिल वीडियो गेम खेलना सीखने की कोशिश कर रहे हैं। इसे करने के दो मुख्य तरीके हैं:

"मैप-मेकर" दृष्टिकोण (Model-Based): आप अपना सारा समय गेम के कोड को पढ़ने, दुनिया का एक सटीक नक्शा बनाने और वास्तव में बटन दबाने से पहले अपने दिमाग में हर संभावित चाल का अनुकरण (simulate) करने में बिताते हैं। प्रसिद्ध सैद्धांतिक AI जिसे AIXI कहा जाता है, इसी तरह काम करता है। यह अपनी चालों की योजना बनाने के लिए पूरे ब्रह्मांड का एक मानसिक मॉडल बनाता है। समस्या क्या है? इस तरह का पूर्ण नक्शा बनाना अक्सर असंभव होता है या इसमें बहुत अधिक कंप्यूटिंग पावर लगती है।
"ट्रायल-एंड-एरर" दृष्टिकोण (Model-Free): आप बस खेलना शुरू कर देते हैं। आप बटन दबाते हैं, देखते हैं कि क्या होता है, याद रखते हैं कि किन चालों से आपको अंक मिले, और धीरे-धीरे सीखते हैं कि क्या काम करता है। आप यह समझने की कोशिश नहीं करते कि क्यों गेम काम करता है; आप बस यह सीखते हैं कि क्या काम करता है। अधिकांश आधुनिक वीडियो गेम AI और मानव शिक्षार्थी इसी तरह काम करते हैं।

समस्या: लंबे समय तक वैज्ञानिकों का मानना था कि एक "परफेक्ट" या "यूनिवर्सल" लर्नर (एक ऐसा जो केवल वीडियो गेम ही नहीं, बल्कि किसी भी वातावरण में महारत हासिल कर सके) बनने के लिए, आपको "मैप-मेकर" दृष्टिकोण का उपयोग करना ही होगा। उनका मानना था कि "ट्रायल-एंड-एरर" दृष्टिकोण को गणितीय रूप से परफेक्ट साबित करना बहुत कठिन है।

बड़ी उपलब्धि: यह पेपर AIQI (Q-Induction के साथ यूनिवर्सल AI) पेश करता है। यह पहला एजेंट है जो "ट्रायल-एंड-एरर" दृष्टिकोण का उपयोग करता है, लेकिन गणितीय रूप से यह सिद्ध किया गया है कि यह किसी भी कार्य में अंततः पूर्ण (perfect) हो जाएगा, ठीक उसी तरह जैसे "मैप-मेकर" AIXI होता है।

AIQI कैसे काम करता है: "क्रिस्टल बॉल" की उपमा

दुनिया का नक्शा बनाने के बजाय, AIQI एक क्रिस्टल बॉल की तरह काम करता है जो भविष्य के स्कोर की भविष्यवाणी करता है।

लक्ष्य: किसी भी खेल में, आप समय के साथ अपने कुल स्कोर को अधिकतम करना चाहते हैं।
तरीका: AIQI यह नहीं पूछता, "दुनिया क्या कर रही है?" इसके बजाय, वह पूछता है, "यदि मैं अभी क्रिया X करता हूँ, तो मेरा कुल स्कोर क्या होगा?"
भविष्यवाणी: यह भविष्य के स्कोर के वितरण (distribution) का अनुमान लगाने के लिए एक विशेष लर्निंग मशीन (जिसे "प्रेडिक्टर" कहा जाता है) का उपयोग करता है। यह सटीक स्कोर का अनुमान नहीं लगाता (जो कठिन है), बल्कि यह स्कोर को "चंक्स" (chunks) में अनुमानित करता है (जैसे यह अनुमान लगाना कि स्कोर शीर्ष 10%, मध्य 10%, आदि में होगा)।
लूप (Loop):
- AIQI अपने इतिहास को देखता है।
- वह क्रिस्टल बॉल से पूछता है: "यदि मैं A करता हूँ, तो स्कोर क्या होगा? यदि मैं B करता हूँ, तो स्कोर क्या होगा?"
- वह उस क्रिया को चुनता है जिसका अनुमानित स्कोर सबसे अधिक होता है।
- वह खेलता है, परिणाम प्राप्त करता है, और अगली बार अधिक सटीक होने के लिए क्रिस्टल बॉल को अपडेट करता है।

समय के साथ, क्रिस्टल बॉल इतना सटीक हो जाता है कि AIQI हमेशा सबसे अच्छी चाल चुनता है, जिससे वह बिना कोई नक्शा बनाए गेम का जीनियस बन जाता है।

"डिलेड फीडबैक" (Delayed Feedback) की पहेली

एक पेचीदा समस्या थी जिसे लेखकों को हल करना था। कई खेलों में, आपको तुरंत इनाम नहीं मिलता है। आप एक बटन दबा सकते हैं, 10 कदम प्रतीक्षा कर सकते हैं, और फिर आपको एक अंक मिलता है।

यदि आप अभी स्कोर की भविष्यवाणी करने की कोशिश करते हैं, तो आप नहीं कर सकते क्योंकि इनाम अभी तक हुआ ही नहीं है। पिछले तरीके इस "देरी" (delay) के कारण संघर्ष करते थे।

समाधान: लेखकों ने इतिहास में "खाली जगहों को भरने" का एक चतुर तरीका निकाला। कल्पना कीजिए कि आप एक डायरी लिख रहे हैं। आमतौर पर आप लिखते हैं: क्रिया -> अवलोकन -> क्रिया -> अवलोकन।
AIQI लिखता है: क्रिया -> अवलोकन -> स्कोर भविष्यवाणी -> क्रिया -> अवलोकन -> स्कोर भविष्यवाणी...

यह हर कुछ चरणों के बाद इतिहास में एक "स्कोर भविष्यवाणी" डाल देता है। यह AI को भविष्य जाने बिना अपनी क्रियाओं और विलंबित पुरस्कारों (delayed rewards) के बीच संबंध सीखने की अनुमति देता है। यह अपने भविष्य के स्वयं के लिए एक नोट छोड़ने जैसा है कि "मुझे लगता है कि मुझे यहाँ एक अंक मिलेगा," और फिर बाद में यह जाँचता है कि क्या वह सही था।

"ग्रेन ऑफ ट्रुथ" (Grain of Truth) की आवश्यकता

पेपर यह सिद्ध करता है कि AIQI अंततः पूर्ण होगा, लेकिन एक शर्त है: "क्रिस्टल बॉल" को सत्य सीखने में सक्षम होना चाहिए।

इसे एक छात्र की तरह समझें जो परीक्षा दे रहा है। यदि छात्र इतना समझदार है कि सही उत्तर सीख सके, तो वह अंततः 100% प्राप्त करेगा। लेकिन यदि छात्र प्रश्न समझने के लिए बहुत कम बुद्धिमान है, तो वह कभी भी सही नहीं हो पाएगा।
पेपर "ग्रेन ऑफ ट्रुथ" की स्थिति मानता है: AI की सीखने की विधि को खेल के वास्तविक नियमों को सीखने में सक्षम होना चाहिए (भले ही खेल जटिल हो)। यदि यह शर्त पूरी होती है, तो AIQI को सर्वोत्तम रणनीति की ओर बढ़ने (converge होने) की गारंटी है।

"सेल्फ-AIXI" के बारे में क्या?

पेपर Self-AIXI का भी उल्लेख करता है, जो एक पिछला विचार है जहाँ एक AI खुद का और दुनिया का मॉडल सीखने की कोशिश करता है। लेखक बताते हैं कि उनकी नई प्रमाण तकनीकें Self-AIXI को भी ठीक कर सकती हैं, जिससे इसे अजीब, बनावटी धारणाओं के बिना अधिक विश्वसनीय बनाया जा सके।

सावधानी: यह "सेल्फ-ऑप्टिमाइज़िंग" नहीं है

पेपर एक महत्वपूर्ण अंतर बताता है। AIQI On-Policy है, जिसका अर्थ है कि यह उन क्रियाओं के आधार पर सीखता है जो यह वर्तमान में ले रहा है।

उपमा: कल्पना कीजिए कि एक छात्र केवल उस पाठ्यपुस्तक को पढ़ता है जिसे वह वर्तमान में पढ़ रहा है। यदि वह एक खराब पाठ्यपुस्तक पढ़ना शुरू करता है, तो वह गलत चीजें सीख जाएगा।
सीमा: यदि आप AIQI को किसी और को खेल खेलते हुए देखने के लिए मजबूर करते हैं (एक "हिस्टोरिक पॉलिसी"), तो यह भ्रमित हो सकता है और सर्वोत्तम रणनीति खोजने में विफल हो सकता है। यह अपने स्वयं के अनुभव से सीखने में बहुत अच्छा है, लेकिन दूसरों की गलतियों से सीखने में आवश्यक रूप से अच्छा नहीं है। यह AIXI से अलग है, जो सैद्धांतिक रूप से किसी भी स्रोत से सीख सकता है।

सारांश

यह क्या है? AIQI एक नए प्रकार का AI है जो दुनिया का मॉडल बनाने के बजाय सीधे भविष्य के पुरस्कारों की भविष्यवाणी करके सीखता है।
यह क्यों विशेष है? यह पहला "मॉडल-फ्री" AI है जो किसी भी वातावरण के लिए लंबे समय में गणितीय रूप से पूर्ण होने के लिए सिद्ध है।
यह कैसे काम करता है? यह भविष्य के स्कोर का अनुमान लगाने के लिए "क्रिस्टल बॉल" का उपयोग करता है, वास्तविक परिणामों के आधार पर अपने अनुमानों को अपडेट करता है, और उच्चतम अनुमानित स्कोर वाली क्रिया चुनता है।
परिणाम: यह सिद्ध करता है कि पूर्ण शिक्षक बनने के लिए आपको दुनिया के मानसिक नक्शे की आवश्यकता नहीं है; आपको बस भविष्य के स्कोर की भविष्यवाणी करने का एक अच्छा तरीका चाहिए।

यह कार्य "यूनिवर्सल एजेंट्स" के परिवार का विस्तार करता है, यह दिखाते हुए कि "यूनिवर्सल" बनने के कई तरीके हैं, न कि केवल "मैप-मेकर" वाला तरीका।

तकनीकी सारांश: एक मॉडल-मुक्त सार्वभौमिक AI (A Model-Free Universal AI)

1. समस्या का विवरण (Problem Statement)

जेनेरल रिइन्फोर्समेंट लर्निंग (GRL) के सिद्धांत में, अनुकूल एजेंटों का मानक ऐतिहासिक रूप से मॉडल-आधारित (model-based) रहा है। आधारभूत एजेंट, AIXI, और अन्य स्थापित सार्वभौमिक एजेंट (जैसे, Self-AIXI, थॉम्पसन सैंपलिंग एजेंट) स्पष्ट रूप से पर्यावरण के एक मॉडल (विश्व मॉडल/world model) का अनुमान लगाते हैं और उसका उपयोग योजना बनाने और निर्णय लेने के लिए करते हैं।

इसके विपरीत, व्यावहारिक रिइन्फोर्समेंट लर्निंग (RL) में प्रभावी प्रतिमान मॉडल-मुक्त (model-free) है, जहाँ एजेंट अनुभव से सीधे वैल्यू फंक्शन या पॉलिसियों को सीखते हैं, बिना किसी स्पष्ट पर्यावरण मॉडल को बनाए रखे। विशिष्ट डोमेन में मॉडल-मुक्त विधियों की सफलता के बावजूद, GRL के सामान्य परिवेश में एक मॉडल-मुक्त एल्गोरिदम को अनुकूल (optimal) सिद्ध करना एक खुला प्रश्न बना हुआ है। मॉडल-मुक्त अनुकूलता स्थापित करने के मौजूदा प्रयास या तो "ऑफ-पॉलिसी सेंसिबिलिटी" जैसे मनमाने अनुमानों पर निर्भर रहे हैं या वे एसिम्प्टोटिक (asymptotic) अनुकूलता गारंटी प्राप्त करने में विफल रहे हैं।

यह शोध पत्र इस प्रश्न को संबोधित करता है: क्या एक मॉडल-मुक्त एजेंट को सामान्य रिइन्फोर्समेंट लर्निंग वातावरण में एसिम्प्टोटिक रूप से अनुकूल (asymptotically optimal) सिद्ध किया जा सकता है?

2. कार्यप्रणाली: Q-इंडक्शन के साथ सार्वभौमिक AI (AIQI)

लेखक Q-इंडक्शन के साथ सार्वभौमिक AI (AIQI) प्रस्तुत करते हैं, जो GRL में एसिम्प्टोटिक रूप से $\epsilon$ -अनुकूल सिद्ध होने वाला पहला मॉडल-मुक्त एजेंट है।

मुख्य तंत्र (Core Mechanism)

AIXI के विपरीत, जो पर्यावरण मॉडलों पर सार्वभौमिक इंडक्शन करता है, या Self-AIXI के विपरीत, जो पर्यावरण और स्वयं दोनों का मॉडल बनाता है, AIQI वितरण संबंधी एक्शन-वैल्यू फंक्शन (रिटर्न-प्रेडिक्टर्स) पर सार्वभौमिक इंडक्शन करता है।

रिटर्न प्रेडिक्शन (Return Prediction): AIQI पर्यावरण के ट्रांजिशन डायनेमिक्स के बजाय विविक्त (discretized) $H$ -स्टेप रिटर्न्स ( $z_t$ ) के वितरण का पूर्वानुमान लगाता है।
संवर्धित इतिहास (Augmented History): इस तथ्य को संभालने के लिए कि रिटर्न्स भविष्य के पुरस्कारों (जो अभी तक देखे नहीं गए हैं) पर निर्भर करते हैं, AIQI एक आवधिक संवर्धन (periodic augmentation) रणनीति का उपयोग करता है। यह $N \ge H$ के आवधिक अंतराल पर इतिहास अनुक्रम में वास्तविक रिटर्न $z_t$ को सम्मिलित करता है। यह एक बेयसियन सीक्वेंस प्रेडिक्टर को भविष्य के डेटा की आवश्यकता के बिना, पिछले इतिहास और क्रियाओं के आधार पर रिटर्न्स के कंडीशनल वितरण को सीखने की अनुमति देता है।
पॉलिसी (Policy): AIQI अनिवार्य रूप से एक $\epsilon$ -ग्रीडी, ऑन-पॉलिसी डिस्ट्रिब्यूशनल मोंटे कार्लो कंट्रोल एल्गोरिदम है। प्रत्येक चरण में, यह अपने मिश्रण मॉडल (mixture model) द्वारा अनुमानित अपेक्षित विविक्त रिटर्न के रूप में $Q$ -वैल्यू का अनुमान लगाता है और इस अनुमान को अधिकतम करने वाली क्रिया का चयन करता है, जिसमें यादृच्छिक अन्वेषण (random exploration) की एक छोटी संभावना होती है।

सैद्धांतिक ढांचा (Theoretical Framework)

यह प्रमाण "ग्रेन ऑफ ट्रुथ" (Grain of Truth) स्थिति पर आधारित है। एजेंट के रिटर्न-प्रेडिक्टर्स का मिश्रण, एजेंट की अपनी पॉलिसी के वास्तविक कंडीशनल रिटर्न वितरण को समाहित करना चाहिए। इस स्व-संदर्भित (self-referential) स्थिति को रिफ्लेक्टिव ओरैकल्स (reflective oracles) का उपयोग करके हल किया जाता है, जो स्व-संदर्भ को संभालने के लिए सार्वभौमिक AI में एक मानक तकनीक है।

लेखक एक नवीन प्रमाण तकनीक का उपयोग करते हैं जिसमें शामिल हैं:

आवधिक संवर्धन (Periodic Augmentation): रिटर्न प्रेडिक्शन में निहित विलंबित फीडबैक (रिटर्न प्रेडिक्शन के मामले में तत्काल परसेप्ट्स के विपरीत) को प्रबंधित करने के लिए।
असमानताओं की श्रृंखला (Chain of Inequalities): एक विशिष्ट बाउंडिंग तकनीक (लेम्मा 4.5) जो ग्लोबल ऑप्टिमालिटी गैप को वन-स्टेप ऑप्टिमालिटी गैप से जोड़ती है, जिससे त्रुटि पद (error term) को बिना किसी ऑफ-पॉलिसी धारणा के, प्रभावी होराइजन बढ़ने के साथ शून्य किया जा सके।

3. प्रमुख योगदान और परिणाम

सैद्धांतिक गारंटी (Theoretical Guarantees)

"ग्रेन ऑफ ट्रुथ" स्थिति के तहत, यह शोध पत्र AIQI के लिए निम्नलिखित सिद्ध करता है:

मजबूत एसिम्प्टोटिक $\epsilon$ -अनुकूलता (Strong Asymptotic $\epsilon$ -Optimality): किसी भी पर्यावरण वर्ग $\mathcal{M}$ और सहनशीलता $\epsilon > 0$ के लिए, AIQI इस प्रकार अभिसरित (converge) होता है कि इष्टतम मान और एजेंट के मान के बीच का अंतर लगभग निश्चित रूप से (almost surely) $\epsilon$ से कम है।
एसिम्प्टोटिक $\epsilon$ -बेयस-अनुकूलता (Asymptotic $\epsilon$ -Bayes-Optimality): AIQI मिश्रण वातावरण $\xi$ (सभी वातावरणों $\mathcal{M}$ का बेयसियन मिश्रण) में एसिम्प्टोटिक रूप से $\epsilon$ -अनुकूल है, जो प्रभावी रूप से बिना किसी पर्यावरण मॉडल के उपयोग के AIXI के व्यवहार का अनुमान लगाता है।
$\epsilon$ -नैश इक्विलिब्रियम की ओर अभिसरण (Convergence to $\epsilon$ -Nash Equilibrium): मल्टी-एजेंट सेटिंग्स में, यदि सभी एजेंट AIQI का उपयोग करते हैं, तो संयुक्त पॉलिसी प्रोफाइल $\epsilon$ -नैश इक्विलिब्रियम की ओर अभिसरित होता है।

सीमाएं और अंतर (Limitations and Distinctions)

स्व-अनुकूलित नहीं (Not Self-Optimizing): शोध पत्र सिद्ध करता है कि AIQI स्व-अनुकूलित नहीं है। AIXI के विपरीत, जो पर्यावरण के साथ एक उप-इष्टतम "ऐतिहासिक पॉलिसी" के माध्यम से बातचीत करते हुए भी एक इष्टतम पॉलिसी सीख सकता है, AIQI (एक ऑन-पॉलिसी मोंटे कार्लो कंट्रोल एल्गोरिदम होने के नाते) उस पॉलिसी के मूल्य को सीखता है जिसे वह वर्तमान में निष्पादित कर रहा है। यदि ऐतिहासिक पॉलिसी उप-इष्टतम है, तो AIQI वैश्विक इष्टतम के बजाय उसी उप-इष्टतम व्यवहार की ओर अभिसरित होगा।
कोई एड-हॉक धारणा नहीं (No Ad-Hoc Assumptions): प्रमाण "ऑफ-पॉलिसी सेंसिबिलिटी" या पूर्व में समान परिणामों के लिए आवश्यक अन्य गैर-मानक धारणाओं पर निर्भर नहीं हैं।

Self-AIXI पर अनुप्रयोग

लेखक प्रदर्शित करते हैं कि उनके प्रमाण तकनीकों को Self-AIXI पर लागू किया जा सकता है। Self-AIXI में $\epsilon$ -ग्रीडी एक्सप्लोरेशन जोड़कर, वे दिखाते हैं कि इसे Self-AIXI के पिछले विश्लेषणों में पाई जाने वाली अनुचित धारणाओं के बिना एसिम्प्टोटिक रूप से $\epsilon$ -अनुकूल सिद्ध किया जा सकता है।

अनुभवजन्य सत्यापन (Empirical Validation)

शोध पत्र एक गणनीय इंस्टेंशिएशन (computable instantiation) प्रस्तुत करता है जिसे रिटर्न प्रेडिक्शन के लिए कॉन्टेक्स्ट ट्री वेटिंग (CTW) एल्गोरिदम का उपयोग करके बनाया गया है: AIQI-CTW। तीन वातावरणों (बायस्ड रॉक-पेपर-सिज़र्स, कुह्न पोकर, और 4x4 ग्रिड) पर प्रयोग दिखाते हैं कि AIQI-CTW, MC-AIXI-CTW (एक मॉडल-आधारित बेसलाइन) की तुलना में प्रतिस्पर्धी प्रदर्शन प्राप्त करता है, जबकि इसके लिए काफी कम कंप्यूटेशनल समय की आवश्यकता होती है, क्योंकि यह मोंटे कार्लो ट्री सर्च (प्लानिंग) नहीं करता है।

4. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि यह ज्ञात सार्वभौमिक एजेंटों की विविधता को महत्वपूर्ण रूप से विस्तारित करता है, यह स्थापित करते हुए कि सामान्य रिइन्फोर्समेंट लर्निंग में एसिम्प्टोटिक अनुकूलता के लिए स्पष्ट विश्व मॉडल (explicit world models) एक आवश्यक शर्त नहीं हैं।

सैद्धांतिक विस्तार: यह सार्वभौमिक AI की सीमा को मॉडल-आधारित एजेंटों से मॉडल-मुक्त एजेंटों तक ले जाता है, यह दिखाते हुए कि केवल वैल्यू फंक्शनों पर प्रत्यक्ष इंडक्शन ही अनुकूलता के लिए पर्याप्त है।
विश्लेषण के लिए ब्लूप्रिंट: इसकी प्रमाण तकनीकें, विशेष रूप से विलंबित फीडबैक को आवधिक संवर्धन के माध्यम से संभालना और ग्लोबल ऑप्टिमालिटी गैप को बाउंड करना, सामान्य वातावरण में अन्य पॉलिसी इटरेशन एल्गोरिदम के विश्लेषण के लिए एक नया ढांचा प्रदान करती हैं।
मौलिक अंतर्दृष्टि: परिणाम सुझाव देते हैं कि अनुकूलता प्राप्त करने के उद्देश्य से, जनरल-एजेंट थ्योरी के "सामग्री" (ingredients) पिछले अनुमानों से भिन्न हो सकते हैं, जो संभावित रूप से AI सुरक्षा और संरेखण (alignment) अनुसंधान के लिए क्या आवश्यक है, इसे स्पष्ट कर सकते हैं।

लेखक एक विनम्र लहजा बनाए रखते हैं, यह नोट करते हुए कि हालांकि AIQI अनुकूलता प्राप्त करता है, इसमें AIXI जैसी स्व-अनुकूलन संपत्ति का अभाव है और इसके लिए "ग्रेन ऑफ ट्रुथ" स्थिति की आवश्यकता होती है (जो क्षेत्र में मानक है)। इस कार्य को एक पूर्ण समाधान के बजाय एक सैद्धांतिक आधार और भविष्य के विश्लेषण के ब्लूप्रिंट के रूप में प्रस्तुत किया गया है।