कल्पना कीजिए कि आप एक रोबोट को वीडियो गेम खेलना सिखाने की कोशिश कर रहे हैं, लेकिन आपको रोबोट को खुद गेम खेलने देने की अनुमति नहीं है। इसके बजाय, आपके पास केवल एक पुराने खिलाड़ी के मूव्स और परिणामों से भरी एक विशाल, धूल भरी नोटबुक है जिसने बहुत समय पहले वह गेम खेला था। यह "ऑफलाइन रीइन्फोर्समेंट लर्निंग" (offline reinforcement learning) की दुनिया है। चुनौती यह है कि रोबte का नया स्ट्रैटेजी पुराने खिलाड़ी के नोटबुक से बहुत अलग हो सकता है। यदि रोबोट गेम की उस दुनिया में जाने की कोशिश करता है जिसे पुराने खिलाड़ी ने कभी छुआ ही नहीं, तो नोटबुक के पास उस स्थान के लिए कोई डेटा नहीं होगा। यह एक नए शहर में एक अलग शहर के नक्शे का उपयोग करके नेविगेट करने जैसा है; आप रास्ता भटक सकते हैं या खतरनाक अंदाज़े लगा सकते हैं। इसे ठीक करने के लिए, वैज्ञानिक एक गणितीय ट्रिक का उपयोग करते हैं जिसे "ऑक्यूपेंसी रेशियो" (occupancy ratio) कहा जाता है। इस रेशियो को एक विशेष आवर्धक लेंस (magnifying glass) या वेट्स (weights) के सेट के रूप में सोचें जो रोबोट को बताता है: "हे, पुराने खिलाड़ी यहाँ शायद ही कभी गया, लेकिन हमारी नई योजना वहाँ बार-बार जाती है। इसलिए, जब हम पुराने डेटा को देखते हैं, तो हमें उन कुछ मौकों को अतिरिक्त महत्व देने की आवश्यकता है जहाँ वे वास्तव में गए थे, और उन जगहों को अनदेखा करने की आवश्यकता है जहाँ वे कभी नहीं गए।"

लंबे समय तक, इन वेट्स को समझना एक ऐसे पहेली को सुलझाने जैसा था जहाँ आपके द्वारा रखा गया हर टुकड़ा अगले टुकड़े को ढूँढना और कठिन बना देता था। मानक तरीकों के लिए एक बहुत ही सख्त शर्त थी: नए स्ट्रैटेजी का "नक्शा" पुराने डेटा के "नक्शे" के साथ जटिल, गणितीय तरीके से पूरी तरह से संगत होना चाहिए था। यदि नया स्ट्रैटेजी बहुत अलग होता, तो गणित टूट जाता, और रोबोट गलत सबक सीख लेता। यह पेपर एक नई विधि पेश करता है जिसे फिटेड ऑक्यूपेंसी-रेशियो इवैल्यूएशन (FORE) कहा जाता है। पहेली के टुकड़ों को पूरी तरह से फिट होने के लिए मजबूर करने के बजाय, FORE एक चतुर, चरण-दर-चरण दृष्टिकोण का उपयोग करता है जो स्वाभाविक रूप से खुद को सुधारता है। यह समस्या को एक "हॉट एंड कोल्ड" (hot and cold) के खेल की तरह देखता है, जहाँ रोबोट अपने वेट्स को धीरे-धीरे एडजस्ट करता है ताकि वह सच्चाई के करीब पहुँच सके, बिना उस सख्त संगतता (compatibility) की आवश्यकता के जिसकी पहले आवश्यकता होती थी। लेखक दिखाते हैं कि जब तक रोबोट की नई योजना को उसके पास मौजूद उपकरणों द्वारा वर्णित किया जा सकता है, तब तक वह सही वेट्स सीख सकता है और यह सटीक भविष्यवाणी कर सकता है कि वह कैसा प्रदर्शन करेगा, भले ही पुराना डेटा अव्यवस्थित या अधूरा क्यों न हो।

स्व-सुधार करने वाले आवर्धक लेंस की कहानी

आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक क्लासिक समस्या है: केवल पुराने डेटा का उपयोग करके एक नई योजना का मूल्यांकन कैसे किया जाए? कल्पना कीजिए कि आप एक नई सॉकर टीम की रणनीति का मूल्यांकन करने की कोशिश करกัน एक कोच हैं, लेकिन आपके पास केवल एक पूरी तरह से अलग लीग में खेल रही एक अलग टीम का फुटेज है। यदि नई टीम उस स्थान से गोल करने की कोशिश करती है जिसे पुरानी टीम ने कभी छुआ ही नहीं, तो आपका फुटेज बेकार है। आपको पुराने फुटेज को "री-वेट" (re-weight) करने के एक तरीके की आवश्यकता है ताकि यह लगे कि नई टीम ने उसे खेला है। यहीं पर ऑक्यूपेंसी रेशियो काम आता है। यह एक संख्या है जो आपको बताती है कि नई टीम एक विशिष्ट स्थान पर पुराने खिलाड़ी की तुलना में कितनी अधिक (या कम) बार जाती है।

पेपर के लेखक, लार्स वैन डेर लां और नाथन कैलस ने देखा कि इस रेशियो को कैलकुलेट करने के पुराने तरीके एक भारी, कठोर बार के साथ सी-सॉ (seesaw) को संतुलित करने की कोशिश करने जैसे थे। आपको यह मानना पड़ता था कि "सी-सॉ" (पर्दे के पीछे का गणित) पूरी तरह से स्थिर है और नई टीम के मूव्स पुराने खिलाड़ी के मूव्स के आधार पर पूरी तरह से अनुमानित हैं। यदि नई टीम ने कुछ अप्रत्याशित किया, तो पूरी गणना डगमगा जाती और विफल हो जाती। उन्होंने इसे "बेलमैन पूर्णता" (Bellman completeness) की आवश्यकता कहा, जो एक फैंसी तरीका है यह कहने का कि, "गणित को हर संभावित भविष्य के मूव को पूरी तरह से वर्णित करने में सक्षम होना चाहिए।"

FORE (फिटेड ऑक्यूपेंसी-रेशियो इवैल्यूएशन) का आगमन।

लेखक इन वेट्स को खोजने का एक नया तरीका प्रस्तावित करते हैं जो बहुत अधिक लचीला है। एक विशाल, असंभव समीकरण को एक साथ हल करने के बजाय, FORE एक पत्थर के ब्लॉक को तराशने वाले मूर्तिकार की तरह काम करता है। यह एक मोटे अनुमान के साथ शुरू होता है और फिर बार-बार इसे परिष्कृत करता है।

यहाँ जादू का तरीका है:

1. एडजॉइंट बेलमैन रिकर्सन (The Adjoint Bellman Recursion): कल्पना कीजिए कि ऑक्यूपेंसी रेशियो नई टीम की स्ट्रैटेजी द्वारा डाली गई एक छाया (shadow) है। पेपर दिखाता है कि यह छाया एक विशिष्ट नियम (एक "एडजॉइंट बेलमैन इक्वेशन") का पालन करती है।
2. केएल प्रोजेक्शन (The KL Projection): छाया को एक कठोर सांचे में फिट करने के लिए मजबूर करने के बजाय, FORE एक विशेष प्रकार के "आवर्धक लेंस" का उपयोग करता है जिसे केएल डायवर्जेंस (KL divergence - दो प्रोबेबिलिटी डिस्ट्रीब्यूशन के बीच अंतर मापने का एक तरीका) कहा जाता है। प्रत्येक चरण में, FORE छाया के वर्तमान अनुमान को सर्वोत्तम संभव आकार पर प्रोजेक्ट करता है जिसे वह अपने पास मौजूद उपकरणों के साथ बना सकता है।
3. स्व-सुधार (The Self-Correction): सबसे रोमांचक हिस्सा यह है कि यह प्रक्रिया स्वाभाविक रूप से त्रुटि (error) को कम करती है। लेखक सिद्ध करते हैं कि प्रत्येक चरण के साथ, अनुमान वास्तविक अनुपात के करीब आता जाता है, जैसे कि एक गेंद एक घाटी में लुढ़कते हुए नीचे जा रही हो। महत्वपूर्ण रूप से, यह उस सख्त "बेलमैन पूर्णता" की आवश्यकता के बिना होता है जिसकी पहले आवश्यकता थी। यह विधि तब तक काम करती है जब तक कि वास्तविक अनुपात को उन उपकरणों द्वारा वर्णित किया जा सकता है जिनका उपयोग रोबोट कर रहा है, भले ही वे उपकरण हर एक भविष्य के मूव को पूरी तरह से वर्णित न कर सकें।

इस पेपर ने वास्तव में क्या पाया

लेखकों ने केवल इसे केवल कल्पना नहीं किया; उन्होंने गणितीय रूप से इसे सिद्ध किया और परीक्षण भी किया।

• मुख्य निष्कर्ष: उन्होंने दिखाया कि FORE सही ऑक्यूपेंसी रेशियो की ओर अभिसरित (converge) होता है। यदि वास्तविक अनुपात उन कार्यों के वर्ग के भीतर मौजूद है जिनका उपयोग एल्गोरिदम कर रहा है (जिसे "रियलाइजेबिलिटी" की स्थिति कहा जाता है), तो त्रुटि ज्यामितीय रूप से (geometrically) कम होती है। इसका मतलब है कि विधि स्थिर और विश्वसनीय है, भले ही पुरानी स्ट्रैटेजी पुराने डेटा से बहुत अलग हो।
• यह क्या खारिज करता है: पेपर स्पष्ट रूप से इस विचार का खंडन करता है कि अच्छे परिणाम प्राप्त करने के लिए आपको "बेलमैन पूर्णता" या "एडजॉइंट बेलमैन पूर्णता" की आवश्यकता है। अतीत में, शोधकर्ताओं का मानना था कि आपको काम करने के लिए सभी संभावित भविष्यों का एक पूर्ण नक्शा चाहिए। FORE दिखाता है कि आपको इसकी आवश्यकता नहीं है। आपको बस रेशियो का एक अच्छा अनुमान चाहिए।
• "क्या होगा अगर" परिदृश्य (कवरेज): यह पेपर "अपर्याप्त कवरेज" (insufficient coverage) की समस्या को भी संबोधित करता है। क्या होगा यदि नई टीम उस हिस्से में जाती है जहाँ पुराने खिलाड़ी ने कभी कदम नहीं रखा? इस स्थिति में, पूर्ण रेशियो को नहीं जाना जा सकता। लेखक कवरेज-स्टेप्ड FORE (Coverage-Stopped FORE) पेश करते हैं। यह एक सेफ्टी वाल्व की तरह काम करता है। यह केवल उस बिंदु तक नई स्ट्रैटेजी के मूल्य का अनुमान लगाता है जहाँ डेटा समाप्त हो जाता है। यह एक "रूढ़िवादी निचला स्तर" (conservative lower bound) प्रदान करता है, जिसका अर्थ है: "हम निश्चित रूप से जानते हैं कि टीम को इतना मूल्य मिलेगा, भले ही हम अनछुए क्षेत्रों में क्या होता है, यह नहीं जानते।"

प्रमाण और खेल

अपने दावों का समर्थन करने के लिए, लेखकों ने दो चीजें कीं:

1. गणितीय प्रमाण: उन्होंने कठोर प्रमाण दिए कि उनकी विधि में त्रुटि सीमित (bounded) है। उन्होंने त्रुटि को तीन भागों में विभाजित किया: शुरुआती अनुमान कितना गलत था, उपकरण वास्तविक रेशियो का अनुमान लगाने में कितने सक्षम थे, और सीमित डेटा के कारण होने वाला सांख्यिकीय शोर (statistical noise)। उन्होंने दिखाया कि विधि इन तीनों को कुशलतापूर्वक संभालती है।
2. सिमुलेशन: उन्होंने यह देखने के लिए कंप्यूटर प्रयोग चलाए कि FORE वास्तविक दुनिया के नंबरों में कैसा प्रदर्शन करता है।
   • प्रयोग 1 (Baird-style MRP): उन्होंने एक क्लासिक "स्टार-शेप्ड" समस्या का उपयोग किया जहाँ पुराने तरीके (जैसे मानक Fitted Q-Evaluation) विफल हो जाते हैं। हालाँकि, FORE स्थिर रहा और सही उत्तर तक पहुँचा।
   • प्रयोग 2 (Linear-Gaussian): उन्होंने एक निरंतर (continuous) समस्या का परीक्षण किया जहाँ गणित जटिल हो जाता है। फिर से, मानक तरीके संघर्ष कर रहे थे, लेकिन FORE और FORE का एक संस्करण जो डेटा को "री-वेट" करता है (FORE-reweighted FQE), ने बहुत बेहतर प्रदर्शन किया, जिससे त्रुटियां कम रहीं।
   • प्रयोग 3 (मिसिंग डेटा): उन्होंने एक ऐसी स्थिति का अनुकरण किया जहाँ नई स्ट्रैटेजी उन जगहों पर जाने की कोशिश करती है जहाँ पुराना डेटा नहीं पहुँचा। कवरेज-स्टेप्ड FORE ने सफल रूप से सुरक्षित हिस्से की पहचान की और एक रूढ़िवादी अनुमान दिया, जबकि मानक तरीके जो गायब हिस्सों का अनुमान लगाने की कोशिश कर रहे थे, बुरी तरह विफल रहे।

यह क्यों मायने रखता है

यह पेपर एक बड़ी बात है क्योंकि यह पुराने डेटा से AI को सिखाने में एक प्रमुख बाधा को हटा देता है। वर्षों से, वैज्ञानिकों को लगता था कि आपको अतीत से सीखने के लिए भविष्य की पूर्ण समझ की आवश्यकता है। FORE दिखाता है कि आप "पर्याप्त अच्छे" हो सकते हैं और फिर भी एक विश्वसनीय उत्तर प्राप्त कर सकते हैं। यह यह कहने जैसा है कि आपको किसी को दिशा देने के लिए शहर की हर गली जानने की आवश्यकता नहीं है; आपको बस एक ऐसे नक्शे की आवश्यकता है जो मुख्य मार्गों को पर्याप्त रूप से कवर करता हो।

लेखक सावधानी बरतते हुए कहते हैं कि यह कोई जादुई छड़ी नहीं है जो हर समस्या को हल कर देगी। यदि नई स्ट्रैटेजी उन स्थानों पर जाती है जहाँ पुराना डेटा कभी नहीं पहुँचा, तो आप अभी भी पूर्ण सत्य को नहीं जान सकते। लेकिन उन हिस्सों के लिए जिन्हें आप देख सकते हैं, FORE सफलता को मापने का एक अधिक स्थिर और विश्वसनीय तरीका प्रदान करता है। यह एक नाजुक, उच्च-दांव वाली गणना को एक मजबूत, चरण-दर-चरण प्रक्रिया में बदल देता है जो प्रयास करने के साथ बेहतर होती जाती है।

संक्षेप में, FORE इतिहास से सीखने के लिए रोबोट को सिखाने का एक नया, अधिक लचीला तरीका है, जो यह सिद्ध करता है कि भविष्य के बारे में एक अच्छा अनुमान लगाने के लिए आपको भविष्य के पूर्ण क्रिस्टल बॉल की आवश्यकता नहीं है।