Distributional Soft Bellman Operator under the Cramér Geometry

एक ऐसी दुनिया की कल्पना करें जहाँ रोबोट और AI एजेंट केवल एक औसत स्कोर का अनुमान लगाकर गेम या कार चलाना नहीं सीखते, बल्कि वे संभावित परिणामों के पूरे परिदृश्य (landscape) को समझते हैं। यह रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) का क्षेत्र है, जो आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ एक एजेंट 'ट्रायल एंड एरर' (प्रयास और त्रुटि) के माध्यम से सीखता है। आमतौर पर, ये एजेंट केवल "औसत" इनाम की परवाह करते हैं, जैसे कि एक छात्र जो केवल अपने अंतिम ग्रेड पर ध्यान केंद्रित करता है। लेकिन डिस्ट्रिब्यूशनल रीइन्फोर्समेंट लर्निंग (Distributional Reinforcement Learning) में, एजेंट पूरी कहानी की परवाह करता है: सबसे अच्छा परिदृश्य, सबसे बुरा हादसा, और इन दोनों के बीच की हर चीज़। यह न केवल आपके औसत टेस्ट स्कोर को जानने जैसा है, बल्कि इस बात के पूर्ण वितरण (distribution) को जानने जैसा है कि किसी भी दिए गए दिन में आपका प्रदर्शन कैसा हो सकता है।

इन एजेंटों को अधिक स्मार्ट और मजबूत बनाने के लिए, शोधकर्ता अक्सर इसमें "एन्ट्रॉपी" (entropy) का थोड़ा सा तड़का लगाते हैं, जो एक फैंसी शब्द है जिसका अर्थ है एजेंट को विभिन्न रास्तों को खोजने और अलग-अलग दिशाओं में प्रयास करने के लिए प्रोत्साहित करना, बजाय इसके कि वह एक उबाऊ दिनचर्या में फंसा रहे। इसे मैक्सिमम-एन्ट्रॉपी रीइन्फोर्समेंट लर्निंग (Maximum-Entropy Reinforcement Learning) कहा जाता है। जब आप पूर्ण वितरणों को ट्रैक करने के विचार को जिज्ञासा की इच्छा के साथ जोड़ते हैं, तो आपको डिस्ट्रिब्यूशनल सॉफ्ट पॉलिसी इटरेशन (Distributional Soft Policy Iteration) नामक एक शक्तिशाली लेकिन जटिल ढांचा प्राप्त होता है। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं, वह यह है कि जब ये एजेंट नए अनुभवों के आधार पर अपने ज्ञान को अपडेट करने की कोशिश करते हैं, तो क्या वे वास्तव में सच्चाई के करीब पहुँचते हैं, या वे बस भ्रमित होकर पहिए घुमाते रहते हैं? यह शोध पत्र इस प्रश्न का उत्तर देने के लिए गणित की गहराई में उतरता है, विशेष रूप से दो संभाव्यता कहानियों (probability stories) के बीच अंतर को मापने के एक ज्यामितीय तरीके, जिसे क्रेमर ज्योमेट्री (Cramér geometry) के रूप में जाना जाता है, पर ध्यान केंद्रित करता है।

---

मानचित्र, दिशा-सूचक यंत्र और जादुई दर्पण

कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) में रास्ता खोजना सिखाने की कोशिश कर रहे हैं। हर बार जब वह एक कदम उठाता है, तो उसे एक इनाम (जैसे स्वर्ण मुद्रा) या एक दंड (जैसे टक्कर) मिलता है। इस खेल के "सॉफ्ट" संस्करण में, रोबोट को साहसी होने और नए, अप्रत्याशित मूव्स आज़माने के लिए एक छोटा बोनस भी मिलता है। रोबोट का लक्ष्य "रिटर्न डिस्ट्रीब्यूशन" (return distribution) को समझना है—जो एक फैंसी तरीका है यह कहने का कि, "यदि मैं इसी तरह खेलना जारी रखता हूँ, तो मेरे कुल स्कोर के सभी संभावित परिणाम क्या हो सकते हैं?"

इस पेपर के लेखक उन मानचित्रकारों (cartographers) की तरह हैं जो इस रोबोट की सीखने की प्रक्रिया के लिए एक आदर्श मानचित्र बनाने की कोशिश कर रहे हैं। वे एक विशिष्ट उपकरण की जांच कर रहे हैं जिसे डिस्ट्रिब्यूशनल सॉफ्ट बेलमैन ऑपरेटर (Distributional Soft Bellman Operator) कहा जाता है। इस ऑपरेटर को एक जादुई मशीन के रूप में सोचें जो भविष्य के बारे में रोबोट के वर्तमान अनुमान को लेती है और उसे परिष्कृत करती है। आप इसे एक "अनुमान" (भविष्य के पुरस्कारों का एक संभाव्यता वितरण) देते हैं, और यह खेल के नियमों के आधार पर एक "बेहतर अनुमान" बाहर निकालता है।

बड़ा रहस्य यह था: क्या यह मशीन वास्तव में काम करती है? यदि आप बार-बार आउटपुट को इनपुट के रूप में फीड करते रहते हैं, तो क्या यह अंततः एक ही सत्य, पूर्ण मानचित्र पर स्थिर हो जाती है? या यह डगमगाती है और उत्तर खोजने में विफल रहती है? यह पता लगाने के लिए, शोधकर्ताओं ने इस समस्या को क्रेमर ज्योमेट्री नामक एक विशिष्ट लेंस के माध्यम से देखने का निर्णय लिया।

क्रेमर ज्योमेट्री: एक पैमाने से कहानियों को मापना

आमतौर पर, जब गणितज्ञ दो संभाव्यता कहानियों (जैसे भूलभलैया के दो अलग-अलग मानचित्र) की तुलना करते हैं, तो वे जटिल उपकरणों का उपयोग करते हैं। लेकिन क्रेमर ज्योमेट्री विशेष है क्योंकि यह इन कहानियों को क्युमुलेटिव डिस्ट्रीब्यूशन फंक्शन्स (CDFs) के रूप में मानती है।

एक CDF की कल्पना एक ऐसे ग्राफ के रूप में करें जो एक पहाड़ी पर चढ़ता है। नीचे, यह कहता है, "इतने कम स्कोर की संभावना 0% है।" जैसे-जैसे आप दाईं ओर बढ़ते हैं, रेखा ऊपर जाती है, कहती है, "इतने कम या इससे कम स्कोर की संभावना 50% है," जब तक कि यह शीर्ष पर 100% तक नहीं पहुँच जाती। क्रेमर ज्योमेट्री बस इन दो पहाड़ियों के बीच के अंतर को उनके बीच के क्षेत्र (area) को देखकर मापती है। यह दो अलग-अलग पर्वत श्रृंखलाओं के बीच की दूरी को मापने के लिए एक रूलर का उपयोग करने जैसा है। पेपर दिखाता है कि यदि आप इस विशिष्ट पैमाने का उपयोग करते हैं, तो "जादुई मशीन" (बेलमैन ऑपरेटर) बहुत अच्छी तरह से व्यवहार करती है।

खोज: एक गारंटीकृत संकुचन (A Guaranteed Contraction)

लेखकों ने एक बहुत महत्वपूर्ण तथ्य सिद्ध किया है: इस क्रेमर पैमाने के तहत, मशीन एक कॉन्ट्रैक्शन (contraction) है।

इसे विज़ुअलाइज़ करने का एक मनोरंजक तरीका यहाँ है: कल्पना करें कि आपके पास भविष्य के बारे में एक अव्यवस्थित अनुमान का प्रतिनिधित्व करने वाला एक कुचला हुआ कागज है। हर बार जब आप इसे बेलमैन मशीन के माध्यम से चलाते हैं, तो मशीन केवल इसे चिकना ही नहीं करती; बल्कि यह वास्तव में आपके अव्यवस्थित अनुमान और पूर्ण, सपाट सत्य के बीच की दूरी को सिकोड़ देती है। पेपर सिद्ध करता है कि यह दूरी हर बार $\sqrt{\gamma}$ (जहाँ $\gamma$ डिस्काउंट फैक्टर है, 0 और 1 के बीच की एक संख्या जो यह दर्शाती है कि रोबोट भविष्य की कितनी परवाह करता है) के कारक से कम हो जाती है।

चूंकि दूरी हर बार कम होती है, इसलिए लेखकों ने सिद्ध किया कि यदि आप मशीन को लगातार चलाते रहते हैं, तो आप गणितीय रूप से एक यूनिक फिक्स्ड पॉइंट (unique fixed point) तक पहुँचने की गारंटी रखते हैं। यह सीखने की प्रक्रिया का "होली ग्रेल" (परम लक्ष्य) है: रोबोट के भविष्य के पुरस्कारों का एकमात्र सही मानचित्र। आप जहाँ से भी शुरू करें, आप हमेशा एक ही गंतव्य पर पहुँचेंगे।

गुप्त सामग्री: एक सरल नियम

आप सोच सकते हैं, "क्या यह हर संभव भूलभुलैया के लिए काम करता है?" पेपर कहता है हाँ, लेकिन एक विशिष्ट शर्त के साथ। रोबोट के पुरस्कार और उसकी "जिज्ञासा बोनस" (एन्ट्रॉपी) को औसतन अच्छा व्यवहार करना चाहिए।

अतीत में, शोधकर्ता अक्सर यह मान लेते थे कि पुरस्कार और जिज्ञासा बोनस को सख्ती से सीमित (bounded) होना चाहिए—जैसे यह कहना कि, "रोबोट कभी भी 100 अंक से अधिक नहीं जीत सकता और -100 से कम नहीं पा सकता।" लेखकों ने दिखाया कि यह सख्त नियम वास्तव में आवश्यक नहीं है। इसके बजाय, उन्होंने सिद्ध किया कि आपको केवल एक यूनिफॉर्म फर्स्ट-मोमेंट कंडीशन (uniform first-moment condition) की आवश्यकता है।

इसे ऐसे सोचें: आपको यह वादा करने की आवश्यकता नहीं है कि रोबमान एक ही कदम में दस लाख डॉलर नहीं जीत सकता या दस लाख डॉलर नहीं हार सकता। आपको बस यह वादा करने की आवश्यकता है कि जीत या हार का औसत आकार अनंत नहीं है। जब तक पुरस्कार और जिज्ञासा बोनस द्वारा किया गया "औसत बदलाव" सीमित है, मशीन पूरी तरह से काम करती है। यह वास्तविक दुनिया के रोबोटों के लिए एक बहुत अधिक लचीला और यथार्थवादी नियम है।

जादुई दर्पण: एक अलग आयाम में वही चीज़ देखना

पेपर केवल मानचित्र पर नहीं रुकता। लेखकों ने एक जादुई दर्पण (एक गणितीय उपकरण जिसे स्पेक्ट्रल रिप्रेजेंटेशन कहा जाता है) भी बनाया है। उन्होंने दिखाया कि यदि आप इस दर्पण के माध्यम से रोबोट की सीखने की प्रक्रिया को देखते हैं, तो CDFs के जटिल पहाड़ और घाटियाँ एक अलग प्रकार के स्थान में बदल जाते हैं जिसे हिल्बर्ट स्पेस (Hilbert space) कहा जाता है।

यह एक 3D मूर्तिकला को लेकर उसकी छाया को 2D दीवार पर प्रोजेक्ट करने जैसा है। छाया अलग दिखती है, लेकिन इसमें सारी जानकारी शामिल होती है। लेखों ने सिद्ध किया कि "कॉन्ट्रैक्शन" गुण (सिकुड़ने वाली दूरी) इस दर्पण की दुनिया में भी मौजूद है। यह बहुत बड़ी बात है क्योंकि इसका मतलब है कि शोधकर्ता या तो "पहाड़ी" की दुनिया (CDFs) में या "छाया" की दुनिया (स्पेक्ट्रल स्पेस) में अपना गणित कर सकते हैं, और उन्हें बिल्कुल वही उत्तर मिलेगा। यह वैज्ञानिकों को बेहतर लर्निंग एल्गोरिदम डिजाइन करने के लिए एक नया, शक्तिशाली टूलकिट प्रदान करता है।

यह क्यों मायने रखता है

तो, एक जिज्ञासु किशोर को इसकी परवाह क्यों होनी चाहिए? क्योंकि यह पेपर अगली पीढ़ी के AI के लिए सैद्धांतिक सुरक्षा जाल (theoretical safety net) प्रदान करता है।

कई वर्तमान AI एल्गोरिदम, जैसे प्रसिद्ध सॉफ्ट एक्टर-क्रिटिक (SAC), व्यवहार में अच्छा काम करते हैं लेकिन कभी-कभी बहुत कठिन कार्यों में थोड़ा अनिश्चित व्यवहार करते हैं। वैज्ञानिकों को संदेह था कि ऐसा इसलिए है क्योंकि "अपडेट मशीन" त्रुटियों को कम करने की गारंटी नहीं देती थी। यह पेपर पुष्टि करता है कि, सही शर्तों (क्रेमर ज्योमेट्री और फर्स्ट-मोमेंट नियम) के तहत, मशीन वास्तव में कन्वर्ज (converge) होने की गारंटी देती है।

यह हमें बताता है कि "परफेक्ट मैप" मौजूद है और तक पहुँचा जा सकता है। यह हमें यह भी बताता है कि हमें पुरस्कार कितने बड़े हो सकते हैं, इस बारे में बहुत सख्त होने की आवश्यकता नहीं है, जब तक कि वे औसतन अनंत रूप से अनियंत्रित न हों। सबसे महत्वपूर्ण बात यह है कि यह एल्गोरिदम डिजाइनरों को एक सटीक लक्ष्य देता है। जब वे नए AI सिस्टम बनाते हैं, तो अब उनके पास एक कठोर गणितीय संदर्भ बिंदु होता है जिससे वे जाँच सकें कि उनके नए तरीके वास्तव में सच्चाई के करीब पहुँच रहे हैं या बस पहिए घुमा रहे हैं।

संक्षेप में, लेखकों ने केवल एक नया रोबोट नहीं बनाया; उन्होंने उन ब्लूप्रिंट्स को बनाया है जो यह सिद्ध करते हैं कि रोबोट पूरी तरह से सीख सकता है, और उन्होंने हमें दिखाया है कि इसकी प्रगति को ठीक से कैसे मापा जाए।