Generalized Kalman filter based temporal difference reinforcement learning

कल्पना कीजिए कि आप एक रोबोट को भूलभुलैया (maze) में रास्ता खोजना सिखाने की कोशिश कर रहे हैं, लेकिन आपके पास कोई नक्शा नहीं है। आप केवल यह जानते हैं कि यदि वह किसी दीवार से टकराता है, तो उसे एक "आउच" (एक नकारात्मक इनाम) मिलता है, और यदि वह निकास ढूंढ लेता है, तो उसे एक "येय" (एक सकारात्मक इनाम) मिलता है। यह रीइन्फोर्समेंट लर्निंग (Reinforcement Learning) की दुनिया है, जहाँ एक एजेंट 'ट्रायल एंड एरर' (प्रयास और त्रुटि) के माध्यम से सीखता है। मुख्य चुनौती भूलभुलैया के हर स्थान का "मूल्य" (value) निर्धारित करना है: अभी यहाँ होना कितना अच्छा है? पारंपरिक तरीके एक ऐसे छात्र की तरह होते हैं जो नोट्स लेते हैं, और हर बार जब वे कोई कदम उठाते हैं, तो अपने अनुमान को अपडेट करते हैं। लेकिन ये अनुमान अक्सर केवल एकल संख्या होते हैं, इस तथ्य को अनदेखा करते हुए कि छात्र उनके बारे में कितना अनिश्चित हो सकता है।

अब, कल्पना कीजिए कि यदि वे केवल एक अनुमान लिखने के बजाय, यह भी लिख दें कि वे उस अनुमान को लेकर कितने आश्वस्त हैं। यदि वे 90% सुनिश्चित हैं कि निकास बाईं ओर है, तो वे तेजी से आगे बढ़ते हैं। यदि वे केवल 50% सुनिश्चित हैं, तो वे हिचकिचाते हैं और आसपास देखते हैं। यह शोध पत्र बेयसियन रीइन्फोर्समेंट लर्निंग (Bayesian Reinforcement Learning) नामक विज्ञान के एक कोने में गहराई से उतरता है, जो ठीक यही करने की कोशिश करता है: स्थिति के "मूल्य" को एक निश्चित तथ्य के रूप में नहीं, बल्कि एक संभावनाओं के बादल के रूप में देखने के रूप में, जिसका एक केंद्र (सबसे अच्छा अनुमान) और एक फैलाव (अनिश्चितता) होता है। लेखक इन अनुमानों को अपडेट करने का एक स्मार्ट तरीका विकसित कर रहे हैं, जो भौतिकी और इंजीनियरिंग के एक उपकरण कलमन फ़िल्टर (Kalman Filter) से प्रेरित है। कलमन फ़िल्टर को एक सुपर-स्मार्ट नेविगेटर के रूप में सोचें जो लगातार एक भविष्यवाणी को एक नए माप के साथ मिलाता है, और स्वचालित रूप से यह तय करता है कि नए डेटा पर कितना भरोसा किया जाए, यह इस आधार पर कि वह डेटा कितना शोरपूर्ण (noisy) है।

यह शोध पत्र, जिसका शीर्षक "जनरलाइज्ड कलमन फ़िल्टर बेस्ड टेम्पोरल डिफरेंस रीइन्फोर्समेंट लर्निंग" है, GMKF-TD नामक एक नया ढांचा प्रस्तावित करता है। लेखक सुझाव देते हैं कि हम सीखने की प्रक्रिया को केवल एक सरल गणितीय अपडेट के रूप में नहीं, बल्कि एक संभाव्य अनुमान (probabilistic inference) समस्या के रूप में देख सकते हैं। उनका तर्क है कि मूल्य फलन (value function) को एक यादृच्छिक चर (random variable) के रूप में मानने से, जिसका एक माध्य (mean) और एक प्रसरण (variance/uncertainty) हो, हम एक अधिक सुदृढ़ एल्गोरिदम बना सकते हैं, विशेष रूप से तब जब दुनिया अव्यवस्थित, गैर-रेखीय (non-linear), या आश्चर्यों से भरी हो। वे केवल यह दावा नहीं करते कि यह सिद्धांत में काम करता है; उन्होंने इसे दो बहुत अलग समस्याओं पर परखा: एक स्प्रिंग पर उछलते द्रव्यमान (mass) का सरल उदाहरण और एक बंद बॉक्स में ऊष्मा प्रवाह (heat flow) की जटिल समस्या। उनके सिमुलेशन दिखाते हैं कि यह विधि मानक तरीकों की तुलना में तेजी से सीखती है और इस बात की बहुत स्पष्ट तस्वीर प्रदान करती है कि AI अपने निर्णयों के बारे में कितना सुनिश्चित है।

अनिश्चित शिक्षार्थी की कहानी

रीइन्फोर्समेंट लर्निंग की दुनिया में, एक एजेंट एक जिज्ञासु खोजकर्ता की तरह है जो खेल के नियमों को सीखने की कोशिश कर रहा है। लक्ष्य कुल "स्कोर" (इनाम) को अधिकतम करना है जो वह समय के साथ प्राप्त करता है। ऐसा करने के लिए, एजेंट को वैल्यू फंक्शन (Value Function) की आवश्यकता होती है: एक मानचित्र जो उसे बताता है, "यदि आप इस स्थान पर हैं, तो लंबे समय में यह कितना अच्छा होने वाला है?"

पुराने तरीके, जैसे कि मानक टेम्पोरल डिफरेंस (TD) लर्निंग, थोड़े उस व्यक्ति की तरह कार्य करते हैं जो एक संख्या का अनुमान लगाता है और फिर हर बार नई जानकारी मिलने पर उसे थोड़ा समायोजित करता है। वे अपने अनुमान को उस अंतर (त्रुटि/error) के आधार पर अपडेट करते हैं जो उन्होंने अपेक्षित और वास्तव में जो हुआ, उसके बीच होता है। लेकिन इसमें एक पेंच है: ये तरीके आमतौर पर आपको केवल एक संख्या देते हैं। वे आपको यह नहीं बताते कि एजेंट अंधाधुंध अनुमान लगा रहा है या वह पूरी तरह से आश्वस्त है। यह मौसम के पूर्वानुमान की तरह है जो कहता है "तापमान 72°F होगा" लेकिन यह नहीं बताता कि यह एक ठोस भविष्यवाणी है या एक जंगली अनुमान।

यह शोध पत्र उस अनुमान लगाने वाले खेल के बारे में सोचने का एक नया तरीका पेश करता है। लेखक प्रस्तावित करते हैं कि वैल्यू फंक्शन को केवल एक संख्या के रूप में नहीं, बल्कि संभावनाओं के बादल के रूप में देखा जाए। वे कंडीशनल एक्सपेक्टेशन (Conditional Expectation) नामक एक गणितीय अवधारणा का उपयोग करते हैं, जो केवल एक फैंसी तरीका है यह कहने का कि "जो हम अभी जानते हैं उसके आधार पर सबसे अच्छा अनुमान क्या हो सकता है।" लेकिन यहाँ मोड़ यह है: वे केवल सबसे अच्छे अनुमान पर नहीं रुकते। वे अनिश्चितता (बादल का आकार) की भी गणना करते हैं।

ऐसा करने के लिए, वे कलमन फ़िल्टर नामक एक प्रसिद्ध उपकरण को अनुकूलित करते हैं। आप इसे सेल्फ-ड्राइविंग कारों या अंतरिक्ष मिशनों से जानते होंगे। एक कलमन फ़िल्टर भविष्यवाणी को एक नए माप के साथ मिलाने में माहिर है। यदि कार को लगता है कि वह एक निश्चित स्थान पर है, लेकिन GPS कहता है कि वह कहीं और है, तो फ़िल्टर यह तय करता है कि GPS पर कितना भरोसा किया जाए, इस आधार पर कि सिग्नल कितना "शोरपूर्ण" (noisy) है। यदि GPS अस्थिर है, तो वह कार की भविष्यवाणी पर अधिक भरोसा करता है। यदि GPS सटीक है, तो वह GPS पर अधिक भरोसा करता है।

लेखकों ने महसूस किया कि रीइन्फोर्समेंट लर्निंग अनिवार्य रूप से यही समस्या है। एजेंट के पास मूल्य का एक अनुमान होता है, और फिर उसे एक नया डेटा (इनाम) मिलता है। केवल संख्या को अंधाधुंध अपडेट करने के बजाय, उनका नया तरीका, GMKF-TD, एक "कलमन गेन" (Kalman Gain) का उपयोग करता है ताकि यह स्वचालित रूप से तय किया जा सके कि अनुमान को कितना बदलना है। यदि एजेंट अपने वर्तमान ज्ञान के बारे में बहुत अनिश्चित है, तो गेन (gain) अधिक होता है, और वह तेजी से सीखता है। यदि वह पहले से ही बहुत आश्वस्त है, तो गेन कम होता है, और वह धीरे सीखता है। यह स्वचालित रूप से होता है, बिना प्रोग्रामर द्वारा "लर्निंग रेट्स" (AI ट्यूनिंग की एक आम समस्या) के साथ छेड़छाड़ किए।

"जनरलाइज्ड" और "नॉन-लीनियर" का जादू

लेखक अपने तरीके को "जनरलाइज्ड" (सामान्यीकृत) कहते हैं क्योंकि यह पुराने कलमन फ़िल्टर्स के एक प्रमुख नियम को तोड़ता है। पारंपरिक कलमन फ़िल्टर केवल तभी अच्छी तरह काम करते हैं जब दुनिया रेखीय (linear) (सीधी रेखाएं) और गौसियन (Gaussian) (बेल कर्व/घंटी के आकार के वक्र) हो। लेकिन वास्तविक दुनिया अव्यवस्थित है। चीजें मुड़ती हैं, घूमती हैं और अप्रत्याशित व्यवहार करती हैं।

शोध पत्र का तर्क है कि चूंकि वे विधि को सीधे कंडीशनल एक्सपेक्टेशन के सिद्धांत से व्युत्पन्न (derive) करते हैं, इसलिए वे गैर-रेखीय (non-linear) और गैर-गौसियन (non-Gaussian) स्थितियों को संभाल सकते हैं। वे केवल यह मान नहीं लेते कि दुनिया एक सीधी रेखा है; वे गणित को मुड़ने की अनुमति देते हैं। इसे गणनात्मक रूप से संभव बनाने के लिए, वे अनिश्चितता के "बादल" को दर्शाने के लिए दो चतुर युक्तियों का उपयोग करते हैं:

1. एन्सेम्बल्स (Ensembles): कल्पना कीजिए कि आप एजेंट के 1,000 अलग-अलग संस्करण ले रहे हैं, जिनमें से प्रत्येक के पास थोड़ा अलग अनुमान है, और उन सभी को एक साथ चला रहे हैं। उनके उत्तरों का फैलाव आपको अनिश्चितता बताता है।
2. पॉलीनोमियल चाओस एक्सपेंशन (Polynomial Chaos Expansion - PCE): यह एक जटिल, लहरदार बादल को स्मूथ, गणितीय बिल्डिंग ब्लॉक्स (बहुपद/polynomials) के सेट का उपयोग करके वर्णित करने जैसा है। यह हजारों अलग-अलग एजेंटों की आवश्यकता के बिना अनिश्चितता के आकार को वर्णित करने का एक अधिक कुशल तरीका है।

सिद्धांत का परीक्षण: स्प्रिंग्स और हीट

अपने विचार को सिद्ध करने के लिए, लेखकों ने दो सिमुलेशन चलाए।

1. बाउंसिंग स्प्रिंग (Bouncing Spring):
सबसे पहले, उन्होंने इसे एक सरल मास-स्प्रिंग-डैम्पर सिस्टम पर परखा। कल्पना कीजिए कि एक वजन स्प्रिंग से जुड़ा है, जो ऊपर-नीचे उछल रहा है। लक्ष्य यह है कि इसे नियंत्रित किया जाए ताकि यह जितनी जल्दी हो सके हिलना बंद कर दे। यह एक "रेखीय" समस्या है, जिसका अर्थ है कि भौतिकी सीधी है।

• परिणाम: GMKF-TD एल्गोरिदम ने मानक तरीके की तुलना में अधिक सटीकता और तेजी से इष्टतम नियंत्रण रणनीति सीखी। लेकिन असली जीत अनिश्चितता थी। एल्गोरिदम ने दिखाया कि जैसे-जैसे वह सीख रहा था, उसका "विश्वास" (variance) कम होता गया। वह जानता था कि वह कब सुनिश्चित है और कब अनुमान लगा रहा है। मानक तरीका केवल एक संख्या देता था, जो अपनी अनिश्चितता के प्रति अंधा था।

2. हॉट बॉक्स (Hot Box):
इसके बाद, वे एक बहुत कठिन चीज़ की ओर बढ़े: गर्म दीवारों वाला एक 2D कैविटी (cavity)। यह एक भौतिकी समस्या है जिसमें एक बॉक्स के माध्यम से ऊष्मा प्रवाहित होती है, जो नेवियर-स्टोक्स (Navier-Stokes) समीकरणों द्वारा नियंत्रित होती है। लक्ष्य यह पता लगाना है कि दीवारों को कैसे गर्म किया जाए ताकि ऊष्मा हस्तांतरण को कम किया जा सके (गर्मी को अंदर रखा जा सके)। यह एक गैर-रेखीय (non-linear) समस्या है, जो घूमते हुए करंट और जटिल अंतःक्रियाओं से भरी है।

• परिणाम: इस अव्यवस्थित, गैर-रेखीय दुनिया में भी, GMKF-TD विधि ने काम किया। इसने गर्मी को नियंत्रित करने का एक ऐसा तरीका खोजा जो मानक तरीके के समान ही अच्छा था, लेकिन फिर से, इसने आत्मविश्वास की एक अंतर्निहित भावना के साथ ऐसा किया। एल्गोरिदम ने स्वचालित रूप से तय किया कि उसे प्रत्येक नए अवलोकन से कितना सीखना है। जब डेटा शोरपूर्ण था, तो वह सतर्क था। जब डेटा स्पष्ट था, तो उसने तेजी से सीखा।

यह क्यों मायने रखता है

शोध पत्र सुझाव देता है कि सीखने को एक संभाव्य अनुमान (probabilistic inference) समस्या के रूप में मानकर, हम AI एजेंटों को अधिक स्मार्ट और कुशल बना सकते हैं। केवल यह अनुमान लगाने के बजाय कि एक एजेंट कितनी तेजी से सीखता है (एक उबाऊ प्रक्रिया), GMKF-TD विधि यह गणना करती है कि एजेंट कितना अनिश्चित है इसके आधार पर हर एक कदम के लिए एकदम सही सीखने की गति।

सिमुलेशन में, लेखकों ने पाया कि यह दृष्टिकोण तेजी से अभिसरण (faster convergence) (उत्तर को जल्दी सीखना) और बेहतर स्थिरता की ओर ले जाता है। यह एक सुरक्षा जाल भी प्रदान करता है: अनिश्चितता को जानकर, एजेंट यह तय कर सकता है कि जब वह अनिश्चित हो तो अधिक अन्वेषण (explore) करे और जब वह आश्वस्त हो तो जो वह जानता है उसका उपयोग (exploit) करे। यह ऐसी AI बनाने की दिशा में एक बड़ा कदम है जो न केवल चीजें "जानती" है, बल्कि यह भी जानती है कि वह उन्हें कितनी अच्छी तरह जानती है।

लेखक सावधानीपूर्वक नोट करते हैं कि हालांकि गणित सिमुलेशन में बहुत अच्छा दिखता है, वास्तविक दुनिया और भी अधिक जटिल है। वे बताते हैं कि इन अनिश्चितताओं की सटीक गणना करना कठिन है, खासकर जब गणित बहुत जटिल हो जाता है। लेकिन उनका काम एक ठोस आधार रखता है, जो दिखाता है कि हम साधारण "अनुमान और जांच" (guess-and-check) सीखने से आगे बढ़कर अधिक परिष्कृत, आत्म-जागरूक प्रकार की बुद्धिमत्ता की ओर बढ़ सकते हैं। यह एक ऐसे छात्र से अपग्रेड करने जैसा है जो केवल उत्तर रटता है, बजाय उस छात्र के जो अपने ज्ञान की गहराई को समझता है।