K-Score: Kalman Filter as a Principled Alternative to Reward Normalization in Reinforcement Learning

तकनीकी सारांश: K-Score: सुदृढीकरण शिक्षण (Reinforcement Learning) में रिवॉर्ड नॉर्मलाइज़ेशन के एक सिद्धांतिक विकल्प के रूप में कलमान फ़िल्टर (Kalman Filter)

1. समस्या विवरण (Problem Statement)

सुदृढीकरण शिक्षण (RL) में पॉलिसी ग्रेडिएंट विधियाँ (Policy gradient methods) ग्रेडिएंट अनुमानों में उच्च विचरण (high variance) के लिए कुख्यात हैं, जो पर्यावरण और एजेंट की पॉलिसी दोनों की स्टोकेस्टिसिटी (stochasticity) से प्रेरित होती हैं। इसे कम करने के लिए, अभ्यासकर्ता पारंपरिक रूप से रिवॉर्ड नॉर्मलाइज़ेशन (आमतौर पर माध्य और मानक विचलन के रनिंग अनुमानों का उपयोग करके Z-स्कोर नॉर्मलाइज़ेशन) का उपयोग करते हैं।

हालाँकि, लेखक मानक ह्यूरिस्टिक नॉर्मलाइज़ेशन में तीन महत्वपूर्ण दोषों की पहचान करते हैं:

• गैर-स्थिरता (Non-stationarity): यह मानता है कि रिवॉर्ड सांख्यिकी स्थिर है, जबकि RL में, जैसे-जैसे पॉलिसी में सुधार होता है, रिवॉर्ड वितरण बदल जाता है।
• हाइपरपैरामीटर संवेदनशीलता (Hyperparameter Sensitivity): यह डिके रेट (decay rates) और विंडो साइज के मैनुअल ट्यूनिंग पर निर्भर करता है।
• अनिश्चितता मॉडलिंग का अभाव (Lack of Uncertainty Modeling): यह सभी अवलोकनों को समान मानता है और रिवॉर्ड सिग्नल में शोर (noise) के स्तर को स्पष्ट रूप से ध्यान में रखने में विफल रहता है।

2. कार्यप्रणाली (Methodology)

लेखक K-Score का प्रस्ताव करते हैं, जो एक 1D कलमान फ़िल्टर (1D Kalman Filter) का उपयोग करके ऑनलाइन, अनिश्चितता-जागरूक रिवॉर्ड अनुमान करने के लिए ह्यूरिस्टिक नॉर्मलाइज़ेशन को प्रतिस्थापित करता है।

A. गणितीय ढांचा (Mathematical Framework):
यह विधि वास्तविक अंतर्निहित रिवॉर्ड माध्य ($x_t$) को एक लेटेंट स्टोकेस्टिक प्रोसेस के रूप में मॉडल करती है। रिटर्न सिग्नल ($G_t$) को इस लेटेंट स्टेट के एक नॉइजी ऑब्जर्वेशन के रूप में माना जाता है:

• प्रोसेस मॉडल (Process Model): $x_t = x_{t-1} + w_t$, जहाँ $w_t \sim \mathcal{N}(0, Q)$ (यह दर्शाता है कि रिवॉर्ड माध्य में कितना बदलाव होने की अनुमति है)।
• ऑब्जर्वेशन मॉडल (Observation Model): $G_t = x_t + v_t$, जहाँ $v_t \sim \mathcal{N}(0, R)$ (यह देखे गए रिटर्न में शोर को दर्शाता है)।

B. रिकर्सिव एस्टीमेशन (Recursive Estimation):
कलमान फ़िल्टर माध्य ($x_t$) और इसकी अनिश्चितता ($P_t$) के इष्टतम अनुमान को बनाए रखने के लिए एक दो-चरणीय प्रक्रिया (Predict और Update) का उपयोग करता है। कलमान गेन ($K_t$) डायनामिक रूप से प्रोसेस नॉइज़ ($Q$) और ऑब्जर्वेशन नॉइज़ ($R$) के अनुपात के आधार पर पूर्व अनुमान और नए अवलोकन के बीच संतुलन निर्धारित करता है।

C. नॉर्मलाइज़ेशन नियम (Normalization Rule):
मानक Z-स्कोरिंग के बजाय, नॉर्मलाइज्ड रिटर्न ($\hat{G}_t$) की गणना इस प्रकार की जाती है:
$$\hat{G}_t = \frac{G_t - x_t}{\sqrt{P_t} + \epsilon}$$
यह एक ऐसा बेसलाइन प्रदान करता है जो न केवल रिवॉर्ड स्केल में बदलाव के अनुकूल है, बल्कि वर्तमान अनुमान अनिश्चितता के आधार पर सिग्नल को स्केल भी करता है।

D. कार्यान्वयन वेरिएंट्स (Implementation Variants):

• सिंपल कलमान (Simple Kalman): निश्चित $Q$ और $R$ मानों का उपयोग करता है।
• एडेप्टिव कलमान (Adaptive Kalman): स्क्वेर्ड रेसिडुअल्स (squared residuals) के एक्सपोनेंशियल मूविंग एवरेज का उपयोग करके डायनामिक रूप से मेजरमेंट नॉइज़ $R_t$ को अपडेट करता है, जिससे फ़िल्टर बदलते उतार-चढ़ाव (volatility) के प्रति प्रतिक्रिया करने में सक्षम होता है।

3. मुख्य योगदान (Key Contributions)

• सिद्धांतिक विकल्प (Principled Alternative): यह रिवॉर्ड नॉर्मलाइज़ेशन को एक ह्यूरिस्टिक "रनिंग एवरेज" दृष्टिकोण से हटाकर एक सांख्यिकीय रूप से ठोस बेयसियन एस्टीमेशन फ्रेमवर्क में ले जाता है।
• आर्किटेक्चर-स्वतंत्र (Architecture-Agnostic): यह एक हल्का, स्केलर-आधारित प्रीप्रोसेसिंग स्टेप है जिसे न्यूरल नेटवर्क आर्किटेक्चर को बदले बिना किसी भी पॉलिसी ग्रेडिएंट एल्गोरिदम (REINFORCE, Actor-Critic, GAE, PPO) में जोड़ा जा सकता है।
• अनिश्चितता-जागरूकता (Uncertainty-Awareness): यह प्रोसेस और ऑब्जर्वेशन नॉइज़ को स्पष्ट रूप से मॉडल करके गैर-स्थिर रिवॉर्ड वितरणों को संभालने के लिए एक तंत्र पेश करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन CartPole-v1 (सघन रिवॉर्ड) और LunarLander-v2 (विरल, उच्च-विचरण रिवॉर्ड) पर एक्टर-क्रिटिक (Actor-Critic), GAE और PPO का उपयोग करके किया गया।

• अभिसरण गति (Convergence Speed): CartPole पर PPO में, K-Score ने Z-स्कोर नॉर्मलाइज़ेशन की तुलना में अभिसरण गति में 3.97× सुधार प्राप्त किया (77 एपिसोड बनाम 306 एपिसोड)।
• स्थिरता (Stability): कलमान-नॉर्मलाइज्ड एजेंटों के ट्रेनिंग कर्व्स काफी स्मूथ थे, जो मानक Z-स्कोर विधियों में देखे गए उच्च-विचरण उतार-चढ़ाव की तुलना में कम "स्पाइक्स और कोलैप्स" दिखाते हैं।
• अनुकूलन क्षमता (Adaptivity): एडेप्टिव कलमान वेरिएंट (जो $R_t$ को ऑनलाइन अपडेट करता है) ने लगातार सिंपल कलमान वेरिएंट से बेहतर प्रदर्शन किया, जिससे सिद्ध हुआ कि डायनेमिक नॉइज़ मॉडलिंग जटिल वातावरणों में अत्यधिक फायदेमंद है।
• एब्लेशन (Ablation): परिणामों ने दिखाया कि छोटे प्रोसेस नॉइज़ ($Q$) मान आमतौर पर अभिसरण को तेज करते हैं क्योंकि वे एजेंट को नॉइजी आउटलेयर्स (outliers) के प्रति अत्यधिक प्रतिक्रिया देने से रोकते हैं।

5. महत्व (Significance)

K-Score सुदृढीकरण शिक्षण (RL) को अधिक मजबूत और सैंपल-एफिशिएंट बनाने की दिशा में एक महत्वपूर्ण कदम है। रिवॉर्ड नॉर्मलाइज़ेशन को एक साधारण सांख्यिकीय मूविंग एवरेज के बजाय एक स्टेट-एस्टिमेशन समस्या के रूप में मानकर, लेखक एक ऐसा तरीका प्रदान करते हैं जिससे एजेंट प्रशिक्षण के दौरान नॉइजी सिग्नल्स पर "अविश्वास" कर सकते हैं और जब पर्यावरण या पॉलिसी बदलती है तो तेजी से "अनुकूलित" हो सकते हैं। यह दृष्टिकोण कम्प्यूटेशनल रूप से कुशल है (कॉन्स्टेंट-टाइम अपडेट्स) और वास्तविक दुनिया के RL अनुप्रयोगों के लिए अत्यधिक व्यावहारिक है जहाँ रिवॉर्ड सिग्नल अक्सर नॉइजी और गैर-स्थिर होते हैं।