A Harmonic Mean Formulation of Average Reward Reinforcement Learning in SMDPs

तकनीकी सारांश: SMDPs में औसत पुरस्कार के लिए एक हार्मोनिक मीन फॉर्मूलेशन (Harmonic Mean Formulation)

1. समस्या विवरण (Problem Statement)

यह कार्य अनंत क्षितिज (infinite horizon) वाले सेमी-मार्कोव निर्णय प्रक्रियाओं (SMDPs) में औसत, अविघटित पुरस्कार (average, undiscounted reward) को अनुकूलित करने की चुनौती को संबोधित करता है। मानक मार्कोव निर्णय प्रक्रियाओं (MDPs) के विपरीत, जहाँ क्रियाएँ एक निश्चित समय इकाई का उपभोग करती हैं, SMDPs में ऐसी क्रियाएँ शामिल होती हैं जो स्टोकेस्टिक रूप से पुरस्कार और विविध अवधि (sojourn times) दोनों उत्पन्न करती हैं। लक्ष्य औसत पुरस्कार दर (प्रति समय इकाई पुरस्कार) को अधिकतम करना है, न कि संचयी कुल पुरस्कार को।

इस सेटिंग में मौजूदा मॉडल-मुक्त एल्गोरिदम, विशेष रूप से SMART और Relaxed-SMART, गंभीर सीमाओं से ग्रस्त हैं जब पुरस्कार और अवधि गैर-स्थिर (non-stationary) या परस्पर निर्भर (dependent) होते हैं:

• SMART दीर्घकालिक नमूना माध्य (कुल पुरस्कार विभाजित कुल समय) पर निर्भर करता है। यह दृष्टिकोण शोर (noise) के प्रति संवेदनशील है; यह स्थिरता (stationarity) मानता है, आउटलेर्स (outliers) द्वारा प्रभावित हो सकता है, या गैर-स्थिर वातावरण में शासन परिवर्तन (regime shifts) के अनुकूल होने में विफल रहता है।
• Relaxed-SMART पुरस्कारों और अवधियों के लिए एक्सपोनेंशियल मूविंग एवरेज (EMA) का उपयोग करके और फिर उनके अनुपात का निर्माण करके गैर-स्थिरता को संभालने का प्रयास करता है। हालाँकि, यह विधि औसत दर के अनुपात के रूप में अंकगणितीय माध्य (arithmetic means) के अनुपात के रूप में औसत का अनुमान लगाती है। यह कार्य दर्शाता है कि यह सन्निकटन (approximation) गणितीय रूप से केवल तभी सही है जब पुरस्कार और अवधि स्वतंत्र हों। यदि वे सह-संबंधित (correlated) हैं (गैर-रैखिक रूप से जुड़े हुए हैं), तो माध्य का अनुपात वास्तविक औसत दर का गलत अनुमान देता है।

2. कार्यप्रणाली (Methodology)

लेखक हार्मोनिक मीन (Harmonic Mean) पर आधारित एक नवीन दृष्टिकोण प्रस्तावित करते हैं, जो दरों को औसत करने के लिए सही ऑपरेटर है (जैसे, गति = दूरी/समय)।

हार्मोंइक मीन की सीमा (The Limitation of the Harmonic Mean):
यद्यपि हार्मोनिक मीन दरों के एकत्रीकरण के लिए सही ऑपरेटर है, इसकी मानक परिभाषा सामान्य सुदृढीकरण शिक्षण (Reinforcement Learning - RL) के लिए अनुपयुक्त है क्योंकि:

1. यह शून्य मानों के लिए अपरिभाषित है (शून्य से विभाजन)।
2. जब मानों के चिह्न मिश्रित (धनात्मक और ऋणात्मक पुरस्कार) होते हैं, तो यह "आंतरिकता" (internality) के गुण को खो देता है (अर्थात माध्य न्यूनतम और अधिकतम के बीच नहीं रहता)।

संशोधित हार्मोनिक मीन ऑपरेटर ($\mathcal{H}$):
इन सीमाओं को दूर करने के लिए, लेखक एक संशोधित हार्मोनिक मीन ऑपरेटर ($\mathcal{H}$) पेश करते हैं। यह ऑपरेटर:

• डेटा को तीन सेटों में विभाजित करता है: धनात्मक पुरस्कार ($X_+$), ऋणात्मक पुरस्कार ($X_-$), और शून्य पुरस्कार ($X_0$)।
• धनात्मक और ऋणात्मक उपसमूहों के लिए अलग-अलग मानक हार्मोनिक मीन की गणना करता है।
• इन परिणामों का भारित अंकगणितीय माध्य (weighted arithmetic mean) निकालता है, शून्य मानों को 0 मानकर।
• सैद्धांतिक गुण: लेखक सिद्ध करते हैं कि $\mathcal{H}$ एक सामान्य माध्य (general mean) है (जो आंतरिकता, इडेम्पोटेंसी, समरूपता और एकदिष्टता को संतुष्ट करता है) और यह मानक हार्मोनिक मीन का सामान्यीकरण करता है जहाँ वह परिभाषित है। हालाँकि, वे सिद्ध करते हैं कि यह एक क्वासी-अरिथमेटिक मीन (quasi-arithmetic mean) नहीं है, जो इसे मानक अंकगणितीय, ज्यामितीय और हार्मोनिक माध्यों के वर्ग से अलग करता है।

हार्मोनिक R-लर्निंग एल्गोरिदम (Harmonic R-Learning Algorithm):
लेखक $\mathcal{H}$ को एक मॉडल-मुक्त RL एल्गोरिदम जिसे Harmonic R-Learning कहा जाता है, में एकीकृत करते हैं।

• यह R-Learning के संरचनात्मक अपडेट नियमों का पालन करता है (औसत दर के सापेक्ष मार्जिनल रिवॉर्ड के आधार पर Q-मानों को अपडेट करना)।
• साधारण अंकगणितीय EMA या माध्यओं के अनुपात के रूप में औसत दर $\rho$ को अपडेट करने के बजाय, यह एक एक्सपोनेंशियल मूविंग हार्मोनिक मीन पेश करता है।
• यह धनात्मक और ऋणात्मक पुरस्कारों के लिए दरों ($r/\tau$) के व्युत्क्रमों को ट्रैक करता है, उनके संबंधित भारों और इन व्युत्क्रमों के एक्सपोनेंशियल मूविंग एवरेज को निष्पादित करता है, और फिर वर्तमान $\rho$ के अनुमान की गणना करने के लिए उन्हें उलट देता है।

3. मुख्य योगदान (Main Contributions)

1. मौजूदा एल्गोरिदम का सैद्धांतिक विश्लेषण: यह कार्य औपचारिक रूप से दिखाता है (थ्योरम 1 के माध्यम से) कि अंकगणितीय माध्यों का अनुपात (जो Relaxed-SMART द्वारा उपयोग किया जाता है) हार्मोनिक मीन के बराबर केवल तभी होता है जब पुरस्कार और समय/पुरस्कार के अनुपात के बीच सहप्रसरण (covariance) शून्य हो। गैर-स्थिर या निर्भर सेटिंग्स में, इससे गलत दर अनुमान प्राप्त होता है।
2. नवीन ऑपरेटर: संशोधित हार्मोनिक मीन ऑपरेटर ($\mathcal{H}$) का परिचय, जो शून्य और मिश्रित-चिह्न पुरस्कारों के प्रति रोबस्ट है और औसत दरों के लिए गणितीय शुद्धता बनाए रखता है।
3. एल्गोरिद्मिक सामान्यीकरण: Harmonic R-Learning का विकास, जो SMART और Relaxed-SMART की गैर-स्थिरता या स्वतंत्रता की धारणाओं के बिना SMDPs के लिए मौजूदा R-Learning वेरिएंट्स का सामान्यीकरण करता है।
4. स्वयंसिद्ध प्रमाण (Axiomatic Proofs): यह स्थापित करने वाले प्रमाण कि $\mathcal{H}$ एक सामान्य माध्य है लेकिन एक क्वासी-अरिथमेटिक मीन नहीं है, जिससे पारंपरिक माध्यों के सापेक्ष इसकी गणितीय स्थिति स्पष्ट होती है।

4. अनुभवजन्य परिणाम (Empirical Results)

लेखकों ने दो डोमेन में Harmonic R-Learning का SMART और Relaxed-SMART के विरुद्ध मूल्यांकन किया:

• सिंथेटिक टू-स्टेट SMDP (Synthetic Two-State SMDP):

  • सेटअप: दो क्रियाओं वाला एक निरंतर कार्य। क्रिया A में स्वतंत्र पुरस्कार और अवधि थी। क्रिया B में निर्भर, गैर-स्थिर पुरस्कार और अवधि थी (लॉगारिदम के साथ ड्रिफ्टिंग साइन/कोसाइन फंक्शन का उपयोग करके)।
  • परिणाम: उन सेटिंग्स में जहाँ पुरस्कार और अवधि के बीच निर्भरता ने "वास्तविक" इष्टतम क्रिया (क्रिया B) को पहचानना कठिन बना दिया, SMART और Relaxed-SMART विफल रहे (कठिन सेटिंग्स में 0% सफलता तक गिर गए)। Harmonic R-Learning ने सभी पैरामीटर संयोजनों में उच्च सफलता दर बनाए रखी और गैर-स्थिरता एवं निर्भरता के प्रति बेहतर मजबूती प्रदर्शित की।

• बिटकॉइन ट्रेडिंग (Bitcoin Trading - वास्तविक दुनिया का डेटा):

  • सेटअप: मिनट-स्तर के बिटकॉइन मूल्य डेटा (2012–2025) का उपयोग करते हुए एक अत्यधिक अस्थिर, गैर-स्थिर वातावरण। कार्य में स्टोकेस्टिक क्रिया अवधियों (5–45 सेकंड) के साथ खरीदना/बेचना शामिल था। दो संस्करणों का परीक्षण किया गया: एक यादृच्छिक अवधियों वाला (स्वतंत्र) और दूसरा जहाँ अवधि को पुरस्कार परिमाण द्वारा स्केल किया गया था (निर्भर)।
  • परिणाम:
    • स्वतंत्र संस्करण में, सभी एल्गोरिदम समान प्रदर्शन करते हैं, जैसा कि सिद्धांत के अनुसार अपेक्षित है।
    • निर्भर संस्करण में (जहाँ पुरस्कार परिमाण ने अवधि को प्रभावित किया), Harmonic R-Learning ने SMART और Relaxed-SMART दोनों को काफी पीछे छोड़ दिया, और 21 डेटा सेगमेंट में उच्च जीत दर हासिल की। यह सैद्धांतिक दावे की पुष्टि करता है कि माध्य के अनुपात के माध्यम से सन्निकटन तब विफल हो जाता है जब पुरस्कार और अवधि आपस में जुड़े होते हैं।

5. महत्व और दावे (Significance and Claims)

यह कार्य दावा करता है कि Harmonic R-Learning उन SMDPs में औसत पुरस्कार के लिए एक आवश्यक सुधार है जहाँ पुरस्कार और अवधि वितरण गैर-स्थिर या निर्भर होते हैं।

• यह तर्क दिया गया है कि पिछले तरीके (SMART/Relaxed-SMART) इन विशिष्ट स्थितियों में मौलिक रूप से त्रुटिपूर्ण हैं क्योंकि वे उन निर्भरताओं को अनदेखा करते हैं जो पुरस्कार परिमाण और समय के बीच जुड़ी हुई हैं।
• संशोधित हार्मोनिक मीन ऑपरेटर को दरों को औसत करने के लिए गणितीय रूप से सही उपकरण के रूप में प्रस्तुत किया गया है, जिससे जटिल, वास्तविक दुनिया के परिदृश्यों (जैसे वित्तीय ट्रेडिंग जहाँ ऐसी निर्भरताएं आम हैं) के लिए R-Learning की प्रयोज्यता का विस्तार होता है।
• यह कार्य सेमी-मार्कोव सेटिंग्स में औसत पुरस्कार के मॉडल-मुक्त अनुकूलन के लिए एक सैद्धांतिक और अनुभवजन्य सुधार के रूप में स्थित है, जो SMART और Relaxed-SMART की "गैर-स्थिरता" और "निर्भरता" संबंधी कमियों को विशेष रूप से संबोधित करता है।