तकनीकी सारांश: होलोनोमी-कवर निर्णय प्रक्रियाओं में न्यूनतम मार्कोवनीकरण हेतु स्थिर कोटिएंट (Stable Quotients)

1. समस्या विवरण

सुदृढीकरण शिक्षण (Reinforcement Learning - RL) मौलिक रूप से मार्कोव गुण (Markov property) पर निर्भर करता है, जहाँ भविष्य के पुरस्कार और संक्रमण केवल वर्तमान अवस्था पर निर्भर करते हैं। आंशिक रूप से अवलोकन योग्य मार्कोव निर्णय प्रक्रियाओं (POMDPs) में, वर्तमान अवलोकन भविष्य की भविष्यवाणी करने के लिए पर्याप्त नहीं होता है, जिससे मार्कोव गुण को बहाल करने के लिए एक इतिहास-निर्भर सांख्यिकी (जैसे कि विश्वास अवस्था/belief state) बनाए रखने की आवश्यकता होती है। हालाँकि, न्यूनतम ऐसा सांख्यिकीय प्रतिनिधित्व—जो मार्कोव गुण को संरक्षित करने वाला सबसे छोटा पुनरावर्ती रूप से अपडेट करने योग्य प्रतिनिधित्व है—सामान्यतः अज्ञात और लक्षणित करना कठिन होता है।

मौजूदा दृष्टिकोण अक्सर अभिव्यंजक या कुशल इतिहास प्रतिनिधित्वों (जैसे RNNs, Transformers) या विश्वास संपीड़न (belief compression) पर ध्यान केंद्रित करते हैं, लेकिन वे यह गारंटी नहीं देते कि परिणामी मेमोरी-संवर्धित प्रक्रिया सख्त रूप से मार्कोव होगी, न ही वे न्यूनतम पर्याप्त सांख्यिकी (minimal sufficient statistic) की पहचान करते हैं। यह शोध पत्र एक संरचित वर्ग के POMDPs के लिए न्यूनतम मार्कोव पर्याप्त सांख्यिकी की पहचान करने की विशिष्ट चुनौती को संबोधित करता है, जहाँ छिपी हुई गतिकी (hidden dynamics) क्रमपरिवर्तन-आधारित परिवहन (permutation-based transport) द्वारा संचालित होती है।

2. कार्यप्रणाली

2.1 होलोनोमी-कवर निर्णय प्रक्रियाएं (HCDPs)

लेखक होलोनोमी-कवर निर्णय प्रक्रियाओं (HCDPs) को POMDPs के एक संरचित परिवार के रूप में प्रस्तुत करते हैं। एक HCDP में:

• अदृश्य घटक ($o$) और एक अवलोकित घटक ($i$) से मिलकर अदृश्य अवस्था (latent state) बनती है।
• दृश्यमान गतिकी मार्कोव है: क्रिया $a$ और $o$ के आधार पर $o'$ के संक्रमण की संभावना छिपे हुए मोड ($i$) से स्वतंत्र होती है।
• छिपा हुआ परिवहन (Hidden Transport): जब भी क्रिया $a$ के माध्यम से $o$ से $o'$ में संक्रमण होता है, तो छिपा हुआ मोड एक निश्चित क्रमपरिवर्तन $\sigma_{o,a,o'}$ द्वारा नियत रूप से परिवर्तित (permute) हो जाता है।
• पथ निर्भरता (Path Dependence): जबकि दृश्य पथ मार्कोव है, संचित छिपा हुआ मोड इन क्रमपरिवर्तनों के क्रमित संयोजन (ordered composition) पर निर्भर करता है। फलस्वरूप, एक ही अवलोकन पर समाप्त होने वाले दो इतिहास अलग-अलग छिपे हुए मोड उत्पन्न कर सकते हैं, जिससे अलग-अलग पुरस्कार या इष्टतम निर्णय प्रभावित हो सकते हैं।

2.2 स्थिर कोटिएंट निर्माण (Stable Quotient Construction)

मुख्य पद्धतिगत योगदान स्थिर कोटिएंट (stable quotient) का निर्माण है, जो न्यूनतम सटीक अवलोकन-वार मार्कोव अवस्था के रूप में कार्य करता है।

• विभाजन परिशोधन (Partition Refinement): लेखक प्रत्येक अवलोकन के लिए छिपे हुए मोड पर एक विभाजन परिवार को परिभाषित करते हैं। वे एक मोनोटोन ऑपरेटर $T$ पेश करते हैं जो दो मानदंडों के आधार पर इन विभाजनों को परिष्कृत करता है:
  1. पुरस्कार निरंतरता (Reward Consistency): मोड सभी क्रियाओं के लिए समान तत्काल पुरस्कार प्रदान करने चाहिए।
  2. उत्तराधिकारी निरंतरता (Successor Consistency): प्रत्येक व्यवहार्य संक्रमण के लिए, रूपांतरित मोड एक ही उत्तराधिकारी विभाजन वर्ग में पहुँचना चाहिए।
• स्थिरीकरण (Stabilization): एक पुरस्कार-आधारित विभाजन से शुरू होकर, ऑपरेटर $T$ को परिमित चरणों में एक स्थिर परिवार $\Pi^\star$ तक परिष्कृत करने के लिए पुनरावृत्त किया जाता है। प्रमेय 3.5 सिद्ध करता है कि यह प्रक्रिया परिमित चरणों में सबसे मोटे (coarsest) स्थिर परिवार $\Pi^\star$ तक स्थिर हो जाती है।
• सटीकता (Exactness): प्रमेय 3.8 स्थापित करता है कि स्थिर कोटिएंट सबसे मोटा सटीक अवलोकन-वार एब्स्ट्रैक्शन (abstraction) है। कोई भी अन्य सटीक एब्स्ट्रैक्शन इस स्थिर कोटिएंट को परिष्कृत करेगा।
• मार्कोवनीकरण (Markovization): प्रमेय 3.9 सिद्ध करता है कि वर्तमान अवलोकन $o$ और स्थिर वर्ग $c = [i]_o$ का युग्म एक सटीक, परिमित, मूल्य-संरक्षण मार्कोव अवस्था बनाता है। इस कोटिएंट अवस्था स्थान पर संक्रमण गतिकी और पुरस्कार सुव्यवस्थित और विशिष्ट छिपे हुए प्रतिनिधि के भीतर स्वतंत्र होते हैं।

2.3 होलोनोमी मेमोरी सुदृढीकरण शिक्षण (HMRL)

इस सैद्धांतिक परिणाम का व्यवहार में उपयोग करने के लिए, लेखक HMRL नामक एक एल्गोरिदम ढांचा प्रस्तावित करते हैं:

• प्रतिनिधित्व (Representation): स्मृति को वर्तमान स्थिर वर्ग द्वारा दर्शाया जाता है।
• अपडेट (Update): जैसे-जैसे एजेंट अवलोकन ग्राफ के माध्यम से आगे बढ़ता है, क्रमबद्ध एज ट्रांसपोर्ट (क्रमपरिवर्तनों) के माध्यम से वर्ग को अपडेट किया जाता है।
• निदान और रिकवरी (Diagnostics and Recovery): चूंकि प्रारंभिक वर्ग अक्सर अज्ञात होता है, HMRL एक कैलिब्रेट-फिर-रीस्टार्ट (calibrate-then-restart) रणनीति अपनाता है। एक रिसेटेबल डायग्नोस्टिक इंटरफेस (जो अदृश्य अवस्था के बार-बार परीक्षण की अनुमति देता है) के तहत, एल्गोरिदम स्थानीय क्लास प्रोटोटाइप और एज ट्रांसपोर्ट का अनुमान लगाता है।
• सैद्धांतिक गारंटी: प्रमेय 4.6 दिखाता है कि डायग्नोस्टिक पुनरावृत्तियों के साथ क्लास अनुमान त्रुटि तेजी से (exponentially) घटती है। प्रमेय 5.2 और कोरोलरी 5.4 प्रदर्शित करते हैं कि एक बार जब स्थानीय क्लास ट्रैकिंग सिंक्रोनाइज़ (कैलिब्रेशन के माध्यम से) हो जाती है, तो सीखा गया प्रोसेस कैनोनिकल कोटिएंट MDP के आइसोमोर्फिक (isomorphic) होता है, जिससे मानक परिमित-MDP RL गारंटी को रिकवर की गई अवस्था पर स्थानांतरित किया जा सकता है।

2.4 गैर-अबेलियन मेमोरी बैरियर (Non-Abelian Memory Barrier)

लेखक क्रमबद्ध स्मृति की आवश्यकता का विश्लेषण करते हैं। प्रमेय 6.4 और कोरोलरी 6.5 सिद्ध करते हैं कि गैर-अबेलियन ट्रांसपोर्ट समूहों (जहाँ ऑपरेशनों का क्रम महत्वपूर्ण होता है) के लिए, केवल कम्यूटेटिव लूप काउंट (जैसे कि एक लूप को कितनी बार पार किया गया था) पर आधारित स्मृति प्रतिनिधित्व अपर्याप्त हैं। ऐसे "अबेलियनकृत" (abelianized) स्मृतियाँ उन अलग-अलग इतिहासों को मिला देती हैं जिन्हें अलग-अलग इष्टतम क्रियाओं की आवश्यकता होती है, जिससे उप-इष्टतम प्रदर्शन होता है। इसके विपरीत, क्रमबद्ध स्थिर-वर्ग ट्रैकिंग इस सूचना हानि से बचती है।

3. मुख्य योगदान

1. प्रारूपण और पहचान: यह शोध पत्र HCDPs को प्रारूपित करता है और स्थिर कोटिएंट को सटीक अवलोकन-वार एब्स्ट्रैक्शन के बीच न्यूनतम मार्कोव पर्याप्त सांख्यिकी के रूप में पहचानता है। यह ज्ञात-वर्ग ट्रैकिंग के लिए एक मिलान स्मृति लक्षण वर्णन ($\max_o |C_o|$ सिंबल) प्रदान करता है।
2. डायग्नोस्टिक रिकवरी: यह निष्क्रिय गैर-पहचान क्षमता (passive non-identifiability) को डायग्नोस्टिक रिकवरी से अलग करता है। रिसेटेबल कैलिब्रेटेड डायग्नोस्टिक्स के तहत, विधि अवलोकन-वार रीलेबलिंग तक क्लास और ट्रांसपोर्ट की पहचान करती है, जो ऐसी स्थितियाँ प्रदान करती है जहाँ परिमित-MDP RL गारंटी रिकवर की गई अवस्था में स्थानांतरित हो जाती है।
3. गैर-अबेलियन निचला स्तर (Lower Bound): लेखक काउंट-फैक्टरयुक्त स्मृतियों के लिए गैर-अबेलियन निचला स्तर सिद्ध करते हैं, यह प्रदर्शित करते हुए कि गैर-क्रमविनिमेय (non-commutative) ट्रांसपोर्ट सेटिंग्स में सूचना हानि से बचने के लिए क्रमबद्ध स्थिर-वर्ग ट्रैकिंग आवश्यक है।
4. एल्गोरिदम ढांचा: HMRL का प्रस्ताव, जो संरचनात्मक कोटिएंट डिस्कवरी को कैलिब्रेशन-और-रीस्टार्ट प्रोटोकॉल के माध्यम से मानक RL बैकबोन के साथ एकीकृत करता है।

4. प्रयोगात्मक परिणाम

लेखक अपने सिद्धांत को दो नियंत्रित वातावरणों का उपयोग करके मान्य करते हैं: ChainCover और LoopGuess।

• ChainCover (संरचनात्मक सटीकता):

  • 216 कच्चे अदृश्य अवस्थाओं के साथ एक अचक्रीय (acyclic) डेप्थ-6 निर्माण।
  • एल्गोरिदम ने बिना किसी रिवॉर्ड, ट्रांजिशन या इष्टतम-वैल्यू विसंगति के, स्टेट स्पेस को 25 सटीक कोटिएंट अवस्थाओं में सफलतापूर्वक संकुचित किया।
  • परिशोधन प्रक्रिया 7वें दौर में स्थिर हुई, जो विश्लेषणात्मक भविष्यवाणियों से मेल खाती है।

• LoopGuess (गैर-अबेलियन नियंत्रण):

  • एक गैर-अबेलियन वातावरण जहाँ दृश्य लूप सिमेट्रिक ग्रुप $S_3$ उत्पन्न करते हैं।
  • प्रदर्शन: HMRL ने 1.000 अंतिम सफलता और पूर्ण युग्मित-क्रम सटीकता (उन इतिहासों के बीच अंतर करना जिनमें समान लूप काउंट लेकिन अलग क्रम थे) प्राप्त की।
  • स्मृति दक्षता: HMRL ने केवल 3 निर्णय-समय स्मृति अवस्थाओं का उपयोग किया, जो "Quotient-Q ओरकल" (जिसके पास वास्तविक स्थिर वर्ग तक पहुँच है) के प्रदर्शन से मेल खाता है।
  • बेसलाइन:
    • Count-Q (कम्यूटेटिव लूप काउंट) विफल रहा, समान-काउंट, भिन्न-क्रम वाले इतिहासओं पर चांस लेवल (0.34) के करीब रहा।
    • History-Q (पूर्ण लूप वर्ड) ने उच्च सटीकता प्राप्त की लेकिन $10^3$ से अधिक विज़िटेड मेमोरी अवस्थाओं की आवश्यकता पड़ी, जो न्यूनतम कोटिएंट की तुलना में अक्षमता प्रदर्शित करता है।
    • Raw-Q ओरकल (पूर्ण अदृश्य अवस्था) ने पूर्ण सफलता प्राप्त की लेकिन 48 अवस्थाओं की आवश्यकता पड़ी और धीमी लर्निंग दिखाई।

5. महत्व और दावे

यह शोध पत्र एक विशिष्ट, संरचित वर्ग के POMDPs के लिए "न्यूनतम मार्कोव पर्याप्त सांख्यिकी" समस्या के लिए एक सिद्धांतपूर्ण समाधान प्रदान करने का दावा करता है। इसका महत्व है:

• सैद्धांतिक कठोरता: यह हेयुरिस्टिक सन्निकटन (जैसे RNNs) से आगे बढ़कर सटीक, परिमित-अवस्था एब्स्ट्रैक्शन प्रदान करता है जो मार्कोव गुण और इष्टतम मूल्य कार्यों को संरक्षित करता है।
• दक्षता: यह प्रदर्शित करता है कि जटिल इतिहास निर्भरताओं को बिना किसी इष्टतमता हानि के, न्यूनतम स्मृति प्रतीकों (स्थिर वर्गों) में संकुचित किया जा सकता है, बशर्ते कि अंतर्निहित गतिकी HCDP संरचना का पालन करती हो।
• क्रम संवेदनशीलता: यह स्पष्ट रूप से कम्यूटेटिव सारांशों की विफलता को रेखांकित करता है, जो गैर-अबेलियन सेटिंग्स में क्रमबद्ध ट्रांसपोर्ट ट्रैकिंग की आवश्यकता को न्यायोचित ठहराता है।
• व्यावहारिक न्यूनीकरण: यह एक ठोस "कैलिब्रेट-फिर-रीस्टार्ट" न्यूनीकरण प्रदान करता है जो रिकवर की गई अवस्था में मानक परिमित-MDP RL एल्गोरिदम को लागू करने की अनुमति देता है।

लेखक विनम्रता बरतते हुए कहते हैं कि उनके परिणाम HCDPs पर लागू होते हैं, और कोटिएंट डिस्कवरी को शोर वाले, निरंतर, या विशुद्ध रूप से निष्क्रिय-डेटा सेटिंग्स (बिना रिसेटेबल डायग्नोस्टिक्स के) तक विस्तारित करना एक खुला विषय बना हुआ है। प्रयोगों को ज्ञात मॉडल धारणाओं के तहत सिद्धांत के सत्यापन योग्य परीक्षण के रूप में प्रस्तुत किया गया है, न कि इस प्रमाण के रूप में कि मनमाने POMDP बेंचमार्क में ऐसे सटीक परिमित कोटिएंट मौजूद होते हैं।