तकनीकी सारांश: सुदृढीकरण शिक्षण (Reinforcement Learning) में टर्मिनल प्रतिनिधित्व (The Terminal Representation)

समस्या विवरण (Problem Statement)

सुदृढीकरण शिक्षण (RL) में, स्थानिक-कालिक अमूर्तता (spatio-temporal abstraction) के लिए प्रतिनिधित्व सीखना (representation learning) अत्यंत महत्वपूर्ण है। दो स्थापित दृष्टिकोण सक्सेसर रिप्रजेंटेशन (Successor Representation - SR) और डिफ़ॉल्ट रिप्रजेंटेशन (Default Representation - DR) हैं। SR भविष्य के आगमन पथों (visitation trajectories) के आधार पर अवस्थाओं (states) को एनकोड करता है, जो पुरस्कारों से स्वतंत्र होकर संक्रमण गतिकी (transition dynamics) को कैप्चर करता है। DR इसे पुरस्कारों के साथ इन पथों को भारित (weighting) करके विस्तारित करता है, जिससे क्रेडिट-असाइनमेंट संरचना का एकीकरण होता है।

हालाँकि, दोनों प्रतिनिधित्वों को विकल्प खोज (option discovery), रिवॉर्ड शेपिंग (reward shaping) और ट्रांसफर लर्निंग जैसे डाउनस्ट्रीम कार्यों में लागू करने में सीमाएँ आती हैं:

1. कंप्यूटेशनल ओवरहेड (Computational Overhead): इन कार्यों के लिए DR या SR का उपयोग करने हेतु आमतौर पर आइजनवेक्टर (eigenvectors) निकालने के लिए आइजनडिकंपोजिशन (eigendecomposition) (या पावर इटरेशन) की आवश्यकता होती है। यह प्रति क्वेरी $O((S^+)^2)$ या उससे अधिक का कंप्यूटेशनल खर्च लगाता है और सममित (symmetric/reversible) संक्रमण गतिकी की धारणा पर आधारित है, जो व्यावहारिक RL वातावरण में अक्सर खंडित होती है जहाँ नीतियां दिशात्मक (directional) होती हैं।
2. विमा (Dimensionality): SR और DR पूर्ण अवस्था स्थान ($S^+ \times S^+$) पर परिभाषित हैं, जो बहुत बड़ा और अक्षम हो सकता है।
3. अप्रत्यक्ष ज्ञान (Indirect Knowledge): जबकि DR पुरस्कार-भारित पथों को एनकोड करता है, यह टर्मिनल अवस्थाओं की पहुँच (reachability) और वांछनीयता (desirability) को सीधे उपयोग योग्य प्रारूप में स्पष्ट रूप से अलग नहीं करता है, जब तक कि आगे के स्पेक्ट्रल विश्लेषण की आवश्यकता न हो।

कार्यप्रणाली: टर्मिनल प्रतिनिधित्व (The Terminal Representation - TR)

लेखक टर्मिनल रिप्रजेंटेशन (TR) का प्रस्ताव करते हैं, जो विशेष रूप से टर्मिनल अवस्थाओं के संबंध में पुरस्कार-भारित पथों को एनकोड करने के लिए डिज़ाइन किया गया एक संरचनात्मक रूप से भिन्न निर्माण है।

सैद्धांतिक आधार (Theoretical Foundation)

TR को लीनियरली-सॉल्वेबल मार्कोव डिसीजन प्रोसेस (LMDPs) के ढांचे के भीतर प्राप्त किया गया है। एक LMDP में, इष्टतम वैल्यू फंक्शन $v(s)$ को एक एक्सपोनेंशियेटेड वैल्यू $z(s) = e^{v(s)/\lambda}$ में बदला जा सकता है, जो इस रैखिक समीकरण को संतुष्ट करता है:
$$z(s) = e^{R(s)/\lambda} \sum_{s'} P_\mu(s'|s)z(s')$$
जहाँ $P_\mu$ एक डिफॉल्ट पॉलिसी है और $\lambda$ एक टेम्परेचर पैरामीटर है।

अवस्था स्थान को गैर-टर्मिनल अवस्थाओं ($S$) और टर्मिनल अवस्थाओं ($T$) में विभाजित करके, लेखक TR मैट्रिक्स $M$ को इस प्रकार प्राप्त करते हैं:
$$M = (I_S - D_S)^{-1} D_T$$
जहाँ $D_S = R_S P_S$ गैर-टर्मिनल गतिकी है और $D_T = R_S P_T$ गैर-टर्मिनल से टर्मिनल अवस्थाओं में संक्रमण है। यहाँ, $R_S$ और $R_T$ एक्सपोनेंशियेटेड रिवार्ड्स के डायगोनल मैट्रिक्स हैं।

TR किसी भी टर्मिनल रिवार्ड कॉन्फ़िगरेशन $y$ (जहाँ $y(\tau) = e^{R(\tau)/\lambda}$) के लिए इष्टतम एक्सपोनेंशियेटेड वैल्यू $z$ की जीरो-शॉट रिकवरी की अनुमति देता है:
$$z = M y$$

सीखने के एल्गोरिदम (Learning Algorithms)

यह शोध पत्र $M$ के लिए दो लर्निंग एल्गोरिदम की अभिसरण (convergence) स्थापित करता है:

1. डायनेमिक प्रोग्रामिंग (मॉडल-आधारित): एक पुनरावृत्ति अपडेट नियम $M_{k+1} = D_T + D_S M_k$ वास्तविक TR तक अभिसरण करने के लिए सिद्ध किया गया है।
2. सैंपल-आधारित (मॉडल-मुक्त): ऑनलाइन लर्निंग के लिए एक टेम्पोरल डिफरेंस (TD) शैली का अपडेट नियम निकाला गया है:
   $$\hat{M}(s_t) \leftarrow (1 - \alpha_t)\hat{M}(s_t) + \alpha_t e^{r_t/\lambda} \hat{M}^+(s_{t+1})$$
   जहाँ $\hat{M}^+$ एक विस्तारित मैपिंग है जो टर्मिनल अवस्थाओं में संक्रमण को संभालती है। प्रमेय 4.2 सिद्ध करता है कि मानक स्टोकेस्टिक एप्रोक्सिमेशन स्थितियों के तहत यह $M$ की ओर अभिसरित होता है।

प्रमुख सैद्धांतिक गुण (Key Theoretical Properties)

• विमा (Dimensionality): TR एक $S \times T$ मैट्रिक्स है। चूंकि टर्मिनल अवस्थाओं $T$ की संख्या अक्सर कुल अवस्था स्थान $S^+$ की तुलना में बहुत कम होती है, इसलिए TR, $S^+ \times S^+$ वाले DR की तुलना में काफी अधिक संक्षिप्त (compact) है।
• प्रत्यक्ष उपयोगिता (कोई आइजनडिकंपोजिशन नहीं): TR के कॉलम सीधे उस जानकारी के अनुरूप होते हैं जिसे आमतौर पर DR के आइजनवेक्टरों के माध्यम से निकाला जाता है। प्रमेय 1.1 प्रदर्शित करता है कि DR का शीर्ष आइजनवेक्टर संरचनात्मक रूप से एक TR कॉलम (विशेष रूप से सबसे वांछनीय टर्मिनल अवस्था के अनुरूप कॉलम) और एक ज्यामितिक श्रृंखला (geometric series) से बना होता है। इस प्रकार, TR बिना आइजनडिकंपोजिशन के उसी अंतर्निहित संरचनात्मक ज्ञान को कैप्चर करता है।
• असममिति को संभालना (Handling Asymmetry): आइजनवेक्टर-आधारित दृष्टिकोणों के विपरीत, जो वास्तविक आइजनवैल्यू को सुनिश्चित करने के लिए संक्रमण गतिकी की उत्क्रमणीयता (reversibility/symmetry) पर निर्भर करते हैं, TR स्वाभाविक रूप से असममित है और मनमाने, गैर-प्रतिवर्ती (non-reversible) गतिकी के तहत भी सुपरिभाषित है।
• कंपोजिबिलिटी (Compositionality): TR जीरो-शॉट कंपोजिबिलिटी का समर्थन करता है। यदि एक नया कार्य अलग-अलग टर्मिनल रिवार्ड्स वाले बेस कार्यों का एक रैखिक संयोजन (linear combination) है, तो इष्टतम वैल्यू फंक्शन को TR के संगत कॉलमों के रैखिक संयोजन द्वारा प्राप्त किया जा सकता है, जिससे बेस वैल्यू फंक्शन को फिर से सीखने की आवश्यकता समाप्त हो जाती है।
• रिवार्ड समानता (Reward Equivalence): लेखक सिद्ध करते हैं कि ट्रांजिशन-डिपेंडेंट या स्टेट-एक्शन-डिपेंडेंट रिवार्ड्स वाले LMDPs को समकक्ष स्टेट-डिपेंडेंट रिवार्ड्स वाले LMDPs में मैप किया जा सकता है, जिससे यह सुनिश्चित होता है कि TR सिद्धांत विभिन्न रिवार्ड फॉर्मुलेशनों में व्यापक रूप से लागू होता है।

प्रयोगात्मक परिणाम (Experimental Results)

लेखक ग्रिड-वर्ल्ड वातावरण (Four Rooms, RiverSwim, SixArms) में चार डाउनस्ट्रीम अनुप्रयोगों में SR और DR के विरुद्ध TR का मूल्यांकन करते हैं:

1. विकल्प खोज (Option Discovery): "कवरिंग आइजनऑप्शंस" कार्य में, TR का उपयोग सीधे कॉलम निकालने के लिए किया जाता है (आइजनवेक्टर गणना से बचते हुए)। उच्चतम-रिवार्ड टर्मिनल स्टेट के कॉलम या सभी कॉलमों का उपयोग करने वाले वेरिएंट्स ने DR-आधारित RACE और SR-आधारित CEO विधियों के साथ प्रतिस्पर्धी प्रदर्शन किया, और अक्सर एजेंटों को सीधे वांछित लक्ष्यों की ओर धकेल कर उच्च औसत रिवार्ड प्राप्त किया।
2. रिवॉर्ड शेपिंग (Reward Shaping): संभावित-आधारित शेपिंग रिवार्ड्स ($\hat{r}_t = 1 - M(s_{t+1}, \tau)$) बनाने के लिए TR का उपयोग करने से DR के समान प्रदर्शन मिला और SR से बेहतर रहा। यह पुष्टि करता है कि TR बिना आइजनडिकंपोजिशन के कुशल नेविगेशन के लिए आवश्यक संरचनात्मक जानकारी को कैप्चर करने में सक्षम है।
3. काउंट-आधारित अन्वेषण (Count-Based Exploration): RiverSwim और SixArms वातावरण में अन्वेषण बोनस के रूप में TR के नॉर्म (norm) का उपयोग करने से DR के लगभग समान प्रदर्शन और SR से काफी बेहतर प्रदर्शन प्राप्त हुआ।
4. ट्रांसफर लर्निंग (Transfer Learning): जब कार्यों के बीच टर्मिनल रिवार्ड बदल गए, तो ज्ञान को स्थानांतरित करने के लिए TR का उपयोग किया गया। इसने विभिन्न बेस पॉलिसी कॉन्फ़िगरेशन में डिफ़ॉल्ट फीचर्स (DF) (पॉलिसी-स्वतंत्र DR वेरिएंट) के समान प्रदर्शन किया और सक्सेसर फीचर्स (SF) से बेहतर प्रदर्शन किया, और यह सब बिना किसी स्पष्ट फीचर लर्निंग चरण के किया।

महत्व और दावे (Significance and Claims)

यह शोध पत्र दावा करता है कि टर्मिनल रिप्रजेंटेशन (TR), SR और DR के लिए एक व्यवहार्य, कम्प्यूटेशनल रूप से कुशल विकल्प प्रदान करता है। इसका प्राथमिक महत्व निम्नलिखित है:

• दक्षता (Efficiency): यह प्रतिनिधित्व की विमा को कम करता है और महंगे आइजनडिकंपोजिशन की आवश्यकता को समाप्त करता है, जिससे क्वेरी जटिलता $O((S^+)^2)$ से घटकर $O(1)$ हो जाती है।
• मजबूती (Robustness): यह गैर-सममित (गैर-प्रतिवर्ती) संक्रमण गतिकी के तहत सही ढंग से कार्य करता है, जो एक सामान्य परिदृश्य है जहाँ आइजनवेक्टर विधियाँ विफल हो सकती हैं या जटिल आइजनवैल्यू दे सकती हैं।
• प्रत्यक्ष प्रयोज्यता (Direct Applicability): यह टर्मिनल अवस्था ज्ञान को स्पष्ट रूप से एनकोड करता है, जिससे मध्यवर्ती स्पेक्ट्रल विश्लेषण के बिना रिवॉर्ड शेपिंग, विकल्प खोज और ट्रांसफर लर्निंग के लिए सीधा उपयोग संभव होता है।

लेखक एक मध्यम रुख अपनाते हैं, यह नोट करते हुए कि हालांकि TR, DR के साथ प्रतिस्पर्धी है, लेकिन यह सभी अर्थ संबंधी (semantic) पहलुओं में मौलिक रूप से श्रेष्ठ नहीं है; बल्कि, यह टर्मिनल अवस्थाओं के संबंध में उसी अंतर्निहित संरचनात्मक ज्ञान तक पहुँचने के लिए एक अधिक संक्षिप्त और कम्प्यूटेशनल रूप से सुलभ तंत्र प्रदान करता है। भविष्य के कार्य के रूप में फंक्शन एप्रोक्सिमेशन के माध्यम से उच्च-आयामी वातावरण में TR को विस्तारित करने और स्पष्ट रूप से परिभाषित टर्मिनल अवस्थाओं के बिना सेटिंग्स को संभालने का सुझाव दिया गया है।