तकनीकी सारांश: दीर्घ-क्षितिज संचयी-क्षति समस्याओं में पूर्णता बनाम इष्टतमता (Completion vs. Optimality)

1. समस्या की परिभाषा

यह शोध पत्र दीर्घ-क्षितिज वाले अनुक्रमिक निर्णय समस्याओं (sequential decision problems) के एक विशिष्ट वर्ग को संबोधित करता है जो संचयी क्षति (cumulative damage) द्वारा चिह्नित हैं। इन वातावरणों में, वे क्रियाएं जो तत्काल पुरस्कार (local attraction) को अधिकतम करती हैं, साथ ही एक गुप्त संचयी क्षति अवस्था ($D_t$) को भी बढ़ाती हैं। एपिसोड तब अंततः समाप्त होता है जब $D_t$ एक सीमा (threshold) को पार कर जाता है या जब कोई "भूमिका-व्यवहार्यता" (role-viability) बाधा उल्लंघन होता है (जैसे, उच्च-क्षति वाली गतिविधियों का हिस्सा एक महत्वपूर्ण स्तर से नीचे गिर जाता है)।

मुख्य चुनौती यह है कि क्षति का संकेत अक्सर कम क्षति स्तरों पर गुप्त (latent) या असूचनात्मक (uninformative) होता है। मानक पॉलिसी-ग्रेडिएंट विधियों (जैसे PPO) का उपयोग करने वाले एजेंट अक्सर विवेकपूर्ण नीतियां सीखने में विफल रहते हैं क्योंकि:

1. वे क्षति को तब तक नहीं देख पाते जब तक कि बहुत देर न हो जाए ("अंतर्निहित टर्मिनल सीमा")।
2. लालची क्रेडिट असाइनमेंट (greedy credit assignment) दीर्घकालिक संरक्षण के बजाय तत्काल पुरस्कार को प्राथमिकता देता है, जिससे समय से पूर्व समाप्ति होती है।

लेखक पहचानते हैं कि मानक रिटर्न-आधारित मूल्यांकन दो अलग-अलग विफलता मोडों को मिला देता है:

• पूर्णता विफलता (Completion Failure): एजेंट अंतर्निहित बाधा के उल्लंघन के कारण पूर्ण क्षितिज ($H$) से पहले ही एपिसोड से बाहर निकल जाता है।
• इष्टतमता विफलता (Optimality Failure): एजेंट पूर्ण क्षितिज को पूरा तो करता है, लेकिन एक उप-इष्टतम अंतिम अवस्था प्राप्त करता है (जैसे, स्वास्थ्य/क्षमता का कम संरक्षण) क्योंकि उसने शुरुआत में ही एक लालची रणनीति अपना ली थी।

2. कार्यप्रणाली और अपघटन (Methodology and Decomposition)

शोध पत्र एजेंटों का मूल्यांकन करने के लिए दो ऑर्थोगोनल अक्षों (orthogonal axes) पर एक अपघटन (decomposition) प्रस्तावित करता है:

1. पूर्णता (Completion): क्या नीति टर्मिनल क्षितिज $H$ तक पहुँचती है?
2. इष्टतमता (Optimality): पूर्णता प्राप्त करने के बाद, क्या नीति एक बैकवर्ड-इंडक्शन संदर्भ ($\pi^*$) के मान से मेल खाती है?

प्रयोगात्मक सेटअप

लेखक इस अपघटन का मूल्यांकन दो अलग-अलग, कैलिब्रेटेड वातावरणों में करते हैं जो समान अमूर्त संरचना साझा करते हैं लेकिन डोमेन और मापदंडों में भिन्न हैं:

• ब्रिकलेयर करियर (Bricklayer Career): एक निर्माण श्रमिक का 49-चरण (49 वर्ष) का सिमुलेशन जो 7 गतिविधियों का प्रबंधन करता है, जिसे मानव घुटने के बायोमैकेनिक्स और महामारी विज्ञान संबंधी डेटा के अनुरूप बनाया गया है।
• NBA पावर-फॉरवर्ड करियर (NBA Power-Forward Career): एक बास्केटबॉल खिलाड़ी का 20-सीजन का सिमुलेशन जो 6 गतिविधियों का प्रबंधन करता है, जिसे स्पोर्ट्स-मेडिसिन साहित्य के अनुरूप बनाया गया है।

दोनों वातावरणों में निम्नलिखित विशेषताएं हैं:

• गुप्त क्षति (Latent Damage): एजेंट केवल एक प्रॉक्सी सिग्नल $S_t = g(D_t)$ देखता है, जो कम क्षति स्तरों पर सूचनात्मक नहीं होता है।
• प्रमुख-गतिविधि संरचना (Dominant-Activity Structure): एक गतिविधि पुरस्कार और क्षति दोनों को अधिकतम करती है।
• स्व-प्रवर्धित क्षरण (Self-Amplifying Degradation): एक माध्यमिक चैनल जहाँ संरक्षण ($M_t$) एक बार थ्रेशोल्ड ($M_{amp} = 0.6$) से नीचे गिरने के बाद तेजी से घटता है ($M_{amp} = 0.6$)।

तुलना की गई एल्गोरिदम

1. PPO-real: वास्तविक रोलआउट्स पर प्रशिक्षित मानक प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन (PPO), जिसमें अंतर्निहित समाप्ति बाधा सक्रिय है।
2. Unrestricted Dyna: एक मॉडल-आधारित वेरिएंट (Dyna) जिसके पास पूर्ण क्षितिज तक पहुंच है (प्रशिक्षण के दौरान no_exit फ्लैग के माध्यम से) और भूमिका-व्यवहार्यता बाधा के उल्लंघन के लिए एक रैखिक सॉफ्ट पेनल्टी (linear soft penalty) है।
3. Fixed-share Dyna: एक वेरिएंट जहाँ गतिविधि का हिस्सा डायनेमिक प्रोग्रामिंग (DP) इष्टतम आवंटन पर क्लैंप किया गया है, और केवल प्रयास का स्तर सीखा जाता है।
4. DP-optimal: पूर्ण अवस्था ज्ञान ($D, M, t$) का उपयोग करके एक बैकवर्ड-इंडक्शन संदर्भ जो सैद्धांतिक ऊपरी सीमा की गणना करता है।

3. मुख्य निष्कर्ष और परिणाम

पूर्णता अंतराल (The Completion Gap)

• PPO-real की विफलता: वास्तविक रोलआउट्स पर प्रशिक्षित PPO दोनों वातावरणों में क्षितिज को पूरा करने में विफल रहता है (0% पूर्णता दर)। औसत निकास आयु क्षितिज से काफी कम है (ब्रिकलेयर में 27.8 वर्ष; NBA में 22.6 वर्ष)।
• केवल क्षितिज पहुंच का नुकसान: एक अनस्ट्रिक्टेड एजेंट (Unrestricted Dyna) को क्षितिज पहुंच प्रदान करना और रैखिक सॉफ्ट पेनल्टी लगाना प्रदर्शन को और खराब कर देता है। पेनल्टी प्रमुख-गतिविधि के हिस्से को शून्य तक ले जाती है, जिससे बाधा का उल्लंघन PPO-real की तुलना में अधिक आक्रामक रूपت से होता है।
• एक्शन-स्पेस प्रतिबंध: DP-इष्टतम शेयर आवंटन तक एक्शन स्पेस को सीमित करने से (Fixed-share Dyna) पूर्णता अनलॉक हो जाती है। यह एजेंट दोनों वातावरणों में 100% पूर्णता प्राप्त करता है, जो यह सिद्ध करता है कि पूर्णता में विफलता संरचनात्मक है (शेयर बाधा से संबंधित है) न कि विशुद्ध रूप से क्रेडिट-असाइनमेंट का मुद्दा।

इष्टतमता अंतराल (The Optimality Gap)

भले ही पूर्णता प्राप्त कर ली जाए (Fixed-share Dyna), एक महत्वपूर्ण इष्टतमता अंतराल ($\Delta M_{final}$) बना रहता है:

• ब्रिकलेयर: $\Delta M_{final} = 0.271$ (Fixed-share Dyna $M_{final} \approx 0.52$ बनाम DP-optimal $0.79$)।
• NBA: $\Delta M_{final} = 0.150$ (Fixed-share Dyna $M_{final} \approx 0.61$ बनाम DP-optimal $0.76$)।

इष्टतमता विफलता का तंत्र: प्रथम-चरण बेसिन प्रविष्टि (First-Phase Basin Entry)

शोध पत्र इष्टतमता अंतराल के कारण को प्रथम-चरण लालची प्रतिबद्धता (first-phase greedy commitment) के रूप में पहचानता है:

• रिएक्टिव डिक्लाइन अट्रैक्टर (Reactive Decline Attractor): 8/10 सीड्स (ब्रिकलेयर) और 4/10 सीड्स (NBA) में, एजेंट $t=0$ पर प्रमुख गतिविधि पर अधिकतम प्रयास के प्रति प्रतिबद्ध हो जाता है।
• अपरिवर्तनीयता (Irreversibility): यह प्रारंभिक उच्च प्रयास संरक्षण चर $M$ को अपरिवर्तनीय रूप से स्व-प्रवर्धन थ्रेशोल्ड ($M_{amp}$) से नीचे ले जाता है।
• स्टेप-0 बेसिन प्रविष्टि: अपेक्षित प्रथम पॉलिसी-ग्रेडिएंट अपडेट लालची क्रिया की ओर संकेत करता है क्योंकि तत्काल पुरस्कार का अंतर डिस्काउंटेड भविष्य की क्षति लागत से अधिक होता है (प्रपोजिशन 1 में औपचारिक रूप दिया गया है)। यह प्रतिबद्धता प्रशिक्षण के पहले 1% के भीतर होती है, इससे पहले कि दीर्घ-क्षितिज संकेत संचित हों।
• क्षितिज अपरिवर्तनीयता (Horizon Invariance): इस "रिएक्टिव डिक्लाइन" अट्रैक्टर का प्रभुत्व एक क्रिटिकल बाउंड्री $H^*$ तक प्रशिक्षण क्षितिज की लंबाई ($H$) के प्रति अपरिवर्तनीय है, जो पुष्टि करता है कि विफलता प्रारंभिक स्थितियों से प्रेरित है, न कि दीर्घ-क्षितिज क्रेडिट असाइनमेंट से।

4. योगदान

1. औपचारिकीकरण (Formalization): "क्षितिज-मिसमैच्ड संचयी-क्षति" समस्या वर्ग की एक औपचारिक परिभाषा और विफलता का पूर्णता और इष्टतमता अक्षों में अपघटन।
2. अनुभवजन्य अपघटन (Empirical Decomposition): दो अलग-अलग डोमेन में पूर्णता और इष्टतमता दोनों अंतरालों को मापने के लिए PPO-real, Fixed-share Dyna, और DP-optimal के बीच तीन-तरफा तुलना।
3. कारण विश्लेषण (Causal Analysis): साक्ष्य कि रैखिक सॉफ्ट पेनल्टी के तहत केवल क्षितिज पहुंच हानिकारक है और पूर्णता के लिए एक्शन-स्पेस प्रतिबंध आवश्यक हस्तक्षेप है।
4. तंत्र की पहचान (Mechanism Identification): इष्टतमता विफलता के चालक के रूप में "प्रथम-चरण लालची प्रतिबद्धता" की पहचान, जिसे अपेक्षित प्रथम ग्रेडिएंट अपडेट की दिशा पर एक सैद्धांतिक प्रपोजिशन द्वारा समर्थित किया गया है।

5. महत्व और दावे

शोध पत्र का दावा है कि मानक पॉलिसी-ग्रेडिएंट विधियाँ संचयी-क्षति समस्याओं में केवल दीर्घ-क्षितिज क्रेडिट असाइनमेंट के कारण ही नहीं, बल्कि अंतर्निहित टर्मिनल बाधाओं को पूरा करने की संरचनात्मक अक्षमता (पूर्णता) और एपिसोड की शुरुआत में ही लालची रणनीतियों के प्रति प्रतिबद्ध होने की प्रवृत्ति (इष्टतमता) के कारण विफल होती हैं।

• नैदानिक मूल्य (Diagnostic Value): अपघटन यह प्रकट करता है कि एक अक्ष (जैसे, पूर्णता के लिए एक्शन-स्पेस प्रतिबंध) को लक्षित करने वाले हस्तक्षेप दूसरे अक्ष (इष्टतमता) को हल नहीं करते हैं।
• सामान्यीकरण (Generalizability): निष्कर्ष दो डोमेन (व्यावसायिक स्वास्थ्य और खेल चिकित्सा) में दोहराए जाते हैं, जो सुझाव देते हैं कि विफलता के मोड विशिष्ट सिम्युलेटर के बजाय समस्या की संरचना (गुप्त क्षति, प्रमुख-गतिविधि संरेखण, स्व-प्रवर्धित क्षरण) के अंतर्निहित हैं।
• सैद्धांतिक अंतर्दृष्टि: कार्य "रिएक्टिव डिक्लाइन" पैटर्न को एक औपचारिक स्थिति से जोड़ता है जहाँ $t=0$ पर तत्काल पुरस्कार का अंतर निरंतरता मूल्य (continuation value) पर हावी हो जाता है, जो यह समझाता है कि एजेंट प्रशिक्षण क्षितिज की लंबाई के बावजूद उप-इष्टतम फिक्स्ड पॉइंट्स की ओर क्यों अभिसरित होते हैं।

लेखक स्पष्ट रूप से कहते हैं कि उनका सैद्धांतिक प्रपोजिशन (प्रपोजिशन 1) एक न्यूनतम बाइनरी-एक्शन MDP पर लागू होता है और उनके बहु-गतिविधि टेस्टबेड के लिए एक संरचनात्मक एनालॉग के रूप में कार्य करता है, न कि उनके लिए प्रत्यक्ष व्युत्पत्ति के रूप में। वे एकल सिमुलेशन इंजन और उपयोग किए गए विशिष्ट पेनल्टी फंक्शन के संबंध में सीमाओं को भी नोट करते हैं।