तकनीकी सारांश: विनाशकारी अवस्थाओं वाले MDPs में बेलमैन इष्टतमता से प्रॉस्पेक्ट-थ्योरी व्यवहार

1. समस्या विवरण

यह शोध पत्र इस बात की जांच करता है कि क्या मार्कोव डिसीजन प्रोसेस (MDPs) में मानक, जोखिम-तटस्थ इष्टतम नियंत्रण (risk-neutral optimal control), उन व्यवहारिक हस्ताक्षरों को उत्पन्न कर सकता है जो आमतौर पर प्रॉस्पेक्ट थ्योरी (PT) से जुड़े होते हैं, विशेष रूप से तब जब वातावरण में एक अवशोषक विनाशकारी अवस्था (absorbing catastrophic state) मौजूद हो।

लेखक इस पारंपरिक व्याख्या को चुनौती देते हैं कि PT घटनाओं—जैसे कि S-आकार का वैल्यू फंक्शन, हानि विमुखता (loss aversion, $\lambda > 1$), और प्रतिबिंब प्रभाव (reflection effect: लाभ में जोखिम विमुखता, हानि में जोखिम चाहना)—के लिए गैर-रैखिक उपयोगिता फलनों (nonlinear utility functions), विकृत प्रायिकता भारण (distorted probability weighting), या संदर्भ-निर्भर प्राथमिकताओं की आवश्यकता होती है। इसके बजाय, यह शोध पत्र पूछता है कि क्या ये पैटर्न एक "विनाशकारी सीमा" (catastrophe boundary—एक अवशोषक अवस्था जो बर्बादी, दिवालियापन या मृत्यु का प्रतिनिधित्व करती है) और रैखिक पुरस्कारों (linear rewards) वाले MDP के शुद्ध संरचनात्मक गतिकी (structural dynamics) से उत्पन्न होते हैं।

मुख्य समस्या यह निर्धारित करना है कि क्या एक जोखिम-तटस्थ एजेंट, मानक बेलमैन समीकरण को अनुकूलित करते हुए, निम्नलिखित प्रदर्शित करेगा:

1. S-आकार के वैल्यू फंक्शन: विनाश के पास उत्तल (convex) और दूर के क्षेत्र में अवतल (concave)।
2. अंतर्जात हानि विमुखता (Endogenous loss aversion): एक अवस्था-निर्भर संवेदनशीलता गुणांक $\lambda^*(S) > 1$।
3. प्रतिबिंब प्रभाव (Reflection effect): एक नीति प्रतिवर्तन (policy reversal) जहाँ एजेंट "विकास" (growth) शासन में जोखिम-विमुख (risk-averse) कार्य करता है (सकारात्मक ड्रिफ्ट के दौरान) और "गिरावट" (decline) शासन में जोखिम-चाहने वाला (risk-seeking) कार्य करता है (नकारात्मक ड्रिफ्ट के दौरान), भले ही स्थानीय अपेक्षित मूल्य तुलनाएं इसके विपरीत सुझाव देती हों।

2. कार्यप्रणाली

मॉडल सूत्रीकरण

लेखक एक विनाश-सीमा MDP को निम्नलिखित गुणों के साथ परिभाषित करते हैं:

• अवस्था स्थान (State Space): $S = \{S_{cat}, S_{cat}+1, \dots\}$, जहाँ $S_{cat}=0$ एक अवशोषक विनाश है जिसका मान $V_{cat} \le 0$ है।
• क्रियाएं (Actions):
  • सुरक्षित (Safe): नियतात्मक संक्रमण $S' = S + \Delta_s$।
  • जोखिम भरा (Risky): स्टोकेस्टिक संक्रमण $S' = S + \Delta_w$ प्रायिकता $p$ के साथ, और $S' = S + \Delta_\ell$ प्रायिकता $1-p$ के साथ (जहाँ $\Delta_w > 0 > \Delta_\ell$)।
• उद्देश्य: रैखिक पुरस्कारों और डिस्काउंट फैक्टर $\beta \in (0, 1)$ के साथ मानक जोखिम-तटस्थ बेलमैन इष्टतमता।
• शासन (Regimes):
  • विकास (Growth): $E[\text{risky}] > \Delta_s > 0$।
  • गिरावट (Decline): $E[\text{risky}] < \Delta_s < 0$।

विश्लेषणात्मक और संख्यात्मक दृष्टिकोण

1. वैल्यू इटरेशन: सिस्टम को 495 पैरामीटर कॉन्फ़िगरेशन में वैल्यू इटरेशन (सहिष्णुता $10^{-10}$) के माध्यम से हल किया जाता है ताकि इष्टतम वैल्यू फंक्शन $V^*(S)$ और नीतियां प्राप्त की जा सकें।
2. अंतर्जात हानि संवेदनशीलता: लेखक $\lambda$ के PT पैरामीटर के समान एक संरचनात्मक हानि संवेदनशीलता गुणांक को परिभाषित करते हैं:
   $$\lambda^*(S) = \frac{|V^*(S) - V^*(S + \Delta_\ell)|}{|V^*(S + \Delta_w) - V^*(S)|}$$
3. अनंत विश्लेषण (Asymptotic Analysis): लेखक दूर के क्षेत्र में वैल्यू फंक्शन को नियंत्रित करने वाले रैखिक पुनरावृत्ति (linear recurrence) के अभिलक्षण समीकरण का विश्लेषण करके एक क्लोज्ड-फॉर्म अभिव्यक्ति $\bar{\lambda} = \lim_{S \to \infty} \lambda^*(S)$ व्युत्पन्न करते हैं।
4. मजबूती परीक्षण (Robustness Testing):
   • मॉडल-मुक्त लर्निंग: यह सत्यापित करने के लिए कि क्या एक मॉडल-मुक्त एजेंट ट्रांजिशन कर्नेल के ज्ञान के बिना इन घटनाओं को दोहरा सकता है, टेबुलर Q-लर्निंग का उपयोग किया गया है।
   • स्टोकेस्टिक संक्रमण: वितरण संबंधी धारणाओं के प्रति संवेदनशीलता का परीक्षण करने के लिए नियतात्मक संक्रमणों को योगात्मक शोर (additive noise) (गौसियन, हेवी-टेल्ड स्टूडेंट-t, और एसिमेट्रिक स्क्यू-नॉर्मल) के साथ विक्षोभित किया गया है।

3. मुख्य योगदान

1. तीन प्रॉस्पेक्ट-थ्योरी हस्ताक्षरों का उद्भव

यह शोध पत्र प्रदर्शित करता है कि मानक बेलमान इष्टतमता अकेले ही निम्नलिखित उत्पन्न करती है:

• S-आकार का वैल्यू फंक्शन: विकास शासन में, $V^*(S)$ विनाश के पास उत्तल (convex) होता है (विनाश में "डाउनसाइड जंप" की उच्च लागत के कारण) और दूर के क्षेत्र में अवतल (concave) होता है।
• अंतर्जात हानि विमुखता: मान गिरावट का अनुपात, $\lambda^*(S)$, सख्ती से 1 से अधिक है और एक अनंत पठार $\bar{\lambda}$ पर अभिसरित होता है।
• प्रतिबिंब प्रभाव: इष्टतम नीति पर्यावरणीय ड्रिफ्ट के आधार पर उलट जाती है। विकास में, एजेंट विनाश से बचने के लिए (विनाश के करीब) सुरक्षित खेलता है (जोखिम विमुखता), भले ही जोखिम भरे विकल्प का तत्काल अपेक्षित रिटर्न अधिक हो। गिरावट में, एजेंट विनाश के करीब जोखिम भरा खेलता है (जोखिम चाहना) क्योंकि सुरक्षित क्रिया केवल अपरिहार्य विनाश को टालती है, जबकि एक जोखिम भरा जीत बचने का अवसर प्रदान करती है।

2. तंत्र: निरंतरता मान (Continuation Values), न कि प्राथमिकताएं

लेखक स्थापित करते हैं कि ये व्यवहार निरंतरता मानों (continuation values) द्वारा संचालित होते हैं। एक अवशोषक सीमा के पास, अपरिवर्तनीय विफलता की निकटता डाउनसाइड जोखिमों को असमान रूप से भारित करती है। यह गतिशील प्रभाव किसी भी उपयोगिता फलन में वक्रता या प्रायिकता भारण की आवश्यकता के बिना स्थानीय अपेक्षित-मूल्य रैंकिंग को उलट देता है।

3. क्लोज्ड-फॉर्म अनंत हानि विमुखता

शोध पत्र एक क्लोज्ड-फॉर्म सूत्र $\bar{\lambda}$ व्युत्पन्न करता है:
$$\bar{\lambda} = \frac{z^{-r} - 1}{1 - z}$$
जहाँ $r = |\Delta_\ell|/\Delta_w$ पेऑफ विषमता अनुपात है, और $z \in (0, 1)$ अभिलक्षण समीकरण $\beta[p z + (1-p)z^{-r}] = 1$ का अद्वितीय मूल है।

• स्केल इनवेरिएंस (Scale Invariance): $\bar{\lambda}$ केवल $(p, \beta, r)$ पर निर्भर करता है, पेऑफ के पूर्ण परिमाण पर नहीं।
• सीमा प्रभुत्व (Boundary Dominance): सूत्र $\bar{\lambda}$ को "सीमा योगदान" (जो $r=1$, यानी सममित पेऑफ के मामले में भी मौजूद है) और एक "विषमता योगदान" में विभाजित करने की अनुमति देता है। लेखक दिखाते हैं कि सीमा योगदान प्रभावी है; यहाँ तक कि सममित पेऑफ ($r=1$) के साथ भी, विकास शासन में $\bar{\lambda} > 1$ है।

4. लर्निंग और शोर के प्रति मजबूती

• Q-Learning: एक टेबुलर Q-लर्निंग एजेंट S-आकार, सेफ ज़ोन, "हेल मैरी" प्रभाव और $\lambda^* > 1$ को सटीक समाधान के साथ उच्च सहसंबंध ($R=0.98$ विकास में, $R=1.00$ गिरावट में) के साथ दोहराता है।
• स्टोकेस्टिकिटी: घटनाएँ स्टेप साइज के 50% तक गौसियन, हेवी-टेल्ड और एसिमेट्रिक शोर के तहत भी बनी रहती हैं। अनंत पठार क्लोज्ड-फॉर्म भविष्यवाणी से जोखिम-चैनल शोर के तहत अधिकतम 9.6% विचलित होता है।

4. परिणाम

• मात्रात्मक फिट: $\bar{\lambda}$ के लिए क्लोज्ड-फॉर्म सूत्र संख्यात्मक समाधानों के साथ $R^2 = 0.999$ के साथ मेल खाता है।
• हानि विमुखता का अपघटन: 48 पैरामीटर सेल में, "सीमा योगदान" (जब $r=1$ हो तब $\bar{\lambda}$ का मान) हानि विमुखता के अधिकांश हिस्से के लिए जिम्मेदार है। "विषमता योगदान" ( $r > 1$ के कारण वृद्धि) का मध्यिका हिस्सा $r=1.25$ पर केवल 4.6% है और $r=2$ तक बढ़कर 13.9% हो जाता है।
• नीति प्रतिवर्तन: सभी 69 परीक्षित गिरावट कॉन्फ़िगरेशन में, एजेंट विनाश के करीब जोखिम भरा खेलता है, जो "हेल मैरी" प्रभाव की पुष्टि करता है। विकास शासन में, एजेंट विनाश के पास एक विशिष्ट संख्या में अवस्थाओं ($|\Delta_\ell|$) के लिए सुरक्षित खेलता है, इससे पहले कि वह जोखिम भरे विकल्प पर स्विच करे।
• शोर संवेदनशीलता: सेफ-चैनल शोर का नगण्य प्रभाव ($\le 0.41\%$ विचलन) है, जबकि जोखिम-चैनल शोर $\bar{\lambda}$ को एकदिष्ट रूप से (monotonically) कम करता है लेकिन गुणात्मक संरचना को बनाए रखता है।

5. महत्व और दावे

यह शोध पत्र मनोवैज्ञानिक के बजाय एक संरचनात्मक और मानकीय (normative) योगदान का दावा करता है। यह यह तर्क नहीं देता कि मानव व्यवहार इष्टतम है या यह तंत्र पूरी तरह से प्रॉस्पेक्ट थ्योरी की व्याख्या करता है। इसके बजाय, यह प्रतिपादित करता है कि:

1. संरचना की पर्याप्तता: एक अवशोषक विनाशकारी अवस्था मानक, जोखिम-तटस्थ अनुकूलन के तहत PT-जैसे हस्ताक्षरों (S-आकार, हानि विमुखता, प्रतिबिंब प्रभाव) को उत्पन्न करने के लिए एक पर्याप्त संरचनात्मक तंत्र है।
2. अनुभवजन्य डेटा की पुनर्व्याख्या: व्यवहारिक अर्थशास्त्र में हानि विमुखता गुणांकों (जैसे पेऑफ विषमता पर निर्भरता) का देखा गया परिवर्तन, केवल स्थिर मनोवैज्ञानिक मापदंडों के बजाय निर्णय वातावरण के संरचनात्मक गुणों (प्रायिकता $p$, डिस्काउंट $\beta$, और विषमता $r$) द्वारा आंशिक रूप से समझाया जा सकता है।
3. चरम व्यवहार की तर्कसंगतता: विफलता के पास जोखिम-विमुख व्यवहार और हानि में जोखिम-चाहने वाला व्यवहार निरंतरता मानों के प्रति तर्कसंगत प्रतिक्रियाएं हो सकते हैं, न कि अनिवार्य रूप से तर्कसंगतता से विचलन।
4. RL के लिए निहितार्थ: अवशोषक विफलताओं के पास सुदृढीकरण लर्निंग (Reinforcement Learning) प्रणालियों में सुरक्षित या हताश व्यवहार, बिना किसी हैंड-कोडेड सुरक्षा बाधा या प्राथमिकता संशोधन की आवश्यकता के, स्वाभाविक रूप से वातावरण की संरचना से उभर सकते हैं।

लेखक स्पष्ट रूप से कहते हैं कि प्रायिकता भारण, फ्रेमिंग और संदर्भ निर्भरता मॉडल के बाहर हैं और उनके निष्कर्ष मानव निर्णय लेने की मनोवैज्ञानिक व्याख्याओं को हटाने के बजाय उनके साथ रहने के लिए हैं।