Sensitivity to Subjective Expected Utility Maximization: A Methodological Study, with an Illustrative Application to LLM Decision-Making

तकनीकी सारांश: व्यक्तिपरक अपेक्षित उपयोगिता (Subjective Expected Utility) के अधिकतमकरण के प्रति संवेदनशीलता

समस्या विवरण
अनिश्चितता के तहत लिए गए निर्णयों की गुणवत्ता का मूल्यांकन करना अत्यंत कठिन होता है जब लेबल किए गए परिणाम (labeled outcomes) दुर्लभ, महंगी या भाग्य से प्रभावित होते हैं। पारंपरिक "लेबल-आधारित" मूल्यांकन एक बाहरी कुंजी (external key) पर निर्भर करता है जो सही विकल्पों या प्राप्त परिणामों को दर्शाता है। हालाँकि, ऐसी कुंजियाँ बनाना अक्सर अव्यवहारिक होता है (जैसे बीमा ट्राइएज या नवीन डोमेन में) और निर्णय की गुणवत्ता के माप के रूप में मौलिक रूप से त्रुटिपूर्ण होती है क्योंकि एक अच्छा परिणाम एक अच्छे निर्णय की गारंटी नहीं देता (परिणाम संयोग पर निर्भर करते हैं, न कि केवल निर्णय प्रक्रिया पर)।

यह शोध पत्र एक "निरंतरता-आधारित" (consistency-based) मूल्यांकन ढांचे का प्रस्ताव करता है। इसके बजाय कि एजेंट ने "सही" विकल्प चुना या नहीं, यह पूछता है कि क्या एजेंट के चुनाव तर्कसंगतता के एक घोषित मानक के साथ सुसंगत हैं: व्यक्तिपरक अपेक्षित उपयोगिता (Subjective Expected Utility - SEU) का अधिकतमकरण। लक्ष्य यह मापना है कि एजेंट के चुनाव किस हद तक SEU रैंकिंग का अनुसरण करते हैं, इस "संवेदनशीलता" को एजेंट के विश्वासों और उपयोगिताओं (utilities) के विशिष्ट विषय वस्तु से, और उनके द्वारा प्राप्त वास्तविक परिणामों से अलग करना है।

कार्यप्रणाली (Methodology)
यह शोध पत्र एक पाइपलाइन विकसित करता है जो SEU-मूल्य वाले विकल्पों पर लागू एक सॉफ्टमैक्स चॉइस मॉडल (softmax choice model) पर केंद्रित है।

1. मॉडल: मुख्य माध्यम एक लूस-मैकफैडेन (Luce–McFadden) सॉफ्टमैक्स नियम है जहाँ विकल्प $r$ चुनने की संभावना $\exp(\alpha V(r))$ के समानुपाती है। यहाँ, $V(r)$ विकल्प की अपेक्षित उपयोगिता है, और $\alpha \ge 0$ एक स्केलर संवेदनशीलता पैरामीटर (sensitivity parameter) है।

   • $\alpha = 0$: एकसमान यादृच्छिक चयन (उपयोगिता के प्रति असंवेदनशील)।
   • $\alpha \to \infty$: नियत (deterministic) SEU अधिकतमकरण (पूर्णतः संवेदनशील)।
   • मध्यवर्ती $\alpha$: एक क्रमिक माप कि चुनाव अपेक्षित उपयोगिता का कितनी निकटता से अनुसरण करते हैं।

2. पैरामीट्रिकरण (Parameterization):

   • विश्वास ($\beta$): व्यक्तिपरक संभावनाएँ फीचर वेक्टर्स से एक लीनियर-सॉफ्टमैक्स मैप के माध्यम से उत्पन्न की जाती हैं।
   • उपयोगिता ($\delta$): उपयोगिताएँ निश्चित एंडपॉइंट्स ($0$और$1$) के साथ क्रमिक वृद्धियों से निर्मित की जाती हैं ताकि एफ़ाइन अनिर्धार्यता (affine indeterminacy) को हल किया जा सके।
   • संवेदनशीलता ($\alpha$): प्राथमिक रुचि का विषय, जो अपनी प्रतिबद्धताओं पर कार्य करने के एजेंट के रुझान का प्रतिनिधित्व करता है।

3. दो मॉडल:

   • मॉडल $m_0$ (केवल अनिश्चित विकल्प): एजेंट व्यक्तिपरक संभावनाओं के बीच चुनाव करते हैं।
   • मॉडल $m_1$ (जोखिम भरे विकल्पों के साथ विस्तारित): एजेंट वस्तुनिष्ठ संभावनाओं (लॉटरी) वाले विकल्पों के बीच भी चुनाव करते हैं। यह उपयोगिताओं ($\delta$) के लिए एक "जोखिम-मुक्त" पहचान (identification) की अनुमति देता है क्योंकि वस्तुनिष्ठ लॉटरी विश्वास पैरामीटर $\beta$ पर निर्भर नहीं करती है।

4. संगणकीय सत्यापन (Computational Validation): लेखक इन मॉडलों को Stan में लागू करते हैं और एक कठोर बेयसियन वर्कफ़्लो का उपयोग करके इनका सत्यापन करते हैं:

   • प्रायर प्रिडिक्टिव चेक (Prior Predictive Checks): यह सुनिश्चित करना कि प्रायर (priors) व्यवहार की एक तर्कसंगत सीमा की अनुमति देते हैं।
   • पैरामीटर रिकवरी (Parameter Recovery): ज्ञात मापदंडों से डेटा का अनुकरण करना ताकि यह परीक्षण किया जा सके कि क्या मॉडल मापदंडों को पुनः प्राप्त कर सकता है।
   • सिमुलेशन-आधारित अंशांकन (Simulation-Based Calibration - SBC): यह सत्यापित करना कि पोस्टीरियर वितरण अंशांकित (calibrated) हैं (वास्तविक मापदंडों के रैंक समान वितरण/uniform होते हैं)।

मुख्य योगदान और निष्कर्ष

1. पहचान क्षमता (Identifiability) बनाम अनुमान क्षमता (Estimability) का अंतर
यह शोध पत्र एक औपचारिक पहचान क्षमता विश्लेषण प्रदान करता है जो सैद्धांतिक पहचान क्षमता और वास्तविक नमूना आकारों पर व्यावहारिक अनुमान क्षमता के बीच एक महत्वपूर्ण अंतर को प्रकट करता है।

• $\alpha$ (संवेदनशीलता) के लिए: $\alpha$ अपेक्षित उपयोगिता वेक्टर $\eta$ (गैर-स्थिर मानों के दिए होने पर) से पहचाने जाने योग्य है। व्यवहार में, $\alpha$ को उच्च सटीकता और निम्न पूर्वाग्रह के साथ पुनः प्राप्त किया जाता है, भले ही अन्य पैरामीटर खराब तरीके से पहचाने गए हों।
• $\delta$ (उपयोगिता) के लिए: अनिश्चितता-मात्र मॉडल ($m_0$) में, विश्वास ($\beta$) और उपयोगिता ($\delta$) डेटा द्वारा केवल कमजोर रूप से सूचित (weakly informed) होते हैं; वे एक-दूसरे के विरुद्ध ट्रेड-ऑफ करते हैं, जिसके परिणामस्वरूप व्यापक, सह-संबंधित पोस्टीरियर प्राप्त होते हैं।
• विस्तारित मॉडल ($m_1$) की सीमा: हालांकि जोखिम भरे विकल्पों को जोड़ने से सैद्धांतिक रूप से $\delta$ की पहचान होती है ($\beta$-$\delta$ कपलिंग को तोड़कर), शोध पत्र पाता है कि वास्तविक नमूना आकारों पर, यह सैद्धांतिक पहचान क्षमता नगण्य व्यावहारिक लाभ देती है। $\delta$ के लिए कॉन्फिडेंस इंटरवल की चौड़ाई में कमी 1% से कम है, और RMSE अपरिवर्तित रहता है।
• $\alpha$ की सटीकता के लिए: इस अंतर्ज्ञान के विपरीत कि "बेहतर" डेटा प्रकार (जोखिम बनाम अनिश्चितता) सटीकता में सुधार करते हैं, अध्ययन पाता है कि $\alpha$ के लिए परिमित-नमूना सटीकता डेटा की मात्रा द्वारा संचालित होती है, न कि विकल्प के प्रकार द्वारा। अनिश्चित विकल्पों की संख्या को दोगुना करने से $\alpha$ के अनुमान काफी सटीक हो जाते हैं, जबकि बराबर संख्या में जोखिम भरे विकल्पों को बदलने से कोई पता लगाने योग्य सटीकता लाभ नहीं मिलता है।

2. मार्जिनल-SBC सीमांकन (The Marginal-SBC Demarcation)
लेखक एक महत्वपूर्ण नैदानिक अंतर्दृष्टि प्रस्तुत करते हैं: मार्जिनल SBC पास होना संयुक्त पोस्टीरियर अंशांकन (joint posterior calibration) का संकेत नहीं है।

• सभी मापदंडों ($\alpha, \beta, \delta$) के लिए मानक SBC चेक (रैंक यूनिफॉर्मिटी) दोनों मॉडलों में पास हो गए।
• हालाँकि, $(\beta, \delta)$ के लिए संयुक्त पोस्टीरियर अभी भी कमजोर रूप से संकुचित और अत्यधिक सह-संबंधित (कमजोर रूप से सूचित) रहा।
• निष्कर्ष: एक मॉडल पूर्णतः अंशांकित हो सकता है मार्जिनली (प्रत्येक पैरामीटर अलग से सही दिखता है), जबकि संयुक्त वितरण अनसुलझा रह सकता है। मार्जिनल SBC, कमजोर संयुक्त सूचनात्मकता के प्रति अंधा है।

3. LLMs के लिए दृष्टांत अनुप्रयोग
इस ढांचे को GPT-4o और Claude 3.5 Sonnet के निर्णय लेने के डेटा पर दो कार्यों के माध्यम से लागू किया गया: बीमा-दावा ट्राइएज और एल्सबर्ग-शैली के अर्न गैंबल्स (urn gambles)।

• वर्कफ़्लो: पाइपलाइन ने वास्तविक LLM चॉइस के लिए $\alpha$ को सफलतापूर्वक पुनः प्राप्त किया, जिसमें डायग्नोस्टिक्स ने मॉडल की पर्याप्तता की पुष्टि की (सिवाय अन्य पैरामीटर $\beta, \delta$ पर कमजोर अनुमान के)।
• परिणाम:
  • GPT-4o: दोनों कार्यों में सैंपलिंग टेम्परेचर बढ़ने के साथ संवेदनशीलता ($\alpha$) में एक संरचित, एकदिशीय (monotonic) गिरावट दिखाई। प्रभाव सांख्यिकीय रूप से सुदृढ़ था ($P(\text{slope} < 0) \approx 0.99$)।
  • Claude 3.5: किसी भी कार्य में एकदिशीय पैटर्न नहीं दिखाया।
  • महत्वपूर्ण चेतावनी: शोध पत्र स्पष्ट रूप से कहता है कि क्लॉड के लिए पैटर्न का अभाव एक अनिर्णायक शून्य (inconclusive null) है, न कि प्रभाव की प्रमाणित अनुपस्थिति। अध्ययन का रिज़ॉल्यूशन (न्यूनतम पता लगाने योग्य प्रभाव) क्लॉड के लिए GPT-4o के आकार के प्रभाव को खारिज करने के लिए अपर्याप्त था। यह अध्ययन प्रभाव को प्रमाणित करने के बजाय "प्रभाव का समर्थन करने में विफल" रहने का संकेत देता है।
• व्याख्या: परिणाम एक विशिष्ट डिज़ाइन के भीतर तुलनात्मक दावे का समर्थन करते हैं (GPT-4o, क्लॉड की तुलना में विशिष्ट स्थितियों के तहत SEU के प्रति अधिक संवेदनशील है) लेकिन संदर्भ-मुक्त अर्थों में कौन सा मॉडल "अधिक तर्कसंगत" है, इसके बारे में पूर्ण दावे का समर्थन नहीं करते हैं।

महत्व और दायरा
यह शोध पत्र स्वयं को LLM व्यवहार विज्ञान या निर्णय सिद्धांत में एक मौलिक सफलता के बजाय एक मेथोडोलॉजिकल योगदान के रूप में स्थापित करता है।

• वैचारिक: यह "SEU मैक्सिमाइजेशन के प्रति संवेदनशीलता" को विश्वासों, उपयोगिताओं और परिणामों से अलग, एक श्रेणीबद्ध, मापने योग्य प्रवृत्ति के रूप में एक सिद्धांतित स्पष्टीकरण प्रदान करता है।
• मेथोडोलॉजिकल: यह प्रदर्शित करता है कि प्रयोगों को डिजाइन करने के लिए पहचान क्षमता (identifiability) विश्लेषण आवश्यक तो है लेकिन पर्याप्त नहीं है; परिमित-नमूना सटीकता डेटा की मात्रा और डिज़ाइन विशिष्टताओं पर निर्भर करती है, न कि केवल सैद्धांतिक पहचान पर। यह भी स्पष्ट करता है कि मार्जिनल SBC, संयुक्त पोस्टीरियर ज्यामिति को निदान करने में अपनी सीमाओं को कैसे स्पष्ट करता है।
• सीमाएँ: शोध पत्र जानबूझकर मानकीय (normative) प्रश्नों (जैसे, क्या SEU सही मानक है) का निर्णय लेने या अस्पष्टता के प्रति अरुचि (ambiguity aversion) का परीक्षण करने से बचता है (मॉडल अस्पष्टता को विश्वासों या शोर में समाहित कर लेता है)। यह पूर्ण अर्थों में "तर्कसंगतता" को मापने का दावा नहीं करता है, बल्कि केवल एक विशिष्ट डिज़ाइन के भीतर एक घोषित मानक के प्रति अनुरूपता को मापता है।

संक्षेप में, यह शोध पत्र एक निर्णय लेने वाले का मूल्यांकन करने के लिए एक पारदर्शी, पुन: प्रयोज्य ढांचा प्रदान करता है, जो अपने परिमित-नमूना सीमाओं और रिज़ॉल्यूशन सीमाओं को स्पष्ट रूप से रिपोर्ट करते हुए अपने मापन उपकरण को कठोरता से सत्यापित करता है।