तकनीकी सारांश: LLMs से प्राप्त विश्वासों (Elicited Beliefs) का सत्यापन

समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) को उच्च-जोखिम वाले डोमेन में तेजी से तैनात किया जा रहा है, जैसे कि चिकित्सा निदान (medical diagnosis), जहाँ निर्णय लेने के लिए अज्ञात परिणामों के बारे में संभाव्य विश्वास (probabilistic beliefs) बनाने की आवश्यकता होती है। जबकि शोधकर्ता LLMs को शाब्दिक संभावनाएँ (verbalized probabilities) आउटपुट करने के लिए प्रॉम्प्ट कर सकते हैं (जैसे, "बीमारी X की संभावना 80% है"), यह स्पष्ट नहीं है कि क्या ये आउटपुट सुसंगत आंतरिक विश्वासों को दर्शाते हैं जो वास्तव में मॉडल के निर्णयों को संचालित करते हैं। एक मॉडल ऐसी संभावना व्यक्त कर सकता है जो उसके निर्णय लेने की प्रक्रिया से विच्छेदित (disconnected) हो, जो फाइन-ट्यूनिंग आर्टिफैक्ट्स या प्रेफरेंस ऑप्टिमाइज़ेशन के कारण हो सकता है जो मॉडल के अंतर्निहित निर्णय तर्क को बदले बिना मौखिक संभावनाओं को विकृत कर देता है। मौजूदा कार्य अंशांकन (calibration - रिपोर्ट की गई संभावनाओं की सटीकता) पर ध्यान केंद्रित करते हैं, लेकिन इस बात को संबोधित नहीं करते हैं कि क्या रिपोर्ट किए गए विश्वास मॉडल के कार्यों को नियंत्रित करने वाले 'पर्याप्त सांख्यिकी' (sufficient statistics) हैं। मुख्य चुनौती यह है कि ब्लैक-बॉक्स तरीके से यह सत्यापित करना कि क्या एक LLM के प्राप्त विश्वास उसके निर्णयों के लिए एक सार्थक स्पष्टीकरण हैं, बिना मॉडल के उपयोगिता फलन (utility function) के बारे में कड़े अनुमान लगाए या उसके आंतरिक प्रतिनिधित्व (internal representations) तक पहुँच की आवश्यकता के।

कार्यप्रणाली (Methodology)

लेखक प्राप्त विश्वासों और देखे गए निर्णयों के बीच निरंतरता का परीक्षण करने के लिए एक निर्णय-सैद्धांतिक ढांचे (decision-theoretic framework) का प्रस्ताव करते हैं। यह ढांचा एक "निकट-तर्कसंगत" (near-rational) निर्णय लेने वाले के धारणा के तहत कार्य करता है, जिसे परिवर्तित उपयोगिता अधिकतम करने वाले (perturbed utility maximizer) के रूप में औपचारिक रूप दिया गया है। यह वर्ग एक सख्ती से उत्तलता रेगुलराइज़र (strictly convex regularizer, जैसे कि एंट्रॉपी) के अधीन अपेक्षित उपयोगिता (expected utility) को अधिकतम करता है, जो स्टोकेस्टिक विकल्पों और अनपेक्षित उपयोगिता घटकों की अनुमति देता है, जो सख्त अपेक्षित उपयोगिता के अधिकतमकरण की तुलना में अधिक सामान्य है।

यह ढांचा दो अनुभवजन्य रूप से परीक्षण योग्य शर्तों पर निर्भर करता जो इस औपचारिकता से व्युत्पन्न हैं:

1. सशर्त स्वतंत्रता (Conditional Independence - विश्वास पर्याप्तता):

   • परिकल्पना: यदि किसी एजेंट के कार्य केवल उसके व्यक्तिपरक विश्वास $P_S(\theta|x)$ द्वारा संचालित होते हैं, तो इस विश्वास पर शर्त लगाने से क्रिया $A$, वास्तविक परिणाम $\theta$ से स्वतंत्र हो जानी चाहिए। औपचारिक रूप से, $A \perp \theta \mid P_S(\theta|x)$।
   • परीक्षण: लेखक नॉन-पैरामीट्रिक k-Nearest Neighbors Conditional Mutual Information (CMI) टेस्ट का उपयोग करके शून्य परिकल्पना $I(A; \theta \mid p) = 0$ का परीक्षण करते हैं। इसके अतिरिक्त, वे यह मापते हैं कि यदि प्राप्त विश्वास $p$ को पहले से मौजूद मॉडल में क्रिया $A$ को जोड़ने पर वास्तविक परिणाम में कितना प्रेडिक्टिव सुधार होता है। यदि क्रिया महत्वपूर्ण अतिरिक्त प्रेडिक्टिव शक्ति प्रदान करती है, तो विश्वास एक पर्याप्त सांख्यिकी (sufficient statistic) नहीं है।

2. चक्रीय एकतलता (Cyclic Monotonicity - क्रिया-निर्देशित विश्वास):

   • परिकल्पना: एक परिवर्तित उपयोगिता अधिकतम करने वाले के लिए, प्राप्त विश्वासों से चयन की संभावनाओं का मानचित्र अपेक्षित उपयोगिता सूचकांक के संबंध में चक्रीय रूप से एकतल (cyclically monotone) होना चाहिए। बाइनरी स्टेट सेटिंग्स में, इसका अर्थ है कि सकारात्मक अवस्था की प्राप्त संभावना बढ़ने के साथ, उस अवस्था में अधिक मूल्यवान कार्यों को चुनने की संभावना बढ़नी चाहिए।
   • परीक्षण: लेखक प्राप्त संभावनाओं को बिन (bin) में विभाजित करते हैं और बिन के भीतर चयन शेयरों का अनुमान लगाते हैं। वे एक साइंड-मार्जिन लीनियर प्रोग्राम (SignedLP) तैयार करते हैं ताकि एक उपयोगिता-अंतर वेक्टर $d$ खोजा जा सके जो बिनों में सख्त एकतलता को संतुष्ट करता है। एक धनात्मक सांख्यिकीय $\hat{\gamma}$ सख्त एकतलता को दर्शाता है; एक ऋणात्मक मान उल्लंघन को दर्शाता है।

इस ढांचे को चार चिकित्सा नैदानिक कार्यों (स्ट्रक्चरल हार्ट डिजीज, मधुमेह, बाल चिकित्सा बुखार, और शिशु रोना) पर लागू किया गया है, जो वास्तविक रिकॉर्ड और विशेषज्ञ-निर्मित बेयसियन नेटवर्क का उपयोग करते हुए डेटासेट का उपयोग करते हैं। अध्ययन में संदूषण (contamination) से बचने के लिए अलग-अलग कॉन्टेक्स्ट विंडो में विश्वास और निर्णय प्राप्त करके विभिन्न LLM परिवारों (GPT-5 वेरिएंट, DeepSeek-R1, Llama-4) का मूल्यांकन किया गया है।

मुख्य योगदान

• ब्लैक-बॉक्स सत्यापन के लिए औपचारिक ढांचा: यह पेपर LLM के प्राप्त विश्वास कि उनके कार्यों के साथ सुसंगत हैं, यह परीक्षण करने के लिए पहले औपचारिक, निर्णय-सैद्धांतिक शर्तों को पेश करता है। महत्वपूर्ण रूप से, ये परीक्षण एजेंट के उपयोगिता फलन के प्रति उदासीन (agnostic) हैं, जो केवल परिवर्तित उपयोगिता अधिकतमकरण की संरचना पर निर्भर करते हैं।
• आवश्यक और पर्याप्त शर्तें: लेखक सिद्ध करते हैं (प्रपोजिशन 5) कि सशर्त स्वतंत्रता और चक्रीय एकतलता संयुक्त रूप से आवश्यक और पर्याप्त हैं ताकि देखे गए विश्वासों और कार्यों के वितरण को एक परिवर्तित उपयोगिता अधिकतम करने वाले द्वारा तर्कसंगत बनाया जा सके, जो प्राप्त विश्वास को अपना वास्तविक व्यक्तिपरक संभाव्यता मानता है।
• अनुभवजन्य सत्यापन प्रोटोकॉल: अध्ययन इन सैद्धांतिक शर्तों को व्यावहारिक सांख्यिकीय परीक्षणों (CMI और SignedLP) में संचालित करता है जिन्हें किसी भी ब्लैक-बॉक्स LLM पर लागू किया जा सकता है।
• सहसंबंध प्रकारों के बीच अंतर: यह कार्य निर्णय-सैद्धांतिक सुसंगतता (विश्वासों द्वारा कार्यों का मार्गदर्शन करना) और संभाव्यता सुसंगतता (इटरेटेड एक्सपेक्टेशन के नियम जैसे सिद्धांतों का पालन करना) के बीच अंतर करता है, और दिखाता है कि ये अलग-अलग गुण हैं।

परिणाम

• अपूर्ण पर्याप्तता (Imperfect Sufficiency): सभी मॉडलों और डेटासेटों में, सशर्त स्वतंत्रता (Conditional Independence) परीक्षण शून्य परिकल्पना को खारिज करता है। प्राप्त विश्वास पर्याप्त सांख्यिकी नहीं हैं; मॉडलों के कार्यों में वास्तविक परिणाम के बारे में अवशिष्ट जानकारी (residual information) होती है जो उनके मौखिक संभावनाओं द्वारा कैप्चर नहीं की जाती है। यह सुझाव देता है कि मॉडल "उतना जानते हैं जितना वे कहते नहीं हैं" या उनकी निर्णय-प्रासंगिक जानकारी पूर्णतः प्राप्त विश्वास में संप्रेषित नहीं होती है।
• एकतलता बनी रहती है (ज्यादातर): चक्रीय एकतलता (Cyclic Monotonicity) परीक्षण दिखाता है कि अधिकांश मॉडल-डेटासेट संयोजनों के लिए, प्राप्त विश्वासों और कार्यों के बीच का संबंध एकतल है। विशेष रूप से, 16 में से 9 संयोजनों ने सख्त एकतलता (धनात्मक $\hat{\gamma}$) दिखाई, और केवल एक (Fever–Llama) ने उल्लंघन दिखाया। यह इंगित करता है कि हालांकि विश्वास पूरी तरह से पर्याप्त नहीं हैं, वे आम तौर पर निर्णयों को सही दिशा में ले जाते हैं।
• मॉडल और डोमेन भिन्नता:
  • सबसे मजबूत मॉडल: सबसे मजबूत मॉडल (जैसे, DeepSeek-R1, GPT-High) विश्वासों और कार्यों के बीच सबसे कम विसंगति प्रदर्शित करते हैं, जो यह सुझाव देता है कि वे सुसंगत विश्वास रखने वाले एजेंटों के करीब हैं।
  • डोमेन प्रभाव: मधुमेह (Diabetes) डेटासेट ने सबसे कमजोर एकतलता दिखाई, जिसमें किसी भी मॉडल ने सख्त धनात्मक मार्जिन नहीं दिखाया।
• अंशांकन (Calibration) पर्याप्तता को ठीक नहीं करता है: प्राप्त विश्वासों पर आइसोटोनिक अंशांकन (isotonic calibration) लागू करने से मार्जिनल अंशांकन में सुधार हुआ लेकिन इसने सशर्त स्वतंत्रता को बहाल नहीं किया, जिससे पुष्टि होती है कि पर्याप्तता की विफलता संरचनात्मक है, न कि केवल अंशांकन का मुद्दा।
• आंतरिक सुसंगतता: इटरेटेड एक्सपेक्टेशन के नियम (LIE) का उपयोग करने वाले परीक्षणों ने खुलासा किया कि संभाव्यता सुसंगतता (संभाव्यता नियमों का पालन) अनिवार्य रूप से निर्णय-सैद्धांतिक सुसंगतता के साथ संरेखित नहीं होती है। निर्णय-निरंतरता परीक्षणों में अच्छा प्रदर्शन करने वाले मॉडल आवश्यक रूप से संभाव्यता निरंतरता परीक्षणों में अच्छा प्रदर्शन नहीं करते थे।

महत्व और दावे

पेपर का दावा है कि LLMs से प्राप्त संभावनाएँ निर्णय-प्रासंगिक जानकारी के अपूर्ण लेकिन व्यवहारिक रूप से सूचनात्मक सारांश हैं। लेखक तर्क देते हैं कि हालांकि मॉडल ऐसे कार्य नहीं करते जैसे कि वे पूर्णतः सुसंगत विश्वास रखते हों (जैसा कि पर्याप्तता की विफलता से सिद्ध होता है), अत्याधुनिक मॉडलों के लिए विसंगतियां अपेक्षाकृत कम हैं।

इस कार्य का महत्व एक सिद्धांत-आधारित, ब्लैक-बॉक्स विधि प्रदान करने में निहित है कि क्या एक LLM का मौखिक आत्मविश्वास उसके निर्णयों के लिए एक विश्वसनीय स्पष्टीकरण है। यह चिकित्सा जैसे उच्च-जोखिम वाले परिवेश में सुरक्षा और पारदर्शिता के लिए महत्वपूर्ण है। लेखक इस बात पर जोर देते हैं कि उनके परीक्षण यह सिद्ध नहीं करते कि एक मॉडल दार्शनिक अर्थ में वास्तव में एक विश्वास रखता है, बल्कि यह कि मॉडल उस विश्वास को धारण करने वाले एक तर्कसंगत एजेंट के रूप में अवलोकन संबंधी रूप से अविभेद्य (observationally indistinguishable) है। फलस्वरूप, पेपर निष्कर्ष निकालता है कि प्राप्त विश्वासों को केवल माना जाने के बजाय अनुभवजन्य रूप से सत्यापित किया जाना चाहिए, जो डेवलपर्स को विफलता मोड (जैसे, चिकित्सा एजेंटों में ओवरकॉन्फिडेंस बनाम लागत-धारणा के मुद्दों के बीच अंतर करना) को समझने के लिए एक नैदानिक उपकरण प्रदान करता है।