Calibrating Semantic Uncertainty from Observable Language-Model Probabilities

तकनीकी सारांश: अवलोकन योग्य भाषा-मॉडल संभावनाओं से सिमेंटिक अनिश्चितता का अंशांकन (Calibrating)

समस्या विवरण
भाषा मॉडल (LMs) शब्दों और वाक्यांशों पर सशर्त संभाव्यता वितरण (conditional probability distributions) उत्पन्न करते हैं, फिर भी वित्त, चिकित्सा और कानून जैसे क्षेत्रों में पेशेवर निर्णय लेने के लिए सार्थक, परिमित-मूल्य वाले राज्यों (जैसे, निदान, जोखिम स्थितियाँ, या परिचालन अवस्थाएँ) पर अनिश्चितता मात्रा का निर्धारण आवश्यक होता है। एक महत्वपूर्ण विसंगति मौजूद है: एक LM का मूल आउटपुट शाब्दिक प्रतिक्रियाओं पर एक वितरण है, जो प्रॉम्प्ट की शब्दावली, क्रम और संख्यात्मक प्रारूप के प्रति संवेदनशील होता है। इसके विपरीत, राज्यों पर लक्षित वैज्ञानिक पोस्टीरियर (posterior), सूचना-तुल्य पुनर्गठन (rewording) के प्रति अपरिवर्तनीय होना चाहिए। वर्तमान दृष्टिकोण अक्सर मुद्रित संख्यात्मक आत्मविश्वास या टोकन संभावनाओं को अंशांकित राज्य संभावनाओं के साथ मिला देते हैं, जो यह समझने में विफल रहते हैं कि 'सिमेंटिक अस्थिरता' (semantic instability) क्या है—जहाँ समानार्थी वाक्यांशों को अलग-अलग संभावनाएँ प्राप्त होती हैं या जहाँ मॉडल की "प्रवाह क्षमता" (fluency) अनिश्चितता को छिपा देती है। यह शोध इस व्युत्क्रम समस्या (inverse problem) को संबोधित करता है: क्या एक अवलोकन योग्य, प्रॉम्प्ट-निर्भर शाब्दिक प्रतिक्रिया वितरण को एक स्थिर, अंशांकित घोषित अवस्था (declared state) में मैप किया जा सकता है?

कार्यप्रणाली (Methodology)
यह शोध एक सिमेंटिक मैप (semantic map) प्रस्तावित करता है, जो एक अर्ध-पैरामीट्रिक सांख्यिकीय सेतु है जो LM के सशर्त भाषा वितरण को एक परिमित अवस्था स्थान (finite state space) पर लक्षित पोस्टीरियर से जोड़ता है। यह ढांचा LM को एक सशर्त डेटा-जनरेटिंग प्रक्रिया (एक मार्कोव कर्नेल) के रूप में मानता है और सांख्यिकीय डिज़ाइन को विशिष्ट परतों में विभाजित करता है:

1. अवलोकन योग्य सांख्यिकीय प्रयोग: LM को एक पूर्ण शाब्दिक निरंतरता $\Omega$ पर एक सशर्त प्रतिक्रिया नियम $Q_u(\cdot | c)$ के रूप में मॉडल किया गया है, जो एक प्रॉम्प्ट $c$ के दिए गए होने पर आधारित है। प्रॉम्प्ट एक स्पष्ट डिज़ाइन चर है जिसे मूल्यांकनकर्ता द्वारा नियंत्रित किया जाता है।
2. सिमेंटिक कोर्सनिंग (Semantic Coarsening): एक पूर्व-निर्धारित, मापने योग्य मानचित्र $\phi_u$ समानार्थी शाब्दिक निरंतरताओं को सिमेंटिक अवस्थाओं $X$ (और एक "अव्यक्त" श्रेणी $\perp$) में समूहित करता है। यह अवस्था स्थान पर एक पुशफॉरवर्ड मेजर (lexical composition) $p_u$ प्रेरित करता है।
3. अंशांकन और व्युत्क्रम रिकवरी (Calibration and Inverse Recovery): यह शोध $p_u$ से संदर्भ पोस्टीरियर $\pi^*(y)$ (जो एक घोषित, स्वतंत्र संभाव्यता मॉडल से प्राप्त होता है) की रिकवरी को एक व्युत्क्रम समस्या के रूप में तैयार करता है। यह संभाव्यता वेक्टर्स को यूक्लिडियन स्पेस में मैप करने के लिए एडिटिव लॉग-रेशियो (alr) निर्देशांकों का उपयोग करता है, जिससे व्युत्क्रम-समस्या सिद्धांत का अनुप्रयोग संभव हो पाता है।
4. सैद्धांतिक गारंटी:
   • अस्तित्व और विशिष्टता: फिक्स्ड सिमेंटिक मैप और भाषा नियम के आधार पर लेक्सिकल कंपोजिशन अस्तित्व में है और अद्वितीय है।
   • त्रुटि अपघटन (Error Decomposition): एक प्रमेय तीन अलग-अलग स्रोतों से उत्पन्न होने वाली पोस्टीरियर त्रुटि को सीमित करता है: सिमेंटिक मिसमैच (समूहीकरण त्रुटि), संभाव्यता गणना त्रुटि, और अनएक्स्प्रेस्ड मास (घोषित विभाजन के बाहर की संभाव्यता)।
   • स्थिरता (Stability): सैद्धांतिक सीमाएँ यह लक्षणित करती हैं कि प्रॉम्प्ट प्रस्तुति (शब्दों का चयन, क्रम) में परिवर्तन सिमेंटिक कंपोजिशन को कैसे प्रभावित करते हैं, जिससे 'न्युसेंस वेरिएशंस' (nuisance variations) और परिणामी परिवर्तनों के बीच अंतर किया जा सके।
   • व्युत्क्रम रिकवरी: भाषा चैनल में अलग-अलग पोस्टीरियर्स के अलगाव के निचले स्तर (lower bound) के माध्यम से स्थिर पोस्टीरियर रिकवरी के लिए स्थितियाँ परिभाषित की गई हैं।
   • अनुक्रमिक फ़िल्टरिंग (Sequential Filtering): एक फ़िल्टरिंग प्रमेय यह मात्रा निर्धारित करता है कि अनुक्रमिक बेयसियन अपडेट के दौरान मापन त्रुटियाँ कैसे प्रसारित या कम होती हैं, जो प्रारंभिक मापन त्रुटि और संचित पुनरावृत्ति दोषों के बीच अंतर करती है।

प्रमुख योगदान
इस शोध का प्राथमिक योगदान सिमेंटिक मैप को एक परीक्षण योग्य सांख्यिकीय एस्टिमेंड (estimand) के रूप में औपचारिक बनाना है, जो केवल 'प्रॉम्प्ट इंजीनियरिंग' से आगे बढ़कर है। विशेष रूप से:

• घोषित एस्टिमेंड: यह एक स्पष्ट लक्ष्य परिभाषित करता है: एक अवलोकन योग्य भाषा वितरण से एक संदर्भ पोस्टीरियर को पुनः प्राप्त करना, न कि LM के आंतरिक "विश्वास" को ही सत्य मानना।
• सेमी-पैरामीट्रिक ढांचा: यह एक अनियंत्रित भाषा मॉडल को एक निम्न-आयामी अंशांकन मॉडल के साथ जोड़ता है, जिससे LM के आंतरिक मापदंडों को मॉडल करने की आवश्यकता के बिना, भाषा से अवस्था तक के मानचित्रण को कठोरता से प्रबंधित किया जाता है।
• अनिश्चितता का अपघटन: यह त्रुटि स्रोतों (सिमेंटिक, संख्यात्मक और कवरेज) का गणितीय अपघटन प्रदान करता है, जिससे अभ्यासकर्ताओं को यह निदान करने में मदद मिलती है कि विफलताएं खराब समूहीकरण, गलत संभाव्यता गणना, या अपर्याप्त शाब्दिक कवरेज के कारण हैं।
• व्युत्क्रम समस्या विश्लेषण: यह स्थापित करने के लिए व्युत्क्रम-समस्या सिद्धांत लागू करता है कि भाषा चैनल पर्याप्त सूचनात्मक है या नहीं, जिससे 'फाइनाइट-डिज़ाइन ऑब्जर्वेबिलिटी' और 'यूनिफॉर्म आइडेंटिफिकेशन' के बीच अंतर किया जा सके।
• अनुभवजन्य प्रोटोकॉल (Empirical Protocol): यह एक कठोर अनुमान प्रोटोकॉल स्थापित करता है जो खोज (सिमेंटिक समूहीकरण, प्रॉम्प्ट डिज़ाइन) को पुष्टिकरण (होल्ड-आउट टेस्टिंग, कॉन्फ़ॉर्मल कवरेज) से अलग करता है, जिससे 'लुक-अहेड बायस' और डेटा-डिपेंडेंट स्पेसिफिकेशन सर्च को रोका जा सके।

परिणाम
कार्यप्रणाली का मूल्यांकन दो सेटिंग्स में किया गया:

1. पेशेवर मार्केट टेक्स्ट: भाषा-व्युत्पन्न संभावनाओं (वाक्यांशों के टोकन संभाव्यता से गणना की गई) और संख्यात्मक रूप से प्राप्त संभावनाओं (जहाँ मॉडल को एक संख्या प्रिंट करने के लिए कहा जाता है) के बीच तुलना।
   • निष्कर्ष: भाषा-व्युत्पन्न संभावनाओं ने सटीकता (McNemar $p=0.0243$) और प्रॉपर स्कोरिंग रूल्स (लॉग-लॉस और ब्रियर स्कोर) में संख्यात्मक रूप से प्राप्त संभावनाओं की तुलना में काफी बेहतर प्रदर्शन किया। यह सुझाव देता है कि संख्यात्मक आउटपुट के लिए मजबूर करना निरंतरता वितरण में मौजूद सिमेंटिक जानकारी को विकृत कर देता है।
2. नियंत्रित पोस्टीरियर रिकवरी: एक ज्ञात बेयसियन जनरेटर का उपयोग करके किया गया सिमुलेशन, जिसका परीक्षण दो फिट किए गए मॉडलों (GPT-4.1-mini और GPT-4o-mini) पर किया गया।
   • रिकवरी: अंशांकित लेक्सिकल अनुमानों ने निम्न जेन्सन-शैनन डायवर्जेंस (लगभग 0.039 और 0.037) के साथ सटीक होल्ड-आउट पोस्टीरियर्स को पुनः प्राप्त किया और 90% नाममात्र कॉन्फ़ॉर्मल कवरेज (94% और 90%) प्राप्त किया।
   • स्थिरता: साधारण पैराफ्रेस (सूचना-संरक्षण पुनर्गठन) ने काफी हद तक स्थिर अनुमान दिए। हालांकि, साक्ष्य के क्रम को बदलने या प्रासंगिक जानकारी को छोड़ने से परिणामी परिवर्तन हुए, जो पुष्टि करता है कि मापन सूचना सेट के प्रति संवेदनशील है लेकिन 'न्युसेंस वर्डिंग' के प्रति सुदृढ़ है।
   • व्युत्क्रम कंडीशनिंग: बूटस्ट्रैप विश्लेषण ने पुष्टि की कि फिट किए गए एफाइन अंशांकन मानचित्रों ने सैंपल किए गए डिज़ाइन पर सभी लॉग-रेशियो दिशाओं को बनाए रखा (सकारात्मक सिंगुलर वैल्यूज), जो फाइनाइट-डिज़ाइन ऑब्जर्वेबिलिटी का समर्थन करता है।
   • एन्ट्रॉपी: उम्मीदवार शब्दों पर कच्ची एन्ट्रॉपी, पोस्टीरियर एन्ट्रॉपी के साथ असंबद्ध थी, जबकि अंशांकित पोस्टीरियर एन्ट्रॉपी अत्यधिक सह-संबंधित थी, जो यह दर्शाता है कि शब्द-स्तर की अनिश्चितता, अवस्था-स्तर की अनिश्चितता के बराबर नहीं है।

महत्व और दावे
शोध का दावा है कि भाषा-मॉडल की अनिश्चितता को एक स्पष्ट, परीक्षण योग्य शर्तों के तहत एक ऑडिट योग्य पोस्टीरियर एस्टिमेटर में बदला जा सकता है।

• सीमित दायरा: लेखक स्पष्ट रूप से कहते हैं कि यह विधि यह सिद्ध नहीं करती है कि LM "सत्य जानता है" या उसके पास कोई अगोचर आंतरिक विश्वास है। लक्षित पोस्टीरियर घोषित साक्ष्य-जनरेटिंग मॉडल और सिमेंटिक पार्टीशन पर सशर्त है।
• विश्वास के बजाय सत्यापन: इसका योगदान सत्यापन का एक ढांचा है। यदि सिमेंटिक मैप विफल होता है (जैसे, कम व्यक्त द्रव्यमान, खराब व्युत्क्रम कंडीशनिंग, या विफल कॉन्फ़ॉर्मल कवरेज), तो परिणाम को अस्वीकार या सुधारा जाना चाहिए। यदि यह सफल होता है, तो अनुमान 'एब्स्टेंशन' (abstention), मानव समीक्षा, या अनुक्रमिक अपडेटिंग जैसी अनिश्चितता-जागरूक प्रक्रियाओं का समर्थन करता है।
• सामान्य सिद्धांत: "सिमेंटिक मैप" सिद्धांत को वर्गीकरण और सिफारिशों के ऑडिट के लिए एक सामान्य टेम्पलेट के रूप में प्रस्तुत किया गया है, जो यह सुनिश्चित करता है कि प्रासंगिक अर्थ स्थिर है और केवल प्रॉम्प्ट इंजीनियरिंग का परिणाम नहीं है।
• सीमाएँ: परिणाम विशिष्ट फिट किए गए मॉडल, प्रॉम्प्ट परिवार और अवस्था परिभाषाओं पर निर्भर हैं। वे बिना आगे के ट्राजेक्टरी-लेवल टेस्टिंग के, अनरिस्ट्रिक्टेड फंक्शन क्लास या टाइम-यूनिफॉर्म अनुक्रमिक कवरेज पर यूनिफॉर्म ऑब्जर्वेबिलिटी स्थापित नहीं करते हैं। यह विधि डोमेन-विशिष्ट निर्णय विश्लेषण या वास्तविक समय के ट्रेडिंग प्रदर्शन की गारंटी का विकल्प नहीं है।

संक्षेप में, यह शोध 'प्रॉम्प्ट इंजीनियरिंग' पर निर्भरता को एक कठोर सांख्यिकीय ढांचे से बदल देता है जो भाषा को एक शोर युक्त मापन चैनल (noisy measurement channel) के रूप में मानता है, जिससे उस चैनल से सार्थक अवस्था संभावनाओं को पुनः प्राप्त करने को मापने, बांधने और सत्यापित करने के उपकरण प्राप्त होते हैं।