तकनीकी सारांश: कोहेरेंस अंडर कमिटमेंट (CUC)

समस्या विवरण

ज्ञान-गहन डोमेन (knowledge-intensive domains) में तैनात बड़े भाषा मॉडल (LLMs) एक महत्वपूर्ण विफलता मोड प्रदर्शित करते हैं: वैक्यूअस कोहेरेंस (vacuous coherence - शून्य अर्थ वाली सुसंगतता)। मानक मूल्यांकन मेट्रिक्स तार्किक निरंतरता (logical consistency) को प्राथमिकता देते हैं (जैसे, निषेध निरंतरता, जहाँ एक मॉडल एक साथ किसी कथन का समर्थन और उसके खंडन दोनों नहीं करता है)। हालाँकि, एक मॉडल किसी भी निर्णायक निर्णय से व्यवस्थित रूप से परहेज (abstaining) करके इन निरंतरता बाधाओं को आसानी से पूरा कर सकता है। किसी निष्कर्ष या खंडन के प्रति प्रतिबद्धता (commitment) न दिखाकर, एक मॉडल शून्य तार्किक विरोधाभास प्राप्त कर लेता है, लेकिन शून्य तर्क उपयोगिता (reasoning utility) प्रदान करता है।

उच्च-जोखिम वाले वातावरण (जैसे, नैदानिक निदान, वैज्ञानिक तर्क) में, यह "सुरक्षित" व्यवहार मानक मूल्यांकन के तहत वास्तविक विश्वसनीयता से अलग नहीं किया जा सकता है। एक मॉडल जो 90% प्रश्नों का उत्तर देने से मना कर देता है, वह "सुसंगत" (coherent) दिखाई देता है लेकिन परिचालन रूप से अनुपयोगी होता है। वर्तमान मूल्यांकन प्रतिमान इसे पकड़ने में विफल रहते हैं क्योंकि वे कोहेरेंस को अलग-थलग करके मापते हैं, और उस एपिस्टेमिक कमिटमेंट (epistemic commitment - ज्ञान संबंधी प्रतिबद्धता) को अनदेखा करते हैं जो कार्रवाई योग्य तर्क के लिए आवश्यक है।

कार्यप्रणाली: कोहेरेंस अंडर कमिटमेंट (CUC)

लेखक कोहेरेंस अंडर कमिटमेंट (CUC) का प्रस्ताव करते हैं, जो एक द्वैत-प्रश्न (dual-query) मूल्यांकन प्रतिमान है जिसे तार्किक कोहेरेंस और एपिस्टेमिक निर्णायकता (epistemic decisiveness) को संयुक्त रूप से मापने के लिए डिज़ाइन किया गया है।

1. द्वैत-प्रश्न उद्दलन प्रोटोकॉल (Dual-Query Elicitation Protocol)

एकल प्रश्न के बजाय, CUC प्रत्येक आधार $P$ और परिकल्पना $\phi$ के लिए प्रश्नों का एक सममित जोड़ा बनाता है:

• $Q_\phi$: "क्या $\phi$ तार्किक रूप से $P$ द्वारा निहित (entailed) है?"
• $Q_{\neg\phi}$: "क्या $\neg\phi$ तार्किक रूप से $P$ द्वारा निहित है?"

सैंपलिंग वेरिएंस और डिकोडिंग आर्टिफैक्ट्स को समाप्त करने के लिए, प्रोटोकॉल बाइनरी प्रतिक्रियाओं (YES/NO) के लिए डिटरमिनिस्टिक एलिसिटेशन (deterministic elicitation) का उपयोग करता है। यह सीधे मॉडल के लॉजिट्स (logits) से YES/NO टोकन के सामान्यीकृत लॉग-संभाव्यता (normalized log-probabilities) निकालता है:
$$\mathcal{P}(\phi) = \frac{\exp(\log P(\text{YES}|Q_\phi))}{\exp(\log P(\text{YES}|Q_\phi)) + \exp(\log P(\text{NO}|Q_\phi))}$$
यह परिकल्पना और उसके निषेध दोनों के लिए सकारात्मक प्रतिक्रिया के लिए एक संभाव्यता द्रव्यमान (probability mass) प्रदान करता है।

2. मुख्य मेट्रिक्स

फ्रेमवर्क $\mathcal{P}(\phi)$ और $\mathcal{P}(\neg\phi)$ से व्युत्पन्न दो प्राथमिक मेट्रिक्स को परिभाषित करता है:

• कमिटमेंट स्कोर ($c(\phi)$):
  $$c(\phi) = \mathcal{P}(\phi) + \mathcal{P}(\neg\phi)$$
  यह निर्णायक परिणामों के लिए आवंटित कुल संभाव्यता द्रव्यमान को मापता है। कम स्कोर इंगित करता है कि मॉडल प्रश्न को प्रभावी रूप से अज्ञात (unknown) मानता है, चाहे उसकी कोहेरेंस कुछ भी हो।

• निषेध-कोहेरेंस उल्लंघन (Negation-Coherence Violation - $v_{neg}(\phi)$):
  $$v_{neg}(\phi) = \max(0, c(\phi) - 1)$$
  यह मापता है कि एक मॉडल परस्पर अनन्य (mutually exclusive) परिणामों को इकाई संभाव्यता से अधिक कैसे आवंटित करता है। $\text{Value} > 0$ का अर्थ है तार्किक विसंगति (logical incoherence - एक साथ अत्यधिक प्रतिबद्धता)।

मुख्य अंतर्दृष्टि: पेपर एक बीजगणितीय पहचान स्थापित करता है $v_{neg} = \max(0, c - 1)$। इसका तात्पर्य है कि कोई भी मॉडल जिसका $c(\phi) \leq 1$ है, वह स्वचालित रूप से शून्य उल्लंघन प्राप्त करेगा, चाहे उसकी तर्क क्षमता कैसी भी हो। अतः, कम उल्लंघन दर केवल कम प्रतिबद्धता का एक आर्टिफैक्ट हो सकती है।

3. 3-वे निर्णय ढांचा (3-Way Decision Framework)

इन मेट्रिक्स को संचालित करने के लिए, लेखक एक निर्णय नियम परिभाषित करते हैं जिसमें $\tau$ (विश्वास/confidence) और $\delta$ (सीमा/margin) थ्रेशोल्ड शामिल हैं:

• TRUE: यदि $\mathcal{P}(\phi) \geq \tau$ और $\mathcal{P}(\phi) \geq \mathcal{P}(\neg\phi) + \delta$।
• FALSE: यदि $\mathcal{P}(\neg\phi) \geq \tau$ और $\mathcal{P}(\neg\phi) \geq \mathcal{P}(\phi) + \delta$।
• UNCERTAIN: अन्यथा।

यह मूल्यांकन को कवरेज (Coverage) (गैर-UNCERTAIN भविष्यवाणियों का अंश) और कंडीशनल एक्यूरेसी (Conditional Accuracy - $Acc_{cov}$) रिपोर्ट करने की अनुमति देता है, जो उन मॉडलों के बीच अंतर करता है जो सटीक तो हैं लेकिन परहेज करते हैं, और उन मॉडलों के बीच जो निर्णायक हैं लेकिन विरोधाभासी हैं।

प्रयोगात्मक सेटअप

• डेटासेट: FOLIO v0.0 (204 उदाहरण जिनमें औपचारिक रूप से सत्यापित निषेध हैं) और LOGIQA v2 (304 उदाहरण जिनमें नियम-आधारित निषेध हैं) पर मूल्यांकन किया गया।
• मॉडल: चार ओपन-वेट मॉडल (1.1B–3B पैरामीटर्स): TinyLlama-1.1B, Phi-2, Qwen2.5-1.5B, और Qwen2.5-3B।
• प्रोटोकॉल: YES/NO टोकन पर डिटरमिनिस्टिक लॉग-संभाव्यता निष्कर्षण।

मुख्य परिणाम

1. कोहेरेंस-कमिटमेंट फ्रंटियर (The Coherence-Commitment Frontier)

प्रयोग एक तीव्र, अनुभवजन्य रूप से मजबूत ट्रेड-ऑफ फ्रंटियर प्रकट करते हैं। कोई भी मॉडल उच्च कवरेज और निम्न उल्लंघन को एक साथ प्राप्त नहीं कर पाता है।

• व्यवस्थित परहेज (Systematic Abstention - Qwen2.5-3B): सबसे कम उल्लंघन दर ($E[v_{neg}] = 0.025$) प्राप्त करता है, जो कोहेरेंस-ओनली मेट्रिक्स के तहत "सर्वश्रेष्ठ" दिखता है। हालाँकि, इसका कमिटमेंट स्कोर $0.115$ है और कवरेज केवल 7.4% है, जो 92% से अधिक उदाहरणों पर भविष्यवाणियाँ देने से इनकार करता है।
• व्यवस्थित ओवरकमिटमेंट (Systematic Overcommitment - TinyLlama-1.1B): 79.4% कवरेज प्राप्त करता है, लेकिन 100% उदाहरणों पर संभाव्यता सिद्धांतों का उल्लंघन करता है ($E[v_{neg}] = 0.698$), जो विरोधाभासी परिणामों को $>1.6$ संभाव्यता द्रव्यमान आवंटित करता है।
• मध्यवर्ती मॉडल: Phi-2 और Qwen2.5-1.5B मध्यवर्ती स्थिति में हैं, जो परहेज और विरोधाभास के विभिन्न स्तर प्रदर्शित करते हैं।

2. मानक मूल्यांकन की विफलता

• सटीकता अंधापन (Accuracy Blindness): मानक 3-वे एक्यूरेसी स्कोर सभी मॉडलों में लगभग समान (0.343 से 0.441 तक) हैं, जो परहेज बनाम ओवरकमिटमेंट जैसे विपरीत विफलता मोड को छिपा देते हैं।
• कोहेरेंस-ओनली ट्रैप (Coherence-Only Trap): कोहेरेंस-ओनली मूल्यांकन Qwen2.5-3B को बेहतर मॉडल के रूप में रैंक करेगा (अगले सर्वश्रेष्ठ से 6.6 गुना कम उल्लंघन), जो गलत तरीके से एक ऐसे मॉडल को पुरस्कृत करता है जो लगभग कोई कार्रवाई योग्य तर्क प्रदान नहीं करता है।
• कैलिब्रेशन भ्रम (Calibration Illusion): केवल प्रतिबद्ध भविष्यवाणियों के छोटे उपसमूह पर भी, मॉडल खराब कैलिब्रेशन (उच्च Expected Calibration Error) दिखाते हैं। Qwen2.5-3B की स्पष्ट कैलिब्रेशन उसके आक्रामक फ़िल्टरिंग (केवल सबसे आसान 7% उदाहरणों का चयन) का एक आर्टिफैक्ट है।

3. स्केलिंग प्रभाव (Scaling Effects)

Qwen2.5 को 1.5B से 3B पैरामीटर्स तक स्केल करने से कमिटमेंट में 83% की कमी और कवरेज में 23.5-पॉइंट की गिरावट देखी गई, जबकि सटीकता में नगण्य परिवर्तन हुआ। बड़े मॉडल ने अधिक सटीक होने के बजाय हेजिंग (परहेज) करना सीख लिया, जो एक ऐसा व्यवहार है जिसे मानक मेट्रिक्स कोहेरेंस में सुधार के रूप में गलत समझ सकते हैं।

महत्व और दावे

पेपर का तर्क है कि तार्किक तर्क के मूल्यांकन को यह पूछने से हटकर कि "क्या मॉडल कोहेरेंट है?" इस पर स्थानांतरित होना चाहिए कि "क्या मॉडल उपयोगी रूप से कोहेरेंट (usefully coherent) है?"

1. वैक्यूअस कोहेरेंस एक ब्लाइंड स्पॉट है: मानक मेट्रिक्स एक ऐसे मॉडल और एक ऐसे मॉडल के बीच अंतर नहीं कर सकते जो सही तर्क देता है और एक ऐसे मॉडल के बीच जो बस उत्तर देने से मना कर देता है। CUC इसे गैर-वैक्यूअस कमिटमेंट की मांग करके उजागर करता है।
2. फ्रंटियर अपरिहार्य है: कोहेरेंस और कमिटमेंट के बीच एक मौलिक तनाव है। जो मॉडल एक आयाम के लिए अनुकूलित होते हैं, वे अक्सर दूसरे आयाम को कम कर देते हैं।
3. मोडालिटी तटस्थता (Modality Agnosticism): हालांकि इसे टेक्स्ट पर लागू किया गया है, यह ढांचा सैद्धांतिक रूप से मल्टीमॉडल सेटिंग्स (जैसे, VQA, रोबोटिक्स) के लिए भी लागू करने योग्य है जहाँ छवियों और टेक्स्ट पर पूरक प्रश्न पूछे जा सकते हैं।
4. पद्धतिगत आवश्यकता: लेखक दावा करते हैं कि उच्च-जोखिम वाले डिप्लॉयमेंट के लिए कोहेरेंस और कमिटमेंट दोनों की रिपोर्ट करना आवश्यक है, जहाँ परहेज (abstention) के वास्तविक परिचालन लागत होते हैं। CUC इस ट्रेड-ऑफ को मापने के लिए पहला सिद्धांत आधारित ढांचा प्रदान करता है और उन मॉडलों को तैनात करने से रोकता है जो केवल इसलिए "कोहेरेंट" हैं क्योंकि वे मौन हैं।

पेपर निष्कर्ष निकालता है कि CUC जैसे मेट्रिक्स के बिना, अभ्यासकर्ता ऐसे मॉडल तैनात करने का जोखिम उठाते हैं जो विश्वसनीय प्रतीत होते हैं लेकिन ज्ञान-गहन डोमेन में कार्यात्मक रूप से निष्क्रिय होते हैं।