Knowing When Not to Answer: Abstention-Aware Scientific Reasoning

यहाँ शोध पत्र "Knowing When Not to Answer: Abstention-Aware Scientific Reasoning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वैज्ञानिक दावों को सत्यापित करने और बायोमेडिकल प्रश्नों के उत्तर देने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग तेजी से बढ़ रहा है। हालाँकि, वर्तमान मूल्यांकन प्रतिमान (evaluation paradigms) यह मान लेते हैं कि मॉडल्स को हमेशा एक निश्चित उत्तर देना ही चाहिए (अनकंडीशनल एक्यूरेसी)। वैज्ञानिक संदर्भों में, यह समस्याग्रस्त है क्योंकि:

• त्रुटि का नुकसान (Harm of Error): एक गलत निष्कर्ष (जैसे, एक अप्रभावी उपचार का समर्थन करना) निष्कर्ष न देने की तुलना में अधिक हानिकारक होता है।
• साक्ष्य की सीमाएँ (Evidence Limitations): वैज्ञानिक तर्क में अक्सर अपूर्ण, संदिग्ध या कमजोर साक्ष्य शामिल होते हैं, फिर भी मानक मेट्रिक्स मॉडल्स को अनुमान लगाने (guess करने) के लिए प्रेरित करते हैं बजाय इसके कि वे रुक जाएँ (abstain करें)।
• मूल्यांकन अंतराल (Evaluation Gap): मौजूदा बेंचमार्क (जैसे SciFact और PubMedQA) विशेष रूप से सटीकता (accuracy) पर ध्यान केंद्रित करते हैं, जिससे मॉडल की उस क्षमता छिप जाती है कि वह कब यह पहचान सके कि साक्ष्य अपर्याप्त हैं।

यह शोध पत्र तर्क देता है कि वैज्ञानिक तर्क में प्राथमिक चुनौती "सर्वश्रेष्ठ" मॉडल का चयन करना नहीं है, बल्कि यह निर्धारित करना है कि उपलब्ध साक्ष्य उत्तर देने के लिए पर्याप्त हैं या नहीं।

2. कार्यप्रणाली (Methodology)

लेखक एक एब्स्टेंशन-अवेयर वेरिफिकेशन फ्रेमवर्क (Abstention-Aware Verification Framework) प्रस्तावित करते हैं जो तर्क को ऑडिट योग्य चरणों में विभाजित करता है और स्पष्ट रूप से 'रुकने' (abstain करने) के विकल्प को मॉडल करता है। यह पाइपलाइन पाँच प्रमुख चरणों से मिलकर बनी है:

A. समस्या का निरूपण (Selective Classification)

इस कार्य को सिलेक्टिव क्लासिफिकेशन (Selective Classification) के रूप में फ्रेम किया गया है, जहाँ आउटपुट स्पेस को $\mathcal{Y}$ से बढ़ाकर $\mathcal{Y} \cup \{\perp\}$ कर दिया गया है (जहाँ $\perp$ का अर्थ है 'रुक जाना' या 'उत्तर न देना')। लक्ष्य एक नियंत्रित कवरेज (Coverage) बाधा (पूछे गए प्रश्नों का अंश) के अधीन सिलेक्टिव रिस्क (Selective Risk) (पूछे गए प्रश्नों पर त्रुटि दर) को कम करना है।

B. स्थिति का विखंडन (Condition Decomposition)

एक दावे या प्रश्न को एक अखंड इकाई के रूप में मानने के बजाय, इनपुट $x$ को एक जेनेरेटिव LLM द्वारा $k$ न्यूनतम, परमाणु स्थितियों (atomic conditions) के सेट $C = \{c_1, \dots, c_k\}$ में विभाजित किया जाता है।

• प्रत्येक स्थिति एक आवश्यक तथ्यात्मक आवश्यकता का प्रतिनिधित्व करती है।
• स्थितियों को क्रिटिकल (Critical) ($\beta_i=1$) या गैर-क्रिटिकल के रूप में चिह्नित किया जाता है। कम से कम एक क्रिटिकल स्थिति का होना अनिवार्य है।
• यह चरण जटिल तर्क को स्वतंत्र उप-समस्याओं में बदल देता है।

C. NLI के माध्यम से साक्ष्य ऑडिटिंग (Evidence Auditing via NLI)

प्रत्येक स्थिति $c_i$ का एक पूर्व-प्रशिक्षित नेचुरल लैंग्वेज इन्फरेंस (NLI) मॉडल (DeBERTa-आधारित क्रॉस-एनकोडर) का उपयोग करके साक्ष्य सेट $E$ के विरुद्ध ऑडिट किया जाता है।

• NLI मॉडल एंटेलमेंट ($s_{ent}$) और कॉन्ट्राडिक्शन ($s_{con}$) के लिए संभावनाएँ (probabilities) की गणना करता है।
• ऑडिट स्टेटस ($a_i$): थ्रेशोल्ड के आधार पर निर्धारित किया जाता है:
  • CON (Contradiction): यदि $s_{con} \ge \theta_{con}$।
  • SUP (Support): यदि $s_{ent} \ge \theta_{ent}$ और कोई विरोधाभास (contradiction) न हो।
  • MIS (Missing): अन्यथा (इसे साक्ष्य की कमी माना जाता है, न कि कमजोर समर्थन)।
• असममितता (Asymmetry): विज्ञान में 'फॉल्स पॉजिटिव' की उच्च लागत को देखते हुए, कॉन्ट्रैडिक्शन (विरोधाभास) को सपोर्ट (समर्थन) पर प्राथमिकता दी जाती है।

D. एसिमेट्रिक लॉस के तहत निर्णय एकत्रीकरण (Decision Aggregation under Asymmetric Loss)

एक नियतात्मक फलन (deterministic function) $h$ ऑडिट परिणामों को एक अंतिम निर्णय में एकत्रित करता है, जो एक एसिमेट्रिक लॉस स्ट्रक्चर ($\ell_{fs} > \ell_{fr} > \ell_{\perp} = 0$) द्वारा शासित होता है, जहाँ 'फॉल्स सपोर्ट' (गलत समर्थन) का खर्च 'फॉल्स रिफ्यूटेशन' (गलत खंडन) से अधिक होता है।

• दावा सत्यापन (SciFact):
  • Refutes (खंडन करता है): यदि कोई भी क्रिटिकल स्थिति बाधित (contradicted) होती है।
  • Supports (समर्थन करता है): यदि सभी क्रिटिकल स्थितियाँ समर्थित (supported) होती हैं।
  • NEI (Not Enough Info - पर्याप्त जानकारी नहीं): अन्यथा।
• प्रश्न उत्तर (PubMedQA):
  • No (नहीं): यदि कोई भी क्रिटिकल स्थिति बाधित होती है।
  • Yes (हाँ): यदि कम से कम एक क्रिटिकल स्थिति समर्थित है (और कोई बाधित नहीं है)।
  • Maybe (शायद): अन्यथा।

E. कॉन्फिडेंस एस्टीमेशन और एब्स्टेंशन (Confidence Estimation and Abstention)

एक कॉन्फिडेंस स्कोर ऑडिट मार्जिन से प्राप्त किया जाता है:
$$conf(x, E) = \max_{c_i \in C_{crit}} |s_{ent}^i - s_{con}^i|$$
यदि $conf(x, E) < \tau$ है, तो सिस्टम रुक जाता है (abstain करता है), जहाँ $\tau$ एक ट्यून करने योग्य थ्रेशोल्ड है। यह बिना पुनः प्रशिक्षण (retraining) के पोस्ट-हॉक नियंत्रण (post-hoc control) की अनुमति देता है।

F. मूल्यांकन प्रोटोकॉल (Evaluation Protocol)

प्रदर्शन को रिस्क-कवरेज कर्व्स (Risk-Coverage Curves) और एरिया अंडर द रिस्क-कवरेज कर्व (AURC) के माध्यम से मापा जाता है।

• Risk (जोखिम): गैर-अब्स्टेन किए गए भविष्यवाणियों के बीच त्रुटि दर।
• Coverage (कवरेज): उत्तर दिए गए उदाहरणों का अंश।
• कम AURC, कवरेज स्तरों पर बेहतर विश्वसनीयता का संकेत देता है।

3. मुख्य योगदान (Key Contributions)

1. एब्स्टेंशन-अवेयर पाइपलाइन: एक अभिनव ढांचा जो वैज्ञानिक इनपुट को विभाजित करता है, NLI के माध्यम से स्थितियों का ऑडिट करता है, और साक्ष्य की पर्याप्तता के आधार पर चयनात्मक भविष्यवाणी सक्षम करता है।
2. व्यवस्थित अनुभवजन्य अध्ययन: छह विविध मॉडल्स (एन्कोडर-डिकोडर, ओपन-वेट, प्रोप्राइटरी API) पर SciFact और PubMedQA के माध्यम से मूल्यांकन, जो यह दर्शाता है कि एब्स्टेंशन के माध्यम से जोखिम नियंत्रण विश्वसनीयता का एक प्रमुख कारक है, जो अक्सर आर्किटेक्चरल अंतरों से अधिक महत्वपूर्ण होता है।
3. एकीकृत मूल्यांकन ढांचा: वैज्ञानिक तर्क के लिए रिस्क-कवरेज विश्लेषण की शुरुआत, जो यह तर्क देता है कि मॉडल को क्या उत्तर देना चाहिए, इसके बजाय यह मूल्यांकन करना अधिक महत्वपूर्ण है कि उसे कब उत्तर नहीं देना चाहिए।

4. प्रयोगात्मक परिणाम (Experimental Results)

अध्ययन में Flan-T5, Llama-3.3, Mistral, DeepSeek, GPT-4o-mini, और GPT-5.2 सहित मॉडल्स का मूल्यांकन किया गया।

• सटीकता में सीमित अलगाव (Limited Separation in Accuracy): अनकंडीशनल मेट्रिक्स के तहत (हर क्वेरी के लिए उत्तर देने के लिए मजबूर करना), रॉ एक्यूरेसी और F1 स्कोर बहुत करीब थे (जैसे, SciFact एक्यूरेसी ~0.39–0.40)। बड़े या प्रोप्राइटरी मॉडल्स छोटे मॉडल्स की तुलना में महत्वपूर्ण रूप से बेहतर प्रदर्शन नहीं कर पाए।
• सिलेक्टिव रिस्क में महत्वपूर्ण लाभ: जब एब्स्टेंशन सक्षम किया गया:
  • जोखिम में कमी: सभी मॉडल्स ने कवरेज घटने के साथ त्रुटि दरों में भारी गिरावट दिखाई (जैसे, मध्यम कवरेज पर जोखिम आधा हो गया)।
  • मॉडल अगनोस्टिसिज्म (Model Agnosticism): एब्स्टेंशन का व्यवहार आर्किटेक्चर की तुलना में विश्वसनीयता का अधिक सटीक संकेतक था। एक छोटा मॉडल जिसमें सख्त एब्स्टेंशन था, अक्सर एक बड़े मॉडल से बेहतर प्रदर्शन करता था जिसे सब कुछ उत्तर देने के लिए मजबूर किया गया था।
  • इंस्ट्रक्शन ट्यूनिंग: इंस्ट्रक्शन-ट्यून मॉडल्स (जैसे Flan-T5) ने अधिक रूढ़िवादी (conservative) निर्णय लेने की प्रवृत्ति दिखाई, जिससे समान कवरेज स्तरों पर कम जोखिम प्राप्त हुआ।
• एब्लेशन स्टडीज (Ablation Studies):
  • No Decomposition (विखंडन के बिना): इससे जल्दी और अधिक रूढ़िवादी एब्स्टेंशन हुआ, लेकिन नैदानिक सूक्ष्मता (diagnostic granularity) खो गई।
  • No Audit (ऑडिट के बिना): इसके परिणामस्वरूप "डिजेनरेट" उच्च एक्यूरेसी मिली (आसान ह्यूरिस्टिक्स के कारण), लेकिन कॉन्फिडेंस और शुद्धता के बीच शून्य सहसंबंध था, जो सिद्ध करता है कि साक्ष्य ऑडिटिंग आवश्यक है।
  • No Abstention (एब्स्टेंशन के बिना): इसके परिणामस्वरूप उच्चतम जोखिम हुआ, जो पुष्टि करता है कि एब्स्टेंशन ही त्रुटि नियंत्रण का प्राथमिक तंत्र है।

5. महत्व और निहितार्थ (Significance and Implications)

• प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र मूल्यांकन मेट्रिक को "क्या मॉडल सही उत्तर दे सकता है?" से बदलकर "क्या मॉडल पहचान सकता है कि उसे कब उत्तर नहीं देना चाहिए?" करने की वकालत करता है।
• विज्ञान में सुरक्षा (Safety in Science): एसिमेट्रिक लॉस और एब्स्टेंशन के माध्यम से फॉल्स पॉजिटिव (गलत समर्थन) को कम करने को प्राथमिकता देकर, यह ढांचा वैज्ञानिक और चिकित्सा क्षेत्रों की उच्च-जोखिम वाली प्रकृति के अनुरूप है।
• व्यावहारिक उपयोगिता: यह ढांचा विश्वसनीयता का आकलन करने के लिए एक मॉडल-अग्नोस्टिक लेंस प्रदान करता है। यह सुझाव देता है कि वैज्ञानिक वर्कफ़्लो में, "सर्वश्रेष्ठ" सिस्टम वह नहीं है जो सबसे सटीक है, बल्कि वह है जो उपलब्ध साक्ष्य के अनुसार अपने आत्मविश्वास (confidence) को सबसे बेहतर तरीके से कैलिब्रेट करता है।
• भविष्य की दिशाएं: लेखक मल्टीमॉडल डेटा, डोमेन-विशिष्ट वेरीफायर और उन बेंचमार्क तक विस्तार करने का सुझाव देते हैं जो कैलिब्रेटेड एब्स्टेंशन को स्पष्ट रूप से पुरस्कृत करते हैं।

संक्षेप में, यह शोध पत्र प्रदर्शित करता है कि सिद्धांतिक एब्स्टेंशन (principled abstention) ही LLMs के साथ विश्वसनीय वैज्ञानिक तर्क की कुंजी है, जो महत्वपूर्ण क्षेत्रों में मतिभ्रम (hallucination) और अति-आत्मविश्वास के जोखिमों को कम करने के लिए एक मजबूत तरीका प्रदान करता है।