💬 NLP

Geometry-Calibrated Conformal Abstention for Language Models

यह शोधपत्र ज्योमेट्री-कैलिब्रेटेड कॉन्फॉर्मल एब्स्टेंशन (Geometry-Calibrated Conformal Abstention) का प्रस्ताव देता है, जो एक पोस्ट-हॉक फ्रेमवर्क है जो प्रेडिक्शन कॉन्फिडेंस को कैलिब्रेट करने के लिए रिप्रेजेंटेशन ज्योमेट्री का लाभ उठाता है और भाषा मॉडलों को भागीदारी दरों और प्रतिक्रिया की शुद्धता दोनों पर परिमित-नमूना गारंटी (finite-sample guarantees) के साथ प्रश्नों का उत्तर देने से चुनिंदा रूप से बचने में सक्षम बनाता है, जिससे बिना पुन: प्रशिक्षण (retraining) के प्रभावी रूप से मतिभ्रम (hallucinations) को कम किया जा सकता है।

मूल लेखक: Rui Xu, Yi Chen, Sihong Xie, Hui Xiong

प्रकाशित 2026-05-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rui Xu, Yi Chen, Sihong Xie, Hui Xiong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपका एक बहुत ही बुद्धिमान, विद्वान मित्र है (एक लार्ज लैंग्वेज मॉडल) जिसे बातें करना पसंद है। कभी-कभी, वह आपके प्रश्न का उत्तर तुरंत जानता है। अन्य समय में, वह पूरी तरह से अनभिज्ञ होता है, लेकिन क्योंकि वह आपकी सहायता करने के लिए बहुत उत्सुक है, इसलिए वह यह स्वीकार करने के बजाय कि उसे नहीं पता, एक विश्वसनीय लगने वाली कहानी बना लेता है। इसे "हैलुसिनेशन" (hallucination) कहा जाता है।

यहाँ प्रस्तुत शोध पत्र आपको यह सिखाने का एक नया तरीका बताता है कि आपका यह मित्र कब "मुझे नहीं पता" कहना सीखे, और इसके लिए उसे अपने पूरे मस्तिष्क को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। वे इस प्रणाली को कॉन्फॉर्मल एब्स्टेंशन (Conformal Abstention - CA) कहते हैं।

यह कैसे काम करता है, इसे सरल अवधारणाओं और उपमाओं में यहाँ समझाया गया है:

1. समस्या: "अनुमान लगाने का खेल" (The Guessing Game)

वर्तमान में, यदि आप अपने AI मित्र से कोई ऐसा प्रश्न पूछते हैं जो उसे नहीं पता, तो उसे एक उत्तर देने का दबाव महसूस होता है। स्कूल में, यदि आप बहुविकल्पीय परीक्षा (multiple-choice test) में अनुमान लगाते हैं, तो हो सकता है कि आपकी किस्मत चमक जाए और आपको अंक मिल जाएं। यदि आप "मुझे नहीं पता" लिखते हैं, तो आपको शून्य मिलता है। इसलिए, AI सीखता है कि अज्ञानता स्वीकार करने की तुलना में अनुमान लगाना हमेशा बेहतर होता है। इससे आत्मविश्वास से भरे दिखने वाले झूठ पैदा होते हैं।

2. समाधान: "आत्मविश्वास की जाँच" (A Confidence Check)

लेखकों ने एक पोस्ट-हॉक (बाद में होने वाली) प्रणाली बनाई है जो AI के उत्तरों के दरवाजे पर एक सुरक्षा गार्ड की तरह कार्य करती है। AI का उत्तर आपको दिखाए जाने से पहले, यह गार्ड जाँच करता है: "क्या AI वास्तव में इस बारे में आश्वस्त और जानकार है, या वह केवल दिखावा कर रहा है?"

यदि AI दिखावा कर रहा है, तो गार्ड उत्तर को रोक देता है और कहता है, "मुझे नहीं पता।" यदि AI वास्तव में आश्वस्त है, तो उत्तर आगे बढ़ जाता है।

3. गुप्त मंत्र: "ज्यामितीय संकेत" (Geometry Signals)

गार्ड को कैसे पता चलता है कि AI दिखावा कर रहा है? वह केवल अंतिम शब्दों को नहीं देखता; वह AI के सोचने के दौरान उसके मस्तिष्क के भीतर देखता है।

AI के मस्तिष्क को एक कारखाने के रूप में सोचें जिसमें कई असेंबली लाइनें (परतें) हैं। एक उत्तर बनाने के लिए, AI सूचना के एक टुकड़े (एक "टोकन") को लाइन के नीचे ले जाता है।

ज्ञान का इंजेक्शन (MLP): कारखाने में एक विशिष्ट मशीन है जिसे MLP (Multi-Layer Perceptron) कहा जाता है। इसे एक पुस्तकालय (Library) के रूप में सोचें जहाँ AI अपने तथ्यों को संग्रहीत करता है।
ज्यामितीय जाँच (Geometry Check): नई प्रणाली इस बात पर नज़र रखती है कि सूचना के गुजरने के दौरान "लाइब्रेरी" मशीन उस सूचना को कैसे बदलती है। यह ज्यामिति (आकृतियों और कोणों) का उपयोग करके तीन चीजों को मापती है:
1. समीपता (Proximity - परिवर्तन कितना करीब है?): क्या लाइब्रेरी मशीन ने वास्तव में सूचना के साथ कुछ किया, या सूचना बिना किसी बदलाव के बस गुजर गई? यदि लाइब्रेरी ने उसे छुआ, तो यह एक अच्छा संकेत है।
2. घूर्णन (Rotation - क्या दिशा बदली?): क्या लाइब्रेरी ने सूचना को एक नई दिशा में घुमाया? यदि सूचना बेतहाशा घूमती है, तो इसका मतलब हो सकता है कि AI भ्रमित है। यदि यह सुचारू रूप से एक ज्ञात तथ्य की ओर घूमती है, तो यह अच्छा है।
3. संरेखण (Alignment - क्या यह सही पथ पर है?): कल्पना करें कि AI का सारा "अच्छा" ज्ञान एक विशिष्ट शंकु के आकार की सुरंग के भीतर रहता है। यदि सूचना इस सुरंग के भीतर रहती है, तो यह संभवतः एक सही, विश्वसनीय तथ्य है। यदि यह सुरंग के बाहर भटक जाती है, तो यह संभवतः एक भ्रम (hallucination) है।

उपमा:
कल्पive करें कि आप एक टूर गाइड से किसी शहर के बारे में पूछ रहे हैं।

अच्छा उत्तर: गाइड एक विशिष्ट लैंडमार्क की ओर इशारा करता है, अपने शरीर को उसकी ओर घुमाता है, और आत्मविश्वास से मुख्य सड़क पर चलता है (उच्च समीपता, अच्छा घूर्णन, और "पर्यटक पथ" के साथ संरेखित)।
खराब उत्तर (भ्रम): गाइड अपने हाथ हवा में लहराता है, गोल-गोल घूमता है, और एक ऐसे खेत की ओर इशारा करता है जिसका अस्तित्व ही नहीं है (कम समीपता, अराजक घूर्णन, "पर्यटक पथ" से बाहर भटकना)।

यह प्रणाली यह तय करने के लिए इन ज्यामितीय "बॉडी लैंग्वेज" संकेतों का उपयोग करती है कि उत्तर भरोसेमंद है या नहीं।

4. "गारंटी" (सुरक्षा जाल)

यह शोध पत्र कॉन्फॉर्मल प्रेडिक्शन (Conformal Prediction) नामक एक गणितीय विधि का उपयोग करता है। इसे एक सांख्यिकीय वादे के रूप में सोचें।

प्रणाली केवल अनुमान नहीं लगाती; यह एक सीमा (threshold) की गणना करती है। यह वादा करती है: "यदि हम केवल उन उत्तरों को जाने देते हैं जो हमारी ज्यामितीय जाँच पास करते हैं, तो हम गारंटी देते हैं कि आपके देखे गए 75% उत्तर सही होंगे।"

यह यह भी गारंटी देती है कि AI बहुत अधिक शर्मीला नहीं होगा। यह वादा करती है: "हम 'मुझे नहीं पता' इतनी बार नहीं कहेंगे कि हम 90% बार उत्तर देना ही बंद कर दें।" यह सुरक्षित होने और सहायक होने के बीच संतुलन बनाती है।

5. परिणाम

लेखकों ने छह अलग-अलग प्रकार के प्रश्नों (सरल तथ्यों से लेकर जटिल तर्क तक) पर परीक्षण किया। उन्होंने पाया कि उनकी ज्यामितीय "बॉडी लैंग्वेज" जाँच पिछले तरीकों की तुलना में झूठ पकड़ने में बहुत बेहतर थी।

पुराने तरीके यह जाँचने जैसे थे कि क्या AI आत्मविश्वास से भरा लगता है (जो कि झूठ बोलने वाले भी कर सकते हैं)।
उनका तरीका AI के आंतरिक "बॉडी लैंग्वेज" की जाँच करता है ताकि यह देखा जा सके कि क्या वह वास्तव में उत्तर जानता है।

संक्षेप में, यह शोध पत्र लार्ज लैंग्वेज मॉडल्स को उनके अपने आंतरिक ज्यामिति में निर्मित एक नया "झूठ पकड़ने वाला यंत्र" (lie detector) प्रदान करता है। यह उन्हें अनिश्चित होने पर अज्ञानता स्वीकार करने की अनुमति देता है, जिससे यह सुनिश्चित होता है कि जब वे बोलते हैं, तो उनके सच बोलने की संभावना बहुत अधिक होती है।

यहाँ शोध पत्र "Geometry-Calibrated Conformal Abstention for Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर अपनी ज्ञान संबंधी सीमाओं को पहचानने में विफल रहते हैं। जब वे अपने प्रशिक्षण वितरण (training distribution) या ज्ञान आधार से बाहर के प्रश्नों का सामना करते हैं, तो वे रुकने (abstain करने/यह कहने कि "मुझे नहीं पता") के बजाय विश्वसनीय लगने वाले लेकिन तथ्यात्मक रूप से गलत उत्तर (hallucinations) उत्पन्न करने की प्रवृत्ति रखते हैं।

प्रशिक्षण सीमाएँ: मॉडल को रुकने (abstention) के लिए पुरस्कृत करने हेतु पुन: प्रशिक्षित करना कठिन है क्योंकि ऐसे बेंचमार्कों की कमी है जो स्पष्ट रूप से अनुमान लगाने को दंडित करते हैं और अज्ञानता को पुरस्कृत करते हैं। इसके अलावा, ऐसे हस्तक्षेप ओवरफिटिंग या अत्यधिक रूढ़िवादी व्यवहार की ओर ले जा सकते हैं जहाँ मॉडल उत्तर देने से भी मना कर देते हैं भले ही उन्हें उत्तर ज्ञात हो।
मौजूदा पोस्ट-हॉक विधियाँ: पारंपरिक कॉन्फॉर्मल प्रेडिक्शन (Conformal Prediction - CP) अनिश्चितता के लिए परिमित-नमूना गारंटी (finite-sample guarantees) प्रदान करता है, लेकिन यह "नॉन-कन्फॉर्मिटी स्कोर" (non-conformity scores) पर निर्भर करता है। ओपन-एंडेड टेक्स्ट जनरेशन में, ग्राउंड-ट्रुथ स्कोर फंक्शन को परिभाषित करना कठिन है क्योंकि सही उत्तर अनंत अर्थपूर्ण समान रूपों में हो सकते हैं।
मुख्य प्रश्न: क्या LLMs को बिना पुन: प्रशिक्षित किए, एक पोस्ट-हॉक तंत्र (post-hoc mechanism) के माध्यम से विश्वसनीय रूप से अनिश्चित होने पर उत्तर देने से बचने के लिए सुसज्जित किया जा सकता है, जबकि शुद्धता पर सैद्धांतिक गारंटी भी प्रदान की जा सके?

2. कार्यप्रणाली: कॉन्फॉर्मल एब्स्टेंशन (Methodology: Conformal Abstention - CA)

लेखक कॉन्फॉर्मल एब्स्टेंशन (CA) का प्रस्ताव करते हैं, जो एक ढांचा है जो कॉन्फॉर्मल प्रेडिक्शन थ्योरी को एक नवीन रिप्रेजेंटेशन ज्योमेट्री-आधारित कैलिब्रेशन (representation geometry-based calibration) रणनीति के साथ जोड़ता है।

A. सैद्धांतिक ढांचा (Theoretical Framework - Conformal Abstention)

CA, नॉन-कन्फॉर्मिटी स्कोर के बजाय प्रेडिक्शन कॉन्फिडेंस (prediction confidence) पर ध्यान केंद्रित करके भाषा जनरेशन सेटिंग में CP को अनुकूलित करता है। यह दो परिमित-नमूना गारंटी स्थापित करता है:

भागीदारी गारंटी (Participation Guarantee): यह संभावना को सीमित करता है कि मॉडल उत्तर प्रदान करता है (रुकता नहीं है)।
सशर्त शुद्धता गारंटी (Conditional Correctness Guarantee): यह संभावना को सीमित करता है कि प्रदान किया गया उत्तर सही है, बशर्ते कि मॉडल ने भाग लेने का निर्णय लिया हो।

यह ढांचा एक अनिश्चितता स्कोर $r(\hat{y}|x)$ (जैसे, पर्प्लेक्सिटी) का उपयोग करता है। एक कैलिब्रेशन सेट के आधार पर एक थ्रेशोल्ड $\tau$ निर्धारित करके, यदि स्कोर $\tau$ से अधिक हो जाता है, तो मॉडल रुक जाता है। सैद्धांतिक प्रमाण (Theorem 3.1, Lemma 3.2) दर्शाते हैं कि यदि इनपुट-आउटपुट जोड़े विनिमेय (exchangeable) हैं, तो रिटेन किए गए उत्तरों की सशर्त शुद्धता उपयोगकर्ता द्वारा निर्दिष्ट विश्वास स्तर से नीचे सीमित होती है।

B. रिप्रेजेंटेशन ज्योमेट्री के माध्यम से कैलिब्रेशन

यह सुनिश्चित करने के लिए कि अनिश्चितता स्कोर मॉडल की आंतरिक स्थिति (ज्ञान बनाम अज्ञानता) को ईमानदारी से दर्शाता है, लेखक ट्रांसफार्मर परतों में टोकन रिप्रेजेंटेशन की ज्यामिति (geometry of token representations) पर आधारित एक कैलिब्रेशन रणनीति पेश करते हैं। उनका अनुमान है कि जब एक मॉडल आंतरिक ज्ञान का लाभ उठाता है, तो MLP (Multi-Layer Perceptron) अपडेट हिडन स्टेट्स में विशिष्ट ज्यामितीय रूपांतरण प्रेरित करते हैं।

वे अंतिम क्वेरी टोकन के एम्बेडिंग के प्रक्षेपवक्र (trajectory) से तीन ज्यामितीय संकेत निकालते हैं:

समीपता (Proximity - $\omega$ ): यह MLP अपडेट के योगदान को मापता है। यह प्री-MLP और पोस्ट-MLP एम्बेडिंग्स के बीच की दूरी की गणना करता है। कम दूरी (उच्च समीपता) इंगित करती है कि MLP ने सक्रिय रूप से प्रतिनिधित्व को आकार दिया है।
एम्बेडिंग रोटेशन (Embedding Rotation - $\theta$ ): यह MLP अपडेट द्वारा प्रेरित रोटेशन के कोण को मापता है। बड़े रोटेशन महत्वपूर्ण बदलाव का सुझाव देते हैं, जो अक्सर विशिष्ट ज्ञान प्राप्त करने से जुड़ा होता है।
संरेखण (Alignment - $\phi$ ): यह टोकन एम्बेडिंग और प्रमुख एनिसोट्रोपिक दिशा (dominant anisotropic direction) के बीच के कोण को मापता है। उच्च संरेखण बताता है कि मॉडल अपने सीखे हुए वितरण के भीतर कार्य कर रहा है; विचलन एक्सट्रपलेशन (अनिश्चितता) का सुझाव देता है।

सत्यापित परिकल्पनाएँ (Hypotheses Validated):

H1: सही भविष्यवाणियाँ मजबूत ज्ञान योगदान (उच्च $\omega$ ) से जुड़ी होती हैं जो महत्वपूर्ण रोटेशन (उच्च $\theta$ ) प्रेरित करती हैं।
H2: सही भविष्यवाणियाँ इन-डिस्ट्रीब्यूशन एनिसोट्रोपिक कोन (लो $\phi$ ) के साथ संरेखित रहती हैं, जबकि गलत भविष्यवाणियाँ विचलित हो जाती हैं।

C. कैलिब्रेशन पाइपलाइन

फीचर एक्सट्रैक्शन (Feature Extraction): प्रत्येक टोकन के लिए, मॉडल सभी परतों में ज्यामितीय संकेतों $(\Omega, \Theta, \Phi_{in}, \Phi_{out})$ को कैप्चर करने वाला एक फीचर वेक्टर कंप्यूट करता है।
दूरी गणना (Distance Calculation): सिस्टम इन फीचर्स की सही और गलत भविष्यवाणियों के वितरण से महलानोबिस दूरी (Mahalanobis distance) की गणना करता है।
कैलिब्रेटर ट्रेनिंग (Calibrator Training): एक XGBoost मॉडल को इन ज्यामितीय फीचर्स (कच्ची पर्प्लेक्सिटी के साथ मिलकर) को एक परिष्कृत अनिश्चितता स्कोर में मैप करने के लिए प्रशिक्षित किया जाता है।
निर्णय (Decision): अंतिम अनिश्चितता स्कोर यह निर्धारित करता है कि कॉन्फॉर्मल थ्रेशोल्ड के आधार पर रुकना है या नहीं।

3. मुख्य योगदान (Key Contributions)

कॉन्फॉर्मल एब्स्टेंशन फ्रेमवर्क: एक पोस्ट-हॉक विधि जो ओपन-एंडेड जनरेशन में भागीदारी दरों और सशर्त शुद्धता दोनों के लिए कठोर परिमित-नमूना गारंटी प्रदान करती है, जिससे नॉन-कन्फॉर्मिटी स्कोर की जटिलता से बचा जा सकता है।
ज्यामिति-आधारित कैलिब्रेशन: अनिश्चितता मात्रा निर्धारण (uncertainty quantification) के लिए एक नवीन दृष्टिकोण जो ट्रांसफार्मर परतों की आंतरिक ज्यामितीय गतिशीलता (MLP योगदान, रोटेशन और एनिसोट्रॉपी) का लाभ उठाता है ताकि आत्मविश्वास को वास्तविक शुद्धता के साथ बेहतर ढंग से संरेखित किया जा सके।
सैद्धांतिक गारंटी: प्रमाण दर्शाते हैं कि अनिश्चितता स्कोर प्राप्त करने के लिए उपयोग किए जाने वाले नियत (deterministic) रूपांतरणों के तहत विनिमेयता (exchangeability) संरक्षित रहती है, जो कॉन्फॉर्मल बाउंड्स की वैधता सुनिश्चित करती है।
व्यापक मूल्यांकन: छह विविध डेटासेट्स (NQ, TruthfulQA, GSM8K, आदि) और कई मॉडल आकारों (Gemma-3, LLaMA-3) पर व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम (Experimental Results)

प्रदर्शन: प्रस्तावित विधि सभी डेटासेट्स पर मजबूत बेसलाइन्स (पर्प्लेक्सिटी, सिमेंटिक एंट्रॉपी, अटेंशन-आधारित विधियों और वर्बलाइज्ड कॉन्फिडेंस सहित) से काफी बेहतर प्रदर्शन करती है।
सशर्त शुद्धता (Conditional Correctness): कॉन्फॉर्मल एब्स्टेंशन के तहत, विधि औसतन 75.0% की सशर्त शुद्धता प्राप्त करती है। इसका अर्थ है कि जब मॉडल उत्तर देने का निर्णय लेता है, तो वह 75% बार सही होता है, जो बेसलाइन्स की तुलना में एक महत्वपूर्ण सुधार है जो अक्सर 50-60% के आसपास रहते हैं।
मजबूती (Robustness): विधि विभिन्न भागीदारी दरों (10% से 90% तक के प्रश्नों के उत्तर) में उच्च प्रदर्शन बनाए रखती है।
एब्लेशन स्टडीज (Ablation Studies): ज्यामितीय संकेतों ( $\omega, \theta, \phi$ ) को बदलने से तुलनीय प्रदर्शन गिरावट आती है, जो यह दर्शाता है कि तीनों संकेत महत्वपूर्ण और पूरक हैं।
बेसलाइन कैलिब्रेशन: लेखक दिखाते हैं कि मौजूदा बेसलाइन्स पर उनके कैलिब्रेटर को लागू करने से अक्सर प्रदर्शन गिर जाता है (लो-डायमेंशनल सिग्नल्स पर ओवरफिटिंग के कारण), जबकि उनके हाई-डायमेंशनल ज्यामितीय फीचर्स कैलिब्रेशन से काफी लाभान्वित होते हैं।

5. महत्व (Significance)

यह कार्य LLM परिनियोजन (deployment) में एक महत्वपूर्ण विश्वसनीयता अंतराल को संबोधित करता है। मॉडल्स को चयनात्मक रूप से रुकने (selectively abstain) में सक्षम बनाकर, CA बिना महंगे पुन: प्रशिक्षण के, सैद्धांतिक गारंटी के साथ मतिभ्रम (hallucinations) के जोखिम को कम करता है, जो उच्च-दांव वाले डोमेन (स्वास्थ्य सेवा, कानून, विज्ञान) में महत्वपूर्ण है। "ज्ञान की भागीदारी" के प्रॉक्सी के रूप में रिप्रेजेंटेशन ज्योमेट्री का परिचय अनिश्चितता मात्रा निर्धारण के लिए एक नया प्रतिमान (paradigm) प्रदान करता है, जो सतही संभावनाओं से आगे बढ़कर यह देखता है कि मॉडल सूचना को कैसे प्रोसेस करता है। यह सिस्टम को अधिक भरोसेमंद और कार्रवाई योग्य बनाता है जहाँ गलत जानकारी देने के बजाय अज्ञानता स्वीकार करना बेहतर होता है।