🤖 machine learning

LLMs Uncertainty Quantification via Adaptive Conformal Semantic Entropy

यह लेख एडेप्टिव कॉन्फॉर्मल सिमेंटिक एंट्रॉपी (ACSE) प्रस्तावित करता है, जो एक नवीन विधि है जो विविध प्रतिक्रियाओं में सिमेंटिक डिस्पर्शन (अर्थ संबंधी फैलाव) को अनुकूल रूप से मापकर और वितरण संबंधी धारणाओं के बिना परिमित-नमूना त्रुटि गारंटी प्रदान करने के लिए कॉन्फॉर्मल कैलिब्रेशन लागू करके LLMs की अनिश्चितता को मात्रात्मक रूप से मापता है, जिससे यह सुरक्षा-महत्वपूर्ण अनुप्रयोगों में मौजूदा लेक्सिकल और प्रोबेबिलिस्टिक बेसलाइन विधियों से आगे निकल जाता है।

मूल लेखक: Hamed Karimi, Vaishali Meyappan, Reza Samavi

प्रकाशित 2026-05-07

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Hamed Karimi, Vaishali Meyappan, Reza Samavi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक बहुत ही आत्मविश्वासी, जानकार लाइब्रेरियन (AI) से एक प्रश्न पूछते हैं। लाइब्रेरियन पूरी निश्चितता के साथ उत्तर दे सकता है, भले ही वह पूरी तरह से गलत हो। यह "अति-आत्मविश्वास" (overconfidence) की समस्या है जिसे यह कार्य संबोधित करता है: लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर भ्रमित करते हैं (चीजें बना लेते हैं) और साथ ही साथ 100% निश्चित भी सुनाई देते हैं।

यह कार्य ACSE (Adaptive Conformal Semantic Entropy) नामक एक नया सुरक्षा तंत्र पेश करता है। ACSE को एक "रियलिटी चेक" तंत्र के रूप में समझें जो न केवल इस बात को सुनता है कि लाइब्रेरियन क्या कह रहा है, बल्कि यह भी जाँचता है कि क्या लाइब्रेरियन वास्तव में अपने उत्तर के अर्थ के बारे में कितना निश्चित है।

यह इस प्रकार काम करता है, जिसे सरल चरणों में विभाजित किया गया है:

1. समस्या: "सिनोनिम ट्रैप" (समानार्थी शब्द का जाल)

वर्तमान सुरक्षा जाँच अक्सर AI द्वारा चुने गए विशिष्ट शब्दों को देखती है। यदि AI 70% बार "द कैपिटल इज सिडनी" कहता है और 30% बार "द कैपिटल इज कैनबरा" कहता है, तो एक साधारण शब्द काउंटर सोच सकता है: "ओह, यह सिडनी के बारे में काफी आश्वस्त है!" और इसे हरी झंडी दे देता है।

लेकिन यहाँ एक पेंच है: AI गलत उत्तर (सिडनी) के बारे में आत्मविश्वासी हो सकता है जबकि वह सही उत्तर (कैनबरा) के बारे में अनिश्चित हो सकता है। या यह एक ही बात कहने वाले पांच अलग-अलग उत्तर दे सकता है (जैसे, "सिडनी", "सिड", "द बिग हार्बर सिटी")। एक साधारण शब्द काउंटर इन विविधताओं से भ्रमित हो जाता है और सोचता है कि AI अनिश्चित है, जबकि वह केवल अधिक बातें कर रहा होता है।

2. समाधान: "ग्रुप हग" पद्धति (सिमेंटिक क्लस्टरिंग)

ACSE खेल बदल देता है क्योंकि यह AI को एक ही प्रश्न का दस बार उत्तर देने के लिए कहता है।

चरण A: यह इन दस उत्तरों को लेता है और उन्हें "मीनिंग मैप्स" (एम्बेडिंग्स) में अनुवादित करता है।
चरण B: यह इन उत्तरों को उनके स्पेलिंग के बजाय उनके अर्थ के आधार पर "पड़ोसों" (नेबरहुड्स) में समूहित करता है।
- उदाहरण: यदि 9 उत्तर "सिडनी" कहते हैं और 1 "कैनबरा" कहता है, तो वे दो अलग-अलग पड़ोस बनाते हैं।
- उदाहरण: यदि 5 उत्तर "सिडनी" कहते हैं और 5 उत्तर "द कैपिटल इज सिडनी" कहते हैं, तो वे सभी एक ही पड़ोस में "गले मिलते" (हग) हैं क्योंकि उनका अर्थ एक ही है।

3. "ब्रिटलनेस" डिटेक्टर (एडैप्टिव इन्फ्लेशन)

यही इस कार्य का रहस्य है। सिर्फ इसलिए कि AI एक उत्तर (जैसे "सिडनी") पर सहमत है, इसका मतलब यह नहीं है कि वह उत्तर सुरक्षित है।

उपमा: कल्पना कीजिए कि लोगों का एक समूह एक दिशा पर सहमत है। यदि वे सभी एक तंग, ठोस घेरे में खड़े हैं, तो वह एक मजबूत सहमति है। लेकिन यदि वे एक दिशा पर सहमत होते हुए भी डगमगाती हुई जमीन पर खड़े हैं, तो वह एक भंगुर सहमति (brittle consensus) है।
ACSE इस "डगमगाहट" को देखता है। यह जाँचता है कि क्या "सिडनी" पर सहमत होने वाला समूह वास्तव में डगमगा रहा है (शायद उत्तर थोड़े अलग हैं या समूह बहुत छोटा है)।
यदि समूह "भंगुर" है, तो ACSE अनिश्चितता के मान को बढ़ा (इन्फ्लेट) देता है। यह अनिवार्य रूप से कहता है: "भले ही आप सभी सहमत हैं, लेकिन आपकी सहमति डगमगा रही है, इसलिए मैं इसे एक उच्च-जोखिम वाली स्थिति मानूँगा।"

4. "सेफ्टी नेट" (कॉन्फ़ॉर्मल कैलिब्रेशन)

अंत में, सिस्टम को यह पता होना चाहिए कि कब "मुझे नहीं पता" कहना है (परहेज करना) और कब उत्तर देना है।

लेखक एक "सेफ्टी नेट" का उपयोग करते हैं जिसे कॉन्फ़ॉर्मल प्रेडिक्शन कहा जाता है।
वे पहले सिस्टम का अभ्यास प्रश्नों के एक सेट पर परीक्षण करते हैं। वे एक "स्टॉपिंग थ्रेशोल्ड" (रोकने की सीमा) निर्धारित करते हैं।
नियम: यदि "डगमगाहट का मान" (अनिश्चितता) रेखा से नीचे है, तो AI उत्तर देता है। यदि यह ऊपर है, तो वह चुप रहता है।
गारंटी: यह कोई अनुमान नहीं है। गणित गारंटी देता है कि यदि आप सेफ्टी नेट को 90% त्रुटियों को पकड़ने के लिए सेट करते हैं, तो यह 90% त्रुटियों को कम से कम पकड़ेगा, चाहे AI कुछ भी करे। यह वादा करता है कि जो त्रुटियाँ आप वास्तव में देखते हैं, वे दुर्लभ होंगी।

परिणाम: यह क्यों महत्वपूर्ण है

इस कार्य का परीक्षण विभिन्न AI मॉडल्स और डेटासेट्स (जैसे क्विज़ प्रश्न) पर किया गया।

प्रतिस्पर्धा: पुराने तरीके (जैसे शब्द की संभावनाओं को गिनना) एक डगमगाते कंपास की तरह थे। वे अक्सर गलत उत्तरों को उच्च आत्मविश्वास दे देते थे।
विजेता: ACSE ने एक बुद्धिमान नाविक की तरह काम किया। एक क्विज़ टेस्ट में, इसने 88% बार गलत उत्तरों की सही पहचान की (AUROC 0.88), जबकि अगली सबसे अच्छी विधि केवल 80% तक ही पहुँच पाई।
सुरक्षा: इसने पिछले तरीकों की तुलना में उच्च-जोखिम वाली स्थितियों में AI को गलत उत्तर देने से बहुत अधिक सफलतापूर्वक रोका, बिना इतना अधिक सावधान हुए कि वह उत्तर देना ही बंद कर दे।

संक्षेप में

ACSE एक ऐसी प्रणाली है जो एक AI से एक प्रश्न के उत्तर कई बार देने को कहती है, उत्तरों को शब्दों के बजाय अर्थ के आधार पर समूहित करती है, यह जाँचती है कि क्या समूह ठोस या डगमगाती जमीन पर खड़ा है, और यह तय करने के लिए कि कब बोलना है और कब चुप रहना है, एक गणितीय रूप से सिद्ध सेफ्टी नेट का उपयोग करती है। यह सुनिश्चित करता है कि जब AI बोलता है, तो वह न केवल आत्मविश्वासी होता है बल्कि वास्तव में विश्वसनीय भी होता है।

तकनीकी सारांश: एडेप्टिव कॉन्फॉर्मल सिमेंटिक एंट्रॉपी (ACSE)

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) अक्सर अत्यधिक अति-आत्मविश्वास प्रदर्शित करते हैं, विशेष रूप से जब वे मतिभ्रम (hallucinations) उत्पन्न करते हैं, जो स्वास्थ्य सेवा, कानून और वैज्ञानिक अनुसंधान जैसे सुरक्षा-महत्वपूर्ण डोमेन में तैनाती के लिए महत्वपूर्ण जोखिम पैदा करता है। मौजूदा अनिश्चितता मात्रा निर्धारण (Uncertainty Quantification - UQ) विधियाँ मुख्य रूप से टोकन-स्तर के संकेतों, जैसे कि नेक्स्ट-टोकन एंट्रॉपी या सीक्वेंस लॉग-लाइकलीहुड पर निर्भर करती हैं। ये दृष्टिकोण सिमेंटिक विचरण (semantic variance) को पकड़ने में विफल रहते हैं; वे अक्सर उन आउटपुट्स के लिए उच्च आत्मविश्वास प्रदान करते हैं जो शाब्दिक रूप से विविध हैं लेकिन अर्थ संबंधी (semantically) रूप से असंगत या गलत हैं। इसके अलावा, नए सिमेंटिक-स्तरीय तरीके, जैसे कि सिमेंटिक एंट्रॉपी (SE), हार्ड क्लस्टरिंग पर निर्भर करते हैं, जो ओवरलैपिंग सिमेंटिक क्षेत्रों को अनदेखा करके अस्थिर अनुमानों का कारण बन सकते हैं। अन्य कॉन्फॉर्मल दृष्टिकोण, हालांकि सांख्यिकीय गारंटी प्रदान करते हैं, अक्सर अनिश्चितता को एक स्केलर सिग्नल के रूप में देखते हैं, जिससे वे "फॉल्स-कंसेंसस" (false-consensus) के जाल के प्रति संवेदनशील हो जाते हैं जहाँ शाब्दिक रूप से सुसंगत लेकिन तथ्यात्मक रूप से गलत क्लस्टर कॉन्फिडेंस थ्रेशोल्ड को पूरा कर लेते हैं।

कार्यप्रणाली
यह शोध पत्र एडेप्टिव कॉन्फॉर्मल सिमेंटिक एंट्रॉपी (ACSE) का प्रस्ताव करता है, जो LLM आउटपुट्स में सिमेंटिक डिस्पर्शन (अर्थ संबंधी फैलाव) को मापकर प्रॉम्प्ट-स्तरीय अनिश्चितता का अनुमान लगाने के लिए एक मॉडल-अज्ञेय (model-agnostic) फ्रेमवर्क है। कार्यप्रणाली तीन मुख्य चरणों में चलती है:

सिमेंटिक एम्बेडिंग और सॉफ्ट क्लस्टरिंग:
एक दिए गए प्रॉम्प्ट के लिए, मॉडल न्यूक्लियस सैंपलिंग का उपयोग करके $n$ विविध प्रतिक्रियाएँ उत्पन्न करता है। इन प्रतिक्रियाओं को एक सेंटेंस एनकोडर का उपयोग करके एक निरंतर सिमेंटिक वेक्टर स्पेस में एम्बेड किया जाता है। हार्ड क्लस्टरिंग के बजाय, ACSE सिमेंटिक समूहों को बनाने के लिए कोसाइन-आधारित दूरी के साथ हाइरार्किकल एग्लोमेरेटिव क्लस्टरिंग (HAC) का उपयोग करता है, जिसके बाद सॉफ्ट क्लस्टर असाइनमेंट आता है। यह अनुमति देता है कि प्रतिक्रियाएं संभाव्यता के आधार पर कई क्लस्टरों से संबंधित हों, जिससे सिमेंटिक अस्पष्टता के संकेतों को संरक्षित किया जा सके। एक आधारभूत अनिश्चितता मान, $u(x)$ , परिणामी क्लस्टर वितरण की नॉर्मलाइज्ड एंट्रॉपी से प्राप्त किया जाता है।
एडेप्टिव अनिश्चितता इन्फ्लेशन (अनिश्चितता का विस्तार):
क्लस्टर्स की संरचनात्मक नाजुकता (जैसे, प्रमुख क्लस्टर्स के लिए कमजोर समर्थन या उच्च आंतरिक विविधता) को संबोधित करने के लिए, ACSE एक समायोजित अनिश्चितता मान, $\hat{u}(x)$ पेश करता है। यह मान पांच प्रॉम्प्ट-स्तरीय मजबूती विशेषताओं (robustness features) के आधार पर बेस सिमेंटिक एंट्रॉपी को बढ़ाता है:

सिमेंटिक एंट्रॉपी: मल्टीमोडैलिटी को मापता है।
सेंट्रॉइड डिस्टेंस: प्रमुख प्रतिक्रिया के ज्यामितीय समर्थन का मूल्यांकन करता है।
डोमिनेंट क्लस्टर डिस्पर्शन: आंतरिक सामंजस्य को मापता है।
डोमिनेंट क्लस्टर साइज: कुछ नमूनों द्वारा समर्थित नाजुक सर्वसम्मति को दंडित करता है।
डिस्टेंस टू थ्रेशोल्ड: कम अनिश्चितता वाले शासन में अनुचित आत्मविश्वास को दबाता है।
इन विशेषताओं को एक "फ्रैजिलिटी मेजर" $B(x)$ में एकत्रित किया जाता है, जो एक इन्फ्लेशन फैक्टर $\lambda(x)$ को स्केल करता है। अंतिम मान $\hat{u}(x)$ एक बाउंडेड, मोनोटोनिक ट्रांसफॉर्मेशन है जो अनिश्चितता को बढ़ाता है जब क्लस्टर संरचनाएं जोखिम का संकेत देती हैं।

कॉन्फॉर्मल कैलिब्रेशन:
समायोजित मानों को एक होल्ड-आउट सेट के प्रॉम्प्ट्स पर कॉन्फॉर्मल प्रेडिक्शन (CP) का उपयोग करके कैलिब्रेट किया जाता है। यह एक निर्णय नियम स्थापित करता है जिसमें परिमित-नमूना (finite-sample), डिस्ट्रीब्यूशन-फ्री गारंटी होती है। सिस्टम दो कार्य करता है:

प्रॉम्प्ट-स्तरीय निर्णय: यह निर्धारित करता है कि एक प्रतिक्रिया को उपयोगकर्ता द्वारा निर्दिष्ट टॉलरेंस $\alpha$ के भीतर त्रुटि दर को बनाए रखते हुए स्वीकार किया जाए या अस्वीकार किया जाए।
रिस्पॉन्स-लेवल प्रेडिक्शन सेट्स: ऐसे सैंपल किए गए रिस्पॉन्स का एक सेट बनाता है जो कॉन्फॉर्मल कवरेज को संतुष्ट करता है, जो अर्थपूर्ण रूप से प्रतिनिधि और कॉन्फॉर्मल आउटपुट्स की पहचान करके उपयोगकर्ता के निर्णय लेने में सहायता करता है।

मुख्य योगदान

ACSE फ्रेमवर्क: अर्थ के फैलाव को पकड़ने के लिए टोकन-स्तरीय संकेतों से आगे बढ़कर, अर्थ के स्तर पर एंट्रॉपी-आधारित अनिश्चितता का अनुमान लगाने की एक नवीन विधि।
एडेप्टिव इन्फ्लेशन मैकेनिज्म: एक समायोजित अनिश्चितता मान जो क्लस्टर मजबूती विशेषताओं का लाभ उठाकर सिमेंटिक अनिश्चितता को अनुकूल रूप से बढ़ाता है, स्पष्ट रूप से सिमेंटिक रूप से अस्पष्ट प्रतिक्रियाओं को दंडित करता है, और मतिभ्रम (hallucinations) को कम करता है।
कॉन्फॉर्मल गारंटी: एक पोस्ट-हॉक कैलिब्रेशन चरण जो प्रॉम्प्ट-स्तरीय रिजेक्शन और रिस्पॉन्स-लेवल प्रेडिक्शन सेट्स दोनों के लिए थ्रेशोल्ड सीखता है, जो त्रुटि दरों के लिए औपचारिक गारंटी प्रदान करता है।
अनुभवजन्य सत्यापन (Empirical Validation): स्टेट-ऑफ-द-आर्ट बेसलाइन्स की तुलना में बेहतर भेदभाव और कैलिब्रेशन प्रदर्शित करने वाले व्यापक प्रयोग।

प्रायोगिक परिणाम
लेखकों ने विभिन्न LLM आर्किटेक्चर (Mistral-7B, LLaMA-2, Falcon, Qwen) का उपयोग करके पांच बेंचमार्क (TriviaQA, CoQA, Natural Questions, TruthfulQA, और MMLU) पर ACSE का मूल्यांकन किया।

मतिभ्रम का पता लगाना (Hallucination Detection): ACSE ने भेदभाव मेट्रिक्स में लगातार बेसलाइन्स को पछाड़ दिया। TriviaQA डेटासेट पर, ACSE ने 0.88 का AUROC प्राप्त किया, जो टोकन एंट्रॉपी बेसलाइन (0.65) और कॉन्फॉर्मल एब्स्टेंशन पॉलिसी (CAP) (0.80) से काफी अधिक है।
सुरक्षा मेट्रिक्स: ACSE ने उच्च रिकॉल थ्रेशोल्ड पर कम फॉल्स पॉजिटिव रेट (FPR) प्रदर्शित किया। उदाहरण के लिए, Falcon-7B के साथ, ACSE ने FPR@95 को 0.48 (CAP) से घटाकर 0.31 कर दिया, जो स्वीकृत मतिभ्रम में 35.4% की सापेक्ष कमी के बराबर है।
कॉन्फॉर्मल गारंटी: ACSE उपयोगकर्ता द्वारा निर्दिष्ट कवरेज स्तरों ( $\alpha$ ) का कड़ाई से पालन करता है जबकि प्रतिस्पर्धी तरीकों की तुलना में उच्च स्वीकृति दर बनाए रखता है। $\alpha=0.10$ पर, ACSE ने 75.8% की स्वीकृति दर प्राप्त की, जबकि CAP की दर 65.4% थी, साथ ही छोटे औसत प्रेडिक्शन सेट आकार (1.07 बनाम 1.32) और बेहतर कैलिब्रेशन स्थिरता (SSCV) भी देखी गई।
अनिश्चितता मात्रा निर्धारण: दृश्य विश्लेषण ने पुष्टि की कि ACSE सही उत्तरों को मतिभ्रम से प्रभावी ढंग से अलग करता है, मतिभ्रम को उच्च अनिश्चितता प्रदान करता है भले ही बेसलाइन तरीकों (जैसे SE या Token Entropy) ने उच्च आत्मविश्वास दिखाया हो।

महत्व
यह शोध पत्र तर्क देता है कि ACSE मौजूदा UQ विधियों की विशिष्ट विफलता मोड को संबोधित करके—जैसे कि सतही शाब्दिक भिन्नता और वास्तविक सिमेंटिक अस्पष्टता के बीच अंतर करने में असमर्थता, और फॉल्स-कंसेंसस के जाल के प्रति संवेदनशीलता—सुरक्षा-महत्वपूर्ण डोमेन में LLMs के विश्वसनीय परिनियोजन के लिए एक मजबूत समाधान प्रदान करता है। सिमेंटिक डिस्पेंशन विश्लेषण को एडेप्टिव इन्फ्लेशन और कॉन्फॉर्मल गारंटी के साथ जोड़कर, ACSE मतिभ्रम का पता लगाने और मॉडल रिट्रेनिंग की आवश्यकता के बिना त्रुटि दर को नियंत्रित करने के लिए एक सांख्यिकीय रूप से कठोर तंत्र प्रदान करता है। लेखक मानते हैं कि सैंपलिंग और पोस्ट-प्रोसेसिंग से उत्पन्न होने वाली कम्प्यूटेशनल लागत उन उच्च-जोखिम वाले अनुप्रयोगों में उचित है जहाँ मॉडल की विश्वसनीयता सर्वोपरि है।