💬 NLP

Disentangling Ambiguity from Instability in Large Language Models: A Clinical Text-to-SQL Case Study

यह शोध पत्र CLUES प्रस्तुत करता है, जो क्लिनिकल Text-to-SQL में इनपुट अस्पष्टता को मॉडल अस्थिरता से अलग करने के लिए सिमेंटिक अनिश्चितता को विशिष्ट स्कोर में विभाजित करता है, जिससे मौजूदा विधियों की तुलना में लक्षित हस्तक्षेपों और अधिक कुशल त्रुटि ट्राइएज (error triage) को सक्षम बनाया जा सके।

मूल लेखक: Angelo Ziletti, Leonardo D'Ambrosi

प्रकाशित 2026-07-09

📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Angelo Ziletti, Leonardo D'Ambrosi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक सुपर-स्मार्ट AI सहायक का उपयोग करके एक रहस्य को सुलझाने की कोशिश कर रहे हैं। आप उससे मेडिकल रिकॉर्ड्स के एक विशाल पुस्तकालय के बारे में एक सवाल पूछते हैं, जैसे, "18 वर्ष से ऊपर के कितने मरीज एटोपिक डर्मेटाइटिस (atopic dermatitis) से पीड़ित हैं?" AI एक SQL क्वेरी (एक विशेष भाषा जिसका उपयोग डेटाबेस से पूछने के लिए किया जाता है) और एक उत्तर के साथ वापस आ सकता है। लेकिन यहाँ एक पेंच है: कभी-कभी AI गलत हो जाता है, और कभी-कभी यह दो बहुत अलग कारणों से गलत होता है।

यह शोध पत्र एक नया जासूसी उपकरण पेश करता है जिसे CLUES कहा जाता है। इसका मुख्य काम यह पता लगाना है कि AI क्यों भ्रमित है। क्या सवाल खुद एक पहेली है जिसके कई अर्थ हैं (Ambiguity/अस्पष्टता)? या AI बस एक बुरा दिन बिता रहा है और अस्थिर व्यवहार कर रहा है (Instability/अस्थिरता)?

भ्रम के दो प्रकार

AI के मस्तिष्क को एक रसोईघर के रूप में सोचें।

1. अस्पष्टता की समस्या (The Riddle/पहेली)
कल्पना कीजिए कि आप शेफ से कहते हैं, "मेरे लिए एक सैंडविच बनाओ।"

व्याख्या A: "बिना मेयोनेज़ के एक टर्की सैंडविच बनाओ।"
व्याख्या B: "एक्स्ट्रा चीज़ के साथ एक हैम सैंडविच बनाओ।"
यदि शेफ दोनों बनाता है और आपको दो अलग-अलग सैंडविच मिलते हैं, तो यह Ambiguity (अस्पष्टता) है। समस्या शेफ के खाना बनाने के कौशल में नहीं थी; समस्या यह थी कि आपका ऑर्डर अस्पष्ट था। मेडिकल दुनिया में, "18 वर्ष से ऊपर कितने मरीज?" पूछना पेचीदा है। क्या "18 से ऊपर" का अर्थ है उनकी आयु अभी, या उनकी आयु जब उन्हें पहली बार निदान (diagnosed) किया गया था? यदि AI गलत अर्थ चुन लेता है, तो वह गलत उत्तर देता है। यह शोध पत्र सुझाव देता है कि जब ऐसा होता है, तो इंसान से पूछना चाहिए, "हे, क्या आपका मतलब वर्तमान आयु से था या निदान के समय की आयु से?"

2. अस्थिरता की समस्या (The Jittery Chef/घबराहट वाला शेफ)
अब, कल्पना कीजिए कि आप शेफ को एक बिल्कुल स्पष्ट आदेश देते हैं: "बिना मेयोनेज़ के एक टर्की सैंडविच बनाओ।"

प्रयास 1: एक बेहतरीन टर्की सैंडविच।
प्रयास 2: एक जला हुआ टर्की सैंडविच।
प्रयास 3: मेयोनेज़ के साथ एक टर्की सैंडविच (ओहops!)।
यहाँ, आदेश एकदम सही था, लेकिन शेफ अस्थिर व्यवहार कर रहा है। यह Instability (अस्थिरता) है। AI अपने स्वयं के आंतरिक नियमों को लेकर भ्रमित है या बस उसमें कोई तकनीकी खराबी (glitch) आ गई है। शोध पत्र सुझाव देता है कि जब ऐसा होता है, तो आपको इंसान से स्पष्टीकरण नहीं मांगना चाहिए; बल्कि आपको उत्तर को मानव द्वारा दोबारा जांचने या AI के प्रशिक्षण को ठीक करने के लिए फ्लैग (flag) करना चाहिए।

पुराना तरीका बनाम CLUES का तरीका

इस शोध पत्र से पहले, शोधकर्ता AI के उत्तरों के कितने "बिखरे हुए" होने को मापने के लिए एक एकल स्कोर (जिसे Kernel Language Entropy या KLE कहा जाता है) का उपयोग करते थे।

पुराना तरीका: यदि AI पांच अलग-अलग उत्तर देता है, तो स्कोर बढ़ जाता है। लेकिन पुराना स्कोर यह नहीं बता पाता था कि क्यों? क्या यह इसलिए था क्योंकि सवाल एक पहेली थी, या इसलिए कि AI में खराबी थी? यह एक धुएं के अलार्म की तरह था जो बिना यह बताए चिल्लाता है कि "आग लगी है!" कि आग असली है या सिर्फ जला हुआ टोस्ट।
शोध पत्र का तर्क: लेखक स्पष्ट रूप से केवल एक स्कोर का उपयोग करने के विरुद्ध तर्क देते हैं। वे कहते हैं कि आपको भ्रम के दोनों प्रकारों को अलग करना अनिवार्य है ताकि आप जान सकें कि आगे क्या करना है।

CLUES कैसे काम करता है: जादुई ग्राफ

लेखकों ने एक ढांचा बनाया जिसे CLUES (Conditional Language Uncertainty via Entropy and Schur) कहा जाता है। वे AI की सोचने की प्रक्रिया को दो चरणों वाले शो के रूप में देखते हैं:

चरण 1 (व्याख्या): AI अनुमान लगाता है कि प्रश्न के क्या अर्थ हो सकते हैं। यह प्रश्न के कुछ अलग-अलग संस्करण लिखता है।
चरण 2 (उत्तर): प्रश्न के प्रत्येक संस्करण के लिए, AI कई बार उत्तर देने का प्रयास करता है।

मापन के लिए, वे एक विशाल मानचित्र (एक "बाइपार्टाइट सिमेंटिक ग्राफ") खींचते हैं।

मानचित्र के एक तरफ प्रश्न (व्याख्याएँ) हैं।
दूसरी तरफ उत्तर हैं।
वे उन्हें रेखाओं से जोड़ते हैं। यदि दो प्रश्न समान हैं, तो रेखा मोटी होती है। यदि दो उत्तर समान हैं, तो रेखा मोटी होती है।

फिर, वे एक फैंसी गणितीय ट्रिक—Schur complement (कल्पना करें कि यह एक गणितीय फिल्टर है जो "प्रश्न के भ्रम" को "कुल भ्रम" से घटा देता है)—का उपयोग करते हैं।

परिणाम: उन्हें दो अलग-अलग संख्याएँ मिलती हैं:
- $H_I$ (Ambiguity Score): प्रश्न एक-दूसरे से कितने भिन्न हैं।
- $H_{R|I}$ (Instability Score): प्रश्न को स्थिर रखने के बाद भी उत्तर कितने भिन्न हैं।

संख्याएँ क्या कहती हैं

टीम ने दो प्रकार की पहेलियों पर परीक्षण किया:

सामान्य सामान्य ज्ञान (General Trivia): उन्होंने AmbigQA से 300 और SituatedQA से 300 प्रश्न लिए।
- उन्होंने पाया कि नया Instability Score ( $H_{R|I}$ ) पुराने एकल स्कोर की तुलना में AI की विफलता की भविष्यवाणी करने में बहुत बेहतर था।
- उदाहरण के लिए, KimiK2 मॉडल पर, पुराने स्कोर ने 0.663 की सटीकता (AUROC) के साथ विफलता की भविष्यवाणी की, जबकि नया CLUES स्कोर उछलकर 0.770 हो गया।
- उन्होंने यह भी देखा कि यदि वे केवल स्कोर को घटाने की कोशिश करते (एक "नाइव" विधि), तो यह बुरी तरह विफल हो जाता, जिससे 37% से 60% बार ऋणात्मक संख्याएँ आतीं। इससे सिद्ध हुआ कि उनका जटिल गणितीय तरीका आवश्यक था।
मेडिकल रिकॉर्ड्स (असली मामला): उन्होंने इसे 2,180 प्रश्नों वाले क्लिनिकल Text-to-SQL डेटासेट पर परखा।
- यहाँ, नया स्कोर और भी बेहतर था। पुराने स्कोर की सटीकता 0.600 थी, जबकि CLUES ने 0.762 हासिल किया।
- उन्होंने पाया कि "Instability" स्कोर यह पहचानने में विशेष रूप से सक्षम था कि AI कब केवल अस्थिर व्यवहार कर रहा है।

"रेजीम" (Regime) रणनीति: अव्यवस्था को छाँटना

शोध पत्र प्रत्येक प्रश्न को दो स्कोर के आधार पर चार "रेजीम" में वर्गीकृत करने का सुझाव देता है:

रेजीम I (Confident/आत्मविश्वासी): कम अस्पष्टता (Ambiguity), कम अस्थिरता (Instability)। -> इसे स्वचालित रूप से उत्तर दें।
रेजीम II (Ambiguity/अस्पष्टता): उच्च अस्पष्टता, कम अस्थिरता। -> स्पष्टीकरण के लिए इंसान से पूछें।
रेजीम III (Instability/अस्थिरता): कम अस्पष्टता, उच्च अस्थिरता। -> मानव समीक्षा के लिए फ्लैग करें।
रेजीम IV (Compound/मिश्रित): उच्च अस्पष्टता, उच्च अस्थिरता। -> दोनों करें!

यह वर्गीकरण दक्षता के लिए गेम-चेंजर है। उनके परिनियोजन (deployment) परीक्षण में, उन्होंने पाया कि रेजीम IV (अव्यवस्थित, उच्च-जोखिम वाला क्षेत्र) में सभी त्रुटियों का 51% हिस्सा था, भले ही इसमें कुल प्रश्नों का केवल 25% हिस्सा था।

निष्कर्ष: यदि आप केवल उस अव्यवस्थित 25% को मानव द्वारा जांचने के लिए भेजते हैं, तो आप आधी गलतियों को पकड़ लेते हैं! यह रैंडम प्रश्नों की तुलना में दोगुना कुशल है।

वे कितने सुनिश्चित हैं?

लेखक अपने परिणामों को लेकर काफी आश्वस्त हैं, लेकिन वे इस बात को लेकर भी सावधान हैं कि वे अपने निष्कर्षों को बहुत अधिक बढ़ा-चढ़ाकर पेश न करें।

उन्होंने विशिष्ट डेटासेट्स (AmbigQA, SituatedQA, और उनके क्लिनिकल बेंचमार्क) पर अनुभवजन्य साक्ष्य के माध्यम से अपने ढांचे की प्रभावशीलता को सिद्ध और सत्यापित किया है, न कि केवल समीकरणों के पीछे के गणितीय सिद्धांत के माध्यम से।
उन्होंने वास्तविक दुनिया जैसे परिवेश में सुधार को मापा है, जिससे पता चलता है कि नया स्कोर विफलताओं को पहचानने में लगातार बेहतर है।
हालाँकि, वे स्वीकार करते हैं कि एक वास्तविक दुनिया के परिनियोजन में जहाँ त्रुटियाँ दुर्लभ हैं (उनके परीक्षण में केवल लगभग 4.4% प्रश्न गलत थे), सिस्टम अभी पूरी तरह से परफेक्ट नहीं है। यह "ट्राइएज" (छँटाई) के लिए एक बेहतरीन उपकरण है, लेकिन यह हर समस्या को स्वचालित रूप से हल नहीं करता है।
वे यह भी नोट करते हैं कि एक सीमा यह है: सिस्टम को पहले कई व्याख्याएँ उत्पन्न करने की आवश्यकता होती है, जिसमें अधिक कंप्यूटर शक्ति खर्च होती है। यदि व्याख्याएँ उत्पन्न करने वाला AI खराब है, तो पूरा सिस्टम भ्रमित हो सकता है।

मुख्य निष्कर्ष (The Bottom Line)

यह शोध पत्र यह दावा नहीं करता है कि उसने AI अनिश्चितता को "हल" कर दिया है। इसके बजाय, यह सुझाव देता है कि दो-चरणीय प्रक्रिया और एक विशेष गणितीय फिल्टर (Schur complement) का उपयोग करके, हम अंततः एक भ्रमित प्रश्न और एक ग्लिच वाले AI के बीच अंतर कर सकते हैं। यह हमें अनुमान लगाने के बजाय सही कार्रवाई करने की अनुमति देता है: जब प्रश्न अस्पष्ट हो तो मदद मांगना, या जब AI अजीब व्यवहार कर रहा हो तो उसके काम की जाँच करना। यह AI डॉक्टरों और शोधकर्ताओं को सुरक्षित और अधिक विश्वसनीय बनाने की दिशा में एक कदम है।

तकनीकी सारांश: लार्ज लैंग्वेज मॉडल्स में अस्पष्टता (Ambiguity) और अस्थिरता (Instability) को अलग करना

समस्या विवरण (Problem Statement)

क्लिनिकल Text-to-SQL अनुप्रयोगों के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) को तैनात करना एक महत्वपूर्ण बाधा का सामना करता है: सिंटैक्टिक रूप से सही लेकिन अर्थ संबंधी रूप से त्रुटिपूर्ण (semantically erroneous) क्वेरी उत्पन्न करने का जोखिम। एक प्राथमिक चुनौती लेटेंट एम्बिग्युटी (latent ambiguity) है, जहाँ इनपुट क्वेरी में अंतर्निहित अनिश्चितताएं (जैसे, "18 वर्ष से अधिक आयु के रोगी" का अर्थ निदान के समय की आयु बनाम वर्तमान आयु हो सकता है) होती हैं जो परिणामों को महत्वपूर्ण रूप से बदल देती हैं लेकिन उपयोगकर्ता को स्पष्ट नहीं होती हैं।

वर्तमान अनिश्चितता मात्रा निर्धारण विधियाँ, जैसे कि कर्नल लैंग्वेज एंट्रॉपी (KLE), आउटपुट विविधता को मापने के लिए एक एकल स्कोर प्रदान करती हैं। हालाँकि, यह दृष्टिकोण दो मौलिक रूप से भिन्न स्रोतों से उत्पन्न अनिश्चितता को मिला देता है:

इनपुट एम्बिग्युटी (Aleatoric-like): उपयोगकर्ता की क्वेरी की अंतर्निहित अस्पष्टता से उत्पन्न विविधता, जो वैध रूप से कई व्याख्याओं को जन्म देती है।
मॉडल इंस्टेबिलिटी (Epistemic-like): एक स्पष्ट व्याख्या को प्रोसेस करते समय मॉडल की आंतरिक विसंगति या ज्ञान की कमी से उत्पन्न विविधता।

यह मिश्रण प्रभावी सिस्टम परिनियोजन (deployment) में बाधा डालता है। उच्च अस्पष्टता (high ambiguity) उपयोगकर्ता के साथ स्पष्टीकरण संवाद (clarification dialogue) को ट्रिगर करना चाहिए, जबकि उच्च अस्थिरता (high instability) को मानव समीक्षा के लिए फ्लैग किया जाना चाहिए। मौजूदा विधियाँ इन दोनों व्यवस्थाओं (regimes) के बीच अंतर नहीं कर सकती हैं, जिससे लक्षित हस्तक्षेप (targeted interventions) करना असंभव हो जाता है।

कार्यप्रणाली: CLUES फ्रेमवर्क

लेखक CLUES (Conditional Language Uncertainty via Entropy and Schur) प्रस्तावित करते हैं, जो अर्थ संबंधी अनिश्चितता को विघटित करने के लिए Text-to-SQL को दो-चरणीय जनरेटिव प्रक्रिया के रूप में मॉडल करता है।

1. दो-चरणीय जनरेटिव प्रक्रिया (Two-Stage Generative Process)

सिस्टम को इस प्रकार औपचारिक रूप दिया गया है:

व्याख्या चरण (Interpretation Stage): सिस्टम मूल क्वेरी के संभावित पाठों का प्रतिनिधित्व करने वाले $N$ विशिष्ट अर्थ संबंधी व्याख्याएँ ( $I = \{I_1, ..., I_N\}$ ) उत्पन्न करता है।
जेनरेशन चरण (Generation Stage): प्रत्येक व्याख्या $I_n$ के लिए, सिस्टम $M$ कैंडिडेट SQL क्वेरी और संबंधित उत्तर ( $R_n = \{R_{n,1}, ..., R_{n,M}\}$ ) उत्पन्न करता है।
यह संरचना एक द्विपक्षीय संबंध (bipartite relationship) बनाती है जहाँ व्याख्याओं के बीच की विविधता अस्पष्टता का प्रतिनिधित्व करती है, और एक ही व्याख्या के भीतर की विविधता अस्थिरता का प्रतिनिधित्व करती है।

2. द्विपक्षीय अर्थ संबंधी ग्राफ निर्माण (Bipartite Semantic Graph Construction)

संपूर्ण सिस्टम के लिए एक भारित एडजेसेंसी मैट्रिक्स $W$ बनाने के लिए एक समानता फलन $k(\cdot, \cdot)$ का उपयोग किया जाता है, जो एक द्विपक्षीय ग्राफ के रूप में संरचित है:
$W = \begin{pmatrix} W_{II} & W_{IR} \\ W_{RI} & W_{RR} \end{pmatrix}$

$W_{II}$ : व्याख्याओं के बीच अर्थ संबंधी समानता को एनकोड करता है।
$W_{RR}$ : सभी उत्पन्न उत्तरों के बीच अर्थ संबंधी समानता को एनकोड करता है।
$W_{IR}/W_{RI}$ : उत्तरों को उनके मूल व्याख्याओं से जोड़ने वाले बाइनरी असाइनमेंट मैट्रिसेस हैं।

हीट डिफ्यूजन कर्नल ( $K_\tau = e^{-\tau L}$ ) को इन समानताओं को स्मूथ करने के लिए लागू किया जाता है, जहाँ $\tau$ क्लस्टरिंग की सूक्ष्मता (granularity) को नियंत्रित करता है।

3. शूर कॉम्प्लीमेंट के माध्यम से विघटन (Decomposition via Schur Complement)

मुख्य नवाचार कुल अनिश्चितता को एक एम्बिग्युटी स्कोर ( $H_I$ ) और एक इंस्टेबिलिटी स्कोर ( $H_{R|I}$ ) में विघटित करना है।

एम्बिग्युटी ( $H_I$ ): इसे KLE फ्रेमवर्क का उपयोग करके व्याख्या मैट्रिक्स $W_{II}$ की एंट्रॉपी के रूप में गणना की जाती है।
इंस्टेबिलिटी ( $H_{R|I}$ ): इसे व्याख्याओं के सापेक्ष परिणामों की कंडीशनल एंट्रॉपी के रूप में परिभाषित किया गया है। लेखक सरल घटाव दृष्टिकोण ( $H_{R,I} - H_I$ ) को खारिज करते हैं क्योंकि यह हीट-कर्नल डेंसिटी मैट्रिसेस के लिए वॉन न्यूमैन एंट्रॉपी के चेन रूल का उल्लंघन करता है और अक्सर ऋणात्मक मान देता है।
शूर कॉम्प्लीमेंट समाधान (Schur Complement Solution): घटाव के बजाय, फ्रेमवर्क सीधे कंडीशनल समानता संरचना की गणना करता है:
$S = W_{RR} - W_{RI}(W_{II} + \epsilon I)^{-1}W_{IR}$
मैट्रिक्स $S$ उन उत्तरों के अवशेष (residual) समानता संरचना को दर्शाता है जिन्हें व्याख्या संरचना द्वारा समझाया नहीं जा सकता है। $S$ की एंट्रॉपी $H_{R|I}$ प्रदान करती है। यह दृष्टिकोण गैर-ऋणात्मक स्कोर सुनिश्चित करता है और गणितीय रूप से सिस्टम की आंतरिक विसंगति को अलग करता है।

4. अनिश्चितता व्यवस्था (Uncertainty Regimes)

फ्रेमवर्क $H_I$ और $H_{R|I}$ के थ्रेशोल्ड के आधार पर चार परिचालन व्यवस्थाओं (operational regimes) को परिभाषित करता है:

रेजीम I (कॉन्फिडेंट): कम अस्पष्टता, कम अस्थिरता $\rightarrow$ ऑटो-आंसर।
रेजीम II (एम्बिग्युटी): उच्च अस्पष्टता, कम अस्थिरता $\rightarrow$ स्पष्टीकरण संवाद ट्रिगर करें।
रेजीम III (इंस्टेबिलिटी): कम अस्पष्टता, उच्च अस्थिरता $\rightarrow$ मानव समीक्षा के लिए फ्लैग करें।
रेजीम IV (कंपाउंड): उच्च अस्पष्टता, उच्च अस्थिरता $\rightarrow$ स्पष्टीकरण + समीक्षा।

मुख्य योगदान (Key Contributions)

CLUES फ्रेमवर्क: द्विपक्षीय अर्थ संबंधी ग्राफ के शूर कॉम्प्लीमेंट का उपयोग करके अर्थ संबंधी अनिश्चितता को एम्बिग्युटी और कंडीशनल इंस्टेबिलिटी में विघटित करने की एक मॉडल-अज्ञेय (model-agnostic) विधि।
क्लिनिकल डेटासेट और प्रक्रिया: महामारी विज्ञान के प्रश्नों के लिए एक व्याख्या-जेनरेशन प्रक्रिया और एक क्लिनिकल Text-to-SQL बेंचमार्क जिसमें ज्ञात क्वेरीज़ के लिए कई वैध व्याख्याएं शामिल हैं।
अनुभवजन्य सत्यापन (Empirical Validation): साक्ष्य जो प्रदर्शित करते हैं कि $H_{R|I}$ , विफलताओं के पूर्वानुमान में स्टेट-ऑफ-द-आर्ट KLE ( $H_R$ ) से बेहतर प्रदर्शन करता है और रेजीम-आधारित रूटिंग के माध्यम से प्रभावी त्रुटि ट्राइएज (error triage) को सक्षम बनाता है।

प्रयोगात्मक परिणाम (Experimental Results)

ओपन-डोमेन QA (AmbigQA और SituatedQA)

गोल्ड-स्टैंडर्ड व्याख्याओं का उपयोग करते हुए, पाँच फ्रंटियर LLMs पर CLUES का मूल्यांकन किया गया।

विफलता पूर्वानुमान (Failure Prediction): इंस्टेबिलिटी स्कोर $H_{R|I}$ ने विफलताओं की भविष्यवाणी करने में लगातार बेसलाइन $H_R$ से बेहतर प्रदर्शन किया (पूल किए गए डेटा पर AUROC सुधार +0.074 से +0.077)।
रेजीम भेदभाव (Regime Discrimination): उच्च आउटपुट विविधता (उच्च $H_R$ ) वाली क्वेरीज़ में से, जिनका निम्न इंस्टेबिलिटी ( $H_{R|I}$ ) था, उनकी सटीकता उच्च इंस्टेबिलिटी वाली क्वेरीज़ की तुलना में काफी अधिक थी। उदाहरण के लिए, SituatedQA में, सटीकता 46.8% (रेजीम A) से गिरकर 13.3% (रेजीम B) हो गई, जो एक सांख्यिकीय रूप से महत्वपूर्ण अंतर (ऑड्स रेशियो ~5.7) है।
नाइव घटाव की विफलता (Naive Subtraction Failure): सरल घटाव दृष्टिकोण ( $\tilde{H}_{R|I}$ ) ने 37-60% मामलों में ऋणात्मक मान दिए और लगभग चांस (chance) के स्तर पर प्रदर्शन किया, जो शूर कॉम्प्लीमेंट की आवश्यकता को प्रमाणित करता है।

क्लिनिकल Text-to-SQL (ज्ञात व्याख्याएं)

EHRSQL और EpiAskKB से प्राप्त 2,180 क्वेरी-मॉडल इंस्टेंस के डेटासेट पर मूल्यांकन किया गया।

प्रदर्शन: $H_{R|I}$ ने 0.762 का पूल किया गया AUROC प्राप्त किया, जबकि $H_R$ का स्कोर 0.600 था (p < $10^{-10}$ )।
मजबूती (Robustness): इंस्टेबिलिटी स्कोर विभिन्न हीट कर्नल मापदंडों ( $\tau \in [2, 20]$ ) में स्थिर रहा, जबकि बेसलाइन $H_R$ उच्च $\tau$ पर काफी खराब प्रदर्शन करता है।
तापमान संवेदनशीलता (Temperature Sensitivity): मध्यम सैंपलिंग तापमान (T=1.0–1.5) सबसे मजबूत इंस्टेबिलिटी सिग्नल देते हैं, जो बताता है कि उच्च विविधता अंतर्निहित मॉडल अस्थिरता को उजागर करती है।

परिनियोजन सेटिंग (जनरेट की गई व्याख्याएं)

एक प्रोडक्शन-जैसे परिवेश में जहाँ व्याख्याएं ऑन-द-फ्लाई (on-the-fly) उत्पन्न की जाती हैं (गोल्ड लेबल के बिना):

सटीकता: मॉडल्स ने उच्च सटीकता (84–100%) प्राप्त की, जिससे त्रुटियां विरल (sparse) रहीं (4.4% त्रुटि दर)।
रेजीम दक्षता: हालांकि सिंगल-स्कोर AUROC में $H_R$ और $H_{R|I}$ के बीच महत्वपूर्ण अंतर नहीं था, लेकिन रेजीम विश्लेषण मूल्यवान साबित हुआ। रेजीम IV (उच्च अस्पष्टता + उच्च अस्थिरता) में सभी त्रुटियों का 51% शामिल था, जबकि इसने केवल 25% क्वेरीज़ को कवर किया।
रूटिंग: एक रणनीति जो केवल रेजीम IV को मानव समीक्षा के लिए भेजती है, वह रैंडम चयन की तुलना में दोगुना दक्षता प्रदान करते हुए, सभी विफलताओं के आधे हिस्से को पकड़ सकती है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि CLUES एक डायग्नोस्टिक डिकंपोजिशन प्रदान करता है जो सिंगल-स्कोर मेट्रिक्स से उपलब्ध नहीं है। इनपुट एम्बिग्युटी और मॉडल इंस्टेबिलिटी के बीच अंतर करके, फ्रेमवर्क लक्षित हस्तक्षेपों को सक्षम बनाता है:

उच्च-एम्बिग्युटी क्वेरीज़ के लिए स्पष्टीकरण (Clarification)।
उच्च-इंस्टेबिलिटी क्वेरीज़ के लिए मानव समीक्षा (Human Review)।

लेखक जोर देते हैं कि क्लिनिकल EHR एक्सेस जैसे सुरक्षा-महत्वपूर्ण डोमेन में यह अंतर ऑपरेशनल रूप से महत्वपूर्ण है, जहाँ "तर्कसंगत लेकिन गलत" परिणाम महत्वपूर्ण जोखिम पैदा करते हैं। CLUES को मॉडल-अज्ञेय बनाया गया है, जिसके लिए केवल आउटपुट सैंपलिंग की आवश्यकता होती है, और यह अनिश्चितता के लिए एक सिद्धांत आधारित गणितीय दृष्टिकोण प्रदान करता है जो नाइव एंट्रॉपी घटाव की खामियों से बचता है।

लेखक सीमाओं को भी स्वीकार करते हैं, जिनमें प्रति क्वेरी कई LLM कॉल्स की कम्प्यूटेशनल लागत और उत्पन्न व्याख्याओं की गुणवत्ता पर निर्भरता शामिल है। वे यह भी स्वीकार करते हैं कि उच्च-सटीकता वाले परिनियोजन सेटिंग्स में, विरल त्रुटि दर सूक्ष्म अनिश्चितता संकेतों की विभेदक शक्ति को सीमित करती है, हालांकि रेजीम-आधारित रूटिंग अभी भी रैंडम चयन की तुलना में दक्षता लाभ प्रदान करती है।