LLM Doesn't Know What It Doesn't Know: Detecting Epistemic Blind Spots via Cross-Model Attribution Divergence on Clinical Tabular Data
यह शोध पत्र प्रदर्शित करता है कि लार्ज लैंग्वेज मॉडल्स (LLMs) क्लिनिकल टैबुलर डेटा पर वास्तविक एपिस्टेमिक आत्म-जागरूकता (epistemic self-awareness) की कमी रखते हैं, क्योंकि उनका मौखिक आत्मविश्वास सूचनात्मक नहीं है और उनकी सटीकता कार्य की कठिनाई के व्युत्क्रमानुपाती है, लेकिन यह प्रस्तावित करता है कि क्रॉस-मॉडल एट्रिब्यूशन डाइवर्जेंस विश्लेषण को फ्यू-शॉट प्रॉम्प्टिंग और फीचर एविडेंस के साथ संयोजित करने से इन ब्लाइंड स्पॉट्स का प्रभावी ढंग से पता लगाया जा सकता है और बिना रिट्रेनिंग के सटीकता एवं कैलिब्रेशन दोनों में महत्वपूर्ण सुधार किया जा सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रोज़मर्रा के उदाहरणों का उपयोग करके शोध पत्र (paper) की व्याख्या दी गई है।
मुख्य विचार: "अति-आत्मविश्वासी इंटर्न" (The Overconfident Intern)
कल्पना कीजिए कि आपने एक प्रतिभाशाली मेडिकल छात्र (LLM) को काम पर रखा है जिसने दुनिया की हर मेडिकल किताब पढ़ रखी है, लेकिन उसने कभी वास्तव में किसी अस्पताल में काम नहीं किया है। आपके पास एक अनुभवी, डेटा-आधारित नर्स (XGBoost मॉडल) भी है, जिसने वर्षों तक मरीजों के महत्वपूर्ण संकेतों (vitals) को ट्रैक किया है और वह ठीक से जानती है कि कौन से नंबर एक विशिष्ट बीमारी (एक्यूट किडनी इंजरी) की भविष्यवाणी करते हैं।
शोधकर्ताओं ने एक सरल प्रश्न पूछा: क्या मेडिकल छात्र को पता है कि वह कब अनुमान लगा रहा है?
उन्होंने पाया कि छात्र खतरनाक रूप से अति-आत्मविश्वासी है। चाहे वह कितना भी गलत क्यों न हो, वह कहता है, "मुझे 90% यकीन है!" शोध पत्र इसे "एपिस्टेमिक ब्लाइंड स्पॉट्स" (Epistemic Blind Spots) कहता है—छात्र को यह नहीं पता कि उसे क्या नहीं पता है।
प्रयोग: सवाल पूछने के चार तरीके
शोधकर्ताओं ने 300 मरीज रिकॉर्ड्स पर मेडिकल छात्र (Qwen 2.5 नामक मॉडल का उपयोग करके) का परीक्षण किया। उन्होंने निदान (diagnosis) के लिए पूछने के चार अलग-अलग तरीके आजमाए:
- खाली स्लेट (Zero-Shot): केवल मरीज का डेटा देना और पूछना, "क्या उन्हें किडनी की चोट है?"
- परिणाम: छात्र ने रैंडम अंदाज़ में अनुमान लगाया (49% सटीकता) लेकिन फिर भी 85% आत्मविश्वास जताया।
- चीट शीट (Zero-Shot + SHAP): छात्र को डेटा देने के साथ-साथ उन शीर्ष 5 नंबरों की सूची देना जिन्हें नर्स महत्वपूर्ण मानती है।
- परिणाम: छात्र ने अभी भी खराब प्रदर्शन किया (52% सटीकता) और फिर भी 85% आत्मविश्वास जताया। उन्होंने सही नंबरों को देखा लेकिन वे समझ नहीं पाए कि उनका उपयोग कैसे करना है।
- उदाहरण (Few-Shot): छात्र को डेटा के साथ पिछले मरीजों के कुछ उदाहरण देना जिनका सही निदान पता था।
- परिणाम: छात्र बहुत बेहतर हुआ (68% सटीकता) और 93% आत्मविश्वास जताया।
- सुपर कॉम्बो (Few-Shot + SHAP): छात्र को उदाहरण और नर्स की महत्वपूर्ण नंबरों की सूची, दोनों देना।
- परिणाम: छात्र बहुत अच्छा हो गया (75% सटीकता) और 93% आत्मविश्वास जताया।
चार बड़ी खोजें
1. "टूटा हुआ थर्मामीटर" (आत्मविश्वास बेकार है)
सबसे चौंकाने वाली खोज यह है कि छात्र का "कॉन्फिडेंस स्कोर" एक टूटे हुए थर्मामीटर की तरह है।
- उपमा: कल्पना कीजिए कि एक थर्मामीटर हमेशा "98.6°F" ही दिखाता है, चाहे आप स्वस्थ हों या आपको 104°F बुखार हो।
- वास्तविकता: चाहे छात्र का उत्तर सही हो या गलत, आसान हो या कठिन, उसने हमेशा लगभग 85% से 93% तक का आत्मविश्वास जताया। उनका आत्मविश्वास पूरी तरह से इस बात पर निर्भर था कि सवाल कैसे लिखा गया था, न कि इस पर कि उत्तर कितना अच्छा था। यह आपको यह नहीं बताता कि भविष्यवाणी सही है या नहीं।
2. "विपरीत कठिनाई" प्रभाव (वे वहां विफल होते हैं जहां विशेषज्ञ निश्चित होता है)
शोधकर्ताओं ने एक अजीब पैटर्न देखा:
- जब नर्स 99% सुनिश्चित थी (क्योंकि डेटा बहुत स्पष्ट और विशिष्ट था), तो छात्र केवल 65% सही था।
- जब नर्स अनिश्चित थी (क्योंकि डेटा अस्पष्ट था), तो छात्र ने नर्स के बराबर ही प्रदर्शन किया (लगभग 74% सही)।
- उपमा: छात्र सामान्य चिकित्सा सिद्धांत में अच्छा है लेकिन इस विशिष्ट अस्पताल के विशिष्ट, अजीब पैटर्न में खराब है। छात्र तब चमकता है जब डेटा धुंधला होता है और सामान्य ज्ञान काम आता है, लेकिन वह तब विफल हो जाता है जब डेटा के लिए विशिष्ट, सीखे हुए पैटर्न की आवश्यकता होती है।
3. "जादुई संयोजन" (1 + 1 = 3)
शोधकर्ताओं ने पाया कि छात्र को उदाहरण देना (Few-Shot) और नर्स की महत्वपूर्ण नंबरों की सूची देना (SHAP), इन दोनों को मिलाकर देने से उनके अलग-अलग प्रभाव के योग से कहीं अधिक बेहतर परिणाम मिले।
- उपमा: कल्पना कीजिए कि आप कार चलाना सीख रहे हैं।
- केवल उदाहरण किसी को कार चलाते हुए देखने जैसा है। आप लक्ष्य को समझते हैं लेकिन यह नहीं जानते कि कौन से पेडल दबाने हैं।
- केवल सूची किसी के द्वारा पेडल की ओर इशारा करने और कहने जैसा है "इसे दबाएं।" आप जानते हैं कि किसे छूना है लेकिन यह नहीं कि क्यों या कब।
- साथ मिलकर, आप अंततः पूरी कार को समझ जाते हैं। शोधकर्ताओं ने पाया कि इन दोनों तरीकों को मिलाने से छात्र की तर्क क्षमता में सुधार केवल उन्हें जोड़ने की तुलना में बहुत अधिक हुआ।
4. "अनुवादक" (आत्मविश्वास को ठीक करना)
चूंकि छात्र का अपना आत्मविश्वास बेकार है, इसलिए शोधकर्ताओं ने एक छोटा "अनुवादक" (कैलिब्रेटर) बनाया।
- यह कैसे काम करता है: यह अनुवादक इस बात को देखता है कि छात्र क्या महत्वपूर्ण मानता है और नर्स क्या महत्वपूर्ण मानती है, उनके बीच के अंतर को।
- परिणाम: यदि छात्र और नर्स इस बात पर असहमत हैं कि क्या महत्वपूर्ण है, तो अनुवादक कहता है, "यह भविष्यवाणी जोखिम भरी है।" यदि वे सहमत हैं, तो वह कहता है, "यह संभवतः सुरक्षित है।"
- प्रभाव: इसने छात्र के नकली आत्मविश्वास को एक वास्तविक, मरीज-विशिष्ट विश्वसनीयता स्कोर से बदल दिया। इसे छात्र के दिमाग के अंदर झांकने या टेस्ट को दो बार चलाने की आवश्यकता नहीं थी; इसने बस दोनों मॉडलों के तर्क की तुलना की।
निष्कर्ष: "कोल्ड स्टार्ट" की समस्या
शोध पत्र यह निष्कर्ष निकालता है कि स्ट्रक्चर्ड डेटा (जैसे मरीज के वाइटल्स की स्प्रेडशीट) पर LLM को रखना एक "कोल्ड स्टार्ट" (Cold Start) जैसा है।
- छात्र के पास ज्ञान है (वे चिकित्सा जानते हैं)।
- लेकिन उनके पास दिशा की कमी है (उन्हें नहीं पता कि किन नंबरों को देखना है)।
- और उनमें आत्म-जागरूकता की कमी है (उन्हें नहीं पता कि वे कब अनुमान लगा रहे हैं)।
शोध पत्र सुझाव देता है कि हमें डेटा-संचालित नर्स (XGBoost) को बदलने की आवश्यकता नहीं है। इसके बजाय, हमें नर्स का उपयोग छात्र को मार्गदर्शन देने के लिए (यह दिखाने के लिए कि कौन से फीचर्स महत्वपूर्ण हैं) और छात्र को कैलिब्रेट करने के लिए (हमें यह बताने के लिए कि छात्र का तर्क कब भटक रहा है) करना चाहिए। यह एक ऐसा सिस्टम बनाता है जहाँ छात्र वास्तव में अपनी सीमाओं के प्रति जागरूक होना सीखता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।