Toward Better Assessment of LLMs' Performance in Clinical Error Detection
यह शोध पत्र यह प्रदर्शित करता है कि मानक समग्र मेट्रिक्स जैसे कि F1 स्कोर क्लिनिकल त्रुटि का पता लगाने के लिए भ्रामक हो सकते हैं, क्योंकि वे अक्सर खराब युग्मवार विभेदन प्रदर्शन (pairwise discrimination performance) और LLMs में भाषा-विशिष्ट पूर्वाग्रहों को छिपा देते हैं, जिससे सुरक्षित क्लिनिकल अनुप्रयोगों के लिए युग्मित मूल्यांकन विधियों (paired evaluation methods) को अपनाना आवश्यक हो जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक स्वास्थ्य सेवा के विशाल, कागजों से भरे गलियारों में, डॉक्टर के नोट में एक गलत शब्द भी दूर तक प्रभाव डाल सकता है, जिससे एक सही निदान एक खतरनाक गलती में बदल सकता है। ये दस्तावेज़, जो रोगी के लक्षणों से लेकर उपचार योजना तक सब कुछ दर्ज करते हैं, चिकित्सा देखभाल की रीढ़ हैं, फिर भी वे निवारण योग्य नुकसान का एक सामान्य स्रोत भी हैं। वर्षों से, शोधकर्ताओं ने उम्मीद की है कि आर्टिफिशियल इंटेलिजेंस (कृत्रिम बुद्धिमत्ता) एक अथक दूसरी जोड़ी आँखों के रूप में कार्य कर सकती है, जो इन नोट्स को स्कैन करके त्रुटियों को पकड़ सके इससे पहले कि वे रोगी तक पहुँचें। वादा स्पष्ट है: यदि कोई कंप्यूटर गलत निदान या छूटी हुई संक्रमण को पहचान सकता है, तो यह जीवन बचा सकता है। लेकिन यह जानने के लिए कि क्या ये कंप्यूटर वास्तव में सक्षम हैं, वैज्ञानिकों को पहले यह पता लगाना होगा कि उनका निष्पक्ष परीक्षण कैसे किया जाए। चुनौती एक ऐसे मॉडल के बीच अंतर करने में निहित है जो वास्तव में चिकित्सा तर्क को समझता है और एक ऐसे मॉडल के बीच जो केवल हर बार एक ही उत्तर का अनुमान लगाता है, चाहे वह जो भी टेक्स्ट पढ़ रहा हो।
शोधकर्ताओं की एक टीम ने हाल ही में ठीक इसी समस्या की जांच करने के लिए हाथ आजमाया, जिसमें उन्होंने आर्टिफिशियल इंटेलिजेंस के परीक्षण के एक विशिष्ट तरीके पर ध्यान केंद्रित किया जिसे काफी हदतः अनदेखा किया गया था। उन्होंने पंद्रह अलग-अलग लार्ज लैंग्वेज मॉडल्स (बड़े भाषा मॉडल) की जांच की, जो शक्तिशाली कंप्यूटर प्रोग्राम हैं जो मानवीय भाषा को पढ़ और लिख सकते हैं, और उन्हें क्लिनिकल नोट्स में त्रुटियां खोजने के लिए कहा। शोधकर्ताओं ने एक चतुर परीक्षण पद्धति का उपयोग किया जहाँ त्रुटि वाले प्रत्येक नोट को लगभग एक समान नोट के साथ जोड़ा गया जो पूरी तरह से सही था, और जिसमें केवल एक वाक्य का अंतर था। इस युग्म (पेयरिंग) ने उन्हें यह देखने की अनुमति दी कि क्या मॉडल दोनों के बीच अंतर कर सकते हैं। उन्होंने जो पाया वह एक कड़ी चेतावनी थी: जबकि मॉडल मानक परीक्षणों पर काफी अच्छा प्रदर्शन करते दिखाई दिए, वे भेदभाव (डिस्क्रिमिनेशन) के मूल कार्य में काफी हद तक विफल रहे। जब शोधकर्ताओं ने बारीकी से देखा, तो उन्होंने पाया कि अधिकांश मॉडल वास्तव में त्रुटियों की पहचान नहीं कर रहे थे; वे केवल एक ही अनुमान लगाने पर टिके हुए थे, या तो हर नोट को खतरनाक के रूप में चिह्नित कर रहे थे या हर नोट को सुरक्षित मानकर छोड़ रहे थे, बिना सामग्री को वास्तव में समझे।
अध्ययन की शुरुआत पंद्रह अलग-अलग मॉडलों का अंग्रेजी, चीनी और जापानी में लिखे गए चिकित्सा नोट्स के चार सेटों के माध्यम से परीक्षण करके हुई। एक विशिष्ट मूल्यांकन में, शोधकर्ता एक एकल स्कोर देख सकते हैं, जैसे कि मॉडल कुल मिलाकर कितनी बार सही उत्तर देता है। हालाँकि, शोधकर्ताओं ने महसूस किया कि यह दृष्टिकोण त्रुटिपूर्ण था क्योंकि यह प्रत्येक नोट को एक अलग घटना के रूप में मानता था। इसके बजाय, उन्होंने नोट के जोड़े को—एक त्रुटि वाला नोट और दूसरा बिना त्रुटि वाला—सत्य की एक एकल इकाई के रूप में माना। उन्होंने एक नया माप निकाला, जो मूल रूप से यह पूछ रहा था: क्या मॉडल ने पहले नोट में त्रुटि को सही ढंग से पहचाना और दूसरे नोट को सही ढंग से स्पष्ट किया? यदि कोई मॉडल हर चीज़ के लिए "त्रुटि" का अनुमान लगाता है, तो वह पहले भाग को सही करेगा लेकिन दूसरे में विफल रहेगा। यदि वह हर चीज़ के लिए "कोई त्रुटि नहीं" का अनुमान लगाता है, तो वह पहले में विफल होगा लेकिन दूसरे को सही पाएगा। केवल एक मॉडल जो वास्तव में अंतर को समझता है, ही जोड़े के दोनों भागों को सही कर पाएगा।
परिणाम आश्चर्यजनक और चिंताजनक थे। परीक्षण किए गए पंद्रह मॉडलों में से, तेरह इस युग्म मानक (पेयर्ड स्टैंडर्ड) द्वारा आंके जाने पर यादृच्छिक संयोग (रैंडम चांस) से बेहतर प्रदर्शन करने में विफल रहे। वास्तव में, एक गलत नोट और एक सही नोट के बीच अंतर करने की उनकी क्षमता अक्सर एक सिक्के के उछाल से भी बदतर थी। फिर भी, जब शोधकर्ताओं ने उन मानक स्कोरों को देखा जिन पर अधिकांश लोग भरोसा करते हैं, तो वे वही मॉडल काफी अच्छा काम करते हुए दिखाई दिए, जिनके स्कोर ने मध्यम सफलता का संकेत दिया। इस विसंगति ने एक छिपे हुए जाल को उजागर किया कि कैसे इन प्रणालियों का वर्तमान में मूल्यांकन किया जा रहा है। मानक स्कोर एक निरंतर पूर्वाग्रह (बायस) द्वारा बढ़ाए जा रहे थे। कुछ मॉडल त्रुटियों को खोजने के लिए इतने उत्सुक थे कि उन्होंने लगभग हर नोट को खतरनाक के रूप में चिह्नित किया, जबकि अन्य इतने सतर्क थे कि उन्होंने लगभग सब कुछ को स्पष्ट कर दिया। क्योंकि परीक्षण इस व्यवहार को पकड़ने के लिए डिज़ाइन नहीं किए गए थे, इसलिए मॉडलों को एक दिशा में या दूसरी दिशा में लगातार गलत होने के बजाय, सटीक होने के लिए उच्च अंक मिले।
शोधकर्ताओं ने यह समझने के लिए गहराई से जांच की कि मॉडल क्यों विफल हो रहे थे। उन्होंने पाया कि पूर्वाग्रह सुसंगत नहीं था; यह भाषा के आधार पर बदल जाता था। एक ही मॉडल अंग्रेजी में त्रुटियों के प्रति अत्यधिक संदिग्ध हो सकता है और चीनी में अत्यधिक भरोसेमंद। इस विसंगति का अर्थ था कि एक मॉडल को सावधानीपूर्वक ट्यूनिंग के बिना विभिन्न भाषाओं में विश्वसनीय रूप से काम करने के लिए भरोसा नहीं किया जा सकता था। और भी अधिक प्रकट करने वाला विश्लेषण यह था कि जब मॉडल गलतियाँ करते थे तो वे क्या लिखते थे। शोधकर्ताओं ने मॉडलों से उनके तर्क को समझाने के लिए कहा, जिसमें उन विशिष्ट वाक्यों की ओर इशारा किया गया जो उनके निर्णय का कारण बने। उन्होंने पाया कि मॉडल अक्सर सही वाक्य खोजने में अच्छे थे। जब किसी मॉडल ने एक नोट को त्रुटिपूर्ण के रूप में चिह्नित किया, तो उसने अक्सर उस सटीक वाक्य की ओर इशारा किया जिसमें गलती थी। हालाँकि, वह साफ-सुथरे संस्करण वाले नोट पर भी वही गलती करता, एक समान वाक्य की ओर इशारा करता और दावा करता कि वह भी एक त्रुटि है। मॉडल साक्ष्य को ढूंढ सकते थे, लेकिन वे उस साक्ष्य का उपयोग सही निर्णय लेने के लिए नहीं कर सकते थे।
साक्ष्य खोजने और उसे सही ढंग से निर्णय देने के बीच यह अंतर बताता है कि मॉडल चिकित्सा तर्क की संरचना की नकल कर रहे हैं, बिना उसके पीछे के तर्क को वास्तव में समझे। वे सही शब्दों को हाइलाइट कर सकते हैं, लेकिन वे यह तय नहीं कर सकते कि वे शब्द एक गलती हैं या नहीं। अध्ययन ने यह भी दिखाया कि मानक स्कोर और वास्तविक भेदभाव करने की क्षमता के बीच का संबंध टूट गया था। कई मामलों में, जो मॉडल मानक परीक्षणों पर उच्चतम रैंक रखते थे, वे वास्तव में एक सही नोट और एक गलत नोट के बीच अंतर करने में सबसे खराब थे। इसका अर्थ है कि यदि कोई अस्पताल वर्तमान मानक मेट्रिक्स के आधार पर एक आर्टिफिशियल इंटेलिजेंस सिस्टम चुनता है, तो वे संभवतः उस सिस्टम को चुनेंगे जो व्यवस्थित त्रुटियों के प्रति सबसे अधिक प्रवृत्त है।
शोधकर्ताओं ने निष्कर्ष निकाला कि इन उपकरणों को अस्पतालों में उपयोग के लिए पर्याप्त सुरक्षित बनाने के लिए, उनके परीक्षण के तरीके को बदलना होगा। केवल एक समग्र स्कोर पर निर्भर रहना अब पर्याप्त नहीं है। इसके बजाय, मूल्यांकनों में इन युग्म तुलनाओं (पेयर्ड कंपैरिजन) को शामिल किया जाना चाहिए ताकि यह सुनिश्चित हो सके कि मॉडल वास्तव में एक सही और एक गलत नोट के बीच अंतर कर सकता है। जब तक ऐसा नहीं होता, वर्तमान पीढ़ी की आर्टिफिशियल इंटेलिजेंस, अपनी टेक्स्ट उत्पन्न करने और जानकारी खोजने की प्रभावशाली क्षमता के बावजूद, चिकित्सा त्रुटियों का पता लगाने के महत्वपूर्ण कार्य के लिए स्वयं पर भरोसा करने हेतु बहुत अविश्वसनीय बनी हुई है। आगे का रास्ता केवल बड़े मॉडल बनाने में नहीं, बल्कि बेहतर परीक्षण बनाने में है जो सक्षमता के भ्रम को देख सकें और इन प्रणालियों की वास्तविक सीमाओं को प्रकट कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।