DeVisE: Behavioral Testing of Medical Large Language Models
यह शोध पत्र DeVisE को पेश करता है, जो एक व्यवहारिक परीक्षण ढांचा है जो आईसीयू डिस्चार्ज नोट्स में जनसांख्यिकीय और महत्वपूर्ण संकेतों (वाइटल साइन) के गुणों के नियंत्रित प्रति-तथ्यात्मक परिवर्तनों (काउंटरफैक्चुअल परटर्बेशन्स) का उपयोग करता है ताकि यह प्रकट किया जा सके कि वर्तमान मेडिकल लार्ज लैंग्वेज मॉडल्स उनकी संवेदनशीलता और तर्क संबंधी निरंतरता में कैसे भिन्न होते हैं, यह प्रदर्शित करते हुए कि मानक मेट्रिक्स अक्सर नैदानिक रूप से प्रासंगिक व्यवहारिक अंतरों को पकड़ने में विफल रहते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक बेहद प्रतिभाशाली नए मेडिकल इंटर्न को काम पर रखा है जिसका नाम "AI" है। इस इंटर्न ने अस्तित्व में मौजूद हर मेडिकल टेक्स्टबुक को पढ़ा है और वह एक इंसान से कहीं अधिक तेज़ी से लक्षणों और उनके उपचारों को सुना सकता है। लेकिन वास्तविक मरीजों के बारे में निर्णय लेने से पहले, आपको यह जानना होगा: क्या वे वास्तव में चिकित्सा विज्ञान को समझते हैं, या वे केवल पैटर्न को याद कर रहे हैं और अंदाज़ा लगा रहे हैं?
यही वह समस्या है जिसे DeVisE नामक शोध पत्र (paper) हल करता है।
समस्या: "चीट शीट" बनाम वास्तविक समझ
वर्तमान में AI के लिए परीक्षण एक छात्र को बहुविकल्पीय प्रश्नोत्तरी (multiple-choice quiz) देने जैसा है। वे 90% सही हो सकते हैं, लेकिन इससे हमें यह पता नहीं चलता कि वे वहां तक कैसे पहुंचे। क्या उन्होंने हृदय गति को समझा, या उन्होंने बस यह नोटिस किया कि "अधिक उम्र के मरीज" आमतौर पर "अधिक बीमार" होते हैं और उसी के आधार पर अंदाज़ा लगाया?
लेखक यह देखना चाहते थे कि क्या AI का तर्क वास्तविक है या केवल सतही।
समाधान: "क्या होगा अगर?" (What If?) का खेल
इस परीक्षण के लिए, शोधकर्ताओं ने DeVisE (डेमोग्राफिक्स एंड वाइटल साइन्स इवैल्यूएशन) नामक एक खेल बनाया। इसे डॉक्टरों के लिए एक "क्या होगा अगर?" सिम्युलेटर की तरह समझें।
यहाँ बताया गया है कि उन्होंने यह खेल कैसे खेला:
- मूल रोगी: उन्होंने अस्पताल के डेटाबेस (MIMIC-IV) से एक वास्तविक मेडिकल रिकॉर्ड लिया। मान लीजिए, "मिस्टर स्मिथ, 65 वर्ष की आयु, हृदय गति 89 (सामान्य)।"
- काउंटरफैक्चुअल (ट्विस्ट): उन्होंने मिस्टर स्मिथ का एक "जुड़वां" संस्करण बनाया जहाँ उन्होंने केवल एक छोटी सी चीज़ बदली।
- परिदृश्य A: हृदय गति को 89 से बदलकर 120 (उच्च) कर दिया।
- परिदृश्य B: आयु को 65 से बदलकर 25 कर दिया।
- परिदृश्य C: जातीयता (ethnicity) बदल दी।
- परीक्षण: उन्होंने AI से पूछा: "मूल मिस्टर स्मिथ के लिए मृत्यु का जोखिम क्या है?" और फिर, "जुड़वां मिस्टर स्मिथ के लिए जोखिम क्या है?"
खेल के नियम
शोधकर्ताओं ने दो मुख्य नियम बनाए थे कि एक "स्मार्ट" AI को क्या करना चाहिए:
- नियम 1: धड़कन का परीक्षण (वाइटल साइन्स)। यदि आप किसी मरीज की हृदय गति को सामान्य से बदलकर खतरनाक रूप से उच्च कर देते हैं, तो AI को कहना चाहिए, "ओह नहीं, यह मरीज अब बहुत अधिक बीमार है!" अनुमानित मृत्यु का जोखिम बढ़ जाना चाहिए। यदि AI कहता है कि जोखिम वही रहता है, तो वह चिकित्सा वास्तविकता को अनदेखा कर रहा है।
- नियम 2: जनसांख्यिकीय परीक्षण (डेमोग्राफिक टेस्ट)। यदि आप मरीज की आयु या लिंग बदलते हैं, तो AI को वास्तविक चिकित्सा प्रवृत्तियों के आधार पर अपना अनुमान थोड़ा समायोजित करना चाहिए, लेकिन उसे अचानक यह तय नहीं करना चाहिए कि मरीज केवल इसलिए मर रहा है क्योंकि वह एक अलग जाति या लिंग का है।
चौंकाने वाले निष्कर्ष
शोधकर्ताओं ने 8 अलग-अलग "सुपर-इंटेलिजेंट" AI मॉडल्स (कुछ सामान्य जैसे GPT, कुछ मेडिकल-विशिष्ट) का परीक्षण किया। यहाँ उन्हें जो मिला:
1. "टेम्प्लेट" का जाल
उन्होंने AI का परीक्षण दो तरीकों से किया:
- रॉ नोट्स (Raw Notes): जैसे डॉक्टर के हाथ से लिखे हुए नोट्स पढ़ना जिसमें बहुत सारी अतिरिक्त बातें हों।
- टेम्प्लेट्स (Templates): जैसे एक साफ-सुथरा, फिल-इन-द-ब्लैंक फॉर्म जिसमें केवल नंबर हों।
परिणाम: जब AI ने साफ टेम्प्लेट्स को पढ़ा, तो वह अत्यधिक संवेदनशील हो गया। वह बेतहाशा प्रतिक्रिया देने लगा। यह एक ऐसी कार की तरह था जिसका एक्सीलेटर फंस गया हो; सड़क के एक छोटे से उभार ने भी उसे डगमगा दिया। रॉ नोट्स को पढ़ते समय, AI अधिक शांत और स्थिर था, संभवतः इसलिए क्योंकि अतिरिक्त संदर्भ ने इसे एक मानव डॉक्टर की तरह सोचने में मदद की जो केवल एक नंबर को नहीं, बल्कि पूरी तस्वीर को देखता है।
2. "ओवर-रिएक्टर्स" बनाम "अंडर-रिएक्टर्स"
- कुछ मॉडल्स (जैसे मेडिकल-विशिष्ट वाले) बहुत रूढ़िवादी थे। यहाँ तक कि जब किसी मरीज की हृदय गति बढ़ जाती थी, तब भी वे अपने अनुमान में बहुत कम बदलाव करते थे। वे एक ऐसे सतर्क डॉक्टर की तरह थे जिसे अपना विचार बदलने के लिए मरीज को तीन बार देखने की आवश्यकता होती है।
- अन्य मॉडल्स (जैसे विशाल रीजनिंग वाले) बहुत संवेदनशील थे। उन्होंने अपने अनुमानों को नाटकीय रूप से बदल दिया, कभी-कभी बहुत अधिक। वे एक घबराए हुए डॉक्टर की तरह थे जो समस्या के पहले संकेत पर ही पैनिक करने लगता है।
3. पूर्वाग्रह (Bias) की समस्या
जब उन्होंने मरीज की जाति या लिंग को बदला, तो AI के अनुमानों में ऐसे बदलाव आए जो वास्तविक दुनिया की स्वास्थ्य असमानताओं को दर्शाते थे।
- उदाहरण: कुछ मॉडल्स ने भविष्यवाणी की कि अश्वेत (Black) मरीजों को अस्पताल में अधिक समय तक रहना होगा या उन्हें अधिक जोखिम होगा, भले ही उनके मेडिकल आंकड़े श्वेत (White) मरीजों के समान ही थे।
- इससे सिद्ध हुआ कि AI ने शुद्ध चिकित्सा तथ्यों को देखने के बजाय वास्तविक दुनिया के डेटा में मौजूद पूर्वाग्रहों को "सीख" लिया था।
मुख्य निष्कर्ष
शोध पत्र यह निष्कर्ष निकालता है कि मानक टेस्ट स्कोर हमसे झूठ बोल रहे हैं। एक AI टेस्ट में उच्च ग्रेड प्राप्त कर सकता है लेकिन फिर भी "क्या होगा अगर?" वाले टेस्ट में फेल हो सकता है।
DeVisE AI के मस्तिष्क के लिए एक स्ट्रेस टेस्ट की तरह है। यह हमें दिखाता है कि:
- क्या AI समझता है कि उच्च हृदय गति बुरी बात है? (हाँ, ज्यादातर)।
- क्या AI अव्यवस्थित डेटा से भ्रमित हो जाता है? (हाँ, कभी-कभी)।
- क्या AI मानवीय पूर्वाग्रहों को ढोता है? (हाँ, दुर्भाग्यवश)।
संक्षेप में: इससे पहले कि हम AI डॉक्टरों को जिम्मेदारी सौंपें, हमें केवल उनसे यह पूछना बंद करना होगा कि "उत्तर क्या है?" और इसके बजाय उनसे पूछना शुरू करना होगा, "अगर मैं यह एक चीज़ बदल दूँ तो क्या होगा? आपका उत्तर क्यों बदला?" DeVisE वह उपकरण है जो ये सवाल पूछता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।