FoMoH: A clinically meaningful foundation model evaluation for structured electronic health records
यह शोधपत्र FoMoH को प्रस्तुत करता है, जो 14 नैदानिक रूप से सार्थक कार्यों और 6 मिलियन से अधिक रोगियों का एक व्यापक बेंचमार्क है जो अत्याधुनिक स्ट्रक्चर्ड EHR फाउंडेशन मॉडल्स का मूल्यांकन करता है, और यह प्रकट करता है कि हालांकि वे सीमित डेटा के तहत भेदभाव (discrimination) और निष्पक्षता (fairness) में पारंपरिक बेसलाइन्स से बेहतर प्रदर्शन करते हैं, फिर भी उन्हें कैलिब्रेशन, कम-प्रचलन (low-prevalence) वाली स्थितियों और क्रॉस-इंस्टीट्यूशनल ट्रांसपोर्टेबिलिटी में महत्वपूर्ण चुनौतियों का सामना करना पड़ता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक कंप्यूटर को डॉक्टर बनना सिखाने की कोशिश कर रहे हैं। लंबे समय तक, इसे करने का एकमात्र तरीका कंप्यूटर को हर एक काम के लिए हजारों विशिष्ट उदाहरण दिखाना था: "यह टूटी हुई हड्डी कैसी दिखती है," "यह बुखार कैसा दिखता है," "यह हार्ट अटैक कैसा दिखता है।" यह एक कुत्ते को एक विशिष्ट गेंद लाने के लिए प्रशिक्षित करने जैसा है; यदि आप चाहते हैं कि वह एक छड़ी लेकर आए, तो आपको फिर से शुरुआत करनी होगी। यह तरीका धीमा, महंगा है, और कंप्यूटर अक्सर तब भ्रमित हो जाता है जब वह किसी ऐसे मरीज को देखता है जिसका उसने अभ्यास नहीं किया है।
हाल ही में, वैज्ञानिकों ने "फाउंडेशन मॉडल्स" (Foundation Models) नामक एक नया तरीका इस्तेमाल करना शुरू किया है। इन्हें सुपर-इंटेलिजेंट छात्रों के रूप में सोचें जिन्होंने किसी भी मरीज से मिलने से पहले लाइब्रेरी की हर मेडिकल किताब पढ़ ली है। उन्हें अभी तक विशेष रूप से यह नहीं बताया गया है कि टूटी हुई हड्डी का निदान कैसे किया जाए, लेकिन क्योंकि वे चिकित्सा की सामान्य भाषा को समझते हैं, वे केवल कुछ उदाहरणों के साथ बहुत जल्दी यह विशिष्ट कौशल सीख सकते हैं। बड़ा सवाल जो हर कोई पूछ रहा है वह यह है: क्या ये सुपर-छात्र पुराने तरीके से बेहतर काम करते हैं? क्या वे अस्पताल की अव्यवस्थित, वास्तविक दुनिया की अराजकता को संभाल सकते हैं, और क्या वे हर तरह के मरीजों के प्रति निष्पक्ष हैं? यह शोध पत्र इस उत्तर को खोजने के लिए इन मॉडल्स को एक कठोर, वास्तविक जीवन के परीक्षण से गुजारता है।
द ग्रेट हॉस्पिटल एग्जाम: सुपर-स्टूडेंट्स का परीक्षण
इस शोध पत्र के लेखकों ने केवल अनुमान लगाना बंद करने और परीक्षण करने का निर्णय लिया। उन्होंने छह सबसे उन्नत मेडिकल फाउंडेशन मॉडल्स के लिए एक विशाल "परीक्षा" बनाई। केवल यह पूछने के बजाय कि, "क्या आपको सही उत्तर मिला?", उन्होंने बहुत गहरे सवाल पूछे: "क्या आपको सही उत्तर मिला और क्या आप जानते हैं कि आप कितने आश्वस्त हैं?" और "क्या आपने अमीर और गरीब मरीजों, या विभिन्न नस्लीय समूहों के साथ निष्पक्षता से व्यवहार किया?"
उन्होंने दो प्रमुख स्रोतों से 6 मिलियन मरीजों पर इनका परीक्षण किया: कोलंबिया यूनिवर्सिटी इरविंग मेडिकल सेंटर और MIMIC-IV नामक एक सार्वजनिक डेटासेट। इस परीक्षा में 14 अलग-अलग क्लिनिकल कार्य शामिल थे, जो मरीज के अस्पताल में मृत्यु की भविष्यवाणी करने से लेकर मधुमेह या सिज़ोफ्रेनिया जैसी पुरानी स्थितियों के निदान तक फैले हुए थे।
यहाँ परिणाम दिए गए हैं, जिन्हें अच्छी, बुरी और पेचीदा श्रेणियों में विभाजित किया गया है।
अच्छी खबर: "फ्यू-शॉट" (Few-Shot) की सुपरपावर
सबसे रोमांचक खोज यह है कि ये फाउंडेशन मॉडल्स वास्तव में तब जादुगर बन जाते हैं जब डेटा की कमी होती है। कल्पना कीजिए कि आप एक छोटे क्लिनिक में डॉक्टर हैं जहाँ आपने एक दुर्लभ बीमारी के केवल 100 मामले देखे हैं। एक पारंपरिक कंप्यूटर मॉडल शायद विफल हो जाएगा क्योंकि उसने सीखने के लिए पर्याप्त उदाहरण नहीं देखे होंगे। लेकिन फाउंडेशन मॉडल्स, अपने प्री-ट्रेनिंग के दौरान लाखों रिकॉर्ड्स को "पढ़ने" के कारण, आश्चर्यजनक रूप से अच्छे अनुमान लगा सकते हैं।
इन "लो-डेटा" स्थितियों में, शीर्ष प्रदर्शन करने वाले मॉडल्स बीमार और स्वस्थ मरीजों के बीच अंतर करने में पारंपरिक तरीकों को मात देते हैं। वे अधिक निष्पक्ष भी दिखाई दिए। क्योंकि उन्होंने इतने बड़े और विविध समूह से सीखा है, वे लोगों के विभिन्न समूहों (जैसे अलग-अलग नस्लें या लोग कितनी बार डॉक्टर के पास जाते हैं) के कारण उतने भ्रमित नहीं हुए जितने कि पुराने, विशिष्ट मॉडल्स हुए थे। यह ऐसा है जैसे सुपर-स्टूडेंट, जिसने लाइब्रेरी में हर किसी से मुलाकात की है, किसी अजनबी के बारे में धारणा बनाने में उतना गलत नहीं होगा जितना कि वह छात्र जो केवल अपने दोस्तों के साथ अध्ययन करता है।
बुरी खबर: "कॉन्फिडेंस" (आत्मविश्वास) की समस्या
हालाँकि, इसमें एक पेंच है। जबकि ये मॉडल्स यह कहने में अच्छे थे कि "यह मरीज बीमार है," वे कभी-कभी यह कहने में बहुत खराब थे कि "मुझे पक्का यकीन है कि यह मरीज बीमार है।"
चिकित्सा में, यह जानना कि कुछ होने की संभावना कितनी है, यह जानने जितना ही महत्वपूर्ण है कि क्या होने वाला है। यदि कोई मॉडल कहता है कि किसी मरीज के मरने की 90% संभावना है, तो डॉक्टर को यह जानने की आवश्यकता है कि क्या वह संख्या सटीक है। शोध में पाया गया कि सीमित डेटा के तहत, ये फाउंडेशन मॉडल्स अक्सर खराब कैलिब्रेटेड (poorly calibrated) थे। वे सही अनुमान तो लगा सकते थे, लेकिन उनका आत्मविश्वास (confidence) का स्तर गलत था। यह एक मौसम विज्ञानी की तरह है जो हमेशा बारिश की भविष्यवाणी करता है; वे आधे समय सही हो सकते हैं, लेकिन यदि वे कहते हैं कि "बारिश की 100% संभावना है" जबकि वास्तव में धूप खिली है, तो वे भरोसेमंद नहीं हैं। अध्ययन बताता है कि हालांकि ये मॉडल्स पैटर्न पहचानने में बेहतरीन हैं, लेकिन उन्होंने अभी तक अपनी निश्चितता को सटीक रूप से मापना नहीं सीखा है।
पेचीदा हिस्सा: "दुर्लभ बीमारी" का ब्लाइंड स्पॉट
ये मॉडल्स बहुत दुर्लभ स्थितियों के साथ भी संघर्ष करते हैं। यदि कोई बीमारी 1% से भी कम मरीजों में होती है, तो फाउंडेशन मॉडल्स अक्सर चूक जाते हैं। लेखकों का सुझाव है कि अपने विशाल प्रशिक्षण के दौरान, मॉडल्स ने इन दुर्लभ घटनाओं को "अनदेखा" कर दिया होगा क्योंकि वे आम चीजों को सीखने में व्यस्त थे। यह उस छात्र की तरह है जो इतिहास के दस लाख पन्ने पढ़कर परीक्षा की तैयारी करता है लेकिन उस एक छोटे से पन्ने को छोड़ देता है जो वास्तव में परीक्षा में आता है। जब शोधकर्ताओं ने अधिक डेटा के साथ मॉडल्स को "फाइन-ट्यून" (विशिष्ट उत्तर सिखाना) करने की कोशिश की, तो मॉडल्स हमेशा बेहतर नहीं हुए; कभी-कभी, वे वास्तव में और खराब हो गए, संभवतः इसलिए क्योंकि वे उदाहरणों की कम संख्या से भ्रमित हो गए थे।
अंतिम बाधा: "नया शहर" वाली समस्या
अंत में, शोध पत्र ने परीक्षण किया कि क्या ये मॉडल्स यात्रा कर सकते हैं। यदि एक मॉडल न्यूयॉर्क (कोलंबिया) के मरीजों पर प्रशिक्षित है, तो क्या यह कैलिफोर्निया (स्टैनफोर्ड) के मरीजों पर काम कर सकता है? जवाब निराशाजनक रूप से नहीं था।
जब उन्होंने स्टैनफोर्ड में प्रशिक्षित मॉडल को कोलंबिया में टेस्ट किया, तो इसका प्रदर्शन स्थानीय रूप से प्रशिक्षित मॉडल की तुलना में खराब रहा। लेखक समझाते हैं कि अस्पताल अलग-अलग शहरों की तरह होते हैं जिनकी अपनी अलग बोलियाँ होती हैं। एक अस्पताल डेटा को अलग तरह से रिकॉर्ड कर सकता है, या उसके मरीजों की आदतें अलग हो सकती हैं। एक शहर में प्रशिक्षित "सुपर-स्टूडेंट" दूसरे शहर की शब्दावली (slang) को नहीं समझ पाया। इसका मतलब है कि अभी, आप बस एक मेडिकल AI डाउनलोड नहीं कर सकते और उम्मीद नहीं कर सकते कि यह हर जगह काम करेगा; इसे अभी भी प्रत्येक विशिष्ट अस्पताल के लिए फिर से प्रशिक्षित करने की आवश्यकता है।
निष्कर्ष (The Bottom Line)
यह शोध पत्र यह नहीं कहता कि फाउंडेशन मॉडल्स अभी चिकित्सा का भविष्य हैं, लेकिन यह साबित करता है कि उनमें बहुत क्षमता है। वे डेटा की कमी होने पर तेजी से सीखने में शानदार हैं और विभिन्न समूहों के प्रति आश्चर्यजनक रूप से निष्पक्ष हैं। हालाँकि, वे अभी भी दुर्लभ बीमारियों के साथ संघर्ष करते हैं, वे हमेशा इस बात के प्रति ईमानदार नहीं होते कि वे कितने आश्वस्त हैं, और वे आसानी से एक अस्पताल से दूसरे अस्पताल में नहीं जा सकते।
लेखक निष्कर्ष निकालते हैं कि इससे पहले कि हम इन मॉडल्स को बागडोर संभालने दें, हमें उनके "कॉन्फिडेंस मीटर" को ठीक करने, उन्हें दुर्लभ स्थितियों पर ध्यान देने के लिए सिखाने और यह समझने में मदद करने की आवश्यकता है कि हर अस्पताल की अनूठी "बोली" क्या है। तब तक, वे शक्तिशाली उपकरण हैं, लेकिन उन्हें अपना काम दोबारा जाँचने के लिए एक मानव डॉक्टर की आवश्यकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।