Evaluating Large Language Models for Translating Multimodal Phenotype Documentations into Executable EHR Phenotyping Algorithms
यह अध्ययन मल्टीमॉडल क्लिनिकल फेनोटाइप दस्तावेज़ीकरण को निष्पादन योग्य ईएचआर (EHR) एल्गोरिदम में अनुवादित करने के लिए फ्रंटियर लार्ज लैंग्वेज मॉडल्स का मूल्यांकन करता है, जिसमें यह पाया गया कि हालांकि वे संरचित टेक्स्ट की व्याख्या प्रभावी ढंग से करते हैं, लेकिन केवल आरेख-आधारित इनपुट के साथ उनका प्रदर्शन काफी कम हो जाता है, जो अंततः मॉडल क्षमता के बजाय दस्तावेज़ीकरण की गुणवत्ता को प्राथमिक बाधा के रूप में पहचानता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। यह एक ऐसे प्रीप्रिंट की AI से तैयार की गई व्याख्या है जिसकी अभी सहकर्मी समीक्षा नहीं हुई है। यह चिकित्सकीय सलाह नहीं है। इस सामग्री के आधार पर स्वास्थ्य संबंधी फैसले न लें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मास्टर शेफ हैं जो एक प्रसिद्ध व्यंजन बनाने की कोशिश कर रहे हैं, लेकिन आपके पास रेसिपी नहीं है। इसके बजाय, आपके पास नोट्स का एक बिखरा हुआ ढेर है, कुछ नैपकिन पर लिखे हुए हैं, कुछ कार्टून के रूप में बने हैं, और कुछ भाषाओं के उलझाने वाले मिश्रण में लिखे गए हैं। आपका लक्ष्य इन बिखरे हुए नोट्स को एक सटीक, चरण-दर-चरण निर्देश नियमावली (instruction manual) में बदलना है जिसे एक रोबोट किचन बिना किसी गलती के व्यंजन बनाने के लिए फॉलो कर सके।
यह पेपर दो सुपर-स्मार्ट एआई शेफ (जिन्हें लार्ज लैंग्वेज मॉडल्स या LLMs कहा जाता है) का परीक्षण करने के बारे में है कि क्या वे मेडिकल रिसर्च के लिए यह काम कर सकते हैं।
समस्या: "अनुवाद में खोई हुई" रेसिपी
मेडिकल रिसर्च में, वैज्ञानिक मरीजों के विशिष्ट समूहों को (जैसे कि "टाइप 2 डायबिटीज वाले लोग") जटिल नियमों का उपयोग करके परिभाषित करते हैं। ये नियम आमतौर पर मानव-पठनीय दस्तावेजों में लिखे जाते हैं जो कहानियों, फ्लोचार्ट्स और तालिकाओं का एक मिश्रण होते हैं।
इन नियमों को अस्पताल के कंप्यूटर सिस्टम में उपयोग करने के लिए, एक मानव विशेषज्ञ को उन्हें कंप्यूटर भाषा (SQL) में मैन्युअल रूप से अनुवादित करना पड़ता है। यह एक कविता को कंप्यूटर कोड में अनुवाद करने जैसा है। इसमें बहुत समय लगता है, यह बहुत थकाऊ है, और यदि दो अलग-अलग विशेषज्ञ इसे करते हैं, तो उनके परिणाम थोड़े अलग हो सकते हैं। शोधकर्ता यह देखना चाहते थे कि क्या AI इस अनुवाद को स्वचालित रूप से कर सकता है।
प्रयोग: AI शेफ का परीक्षण
शोधकर्ताओं ने दो सबसे स्मार्ट उपलब्ध AI मॉडल (OpenAI का GPT o3 और Anthropic का Claude Opus 4.1) को चुना और उन्हें पांच अलग-अलग "रेसिपी" (किडनी की चोट, हार्ट अटैक और डायबिटीज जैसी स्थितियों के लिए मेडिकल परिभाषाएं) दीं, जो PheKB नामक एक पब्लिक लाइब्रेरी से ली गई थीं।
उन्होंने AI का तीन अलग-अलग तरीकों से परीक्षण किया, जैसे कि शेफ को अलग-अलग प्रकार के निर्देश देना:
- द फुल पैकेज (पूरा पैकेज): AI को पूरा दस्तावेज़ मिला (टेक्स्ट, चार्ट और डायग्राम)।
- जस्ट द स्टोरी (केवल कहानी): AI को केवल लिखित टेक्स्ट और टेबल मिले, लेकिन चित्र नहीं मिले।
- जस्ट द पिक्चर्स (केवल चित्र): AI को केवल डायग्राम और फ्लोचार्ट मिले, बिना किसी शब्दों के।
परिणाम: क्या काम आया और क्या नहीं
1. "चित्र-मात्र" का जाल (The "Picture-Only" Trap)
जब AI ने केवल डायग्राम (फ्लोचार्ट) को पढ़ने की कोशिश की, तो वह बुरी तरह विफल रहा। यह एक शेफ से केवल एक बर्तन और कांटे के चित्र को देखकर एक जटिल भोजन बनाने के लिए कहने जैसा था, जिसमें सामग्री या आंच के स्तर को समझाने वाला कोई टेक्स्ट नहीं था। AI ने महत्वपूर्ण विवरण छोड़ दिए, टाइमिंग गलत कर दी, और ऐसे निर्देश तैयार किए जो काम नहीं करेंगे।
2. "कहानी" ही सर्वोपरि है (The "Story" is King)
जब AI को लिखित टेक्स्ट मिला (भले ही बिना चित्रों के), तो उसने बहुत अच्छा काम किया। यह सामने आया कि लिखित शब्दों में लगभग सभी आवश्यक जानकारी मौजूद थी। AI तर्क को समझ सका और सटीक कंप्यूटर कोड लिख सका।
3. AI एक बेहतरीन ड्राफ्ट्समैन है, अंतिम संपादक नहीं
दोनों AI मॉडल बड़े चित्र (big picture) और नियमों के तर्क को समझने में आश्चर्यजनक रूप से अच्छे थे। हालांकि, उन्होंने विशिष्ट प्रकार की गलतियाँ कीं:
- सामग्री भूल जाना: वे कभी-कभी विशिष्ट मेडिकल कोड (जैसे कि किसी विशेष दवा का प्रकार) शामिल करना भूल जाते थे।
- गलत नंबर: वे एक थ्रेशोल्ड (सीमा) गलत कर सकते थे (उदाहरण के लिए, "140 से अधिक ब्लड प्रेशर" कहना जबकि नियम "150 से अधिक" का था)।
- मनगढ़ंत बातें बनाना: कभी-कभी, AI ने ऐसे नियम या स्थितियाँ बना लीं जो मूल दस्तावेज़ में बिल्कुल भी नहीं थीं (एक "hallucination")।
- फॉर्मेट में भ्रमित होना: डायग्राम देखते समय, वे अक्सर एक विजुअल एरो (तीर) को लॉजिकल "इफ-देन" (if-then) कंप्यूटर कमांड में बदलने में असमर्थ रहे।
मुख्य निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि ये AI मॉडल अभी भी मानव विशेषज्ञों की जगह लेने के लिए तैयार नहीं हैं। वे केवल एक बिखरे हुए दस्तावेज़ को देखकर एक परफेक्ट, तैयार-से-उपयोग कंप्यूटर प्रोग्राम नहीं निकाल सकते।
हालांकि, वे उत्कृष्ट प्रथम ड्राफ्ट जनरेटर (first draft generators) हैं। यदि आप उन्हें स्पष्ट, संरचित टेक्स्ट देते हैं, तो वे कोड का एक बहुत अच्छा शुरुआती बिंदु लिख सकते हैं। लेकिन क्योंकि वे सूक्ष्म लेकिन खतरनाक गलतियाँ कर सकते हैं (जैसे कि एक नंबर गलत होना या कोई नियम छूट जाना), एक मानव विशेषज्ञ को हमेशा उनके काम की जांच करनी चाहिए।
अंतिम सबक:
सबसे बड़ी समस्या यह नहीं है कि AI पर्याप्त स्मार्ट नहीं है; बल्कि यह है कि मेडिकल दस्तावेज़ इस तरह से नहीं लिखे गए हैं कि उन्हें कंप्यूटर द्वारा आसानी से पढ़ा जा सके। यदि डॉक्टर और शोधकर्ता अपने नोट्स को अधिक स्पष्ट और संरचित (जैसे कि नैपकिन पर लिखने के बजाय एक मानक फॉर्मेट में रेसिपी लिखना) बनाकर मानकीकृत करते, तो AI बहुत अधिक उपयोगी हो जाता। तब तक, AI एक सहायक है, लेकिन मानव विशेषज्ञ को ही बॉस बने रहना होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।