Automatic Extraction of Structured Information from Brain MRI Reports Using an Open-Weight Large Language Model
यह अध्ययन प्रदर्शित करता है कि ओपन-वेट एलएलएमए (LLM) लामा 3.1 (LLaMA 3.1), डच ब्रेन एमआरआई (MRI) रिपोर्ट से श्रेणीबद्ध चरों (categorical variables) और लीजन उल्लेखों (lesion mentions) के लिए उच्च सटीकता के साथ संरचित जानकारी को प्रभावी ढंग से निकालता है, जबकि फ्यू-शॉट प्रॉम्प्टिंग (few-shot prompting) संख्यात्मक डेटा निष्कर्षण पर इसके प्रदर्शन में महत्वपूर्ण सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ी तस्वीर: एक बिखरी हुई नोटबुक को स्प्रेडशीट में बदलना
कल्पना कीजिए कि एक अस्पताल के पास हजारों मस्तिष्क MRI रिपोर्ट की एक विशाल लाइब्रेरी है। वर्षों से, ये रिपोर्ट डॉक्टरों द्वारा स्वतंत्र डायरी प्रविष्टियों (free-form diary entries) की तरह लिखी गई हैं। वे मूल्यवान जानकारी से भरी हैं, लेकिन क्योंकि वे असंरचित वाक्यों में लिखी गई हैं, इसलिए उन्हें जल्दी से खोजना या शोध के लिए एक साफ-सुथरी स्प्रेडशीट में बदलना अविश्वसनीय रूप से कठिन है।
शोधकर्ता यह देखना चाहते थे कि क्या एक स्मार्ट कंप्यूटर प्रोग्राम (एक "ओपन-वेट लार्ज लैंग्वेज मॉडल" जिसे LLaMA 3.1 कहा जाता है) एक सुपर-फास्ट लाइब्रेरियन की तरह काम कर सकता है। उनका लक्ष्य इन बिखरे हुए, हाथ से लिखे गए जैसे दिखने वाले डच (Dutch) रिपोर्ट को पढ़ना और स्वचालित रूप से 30 विशिष्ट तथ्यों को निकालना था—जैसे कि "क्या ट्यूमर है?" या "मस्तिष्क में कितने धब्बे हैं?"—और उन्हें एक साफ, संरचित प्रारूप में व्यवस्थित करना था।
चुनौती: एक अलग भाषा बोलना
रिपोर्ट्स डच (Dutch) भाषा में लिखी गई थीं, लेकिन कंप्यूटर मॉडल मुख्य रूप से अंग्रेजी पर प्रशिक्षित था। यह एक ऐसे अनुवादक से पूछने जैसा है जो अंग्रेजी को पूरी तरह से जानता है, कि वह एक विशिष्ट डच बोली में लिखे जटिल कानूनी दस्तावेज़ को पढ़े।
टीम ने दो दृष्टिकोणों का परीक्षण किया:
- प्रत्यक्ष पठन (Direct Reading): कंप्यूटर को डच रिपोर्ट को उनके मूल रूप में पढ़ने देना।
- पहले अनुवाद (Translation First): डच रिपोर्ट का अंग्रेजी में अनुवाद करना, कंप्यूटर को उन्हें पढ़ने देना, और फिर परिणामों को वापस अनुवाद करना।
परिणाम: कंप्यूटर ने मूल डच रिपोर्ट को पढ़ने में बहुत बेहतर काम किया। जब उन्होंने पहले रिपोर्ट का अनुवाद करने की कोशिश की, तो कंप्यूटर विशिष्ट चिकित्सा शब्दों के कारण भ्रमित हो गया। उदाहरण के लिए, मस्तिष्क की एक बहुत ही विशिष्ट, छोटी, रेखा जैसी चोट ("splinterinfarcten") के लिए एक डच शब्द है। जब इसे अंग्रेजी में अनुवाद किया गया, तो यह एक सामान्य "छोटा इन्फार्क्ट" (small infarct) बन गया, और कंप्यूटर ने वह विशिष्ट विवरण खो दिया जिसकी उसे सही ढंग से गिनती करने के लिए आवश्यकता थी।
"चीट शीट" रणनीति (Few-Shot Prompting)
शुरुआत में, कंप्यूटर को यह कार्य "कोल्ड टर्की" (Zero-Shot) के रूप में करने के लिए कहा गया था, जिसका अर्थ है कि उसे अपने आप नियम समझने थे। इसने ठीक-ठाक काम किया, लेकिन इसने गलतियाँ कीं, विशेष रूप से चीजों को गिनने में (जैसे कि "कितने धब्बे हैं?")।
फिर, शोधकर्ताओं ने एक नई तकनीक आजमाई जिसे Few-Shot Prompting कहा जाता है। कल्पना कीजिए कि आप एक छात्र को टेस्ट ग्रेड करने का तरीका सिखा रहे हैं। केवल उन्हें नियम देने के बजाय, आप उन्हें पहले से सही ढंग से ग्रेड किया गया एक टेस्ट और उसके उत्तर दिखाते हैं। आप कहते हैं, "देखो हमने इसे कैसे किया; अब अगला भी इसी तरह करो।"
शोधकर्ताओं ने इन तीन उदाहरणों को चुनने के विभिन्न तरीकों का परीक्षण किया:
- रैंडम (Random): कोई भी तीन उदाहरण चुनना।
- फिक्स्ड (Fixed): हर बार वही तीन उदाहरण चुनना।
- संरचनात्मक समानता (Structural Similarity): ऐसे तीन उदाहरण चुनना जो वर्तमान में पढ़े जा रहे रिपोर्ट की तरह दिखते और सुनाई देते हों।
विजेता: संरचनात्मक समानता (Structural Similarity) विधि सबसे अच्छी थी। कंप्यूटर को वे उदाहरण दिखाने से जो वर्तमान रिपोर्ट के बहुत समान थे, इसकी सटीकता में काफी उछाल आया। यह एक छात्र को उस अभ्यास टेस्ट को दिखाने जैसा था जो बिल्कुल वैसा ही दिखता है जैसा कि वास्तविक टेस्ट जो वे लेने जा रहे हैं।
इसने कैसा प्रदर्शन किया?
शोधकर्ताओं ने कंप्यूटर के काम की तुलना मानव विशेषज्ञों (मेडिकल छात्रों और रेडियोलॉजिस्टों) के साथ की।
- अच्छी खबर: स्पष्ट, मानक रेटिंग के लिए (जैसे "क्या मस्तिष्क सिकुड़ रहा है?"), कंप्यूटर लगभग इंसानों के बराबर था। इसने इनमें से लगभग 90-96% सही किए।
- कठिन हिस्सा: विशिष्ट संख्याओं को गिनना (जैसे "ठीक कितने छोटे रक्तस्राव हैं?") अधिक कठिन था। कंप्यूटर ने अपने आप में लगभग 66% सही किया, लेकिन "चीट शीट" (few-shot prompting) के साथ, इसमें सुधार होकर 81-92% हो गया।
- "लापता" भ्रम: कंप्यूटर कभी-कभी "डॉक्टर ने कहा कि कोई धब्बे नहीं हैं" और "डॉक्टर ने धब्बों का उल्लेख ही नहीं किया" के बीच भ्रमित हो जाता था। इसे एक नकारात्मक निष्कर्ष और एक छूटे हुए नोट के बीच अंतर करने में संघर्ष करना पड़ा।
निचोड़
यह अध्ययन साबित करता है कि एक खुला, मुफ्त उपयोग वाला AI मॉडल जटिल डच मेडिकल रिपोर्ट को सफलतापूर्वक पढ़ सकता है और उन्हें व्यवस्थित डेटा में बदल सकता है, बिना किसी विदेशी कंपनी के सर्वर पर रोगी की जानकारी भेजे।
- यह सबसे अच्छा काम करता है जब आप इसे मूल भाषा (डच) पढ़ने देते हैं बजाय इसके कि इसका अनुवाद किया जाए।
- यह स्मार्ट बनता है जब आप इसे काम शुरू करने से पहले देखने के लिए कुछ समान उदाहरण देते हैं।
- यह अभी भी पूर्ण नहीं है, विशेष रूप से कठिन गणनाओं या बहुत दुर्लभ स्थितियों के मामले में, लेकिन यह एक शक्तिशाली उपकरण है जो शोधकर्ताओं को हजारों बिखरी हुई रिपोर्टों को अकेले मनुष्यों की तुलना में बहुत तेज़ी से उपयोगी डेटा में बदलने में मदद कर सकता है।
शोध निष्कर्ष निकालता है कि यह तकनीक अनुसंधान के लिए डेटा को व्यवस्थित करने में मदद करने के लिए तैयार है, बशर्ते मनुष्य कठिन हिस्सों की दोबारा जांच करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।