Comparison of performance of an LLM Council of LFM2.5-1.2B, Qwen3-4B-2507 and Phi-4-Mini- reasoning and Meta LLaMa 3.1 8B against MedGemma 4B on extraction and classification of free-text radiology reports
यद्यपि अध्ययन ने यह परिकल्पना की थी कि डोमेन-विशिष्ट MedGemma 4B, मल्टी-मॉडल LLM काउंसिल से बेहतर प्रदर्शन करेगा, परिणामों ने दिखाया कि MedGemma ने काउंसिल फ्रेमवर्क की तुलना में उच्च समग्र सटीकता प्राप्त की, जबकि एकल सामान्य-उद्देश्य वाले मॉडल Qwen3-4B-2507 ने स्वतंत्र रूप से दोनों को पीछे छोड़ दिया, जो यह सुझाव देता है कि मजबूत सामान्य तर्क नैदानिक रेडियोलॉजी रिपोर्ट विश्लेषण में सर्वसम्मति-आधारित और विशिष्ट चिकित्सा दृष्टिकोणों दोनों से बेहतर प्रदर्शन कर सकता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
अस्पताल के रेडियोलॉजी विभाग की शांत गूँज में, मशीनें मानव शरीर की छवियाँ लेती हैं, लेकिन एक रोगी के स्वास्थ्य की वास्तविक कहानी अक्सर डॉक्टर की रिपोर्ट के मुक्त-प्रवाह वाले पाठ (टेक्स्ट) के भीतर छिपी होती है। वर्षों से, शोधकर्ताओं ने यह आशा की है कि कृत्रिम बुद्धिमत्ता (आर्टिफिशियल इंटेलिजेंस) इन रिपोर्टों को एक मानव विशेषज्ञ की तरह धाराप्रवाह पढ़ सकेगी, जिससे ट्यूमर के आकार या हड्डी के फ्रैक्चर जैसे महत्वपूर्ण विवरणों को निकालकर देखभाल की गति बढ़ाई जा सके। इस पहेली को सुलझाने के लिए दो मुख्य मार्ग सामने आए हैं। एक मार्ग में कंप्यूटर को विशेष रूप से चिकित्सा पाठ्यपुस्तकों और रोगी के रिकॉर्ड पर प्रशिक्षित करना शामिल है, इस उम्मीद में कि एक डिजिटल विशेषज्ञ बनाया जा सके जो बीमारी की भाषा को कंठस्थ जानता हो। दूसरा मार्ग शक्तिशाली, सामान्य-उद्देश्य वाले कंप्यूटरों पर निर्भर करता है जो चिकित्सा नहीं सीखे हैं, लेकिन भाषा को समझने, निर्देशों का पालन करने और जटिल समस्याओं के माध्यम से तर्क करने में असाधारण रूप से कुशल हैं। क्षेत्र के सामने बड़ा प्रश्न यह है कि क्या इन सामान्य विचारकों की एक टीम, मिलकर एक आम सहमति तक पहुँचने के लिए, एक एकल, अत्यधिक प्रशिक्षित चिकित्सा विशेषज्ञ से बेहतर प्रदर्शन कर सकती है।
शोधकर्ताओं की एक टीम ने एक विशिष्ट चिकित्सा कृत्रिम बुद्धिमत्ता को सामान्य-उद्देश्य वाले मॉडलों की एक अनूठी "परिषद" (काउंसिल) के विरुद्ध खड़ा करके इसका उत्तर देने का प्रयास किया। उन्होंने नई दिल्ली के एक अस्पताल से लगभग आठ सौ वास्तविक, गुमनाम रेडियोलॉजी रिपोर्ट एकत्र कीं, जिनमें मैमोग्राम, हिप और नी स्कैन, तथा ब्रेन एमआरआई (मस्तिष्क के चुंबकीय अनुनाद चित्र) शामिल थे। उनका लक्ष्य यह देखना था कि कौन सी प्रणाली दो प्रकार के कार्यों को बेहतर ढंग से कर सकती है: पाठ से विशिष्ट संख्याएँ और कोड निकालना, और यह तय करना कि स्कैन सामान्य था या इसके लिए आगे ध्यान देने की आवश्यकता है। उन्होंने जिस विशिष्ट चिकित्सा मॉडल को चुना वह 'मेडजेम्मा' (MedGemma) था, जो विशेष रूप से स्वास्थ्य सेवा के लिए बनाया गया एक सिस्टम है। विपक्षी शक्ति में तीन छोटे, सामान्य-उद्देश्य वाले मॉडलों की एक परिषद शामिल थी जो अपने उत्तर स्वतंत्र रूप से उत्पन्न करते थे। इन उत्तरों की समीक्षा और संयोजन फिर एक चौथे मॉडल द्वारा किया जाता था, जो एक अध्यक्ष (चेयरमैन) के रूप में कार्य करता था, ताकि एक एकल अंतिम निर्णय निकाला जा सके। शोधकर्ताओं ने यह परिकल्पना की थी कि चिकित्सा के क्षेत्र में गहन प्रशिक्षण दिए जाने के कारण विशिष्ट चिकित्सा मॉडल ही जीतेगा।
हालाँकि, परिणामों ने एक अलग कहानी सुनाई। जब प्रणालियों का परीक्षण मैमोग्राफी रिपोर्ट पर किया गया, जिसमें विशिष्ट स्कोर निकालना आवश्यक था, तो विशिष्ट मॉडल ने अच्छा प्रदर्शन किया, लेकिन वह स्पष्ट विजेता नहीं था। वास्तव में, परिषद के एक अकेले सामान्य-उद्देश्य वाले मॉडल ने, जो अकेले कार्य कर रहा था, उच्चतम सटीकता प्राप्त की। इस एकल मॉडल ने मैमोग्राफी के लगभग बानवे प्रतिशत मामलों में आवश्यक विवरणों की सही पहचान की, जिससे वह विशिष्ट चिकित्सा मॉडल से भी आगे निकल गया। परिषद ने समग्र रूप से, अपने अध्यक्ष द्वारा समूह के विचारों को संश्लेषित करने के साथ, इस एकल मजबूत मॉडल की तुलना में थोड़ा खराब प्रदर्शन किया। जब कार्य हिप, नी और एंकल (टखने) की रिपोर्टों को वर्गीकृत करने की ओर स्थानांतरित हुआ, तो अंतर काफी बढ़ गया। यहाँ, विशिष्ट चिकित्सा मॉडल ने लगभग छिअसी प्रतिशत मामलों में रोगी के प्री-सर्जरी या पोस्ट-सर्जरी होने की सही पहचान की, जबकि परिषद संघर्ष करती दिखी, जो केवल लगभग बहत्तर प्रतिशत बार इसे सही कर पाई। हालाँकि, एकल सामान्य-उद्देश्य वाला मॉडल लगभग तिरानवे प्रतिशत सटीकता के साथ ऊँचाइयों को छू गया, जिसने विशेषज्ञ या सामूहिक प्रयास दोनों की तुलना में रिपोर्ट के संदर्भ को कहीं बेहतर तरीके से समझा।
सबसे आश्चर्यजनक निष्कर्ष मस्तिष्क के स्कैन (ब्रेन स्कैन) में सामने आया। विशिष्ट मॉडल विसंगतियों को पहचानने में बहुत अच्छा था, लेकिन इसने अधिक गलतियाँ भी कीं, जब उसने अन्य स्थानों पर मामूली समस्याओं को देखते हुए सामान्य स्कैन को असामान्य के रूप में चिह्नित कर दिया। इसके विपरीत, एकल सामान्य-उद्देश्य वाले मॉडल ने सामान्य स्कैन की पहचान करने में पूर्णता दिखाई, उसने कभी भी वह विशिष्ट त्रुटि नहीं की, जबकि वह वास्तविक समस्याओं को भी पकड़ रहा था। जब शोधकर्ताओं ने परिषद के प्रदर्शन को देखा, तो उन्होंने पाया कि कई मॉडलों के विचारों को मिलाने की प्रक्रिया अक्सर सही उत्तरों को कमज़ोर कर देती थी। कई उदाहरणों में, परिषद ने अपने सबसे अच्छे सदस्य द्वारा दिए गए सही उत्तर को अनदेखा कर दिया और इसके बजाय बहुमत का अनुसरण किया, जो कि गलत साबित हुआ। अध्ययन बताता है कि इन विशिष्ट कार्यों के लिए, एक कथा (नैरेटिव) के माध्यम से तर्क करने और निर्देशों का पालन करने की क्षमता, चिकित्सा तथ्यों के डेटाबेस को याद रखने की क्षमता से अधिक मूल्यवान है। परिषद की जटिल संरचना, जिसे एकल मॉडल की तुलना में चार गुना अधिक कंप्यूटिंग पावर और मेमोरी की आवश्यकता थी, बेहतर परिणाम नहीं दे सकी; इसने केवल चलाने की लागत बढ़ा दी।
अंततः, अनुसंधान यह संकेत देता है कि रेडियोलॉजी रिपोर्ट पढ़ने के लिए, एक एकल, मजबूत सामान्य-उद्देश्य वाला मॉडल जो पाठ के माध्यम से तर्क कर सकता है, एक ऐसी टीम जो आम सहमति बनाने का प्रयास करती है या एक ऐसे सिस्टम की तुलना में अधिक प्रभावी हो सकता है जो विशेष रूप से चिकित्सा डेटा पर प्रशिक्षित है। विशिष्ट चिकित्सा मॉडल सुदृढ़ सिद्ध हुआ, लेकिन इसे जनरललिस्ट (सामान्य विशेषज्ञ) की संदर्भ समझने की क्षमता ने पीछे छोड़ दिया। प्रयोग ने यह भी खुलासा किया कि सहमति और संश्लेषण की परतें जोड़ने से कभी-कभी सुधार के बजाय त्रुटियाँ भी उत्पन्न हो सकती हैं, क्योंकि अंतिम निर्णय सत्य के बजाय एक समझौते का प्रतिबिंब हो सकता है। हालाँकि विशिष्ट मॉडल एक मजबूत उपकरण बना हुआ है, अध्ययन सुझाव देता है कि चिकित्सा रिपोर्ट पढ़ने का भविष्य कृत्रिम बुद्धिमत्ता की बड़ी, अधिक जटिल टीमें बनाने पर नहीं, बल्कि उस एकल मॉडल को खोजने पर निर्भर है जो कहानी को सबसे अच्छी तरह समझता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।