Comparative Performance of Frontier Large Language Models for Extracting High-Risk Pathologic Features from Unstructured Gastrointestinal Oncology Reports: A Systematic Benchmarking Study with Human and Traditional NLP Baselines
यह व्यवस्थित बेंचमार्किंग अध्ययन प्रदर्शित करता है कि सीमावर्ती लार्ज मल्टीमॉडल मॉडल, विशेष रूप से जेमिनी 2.5 प्रो और जीपीटी-4ओ, असंरचित गैस्ट्रोइंटेस्टाइनल पैथोलॉजी रिपोर्ट से महत्वपूर्ण पेरिन्यूरल आक्रमण स्थिति निकालने में समय के दबाव वाले मानव विशेषज्ञों और पारंपरिक एनएलपी बेसलाइन दोनों से काफी बेहतर प्रदर्शन करते हैं, जबकि एक नवीन विफलता मोड वर्गीकरण विशिष्ट त्रुटि हस्ताक्षरों के आधार पर मॉडल चयन के लिए कार्रवाई योग्य मार्गदर्शन प्रदान करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने नहीं लिखा है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
चिकित्सा रिकॉर्ड की दुनिया की कल्पना एक विशाल, अराजक पुस्तकालय के रूप में करें जहाँ हर किताब एक अलग बोली में लिखी गई है। इस पुस्तकालय में, डॉक्टर सूक्ष्मदर्शी (माइक्रोस्कोप) के नीचे जो देखते हैं, उसके बारे में लंबी, अव्यवस्थित कहानियाँ लिखते हैं, और उन कहानियों के भीतर छोटे, महत्वपूर्ण सुराग छिपे होते हैं जो मरीज के भविष्य के उपचार को तय करते हैं। एक सबसे महत्वपूर्ण सुराग है जिसे "पेरिन्यूरल इनवेजन" (PNI) कहा जाता है। PNI को एक चालाक चोर के रूप में समझें जो कैंसर कोशिकाओं को शरीर की सूक्ष्म नसों के साथ चुपके से आगे बढ़ने का रास्ता देता है, जिससे बीमारी से लड़ना कठिन हो जाता है। यदि कोई डॉक्टर इस सुराग को मिस कर देता है, तो वे शायद मरीज को सही तरह का रेडिएशन या अतिरिक्त दवा न दे पाएं।
वर्षों से, कंप्यूटर इन कहानियों को पढ़ने और इन सुरागों को खोजने की कोशिश करते रहे हैं, लेकिन वे मानवीय भाषा की अव्यवस्थित लिखावट से अक्सर भ्रमित हो जाते हैं। वे एक "नहीं" (no) को मिस कर सकते हैं या किसी जटिल वाक्य पर अटक सकते हैं। अब, 'लार्ज लैंग्वेज मॉडल्स' (जैसे कि चैटबॉट्स को चलाने वाले) नामक नए जमाने के सुपर-स्मार्ट कंप्यूटर दिमाग आ गए हैं। ये केवल साधारण सर्च इंजन नहीं हैं; ये प्रतिभाशाली छात्रों की तरह हैं जो पूरी कहानी पढ़ सकते हैं, संदर्भ (context) को समझ सकते हैं, और यह पता लगा सकते हैं कि डॉक्टर का वास्तविक अर्थ क्या था, भले ही शब्द कठिन क्यों न हों। बड़ा सवाल जो हर कोई पूछ रहा है वह यह है: क्या ये नए AI छात्र एक थके हुए मानव डॉक्टर या पुराने कंप्यूटर प्रोग्राम की तुलना में उन चालाक कैंसर सुरागों को खोजने में अधिक स्मार्ट हैं?
यह शोध पत्र एक विशाल, उच्च-दांव वाली स्पेलिंग बी (वर्तनी प्रतियोगिता) की तरह है, लेकिन यहाँ शब्दों को स्पेल करने के बजाय, प्रतियोगी वास्तविक चिकित्सा रिपोर्टों में से उन चालाक कैंसर सुरागों को खोजने की कोशिश कर रहे हैं। शोधकर्ताओं ने आज के चार सबसे शक्तिशाली AI मॉडल्स के बीच एक दौड़ आयोजित की—GPT-4o, Gemini 2.5 Pro, Claude 3.7 Sonnet, और DeepSeek-R1। लेकिन उन्होंने केवल AI को अकेले खेलने के लिए नहीं छोड़ा; उन्होंने यह देखने के लिए दो अन्य टीमें भी जोड़ीं कि कौन जीतेगा। पहली टीम प्रशिक्षु डॉक्टरों (रेसिडेंट्स) का एक समूह था जिन्हें 90 सेकंड की हड़बड़ी वाली समय सीमा के भीतर रिपोर्ट पढ़नी थी, जो वास्तविक व्यस्त डॉक्टरों की स्थिति को दर्शाता है। दूसरी टीम एक पारंपरिक, पुराने कंप्यूटर प्रोग्राम (BioBERT) की थी जिसे विशेष रूप से चिकित्सा पाठ पर प्रशिक्षित किया गया था, लेकिन इसमें नए AI जैसा "कॉमन सेंस" नहीं है।
परिणाम एक स्पष्ट जीत थे, लेकिन कुछ दिलचस्प मोड़ के साथ। शुद्ध सटीकता की दौड़ के विजेता के रूप में Gemini 2.5 Pro उभरा, जिसने 95.8% बार सही उत्तर दिया। इसके ठीक पीछे GPT-4o था, जिसने 94.2% बार सही उत्तर दिया। इन दोनों AI सुपरस्टार्स ने मानव रेजिडेंट्स को काफी पीछे छोड़ दिया, जिन्होंने समय के दबाव में केवल 77.2% सही उत्तर दिए, और पुराने BioBERT प्रोग्राम को भी, जिसने 79.6% स्कोर किया। वास्तव में, सर्वश्रेष्ठ AI मॉडल जल्दबाजी में काम करने वाली मानव टीम की तुलना में लगभग 10% अधिक सटीक था।
हालाँकि, शोध ने यह भी पाया कि AI अभी भी पूर्ण नहीं है। यहाँ तक कि सर्वश्रेष्ठ AI मॉडल भी उन विशेषज्ञ पैथोलॉजिस्ट की टीम जितना अच्छा प्रदर्शन नहीं कर पाए जिन्होंने अपना समय लिया और जिनके ऊपर कोई स्टॉपवॉच नहीं चल रही थी (जिन्होंने 97.2% सही उत्तर दिया)। इसका अर्थ है कि AI प्रारंभिक कार्य करने, महत्वपूर्ण मामलों को चिह्नित करने में बहुत अच्छा है, लेकिन अंतिम निर्णय के लिए इसे अभी भी एक मानव विशेषज्ञ द्वारा दोबारा जांच की आवश्यकता है।
अध्ययन ने यह भी पता लगाया कि प्रत्येक AI मॉडल अलग-अलग प्रकार की गलतियाँ करता है, जैसे कि उनके अपने "व्यक्तित्व दोष" होना। Gemini 2.5 Pro समग्र स्कोर प्राप्त करने में सबसे अच्छा था, लेकिन यह कभी-कभी नकारात्मक शब्दों से भ्रमित हो जाता था। यदि रिपोर्ट में "आक्रमण का कोई प्रमाण नहीं" (no evidence of invasion) लिखा था, तो Gemini कभी-कभी "नहीं" (no) को मिस कर देता था और सोचता था कि कैंसर मौजूद है। दूसरी ओर, GPT-4o और Claude 3.7 Sonnet बहुत सावधान थे। यदि रिपोर्ट में "संभावित" (possible) या "संभवतः" (likely) जैसे अस्पष्ट शब्दों का उपयोग किया गया था, तो ये मॉडल अनुमान लगाने के बजाय अक्सर कहते थे, "मुझे यकीन नहीं है।" हालांकि यह सुरक्षित है, लेकिन इसका मतलब है कि वे कुछ ऐसे मामले मिस कर सकते हैं जिन्हें एक इंसान पकड़ लेता।
अंत में, यह शोध पत्र सुझाव देता है कि ये नए AI मॉडल अस्पतालों में "रक्षा की पहली पंक्ति" के रूप में उपयोग किए जाने के लिए तैयार हैं। वे एक थके हुए इंसान की तुलना में बहुत तेज़ी से और अधिक सटीकता से सैकड़ों रिपोर्टों को स्कैन कर सकते हैं, और उन खतरनाक सुरागों को ढूंढ सकते हैं जिन्हें ध्यान देने की आवश्यकता है। लेकिन क्योंकि वे विशिष्ट प्रकार की त्रुटियां करते हैं और एक सतर्क विशेषज्ञ जितने पूर्ण नहीं हैं, इसलिए सबसे अच्छी योजना यह है कि AI को भारी काम करने दें और फिर एक मानव डॉक्टर को अंतिम मंजूरी देने दें। यह एक टीम प्रयास है जहाँ AI एक सुपर-फास्ट स्काउट है, और मानव वह बुद्धिमान कप्तान है जो अंतिम निर्णय लेता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।