Large Language Models to Label CT Radiology Reports for Incidental Findings Found in Lung Cancer Screening: A Comparative Analysis

तकनीकी सारांश: फेफड़ों के कैंसर की स्क्रीनिंग के लिए रेडियोलॉजी रिपोर्ट में आकस्मिक निष्कर्षों (Incidental Findings) को लेबल करने हेतु लार्ज लैंग्वेज मॉडल्स (LLMs)

समस्या विवरण
यूरोपीय संघ में लंग कैंसर स्क्रीनिंग (LCS) कार्यक्रमों के कार्यान्वयन में रेडियोलॉजिस्टों द्वारा लो-डोज कंप्यूटेड टोमोग्राफी (LDCT) स्कैन की बड़ी मात्रा की व्याख्या करने के लिए आवश्यक कार्यभार के संबंध में महत्वपूर्ण चुनौतियां हैं। फेफड़ों के कैंसर का पता लगाने के अलावा, ये स्कैन अक्सर विशिष्ट आकस्मिक निष्कर्ष (Specific Incidental Findings - SIFs) भी प्रकट करते हैं, जिनमें एओर्टिक वाल्व रोग (AVD), ब्रोंकिएक्टेसिस (bronchiectasis), कंसोलिडेशन (consolidation), कोरोनरी आर्टरी कैल्सीफिकेशन (CAC), एम्फिसीमा (emphysema), इंटरस्टिशियल लंग एब्नॉर्मलिटीज (ILA), मीडियास्टिनल लिम्फ नोड असामान्यताएं, मीडियास्टिनल मास और थायराइड असामान्यताएं शामिल हैं। हालांकि आर्टिफिशियल इंटेलिजेंस (AI) ने पल्मोनरी नोड्यूल्स का पता लगाने में प्रगति की है, लेकिन SIFs के लिए एल्गोरिदम अभी भी शुरुआती विकास के चरण में हैं। एक प्राथमिक बाधा बड़े, एनोटेटेड डेटासेट्स की कमी है जो ऐसे मॉडल्स को प्रशिक्षित करने के लिए आवश्यक होते हैं। मौजूदा डेटासेट्स, जैसे कि नेशनल लंग स्क्रीनिंग ट्रायल (NLST), व्यापक SIF एनोटेशन का अभाव रखते हैं। जबकि क्लिनिकल रेडियोलॉजी रिपोर्ट "वीक सुपरविजन" (weak supervision) के लिए सूचना का एक समृद्ध स्रोत प्रदान करती हैं, पारंपरिक कीवर्ड-आधारित खोज विधियां चिकित्सा संबंधी बारीकियों, निषेध (negations) और शब्दावली विविधताओं को पकड़ने में विफल रहती हैं। इसके अतिरिक्त, हालांकि लार्ज लैंग्वेज मॉडल्स (LLMs) आशाजनक दिख रहे हैं, LCS रिपोर्ट में SIFs को लेबल करने के लिए उन्हें उपयोग करने की वैध रणनीतियों का अभाव है, विशेष रूप से विभिन्न प्रॉम्प्टिंग तकनीकों (जैसे, चेन-ऑफ-थॉट) की प्रभावकारिता और प्रोप्रायटरी मॉडल्स की तुलना में लाइटवेट, गोपनीयता-संरक्षण वाले ओपन-सोर्स मॉडल्स के प्रदर्शन के संबंध में।

कार्यप्रणाली (Methodology)
इस रेट्रोस्पेक्टिव अध्ययन ने डच रेडियोलॉजी रिपोर्ट में नौ SIFs की उपस्थिति या अनुपस्थिति को स्वचालित रूप से लेबल करने के लिए LLMs के उपयोग की व्यवहार्यता और इष्टतम रणनीतियों का मूल्यांकन किया।

• डेटासेट: इस अध्ययन में एक डच शैक्षणिक अस्पताल से प्राप्त 300 सीटी थोरैक्स/एब्डोमेन रिपोर्टों का उपयोग किया गया (2003 और 2020 के बीच एकत्र की गई)। डेटासेट का निर्माण 2016-2017 से 200 रिपोर्टों और 1997-2021 की पूरी रेंज से 100 रिपोर्टों को चुनकर किया गया ताकि विविधता सुनिश्चित की जा सके। सभी रिपोर्टों को डी-आइडेंटिफाइड (de-identified) किया गया था।
• रेफरेंस स्टैंडर्ड: 32 वर्षों के अनुभव वाले एक सामान्य रेडियोलॉजिस्ट ने नौ SIFs के लिए रिपोर्टों को मैन्युअल रूप से लेबल किया, जो ग्राउंड ट्रुथ (ground truth) के रूप में कार्य करता है।
• मूल्यांकित मॉडल्स:
  • प्रोप्रायटरी (Proprietary): GPT-5 और GPT-4-Turbo (OpenAI API के माध्यम से)।
  • ओपन-सोर्स (Open-Source): Llama-3.1-8B-INST और MedGemma-4B-IT (स्थानीय स्तर पर तैनात)।
  • बेसलाइन (Baseline): एक कीवर्ड-आधारित खोज विधि (regex)।
• प्रॉम्प्टिंग रणनीतियाँ: प्रत्येक मॉडल के लिए चार अलग-अलग रणनीतियों का परीक्षण किया गया:
  1. V1: बिना किसी विशिष्ट निर्धारण मानदंडों के सभी नौ SIFs को लेबल करने के लिए सामान्य प्रॉम्प्ट।
  2. V2: यूरोपीय रेडियोलॉजिकल सोसाइटी के विवरण सहित, प्रति SIF विशिष्ट प्रॉम्प्ट।
  3. V3: V2 के समान, लेकिन चेन-ऑफ-थॉट (CoT) रीजनिंग के साथ।
  4. V4: V3 के समान, लेकिन फ्यू-शॉट (few-shot) उदाहरणों के साथ (रिपोर्ट, रीजनिंग और आउटपुट के तीन उदाहरण)।
• मूल्यांकन मेट्रिक्स: सहमति (agreement) को मुख्य रूप से कोहेन्स कप्पा ($\kappa$) का उपयोग करके मापा गया, जिसे लैंडिस और कोच (1977) श्रेणियों (मामूली से लेकर लगभग पूर्ण तक) के माध्यम से व्याख्यायित किया गया। माध्यमिक मेट्रिक्स में संवेदनशीलता (sensitivity), विशिष्टता (specificity) और F1 स्कोर शामिल थे। सभी मेट्रिक्स में बूटस्ट्रैपिंग के माध्यम से गणना किए गए 95% कॉन्फिडेंस इंटरवल शामिल थे।

प्रमुख परिणाम

• कुल प्रदर्शन: LLMs ने अधिकांश SIFs के लिए रेडियोलॉजिस्ट के साथ मध्यम से लगभग पूर्ण सहमति हासिल की, जो स्वचालित लेबलिंग के लिए उनकी उपयोगिता की पुष्टि करती है। हालांकि, कोई भी एक मॉडल-प्रॉम्प्ट संयोजन सभी नौ निष्कर्षों के लिए इष्टतम नहीं था।
• मॉडल प्रदर्शन:
  • GPT-5 ने नौ में से सात SIFs (AVD, ब्रोंकिएक्टेसिस, कंसोलिडेशन, CAC, एम्फिसीमा, MLN और TA सहित) के लिए पर्याप्त या लगभग पूर्ण सहमति प्राप्त की।
  • MedGemma-4B-IT (ओपन-सोर्स) ने अधिकांश SIFs के लिए पर्याप्त या उच्च सहमति प्रदर्शित की और विशेष रूप से इंटरस्टिशियल लंग एब्नॉर्मलिटीज (ILA) के लिए सबसे अच्छे प्रोप्रायटरी मॉडल से बेहतर प्रदर्शन किया ($\kappa = 0.48$ बनाम $0.46$)।
  • Llama-3.1-8B-INST ने आम तौर पर प्रोप्रायटरी मॉडल्स और MedGemma की तुलना में कम सहमति दिखाई।
  • कीवर्ड सर्च केवल मीडियास्टिनल मास (MM) के लिए सबसे अच्छा प्रदर्शन कर सका, जो संभवतः इस विशिष्ट निष्कर्ष के लिए कम भाषाई परिवर्तनशीलता के कारण है, लेकिन निषेध और संदर्भ को संभालने में खराब होने के कारण आम तौर पर LLMs की तुलना में कम प्रदर्शन किया।
• प्रॉम्प्टिंग रणनीति: उम्मीद के विपरीत, चेन-ऑफ-थॉट (CoT) प्रॉम्प्टिंग (V3 और V4) ने गैर-CoT रणनीतियों (V1 और V2) की तुलना में प्रदर्शन को कम किया। उच्चतम सहमति मान मुख्य रूप से V1 या V2 के साथ प्राप्त हुए। फ्यू-शॉट उदाहरणों (V4) के समावेश से सहमति में सुधार नहीं हुआ और कुछ मामलों में प्रदर्शन गिर गया, जो संभावित रूप से मॉडल्स द्वारा निर्देशों पर कम ध्यान देने या लंबे प्रॉम्प्ट के अप्रासंगिक हिस्सों पर ध्यान केंद्रित करने के कारण हुआ।
• त्रुटि विश्लेषण (Error Analysis): असहमति अक्सर मॉडल्स द्वारा संदर्भ की गलत व्याख्या करने (जैसे, एओर्टिक आर्क संदर्भों के आधार पर AVD को लेबल करना) या CoT के माध्यम से "अधिक सोचने" (overthinking) के कारण हुई, जिससे तर्कहीन औचित्य उत्पन्न हुए।

महत्व और दावे
लेखक निष्कर्ष निकालते हैं कि LLMs भविष्य के SIF डिटेक्शन एल्गोरिदम के लिए प्रशिक्षण डेटा को स्केल करने हेतु रेडियोलॉजी रिपोर्टों के "वीक-एनोटेशन" के लिए एक व्यवहार्य उपकरण हैं। यह अध्ययन रेखांकित करता है कि:

1. कोई सार्वभौमिक रणनीति नहीं: कोई भी एक इष्टतम मॉडल या प्रॉम्प्ट सभी SIFs के लिए नहीं है; चयन को विशिष्ट निष्कर्ष के लिए अनुकूलित किया जाना चाहिए।
2. प्रॉम्प्ट इंजीनियरिंग: इस विशिष्ट कार्य के लिए, संक्षिप्त गैर-CoT प्रॉम्प्ट्स, CoT या फ्यू-शॉट दृष्टिकोणों की तुलना में बेहतर हैं।
3. ओपन-सोर्स व्यवहार्यता: हल्के, ओपन-सोर्स मॉडल्स (विशेष रूप से MedGemma-4B-IT) कुछ निष्कर्षों के लिए भारी प्रोप्रायटरी मॉडल्स के बराबर या उनसे बेहतर प्रदर्शन कर सकते हैं, जो स्थानीय तैनाती के लिए एक गोपनीयता-संरक्षण और लागत प्रभावी विकल्प प्रदान करते हैं।
4. सिफारिश: लेखक एक पाइपलाइन का सुझाव देते हैं जो संक्षिप्त गैर-CoT प्रॉम्प्ट्स के साथ शुरू होती है और जहाँ गोपनीयता महत्वपूर्ण है, वहाँ हल्के ओपन-सोर्स मॉडल्स का उपयोग करती है। वे इस बात पर जोर देते हैं कि बड़े पैमाने पर तैनाती से पहले प्रत्येक विशिष्ट निष्कर्ष के लिए विशेषज्ञ-लेबल वाले डेटासेट के विरुद्ध मॉडल और प्रॉम्प्ट चयन को मान्य किया जाना चाहिए।

सीमाएं
अध्ययन कई बाधाओं को स्वीकार करता है: छोटे डेटासेट के आकार (300 रिपोर्ट) के कारण मीडियास्टिनल मास जैसे दुर्लभ निष्कर्षों के लिए बहुत कम मामले थे, जिससे सांख्यिकीय निश्चितता सीमित हो गई; एकल रेडियोलॉजिस्ट का उपयोग संदर्भ मानक के रूप में करने से इंटर-रीडर परिवर्तनशीलता का आकलन करने में बाधा आई; अध्ययन डच रिपोर्टों और एक ही केंद्र तक सीमित है; और LLMs का तेजी से विकास होता है, जिसका अर्थ है कि ये परिणाम भविष्य की मॉडल क्षमताओं को प्रतिबिंबित नहीं कर सकते हैं। अध्ययन की खोजपूर्ण प्रकृति के कारण मॉडल्स के बीच सांख्यिकीय महत्व परीक्षण नहीं किया गया था।