CRIMSON: A Clinically-Grounded LLM-Based Metric for Generative Radiology Report Evaluation

यहाँ शोध पत्र "CRIMSON: A Clinically-Grounded LLM-Based Metric for Generative Radiology Report Evaluation" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

स्वचालित रेडियोलॉजी रिपोर्ट जनरेशन ने लार्ज विजन-लैंग्वेज मॉडल्स (LVLMs) के साथ तेजी से प्रगति की है, लेकिन विश्वसनीय मूल्यांकन एक महत्वपूर्ण बाधा बना हुआ है। मौजूदा मेट्रिक्स तीन प्राथमिक सीमाओं से ग्रस्त हैं:

• नैदानिक संदर्भ का अभाव (Lack of Clinical Context): वर्तमान मेट्रिक्स अक्सर निष्कर्षों का पृथक रूप से मूल्यांकन करते हैं, और रोगी के महत्वपूर्ण संदर्भ जैसे आयु और नैदानिक संकेत (clinical indication) को अनदेखा कर देते हैं (उदाहरण के लिए, यह पहचानने में विफल रहते हैं कि 82 वर्षीय व्यक्ति में एओर्टिक कैल्सीफिकेशन सामान्य है, लेकिन 25 वर्षीय व्यक्ति में यह एक सुधारात्मक कदम (actionable) हो सकता है)।
• समान त्रुटि भारण (Uniform Error Weighting): अधिकांश फ्रेमवर्क सभी त्रुटियों को समान महत्व देते हैं या उन्हें बाइनरी (महत्वपूर्ण बनाम महत्वहीन) मानते हैं। वे जीवन के लिए घातक कमियों (जैसे न्यूमोथोरैक्स को छोड़ देना) और मामूली, नैदानिक रूप से महत्वहीन विसंगतियों (जैसे उम्र से संबंधित सौम्य निष्कर्ष को छोड़ देना) के बीच अंतर करने में विफल रहते हैं।
• सामान्य निष्कर्षों द्वारा मुद्रास्फीति (Inflation by Normal Findings): कई मेट्रिक्स "सामान्य" निष्कर्षों के उल्लेख को पुरस्कृत करते हैं, जो महत्वपूर्ण त्रुटियों की उपस्थिति के बावजूद स्कोर को बढ़ा सकते हैं, या रेडियोलॉजिस्ट की शैली के अनुसार भिन्न होने वाले अपेक्षित सौम्य निष्कर्षों के छूट जाने पर दंडित कर सकते हैं।

2. कार्यप्रणाली: CRIMSON फ्रेमवर्क (Methodology: The CRIMSON Framework)

CRIMSON एक नैदानिक रूप से आधारित मूल्यांकन फ्रेमवर्क है जो नैदानिक शुद्धता, प्रासंगिक प्रासंगिकता और रोगी सुरक्षा के आधार पर रिपोर्टों का आकलन करने के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग करता है। यह तीन चरणों में कार्य करता है:

A. निष्कर्ष निष्कर्षण और नैदानिक महत्व निर्धारण (Finding Extraction and Clinical Significance Assignment)

• निष्कर्षण (Extraction): सिस्टम संदर्भ ($R_{ref}$) और कैंडिडेट ($R_{cand}$) दोनों रिपोर्टों से असामान्य निष्कर्षों को निकालता है। शैलीगत परिवर्तनशीलता से बचने के लिए सामान्य निष्कर्षों को बाहर रखा जाता है।
• संदर्भ-जागरूक भारण (Context-Aware Weighting): प्रत्येक निष्कर्ष को रेडियोलॉजिस्ट द्वारा विकसित एक रूब्रिक के आधार पर नैदानिक महत्व का भार ($w(f)$) दिया जाता है। भार इस प्रकार हैं:
  • 1.0 (तत्काल/Urgent): जीवन के लिए घातक स्थितियाँ जिनमें तत्काल हस्तक्षेप की आवश्यकता होती है (जैसे, टेंशन न्यूमोथोरैक्स)।
  • 0.5 (सुधारात्मक गैर-तत्काल/Actionable Non-Urgent): वे निष्कर्ष जो प्रबंधन को बदलते हैं लेकिन तुरंत गंभीर नहीं होते (जैसे, नोड्यूल्स, एफ्यूजन)।
  • 0.25 (गैर-सुधारात्मक/Non-Actionable): न्यूनतम नैदानिक प्रभाव लेकिन दस्तावेजीकरण के योग्य (जैसे, सर्वाइकल रिब)।
  • 0.0 (अपेक्षित/सौम्य/Expected/Benign): उम्र के अनुकूल परिवर्तन जिनका देखभाल पर कोई प्रभाव नहीं पड़ता (जैसे, डिजेनरेटिव स्पाइन परिवर्तन)।
• संदर्भ संवेदनशीलता (Context Sensitivity): भार गतिशील होते हैं; उदाहरण के लिए, एक बुजुर्ग रोगी के लिए एओर्टिक कैल्सीफिकेशन का भार 0.0 है, लेकिन एक युवा रोगी के लिए यह 0.5 है।

B. त्रुटि वर्गीकरण (Error Taxonomy and Classification)

CRIMSON विसंगतियों को तीन मुख्य प्रकारों में वर्गीकृत करता है:

1. मिथ्या निष्कर्ष (False Findings): वे मतिभ्रम (hallucinations) जो कैंडिडेट रिपोर्ट में मौजूद हैं लेकिन संदर्भ रिपोर्ट में अनुपस्थित हैं।
2. लुप्त निष्कर्ष (Missing Findings): नैदानिक रूप से सार्थक चूक जो संदर्भ रिपोर्ट में मौजूद है लेकिन कैंडिडेट रिपोर्ट में अनुपस्थित है।
3. विशेषता-स्तर की त्रुटियाँ (Attribute-Level Errors): मेल खाने वाले निष्कर्षों के लिए, सिस्टम आठ आयामों का मूल्यांकन करता है: स्थान, गंभीरता, आकार (morphology), माप, निश्चितता, अल्प/अति-व्याख्या (under/over-interpretation), और टेम्पोरल डिस्क्रिप्टर।
   • विशेषता त्रुटियों को 0.5 (महत्वपूर्ण) के रूप में भारित किया जाता है यदि वे उपचार को बदलते हैं, या 0.0 (नगण्य) के रूप में यदि वे नैदानिक रूप से महत्वहीन हैं (जैसे, एक ही लोब के भीतर "एपिकल" बनाम "लेटरल")।

C. गंभीरता-जागरूक स्कोरिंग (Severity-Aware Scoring)

फ्रेमवर्क $(-1, 1]$ की सीमा में एक सामान्यीकृत स्कोर की गणना करता है:

• 0: एक "सामान्य" रिपोर्ट को दर्शाता है (कोई असामान्य निष्कर्ष नहीं)।
• >0: इंगित करता है कि रिपोर्ट में सही निष्कर्षों की संख्या त्रुटियों से अधिक है।
• <0: इंगित करता है कि रिपोर्ट में सही निष्कर्षों की तुलना में त्रुटियों की संख्या अधिक है (एक खाली टेम्पलेट से भी बदतर)।
• 1: पूर्ण (Perfect) रिपोर्ट।
  स्कोर की गणना मेल खाने वाले निष्कर्षों के लिए भारित क्रेडिट को जोड़कर और मिथ्या निष्कर्षों तथा विशेषता त्रुटियों के लिए भारित दंड को घटाकर की जाती है। नकारात्मक स्कोर को सापेक्ष क्रम को बनाए रखते हुए अनंत दंड से बचने के लिए एसिम्प्टोटिक रूप से सीमित (bounded asymptotically) किया जाता है।

3. मुख्य योगदान (Key Contributions)

• CRIMSON मेट्रिक: एक नवीन, गंभीरता-जागरूक मूल्यांकन फ्रेमवर्क जो पूर्ण नैदानिक संदर्भ (आयु, संकेत) को एकीकृत करता है और सूक्ष्म त्रुटि वर्गीकरण का उपयोग करता है।
• नए बेंचमार्क:
  • RadJudge: चुनौतीपूर्ण नैदानिक बारीकियों (जैसे, तत्काल चूक बनाम सौम्य मतिभ्रम) को कवर करने वाला 30 पास-फेल परिदृश्यों का एक लक्षित सूट।
  • RadJudge: 1–5 के पैमाने पर तीन बोर्ड-प्रमाणित रेडियोलॉजिस्ट द्वारा रेट किए गए 100 युग्म तुलनाओं (pairwise comparisons) वाला एक बड़े पैमाने का प्रेफरेंस बेंचमार्क।
• ओपन-सोर्स रिलीज: लेखकों ने मेट्रिक, बेंचमार्क और एक फाइन-ट्यून किया गया MedGemma मॉडल जारी किया है जो स्थानीय स्तर पर CRIMSON के मूल्यांकन को दोहराने में सक्षम है, जिससे अस्पताल में तैनाती के लिए गोपनीयता सुनिश्चित होती है।

4. परिणाम (Results)

CRIMSON को तीन गोल्ड स्टैंडर्ड के विरुद्ध मान्य किया गया था:

• विशेषज्ञ त्रुटि गणना के साथ सहसंबंध (ReXVal):

  • CRIMSON ने रेडियोलॉजिस्ट द्वारा एनोटेट की गई नैदानिक रूप से महत्वपूर्ण त्रुटि गणनाओं के साथ उच्चतम सहसंबंध प्राप्त किया।
  • Kendall's $\tau$: 0.68–0.71 (GREEN और RadGraph जैसे पूर्व मेट्रिक्स के 0.41–0.62 के मुकाबले)।
  • Pearson's $r$: 0.71–0.84 (पूर्व मेट्रिक्स के 0.45–0.75 के मुकाबले)।
  • गंभीरता-भारित त्रुटियों ने सबसे मजबूत संरेखण दिखाया, जिससे सिद्ध हुआ कि भारण (weighting) महत्वपूर्ण है।

• RadJudge (पास/फेल निर्णय):

  • CRIMSON ने 30/30 मामलों में रिपोर्टों को सही ढंग से रैंक किया, जो विशेषज्ञ रेडियोलॉजिस्ट की अंतर्दृष्टि के साथ पूरी तरह से मेल खाता है।
  • पूर्व मेट्रिक्स (GREEN, RadGraph, CheXbert, आदि) 35% से कम मामलों को हल कर पाए, जो महत्वपूर्ण और सौम्य त्रुटियों के बीच अंतर करने में विफल रहे।

• RadJudge (Preference Alignment):

  • CRIMSON ने रेडियोलॉजिस्ट की युग्म वरीयताओं (pairwise preferences) के साथ सबसे मजबूत संरेखण प्रदर्शित किया।
  • इसने मानव रेडियोलॉजिस्ट के बीच इंटर-रेटर विश्वसनीयता के करीब पहुँचते हुए, दोनों Kendall's $\tau_b$ और Pearson's $r$ में अन्य सभी स्वचालित मेट्रिक्स को पछाड़ दिया।

• MedGemma फाइन-ट्यूनिंग:

  • एक फाइन-ट्यून किया गया MedGemma मॉडल ($MedGemma_{CRIMSON}$) त्रुटि श्रेणियों और गंभीरता की भविष्यवाणी करने में GPT-5.2 बैकबोन के लगभग समान प्रदर्शन प्राप्त करता है, जो स्थानीय, गोपनीयता-संरक्षित तैनाती को सक्षम बनाता है।

5. महत्व (Significance)

CRIMSON सतही टेक्स्ट समानता से नैदानिक रूप से आधारित तर्क की ओर बढ़कर रेडियोलॉजी रिपोर्ट मूल्यांकन में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है।

• रोगी सुरक्षा फोकस: मामूली विसंगतियों के बजाय जीवन के लिए घातक त्रुटियों को प्राथमिकता देकर, यह स्वचालित मूल्यांकन को रेडियोलॉजी अभ्यास के वास्तविक दांव के साथ संरेखित करता है।
• संदर्भगत बुद्धिमत्ता (Contextual Intelligence): यह रोगी जनसांख्यिकी (demographics) को शामिल करके निष्कर्षों की अस्पष्टता को हल करता है, जो पिछले अत्याधुनिक मेट्रिक्स में एक गायब विशेषता है।
• पुनरुत्पादकता और गोपनीयता: एक फाइन-ट्यून किया गया ओपन-वेट मॉडल जारी करना संस्थानों को बाहरी API को संवेदनशील रोगी डेटा भेजे बिना रिपोर्टों का मूल्यांकन करने की अनुमति देता है।
• भविष्य की दिशा: हालांकि वर्तमान में चेस्ट एक्स-रे के लिए तैयार किया गया है, यह फ्रेमवर्क उच्च-जोखिम वाले चिकित्सा डोमेन में जेनेरेटिव AI के मूल्यांकन के लिए एक मोडैलिटी-एग्नोस्टिक ब्लूप्रिंट स्थापित करता है।