ClinConsensus: A Consensus-Based Benchmark for Evaluating Chinese Medical LLMs across Difficulty Levels

यहाँ शोध पत्र "ClinConsensus: ClinConsensus: A Consensus-Based Benchmark for Evaluating Chinese Medical LLMs across Difficulty Levels" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) स्वास्थ्य सेवा में आशाजनक दिख रहे हैं, मौजूदा मेडिकल बेंचमार्क गंभीर सीमाओं से ग्रस्त हैं:

• स्थिर और पृथक (Static and Isolated): अधिकांश बेंचमार्क (जैसे USMLE-शैली की परीक्षाएँ) एकल-चरण, बहुविकल्पीय प्रश्नों पर निर्भर करते हैं जो जटिल, बहु-चरणीय नैदानिक तर्क के बजाय केवल तथ्यात्मक स्मरण (factual recall) पर केंद्रित होते हैं।
• अनुदैर्ध्य संदर्भ का अभाव (Lack of Longitudinal Context): वे देखभाल के सातत्य (prevention $\to$ treatment $\to$ long-term follow-up) और वास्तविक दुनिया के रोगी प्रबंधन की गतिशील प्रकृति को पकड़ने में विफल रहते हैं।
• सांस्कृतिक और प्रणालीगत अंतराल (Cultural and Systemic Gaps): मौजूदा चीनी बेंचमार्क अक्सर चीनी चिकित्सा प्रणाली की विशिष्ट वास्तविकताओं के साथ संरेखित नहीं होते हैं, जिसमें प्रतिपूर्ति नियम (reimbursement rules), परिवार-मध्यस्थ निर्णय लेना और स्थानीय नैदानिक दिशानिर्देश शामिल हैं।
• सुरक्षा बनाम सटीकता (Safety vs. Accuracy): स्थिर परीक्षणों पर उच्च सटीकता वास्तविक दुनिया के परिदृश्यों में सुरक्षा या उपयोगिता की गारंटी नहीं देती है, जहाँ मॉडल भ्रमित (hallucinate) हो सकते हैं, महत्वपूर्ण बाधाओं को अनदेखा कर सकते हैं, या समय के साथ असंगत सलाह दे सकते हैं।

2. कार्यप्रणाली (Methodology)

A. डेटासेट निर्माण: ClinConsensus

लेखकों ने एक उच्च-गुणवत्ता वाला, विशेषज्ञ-सत्यापित डेटासेट तैयार किया है जिसमें 2,500 ओपन-एंडेड क्लिनिकल केस शामिल हैं।

• क्षेत्र (Scope): यह 36 चिकित्सा विशिष्टताओं (specialties) और 12 सामान्य नैदानिक कार्य प्रकारों (जैसे, विभेदक निदान, दवा सुरक्षा, दीर्घकालिक निगरानी) को कवर करता है।
• देखभाल के चरण (Care Stages): यह तीन चरणों में वितरित है: उपचार (74.56%), दीर्घकालिक प्रबंधन (21.84%), और रोकथाम (3.60%)।
• जटिलता स्तरीकरण (Complexity Stratification): मामलों को नैदानिक कार्यों और विशिष्टताओं की संख्या के आधार पर तीन कठिनाई स्तरों (L1, L2, L3) में वर्गीकृत किया गया है, जहाँ L3 के लिए जटिल कारण तर्क (causal reasoning) और व्यक्तिगत योजना की आवश्यकता होती है।
• विशेषज्ञ क्यूरेशन (Expert Curation): इसे वास्तविक दुनिया के, वि-पहचानीकृत (de-identified) मामलों को प्राकृतिक भाषा आख्यानों में बदलकर, चीनी नैदानिक विशेषज्ञों की एक बहु-विषयक टीम द्वारा विकसित किया गया है।
• मूल्यांकन रूब्रिक्स (Evaluation Rubrics): प्रत्येक मामले को 30 विशेषज्ञ-निर्धारित बाइनरी मानदंडों (rubrics) के साथ जोड़ा गया है जो नैदानिक वैधता, साक्ष्य-आधारित अभ्यास और सुरक्षा को कवर करते हैं। इसके अतिरिक्त, रूब्रिक निर्माण के मार्गदर्शन के लिए 73 सर्वसम्मति-स्तरीय मानदंड स्थापित किए गए थे।

B. गुणवत्ता नियंत्रण (Quality Control)

एक दो-चरणीय फ़िल्टरिंग प्रक्रिया कठिनाई और वैधता सुनिश्चित करती है:

1. कठिनाई फ़िल्टरिंग (Difficulty Filtering): वे मामले जहाँ अग्रणी LLMs (DeepSeek-v3, GPT-5, Gemini-2.5 Pro) ने रूब्रिक्स पर $\ge$ 50% स्कोर किया, उन्हें हटा दिया गया ताकि यह सुनिश्चित हो सके कि बेंचमार्क गैर-तुच्छ तर्क (non-trivial reasoning) का परीक्षण करता है।
2. **विशेषज्ञ ऑडिट (Expert Auditing):
   वरिष्ठ चिकित्सकों ने नैदानिक शुद्धता, आंतरिक निरंतरता और दिशानिर्देशों के पालन के लिए शेष मामलों के 20% का यादृच्छिक ऑडिट किया।

C. मूल्यांकन ढांचा (Evaluation Framework)

जटिल, ओपन-एंडेड प्रतिक्रियाओं का मूल्यांकन करने के लिए, लेखक एक दोहरा-जज ढांचा (Dual-Judge Framework) प्रस्तावित करते हैं:

1. LLM-as-Judge: एक उच्च-क्षमता वाला प्रोप्रायटरी मॉडल (जैसे, GPT-4.1/5.1) एक ग्रेडर के रूप में कार्य करता है।
2. प्रशिक्षित जज (Trained Judge): एक हल्का, स्थानीय रूप से तैनात करने योग्य मॉडल (8B पैरामीटर, जिसे उच्च-निष्ठा ग्रेडिंग को कम लागत पर दोहराने के लिए सुपरवाइज्ड फाइन-ट्यूनिंग के माध्यम से डिस्टिल्ड किया गया है) जो विशेषज्ञ एनोटेशन पर प्रशिक्षित है।

• इनपुट-आउटपुट अनुबंध (Input-Output Contract): जज को पूरा बातचीत का संदर्भ और एक एकल रूब्रिक आइटम प्राप्त होता है, जो एक संरचित JSON निर्णय (criteria_met: true/false) और एक स्पष्टीकरण आउटपुट करता है।

D. मीट्रिक: क्लिनिकली एप्लिकेबल कंसिस्टेंसी स्कोर (CACS@k)

लेखक उच्च-जोखिम वाले डोमेन में औसत सटीकता की सीमाओं को दूर करने के लिए CACS@k पेश करते हैं।

• अवधारणा (Concept): औसत स्कोर के बजाय, CACS@k नैदानिक रूप से उपयोगी (clinically usable) प्रतिक्रियाएं उत्पन्न करने की निरंतरता पर ध्यान केंद्रित करता है।
• तंत्र (Mechanism): यह रूब्रिक-हिट स्कोर के रिवर्स-एम्पिरिकल संचयी वितरण फलन (ECDF) के ट्रंकेटेड क्षेत्र की गणना करता है, जो एक नैदानिक थ्रेशोल्ड $k$ से शुरू होता है।
• थ्रेशोल्ड अंशांकन (Threshold Calibration, $k=7$): थ्रेशोल्ड को विशेषज्ञों (अटेंडिंग डॉक्टर्स) के एक नमूना सेट पर उनके औसत प्रदर्शन के आधार पर अनुभवजन्य रूप से अंशांकित किया गया है। $k=7$ का स्कोर एक प्रतिक्रिया को उपयोगी मानने के लिए आवश्यक न्यूनतम "महत्वपूर्ण द्रव्यमान" (critical mass) का प्रतिनिधित्व करता है, यह स्वीकार करते हुए कि विशेषज्ञ हमेशा हर संभावित विचार को पूरी तरह से सूचीबद्ध नहीं करते हैं।
• सूत्र (Formula):
  $$\text{CACS@}k = \frac{100}{|D|(N-k+1)} \sum_{i \in D} \max(0, s_i - k + 1)$$
  जहाँ $s_i$ मामले $i$ के लिए रूब्रिक हिट्स की संख्या है, $N=30$ कुल रूब्रिक्स हैं, और $k=7$ है।

3. मुख्य योगदान (Key Contributions)

1. ClinConsensus बेंचमार्क: देखभाल के पूर्ण सातत्य को कवर करने वाला पहला व्यापक, चीनी-विशिष्ट बेंचमार्क, जिसमें 36 विशिष्टताओं में 2,500 जटिल, ओपन-एंडेड मामले शामिल हैं।
2. स्केलेबल मूल्यांकन पद्धति: एक उच्च-क्षमता वाले LLMs को डिस्टिल्ड, स्थानीय रूप से तैनात करने योग्य जज मॉडल के साथ जोड़ने वाला एक दोहरा-जज ढांचा, जो पुनरुत्पादक और लागत प्रभावी मूल्यांकन सक्षम करता है।
3. नया मीट्रिक (CACS@k): एक थ्रेशोल्ड-कैलिब्रेटेड मीट्रिक जो औसत शुद्धता के बजाय नैदानिक रूप से कार्रवाई योग्य आउटपुट की निरंतरता को प्राथमिकता देता है, जो चिकित्सक के निर्णय के साथ बेहतर ढंग से संरेखित है।
4. व्यापक विश्लेषण: 15 अत्याधुनिक (state-of-the-art) LLMs का एक कठोर मूल्यांकन, जो नैदानिक क्षमताओं में महत्वपूर्ण विषमता को प्रकट करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने ClinConsensus का उपयोग करके 15 अग्रणी LLMs (GPT-5.2, ERNIE-5.0, Kimi-K2, Qwen, आदि सहित) का मूल्यांकन किया।

• समग्र प्रदर्शन (Overall Performance): शीर्ष मॉडल्स (ERNIE-5.0, GPT-5.2, Kimi-K2, Qwen-Plus) ने तुलनीय समग्र CACS@7 स्कोर (लगभग 38.0) प्राप्त किया, लेकिन निचले स्तर के मॉडल्स (जैसे, LLaMA-405B का 14.20) के लिए प्रदर्शन काफी गिर गया।
• कार्य विषमता (Task Heterogeneity):
  • Kimi-K2 तर्क-प्रधान कार्यों (विभेदक निदान, कारण तर्क) और सूचना निष्कर्षण में उत्कृष्ट रहा।
  • ERNIE-5.0 साक्ष्य पुनर्प्राप्ति (Evidence Retrieval) और दीर्घकालिक अनुवर्ती (Long-term Follow-up) में अग्रणी रहा।
  • GPT-5.2 रोगी शिक्षा (Patient Education) में सर्वश्रेष्ठ प्रदर्शन कर पाया।
• देखभाल चरण की चुनौतियाँ (Care Stage Challenges): उपचार (Treatment) चरण सबसे कठिन था (औसत CACS@7 = 30.16), जो रोकथाम (38.43) और दीर्घकालिक प्रबंधन (37.17) की तुलना में काफी कम था। यह रेखांकित करता है कि नैदानिक रूप से कार्रवाई योग्य उपचार योजना अभी भी एक बड़ी बाधा बनी हुई है।
• विशेषता भिन्नता (Specialty Variance): प्रदर्शन विभिन्न विशिष्टताओं के आधार पर व्यापक रूप से भिन्न हुआ। स्पोर्ट्स मेडिसिन और इमरजेंसी मेडिसिन में उच्च स्कोर देखा गया, जबकि ऑर्गन ट्रांसप्लांटेशन और साइकियाट्री (मनोचिकित्सा) में सबसे कम प्रदर्शन हुआ, जो डोमेन-विशिष्ट कमजोरियों को दर्शाता है।
• विश्वसनीयता (Trustworthiness): स्वचालित ग्रेडर्स (LLM-as-Judge और SFT-Judge) ने मानव चिकित्सकों के साथ उच्च सहमति (Macro-F1 $\approx$ 0.76–0.81) दिखाई, और CACS@k रैंकिंग विभिन्न जजों के बीच स्थिर रही।

5. महत्व और निष्कर्ष (Significance and Conclusion)

• अंतराल को पाटना (Bridging the Gap): यह अध्ययन प्रदर्शित करता है कि मजबूत सामान्य भाषा मॉडलिंग क्षमताएं स्वचालित रूप से सुरक्षित, उपयोगी नैदानिक व्यवहार में अनुवादित नहीं होती हैं। मॉडल अक्सर अनुदैर्ध्य तर्क और जटिल उपचार योजना में विफल रहते हैं।
• वास्तविक दुनिया की प्रासंगिकता (Real-World Relevance): चीनी-विशिष्ट बाधाओं (प्रतिपूर्ति, सांस्कृतिक संदर्भ) और देखभाल-सातत्य संरचना को शामिल करके, ClinConsensus नैदानिक तैनाती के लिए AI की तत्परता का अधिक यथार्थवादी मूल्यांकन प्रदान करता है।
• भविष्य की दिशा (Future Direction): यह बेंचमार्क मजबूत, नैदानिक रूप से आधारित और वास्तविक दुनिया की स्वास्थ्य सेवा की सुरक्षा-महत्वपूर्ण जटिलताओं को संभालने में सक्षम मेडिकल LLMs के विकास के लिए एक विस्तार योग्य आधार के रूप में कार्य करता है। लेखक मल्टीमॉडल और इंटरैक्टिव मूल्यांकन सेटिंग्स में विस्तार करने की योजना बना रहे हैं।