तकनीकी सारांश: AI Consilium – LLM क्लिनिकल मल्टीडिसिप्लिनरी सेकंड ओपिनियन का एक बेंचमार्क

समस्या विवरण

जबकि लार्ज लैंग्वेज मॉडल्स (LLMs) जटिल क्लिनिकल मामलों के लिए डिफरेंशियल डायग्नोसिस उत्पन्न करने में दक्षता प्रदर्शित कर चुके हैं, एक उच्च-गुणवत्ता वाले क्लिनिकल सेकंड ओपिनियन के लिए केवल नैदानिक सटीकता (diagnostic accuracy) से कहीं अधिक की आवश्यकता होती है। इसे तथ्यात्मक रूप से सुदृढ़, क्लिनिकल रूप से सुसंगत, कार्रवाई योग्य और सुरक्षित होना चाहिए। मौजूदा मूल्यांकन अक्सर केवल नैदानिक सहमति पर निर्भर करते हैं या मल्टी-एजेंट सिस्टम को मोनोलिथिक "ब्लैक बॉक्स" के रूप में देखते हैं, जिससे मॉडल की पहचान, प्रतिक्रिया संरचना (फ्री-फॉर्म बनाम स्ट्रक्चर्ड), और संश्लेषण प्रक्रिया (synthesis process) के विशिष्ट योगदानों को अलग करना विफल हो जाता है। इसके अलावा, यह धारणा कि मल्टीडिसिप्लिनरी विचार-विमर्श (deliberation) स्वाभाविक रूप से परिणामों में सुधार करता है, बिना किसी कठोर अनुभवजन्य सत्यापन के है, विशेष रूप से कंप्यूट-मैच्ड बेसलाइन्स और आइसोलेटेड रोल-स्पेसिफिक ओपिनियन की तुलना में। एक ऐसे बेंचमार्क की आवश्यकता है जो क्लिनिकल सेकंड ओपिनियन के पूर्ण प्रक्षेपवक्र (trajectory) का मूल्यांकन कर सके—स्वतंत्र भूमिका-विशिष्ट विश्लेषण से लेकर मल्टीडिसिप्लिनरी सिंथेसिस तक—जबकि तर्क की गुणवत्ता, अंतिम निष्कर्ष और प्रबंधन योजना के बीच अंतर कर सके।

कार्यप्रणाली (Methodology)

लेखकों ने NEJM–MedQA डेटासेट (Massachusetts General Hospital के केस रिकॉर्ड्स) से 30% नैदानिक रूप से हल किए गए क्लिनिकल मामलों का उपयोग करके एक बेंचमार्क विकसित किया है। अध्ययन डिजाइन में तीन-चरणीय जनरेशन पाइपलाइन और एक बहु-आयामी मूल्यांकन ढांचा शामिल है।

1. डेटा और पाइपलाइन डिजाइन

• डेटासेट: 300 अद्वितीय मामलों को 110 मामलों (फिजिशियन एनोटेशन और LLM जज कैलिब्रेशन के लिए) और 190 मामलों (होल्ड-आउट इवैल्यूएशन के लिए) में विभाजित किया गया।
• जनरेशन पाइपलाइन:
  • भूमिका असाइनमेंट (Role Assignment): प्रत्येक मामले के लिए, 1–5 क्लिनिकल भूमिकाएं (जैसे, रेडियोलॉजी, एंडोक्रिनोलॉजी) सौंपी जाती हैं, जिनमें से एक को प्राथमिक (primary) नामित किया जाता है।
  • प्री-कॉन्सिलियम चरण (Pre-Consilium Stage): प्रत्येक भूमिका दो स्थितियों के तहत एक स्वतंत्र सेकंड ओपिनियन उत्पन्न करती है: फ्री-फॉर्म (नैरेटिव) और स्ट्रक्चर्ड (सिंड्रोम, मैकेनिज्म और मैनेजमेंट जैसे विशिष्ट अनुभागों के साथ स्कीमा-प्रतिबंधित)।
  • इंटरैक्टिव कॉन्सिलियम चरण (Interactive Consilium Stage): एक इंटरैक्टिव प्रोटोकॉल भूमिका-विशिष्ट ओपिनियन को सिंथेसाइज करता है। भूमिकाएं एक साझा रिपोर्ट की पुनरावृत्ति समीक्षा करती हैं (5 राउंड तक), आलोचना के साथ "हाँ" या "नहीं" में वोट देती हैं। एक मॉडरेटर असहमति को हल करता है, और एक फाइनलाइज़र एक समेकित केस-लेवल रिपोर्ट तैयार करता है।
• मॉडेल्स: होल्ड-आउट सेट पर आठ अलग-अलग सिंगल-मॉडल पाइपलाइनों का मूल्यांकन किया गया (DeepSeek-V4-Pro, Gemma-4-31B, GLM-5.2, GPT-5.6-Sol, GPT-OSS-120B, Qwen3.5-27B, Qwen3-235B, Qwen3-Next-80B)। कैलिब्रेशन सेट में, एक 3+1 प्रक्रिया का उपयोग किया गया जहाँ तीन वर्कर मॉडल्स ने ओपिनियन जेनरेट किए और चौथे (GLM-5.2) ने उन्हें सिंथेसाइज किया।

2. मूल्यांकन ढांचा (Evaluation Framework)

• फिजिशियन रेफरेंस: छह फिजिशियन, जिनके पास क्रॉस-डिसीप्लिनरी विशेषज्ञता है, ने आठ रिस्पॉन्स-क्वालिटी मानदंडों के आधार पर 0–3 स्केल का उपयोग करके आउटपुट को रेट किया:
  1. तथ्यात्मक शुद्धता और सोर्स ग्राउंडिंग (Factual Correctness and Source Grounding)
  2. क्लिनिकल समस्याओं की पहचान और प्राथमिकता (Identification and Prioritization of Clinical Problems)
  3. डेटा उपयोग की पूर्णता और प्रासंगिकता (Completeness and Relevance of Data Use)
  4. क्लिनिकल रीजनिंग की सुसंगतता (Coherence of Clinical Reasoning)
  5. डिफरेंशियल डायग्नोसिस की गुणवत्ता (Quality of the Differential Diagnosis)
  6. अंतिम क्लिनिकल निष्कर्ष की गुणवत्ता (Quality of the Final Clinical Conclusion)
  7. मैनेजमेंट का औचित्य और विशिष्टता (Justification and Specificity of Management)
  8. क्लिनिकल सुरक्षा (Clinical Safety)
  • विशेष नियम: किसी भी निर्मित (fabricated) क्लिनिकल रूप से महत्वपूर्ण तथ्य के परिणामस्वरूप तथ्यात्मक ग्राउंडिंग के लिए 0 स्कोर मिलेगा और संबंधित मानदंडों को 1 पर कैप कर दिया जाएगा।
• ऑटोमेटेड जज: एक फिजिशियन-कैलिब्रेटेड LLM जज (GPT-OSS-120B) को प्रत्येक मानदंड के लिए फिजिशियन रेटिंग के विरुद्ध मीन एब्सोल्यूट एरर (MAE) को कम करने के लिए इवोल्यूशनरी एल्गोरिदम (GigaEvo) का उपयोग करके अनुकूलित किया गया था।
• मेट्रिक्स: अध्ययन मॉडल आइडेंटिटी, रिस्पॉन्स फॉर्मेट, सिंथेसिस स्टेज योगदान, डेलिब्रेशन डायनेमिक्स (कंसेंसस राउंड्स), और इन्फरेंस कॉस्ट (टोकन उपयोग) का विश्लेषण करता है।

मुख्य योगदान

1. दोहरा चेकपॉइंट बेंचमार्क: पहला बेंचमार्क जो उन्हीं मामलों पर स्टैंडअलोन भूमिका-विशिष्ट ओपिनियन और अंतिम मल्टीडिसिप्लिनरी सिंथेसिस को अलग-अलग क्लिनिकल उत्पादों के रूप में मूल्यांकन करता है, जिससे सिंथेसिस वैल्यू को अलग किया जा सके।
2. बहु-आयामी गुणवत्ता ढांचा: एक फिजिशियन-विकसित रूब्रिक जो नैदानिक सहमति से आगे बढ़कर तथ्यात्मक ग्राउंडिंग, रीजनिंग, मैनेजमेंट और सुरक्षा को अलग करता है।
3. नियंत्रित तुलना: एक डिज़ाइन जो उनके प्रभावों को अलग करने के लिए मॉडल आइडेंटिटी, रिस्पॉन्स स्ट्रक्चर और सिंथेसिस स्टेज को स्वतंत्र रूप से बदलता है, जिसमें कंप्यूट-इंटेंसिव मल्टी-एजेंट इंटरेक्शन बनाम सिंगल-मॉडल बेसलाइन्स की तुलना शामिल है।
4. कैलिब्रेटेड जज सिस्टम: एक मानदंड-वार कैलिब्रेटेड LLM जज जो ओपन-एंडेड क्लिनिकल सेकंड ओपिनियन के स्केलेबल मूल्यांकन प्रदान करता है, जिसे विशिष्ट आयामों के लिए फिजिशियन रेटिंग के विरुद्ध मान्य किया गया है।

परिणाम

• मॉडल आइडेंटिटी का प्रभुत्व: मॉडल की पहचान रिपोर्ट की गुणवत्ता का सबसे मजबूत भविष्यवक्ता थी। GPT-5.6-Sol ने दोनों फ्री-फॉर्म और स्ट्रक्चर्ड फॉर्मेट में प्रत्येक मूल्यांकित घटक (रोल रीजनिंग, रोल ओपिनियन, और फाइनल कंक्लूजन) में नेतृत्व किया। सबसे अच्छे और सबसे खराब मॉडल्स के बीच प्रदर्शन का अंतर (लगभग 0.4–0.5 अंक) एक ही मॉडल के भीतर रिस्पॉन्स फॉर्मेट के कारण होने वाले अंतर से काफी अधिक था।
• सिंथेसिस का मूल्य: पूर्ण स्ट्रक्चर्ड सिंथेसिस ने सभी साझा मानदंडों में प्री-कॉन्सिलियम प्राइमरी-रोल ओपिनियन की तुलना में उच्च पूल्ड जज स्कोर प्राप्त किया। सबसे बड़े सुधार प्रॉब्लम प्रायोरिटाइजेशन, फैक्टुअल ग्राउंडिंग, और रीजनिंग कोहेरेंस में देखे गए, जो यह संकेत देते हैं कि सिंथेसिस चरण विजातीय दृष्टिकोणों को एक अधिक व्यवस्थित क्लिनिकल अकाउंट में प्रभावी ढंग से एकीकृत करता है।
• स्ट्रक्चर का प्रभाव: सात में से आठ मॉडल पाइपलाइनों में स्ट्रक्चर्ड फाइनल रिपोर्ट्स ने फ्री-फॉर्म रिपोर्ट्स की तुलना में उच्च ओवरऑल मीन दिखाया। यह लाभ मुख्य रूप से मैनेजमेंट (2.740 बनाम 2.436) में महत्वपूर्ण सुधार से प्रेरित था, जो सुझाव देता है कि स्ट्रक्चर्ड प्रॉम्प्टिंग सभी क्लिनिकल आयामों में समान रूप से सुधार करने के बजाय 'एक्शनेबिलिटी' और प्लानिंग को बेहतर बनाती है।
• डेलिब्रेशन डायनेमिक्स: इंटरैक्टिव प्रोटोकॉल ने 97.8% मामलों में आम सहमति (consensus) प्राप्त की। हालांकि, लंबे रिव्यू ट्रेजेक्टरीज (अधिक राउंड्स) का उच्च अंतिम स्कोर के साथ कोई सहसंबंध नहीं था। GPT-5.6-Sol ने सबसे कम रिव्यू राउंड्स (औसत ~1.2 राउंड्स) के साथ उच्चतम गुणवत्ता स्कोर प्राप्त किया, जो दर्शाता है कि विस्तारित विचार-विमर्श के बजाय मजबूत प्रारंभिक प्रदर्शन और तीव्र अभिसरण (convergence) अधिक प्रभावी है।
• इन्फरेंस कॉस्ट: स्ट्रक्चर्ड पाइपलाइनों को फ्री-फॉर्म पाइपलाइनों की तुलना में काफी अधिक टोकन (मामले प्रति लगभग 26.5k अतिरिक्त टोकन) की आवश्यकता थी, जो मैनेजमेंट क्वालिटी के मार्जिनल गेन और कंप्यूटेशनल कॉस्ट के बीच ट्रेड-ऑफ को उजागर करता है।

महत्व और दावे

पेपर का दावा है कि AI Consilium बेंचमार्क सफलतापूर्वक उन बारीकियों को पकड़ता है जिन्हें केवल नैदानिक सटीकता मिस कर देती है। यह प्रदर्शित करता है कि:

1. मल्टीडिसिप्लिनरी सिंथेसिस मूल्य जोड़ता है: भूमिका-विशिष्ट ओपिनियन को एकत्रित करने और संशोधित करने की प्रक्रिया अलग-थलग सामग्री को एक उच्च-गुणवत्ता वाले, एकीकृत सेकंड ओपिनियन में बदल देती है, विशेष रूप से प्राथमिकता और सुसंगतता में।
2. मॉडल का चुनाव सर्वोपरि है: क्लिनिकल सेकंड ओपिनियन की गुणवत्ता निर्धारित करने में मॉडल की पहचान, विशिष्ट रिस्पॉन्स फॉर्मेट या विचार-विमर्श प्रोटोकॉल की जटिलता की तुलना में एक अधिक महत्वपूर्ण कारक है।
3. स्ट्रक्चर एक्शनेबिलिटी में सहायता करता है: स्ट्रक्चर्ड प्रॉम्प्टिंग विशेष रूप से मैनेजमेंट प्लान की गुणवत्ता में सुधार करती है, जिससे आउटपुट अधिक कार्रवाई योग्य बनता है, हालांकि इसके साथ बढ़े हुए इन्फरेंस कॉस्ट की चुनौती भी आती है।
4. अभिसरण की दक्षता: उच्च-गुणवत्ता वाले मॉडल तेजी से आम सहमति प्राप्त कर सकते हैं, जो सुझाव देता है कि अत्यधिक विचार-विमर्श राउंड आवश्यक रूप से बेहतर क्लिनिकल परिणाम नहीं देते हैं।

लेखक निष्कर्ष निकालते हैं कि जबकि यह बेंचमार्क भविष्य के मॉडल्स और सिंथेसिस रणनीतियों की तुलना के लिए एक व्यापक ढांचा प्रदान करता है, वास्तविक क्लिनिकल निर्णय लेने और रोगी के परिणामों पर इन प्रणालियों के प्रभाव को स्थापित करने के लिए प्रोस्पेक्टिव स्टडीज अभी भी आवश्यक हैं। अध्ययन इस बात पर जोर देता है कि नैदानिक सटीकता को एकमात्र प्रॉक्सी के रूप में उपयोग करने के बजाय क्लिनिकल क्वालिटी, प्रोसीजरल कन्वर्जेंस और इन्फरेंस कॉस्ट का मूल्यांकन पूरक परिणामों के रूप में किया जाना चाहिए।