HealthBench Professional: Evaluating Large Language Models on Real Clinician Chats

यहाँ शोध पत्र "HealthBench Professional: Evaluating Large Language Models on Real Clinician Chats" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यद्यपि लाखों चिकित्सकों द्वारा वास्तविक समय के तर्क (reasoning), दस्तावेज़ीकरण और अनुसंधान के लिए लार्ज लैंग्वेज मॉडल्स (LLMs) का उपयोग तेजी से किया जा रहा है, मौजूदा मूल्यांकन बेंचमार्क इन अंतःक्रियाओं की जटिलता को पकड़ने में विफल रहते हैं।

• वर्तमान बेंचमार्क की सीमाएँ: अधिकांश मौजूदा स्वास्थ्य बेंचमार्क सिंथेटिक डेटा, सिंगल-टर्न मल्टीपल-चॉइस प्रश्नों (जैसे MedQA), या संरचित रोगी विगनेट्स (vignettes) पर निर्भर करते हैं। ये वास्तविक चिकित्सक वर्कफ़्लो की मल्टी-टर्न, ओपन-एंडेड प्रकृति को प्रतिबिंबित नहीं करते हैं।
• सैचुरेशन (Saturation): कई बेंचमार्क पहले से ही सैचुरेटेड हो चुके हैं, जो फ्रंटियर मॉडल्स के भविष्य के विकास को मापने के लिए बहुत कम संकेत प्रदान करते हैं।
• विश्वसनीयता का अभाव: मूल्यांकन अक्सर एनोटेशन शोर (noise) या कई डोमेन विशेषज्ञों द्वारा कठोर सत्यापन की कमी से ग्रस्त होते हैं, जिससे मॉडल की विफलता और मूल्यांकन की खामियों के बीच अंतर करना कठिन हो जाता है।

लक्ष्य: एक उच्च-गुणवत्ता वाला, अन-सैचुरेटेड (unsaturated), और विश्वसनीय बेंचमार्क बनाना जो LLMs का मूल्यांकन उन विशिष्ट, वास्तविक दुनिया के कार्यों पर करे जो चिकित्सक प्रतिदिन करते हैं।

2. कार्यप्रणाली (Methodology)

A. डेटा संग्रह और निर्माण (Data Collection & Construction)

यह बेंचमार्क 525 चिकित्सक-लिखित कार्यों से बना है जो "ChatGPT for Clinicians" के साथ वास्तविक अंतःक्रियाओं से प्राप्त किए गए हैं।

• स्रोत: डेटा दो मोड से आता है:
  1. गुड फेथ (Good Faith - GF): नियमित नैदानिक, शैक्षणिक, या प्रशासनिक उपयोग।
  2. रेड टीमिंग (Red Teaming - RT): जानबूझकर प्रतिकूल तनाव-परीक्षण (जैसे, गलत आधार, भावनात्मक फ्रेमिंग, रोल-प्ले) ताकि विफलता के तरीकों को उजागर किया जा सके।
• तीन-चरणीय अधिनिर्णय प्रक्रिया (Three-Stage Adjudication Process): प्रत्येक उदाहरण और उसके ग्रेडिंग रूब्रिक (rubric) की तीन या अधिक चिकित्सकों द्वारा एक कठोर तीन-चरणीय समीक्षा की गई:
  1. लेखकत्व (Authorship): एक चिकित्सक बातचीत बनाता है, एक प्रारंभिक रूब्रिक लिखता है, और एक कठिनाई रेटिंग (Likert 1–7) असाइन करता है।
  2. समीक्षा (Review): स्वतंत्र चिकित्सक यथार्थवाद, कठिनाई और रूब्रिक की गुणवत्ता को सत्यापित करते हैं। "कठिन" उदाहरणों (Likert 1–2) के लिए मॉडल की त्रुटियों का दोहरा सत्यापन आवश्यक है।
  3. अंतिम अधिनिर्णय (Final Adjudication): अस्पष्टताओं को सुलझाया जाता है, और रूब्रिक्स को वस्तुनिष्ठता और नैदानिक मानकों के साथ संरेखण सुनिश्चित करने के लिए और अधिक सटीक बनाया जाता है।
• स्तरीकृत नमूनाकरण (Stratified Sampling): 15,079 उदाहरणों के प्रारंभिक पूल से, अंतिम 525 को कठिनाई-आधारित स्तरीकृत नमूनाकरण का उपयोग करके चुना गया था। इसने उम्मीदवार पूल के सापेक्ष "कठिन" उदाहरणों (Likert 1–2) के अनुपात को लगभग 3.5 गुना बढ़ा दिया, जिससे यह सुनिश्चित हुआ कि बेंचमार्क फ्रंटियर मॉडल्स के लिए चुनौतीपूर्ण बना रहे।

B. बेंचमार्क संरचना (Benchmark Structure)

कार्यों को नैदानिक अभ्यास के केंद्र में तीन प्राथमिक उपयोग के मामलों में वर्गीकृत किया गया है:

1. केयर कंसल्ट (Care Consult): डिफरेंशियल डायग्नोसिस, प्रबंधन और उपचार योजनाओं के माध्यम से तर्क करना।
2. लेखन और दस्तावेज़ीकरण (Writing and Documentation): नोट जनरेशन, सारांशीकरण, मेडिकल कोडिंग, और रोगी संदेश।
3. मेडिकल रिसर्च (Medical Research): नैदानिक या वैज्ञानिक प्रश्नों के लिए साक्ष्य का संश्लेषण करना।

C. स्कोरिंग तंत्र (Scoring Mechanism)

• रूब्रिक-आधारित मूल्यांकन: प्रत्येक उदाहरण का एक विशिष्ट रूब्रिक है जिसमें विशिष्ट तथ्यों से लेकर व्यवहार संबंधी गुणों (जैसे, सुरक्षा, अनिश्चितता प्रबंधन) तक के मानदंड शामिल हैं। मानदंडों को -10 से +10 के बीच अंक मान दिए जाते हैं।
• मॉडल-आधारित ग्रेडिंग: एक मॉडल (GPT-5.4) ग्रेडर के रूप में कार्य करता है, जो यह मूल्यांकन करता है कि क्या प्रतिक्रिया प्रत्येक मानदंड को पूरा करती है।
• लंबाई समायोजन (Length Adjustment): मॉडल्स को अत्यधिक लंबी प्रतिक्रियाएं उत्पन्न करके सिस्टम को गेम करने से रोकने के लिए, एक लेंथ पेनल्टी लागू की जाती है। प्रतिक्रिया की लंबाई के आधार पर स्कोर को रैखिक रूप से समायोजित किया जाता है (2,000 वर्णों से अधिक की प्रतिक्रियाओं को दंडित करना और एक उचित सीमा के भीतर छोटी, संक्षिप्त प्रतिक्रियाओं को पुरस्कृत करना)।
• मानव बेसलाइन (Human Baseline): असीमित समय और वेब एक्सेस के साथ स्पेशलिटी-मैच्ड फिजिशियन से प्रतिक्रियाएं एकत्र करके एक मजबूत बेसलाइन स्थापित की गई, जो "आदर्श" मानव प्रदर्शन का प्रतिनिधित्व करती है।

3. प्रमुख योगदान (Key Contributions)

1. हेल्थबेंच प्रोफेशनल बेंचमार्क: वास्तविक चिकित्सक-मॉडल बातचीत पर आधारित 525 वास्तविक-विश्व नैदानिक कार्यों का एक नया, ओपन बेंचमार्क।
2. कठोर गुणवत्ता नियंत्रण: तीन-चरणीय चिकित्सक अधिनिर्णय प्रक्रिया उच्च विश्वसनीयता सुनिश्चित करती है, जो अवास्तविक उदाहरणों और व्यक्तिपरक मानदंडों को फ़िल्टर करती है।
3. एडवर्सरियल और डिफिकल्टी स्ट्रैटिफिकेशन: रेड-टीमिंग डेटा का जानबूझकर समावेश और कठिन उदाहरणों का अप-सैंपलिंग (3.5x वृद्धि) एक ऐसा बेंचमार्क बनाता है जो अभी तक सैचुरेटेड नहीं है, जिससे फ्रंटियर मॉडल्स की प्रगति को मापना संभव है।
4. मजबूत मानव बेसलाइन: स्पेशलिटी-मैच्ड फिजिशियन की असीमित प्रतिक्रियाओं का संग्रह एक कठोर ऊपरी-सीमा संदर्भ प्रदान करता है।
5. लंबाई-समायोजित स्कोरिंग: एक नवीन स्कोरिंग समायोजन जो प्रदर्शन को प्रतिक्रिया की व्यापकता (verbosity) से अलग करता है, और सूचना घनत्व एवं उपयोगिता पर ध्यान केंद्रित करता है।

4. परिणाम (Results)

शोध पत्र OpenAI मॉडल्स (GPT-5 श्रृंखला), प्रतिस्पर्धियों (Claude, Gemini, Grok), और मानव चिकित्सक बेसलाइन का मूल्यांकन करता है।

• कुल प्रदर्शन: "ChatGPT for Clinicians" हार्नेस के भीतर GPT-5.4 मॉडल ने उच्चतम स्कोर (59.0) प्राप्त किया, जो काफी बेहतर है:
  • मानव चिकित्सक: 43.7 ($p = 3.7 \times 10^{-10}$)।
  • बेस GPT-5.4: 48.1 ($p = 1.3 \times 10^{-7}$)।
  • अन्य फ्रंटियर मॉडल्स: अन्य सभी मूल्यांकित मॉडल्स का स्कोर कम रहा।
• उपयोग के मामले के अनुसार प्रदर्शन:
  • लेखन और दस्तावेज़ीकरण: सिस्टम ने मानवों (64.1 बनाम 32.1) और अन्य मॉडल्स के मुकाबले सबसे बड़ा अंतर दिखाया।
  • केयर कंसल्ट: मानवों (51.0 बनाम 42.7) से बेहतर प्रदर्शन किया लेकिन बेस GPT-5.4 के सांख्यिकीय रूप से समान था।
  • मेडिकल रिसर्च: मानवों (67.0 बनाम 56.3) से काफी बेहतर प्रदर्शन किया।
• कठिनाई के अनुसार प्रदर्शन:
  • रेड टीमिंग (एडवर्सरियल) कठिन मामलों पर, सिस्टम ने 55.8 स्कोर किया, जो मानवों (30.0) और बेस मॉडल्स (26.2) से कहीं अधिक है।
  • गुड फेथ टिपिकल मामलों में, सिस्टम मानवों से आगे रहा लेकिन सुधार के बाद कुछ अन्य मजबूत मॉडल्स के सांख्यिकीय रूप से अविभेदित (indistinguishable) था।
• सिस्टम बनाम मॉडल: "ChatGPT for Clinicians" हार्नेस (जिसमें साक्ष्य पुनर्प्राप्ति के लिए टूल का उपयोग शामिल है) ने बेस GPT-5.4 मॉडल की तुलना में प्रदर्शन को काफी बढ़ाया, विशेष रूप से दस्तावेज़ीकरण और अनुसंधान कार्यों में।
• तर्क प्रयास (Reasoning Effort): तर्क प्रयास (test-time compute) में वृद्धि लगातार स्कोर में सुधार करती है, जो सुझाव देती है कि मॉडल्स केवल लंबी नहीं, बल्कि उच्च-गुणवत्ता वाली प्रतिक्रियाएं उत्पन्न करने के लिए अतिरिक्त कंप्यूट का उपयोग कर सकते हैं।

5. महत्व और निहितार्थ (Significance and Implications)

• वास्तविक-विश्व प्रासंगिकता: परीक्षा-आधारित बेंचमार्क के विपरीत, हेल्थबेंच प्रोफेशनल उन कार्यों पर प्रदर्शन को मापता है जो सीधे रोगी देखभाल, दस्तावेज़ीकरण दक्षता और नैदानिक निर्णय लेने को प्रभावित करते हैं।
• विश्वास और सुरक्षा: कठोर चिकित्सक अधिनिर्णय और एडवर्सरियल टेस्टिंग सुरक्षा और मजबूती के लिए एक अधिक विश्वसनीय संकेत प्रदान करती है, जो स्वास्थ्य सेवा में AI की तैनाती के लिए महत्वपूर्ण है।
• भविष्य के लिए तैयार (Future-Proofing): कठिन उदाहरणों को जानबूझकर समृद्ध करके, यह बेंचमार्क सैचुरेशन से बचता है, जिससे यह फ्रंटियर मॉडल्स की प्रगति को ट्रैक करने के लिए एक दीर्घकालिक मीट्रिक के रूप में कार्य करता है।
• नैदानिक उपयोगिता: परिणाम बताते हैं कि AI सिस्टम, जब उचित रूप से संचालित और मूल्यांकित किए जाते हैं, तो विशिष्ट उच्च-मात्रा वाले कार्यों (जैसे दस्तावेज़ीकरण और अनुसंधान संश्लेषण) में मानव चिकित्सकों से आगे निकल सकते हैं, जिससे संभावित रूप से चिकित्सक के बर्नआउट को कम किया जा सकता है और देखभाल की गुणवत्ता में सुधार किया जा सकता है।

निष्कर्ष: हेल्थबेंच प्रोफेशनल स्वास्थ्य सेवा में LLMs के मूल्यांकन के लिए एक नया मानक स्थापित करता है, जो ध्यान को स्थिर ज्ञान रिकॉल (knowledge recall) से हटाकर गतिशील, मल्टी-टर्न नैदानिक तर्क और वर्कफ़्लो एकीकरण पर केंद्रित करता है। यह प्रदर्शित करता है कि वर्तमान फ्रंटियर मॉडल्स, उपयुक्त उपकरणों और सुरक्षा गार्डरेल्स के साथ एकीकृत होने पर, विशिष्ट पेशेवर संदर्भों में मानव चिकित्सकों से बेहतर प्रदर्शन कर सकते हैं।