Evolving Interactive Diagnostic Agents in a Virtual Clinical Environment

तकनीकी सारांश: एक आभासी नैदानिक वातावरण में विकसित होते इंटरैक्टिव डायग्नोस्टिक एजेंट

1. समस्या विवरण

चिकित्सा क्षेत्र में वर्तमान लार्ज लैंग्वेज मॉडल्स (LLMs) मुख्य रूप से स्थिर, एकल-टर्न कार्यों में उत्कृष्ट हैं, जैसे कि USMLE-शैली के प्रश्नों के उत्तर देना या निश्चित रोगी रिकॉर्ड का सारांश तैयार करना। हालाँकि, वास्तविक दुनिया का नैदानिक निदान (clinical diagnosis) एक इंटरैक्टिव, दीर्घकालिक निर्णय लेने की प्रक्रिया है जो अनिश्चितता से भरी होती है। चिकित्सकों को आंशिक जानकारी को संश्लेषित करना होता है, यह गतिशील रूप से निर्णय लेना होता है कि कौन से परीक्षणों का आदेश दिया जाए, और यह निर्धारित करना होता है कि निदान के लिए पर्याप्त साक्ष्य एकत्र कर लिए गए हैं या नहीं। मौजूदा मॉडल इन विकसित होते प्रक्षेप पथों (trajectories) को प्रबंधित करने में विफल रहते हैं क्योंकि उन्हें निष्क्रिय, स्थिर कॉर्पोरा पर प्रशिक्षित किया जाता है जिनमें नैदानिक क्रिया (जैसे, सीटी स्कैन का आदेश देना) और परिणामी रोगी अवस्था परिवर्तन के बीच फीडबैक लूप को सिम्युलेट करने की क्षमता का अभाव होता है।

2. कार्यप्रणाली

लेखक एक क्लोज्ड-लूप सुदृढीकरण शिक्षण (Reinforcement Learning - RL) ढांचे का प्रस्ताव करते हैं जो निष्क्रिय अनुकरण (passive imitation) से आगे बढ़कर सक्रिय अन्वेषण (active exploration) की ओर बढ़ता है। इस ढांचे में तीन मुख्य घटक शामिल हैं:

• DiagGym (डायग्नोस्टिक वर्ल्ड मॉडल): एक जनरेटिव सिम्युलेटर जिसे MIMIC-IV डेटासेट से इलेक्ट्रॉनिक हेल्थ रिकॉर्ड्स (EHRs) पर प्रशिक्षित किया गया है। DiagGym एक "आभासी नैदानिक वातावरण" के रूप में कार्य करता है। रोगी की पृष्ठभूमि प्रोफ़ाइल और एक विशिष्ट परीक्षा क्वेरी को देखते हुए, यह प्रशंसनीय, प्रासंगिक रूप से सुसंगत परीक्षा परिणाम (संख्यात्मक लैब मान और मुक्त-पाठ रेडियोलॉजी रिपोर्ट दोनों) उत्पन्न करता है। यह सुरक्षित, अनंत और दोहराने योग्य "इन-सिलिको" प्रशिक्षण की अनुमति देता है।
• DiagAgent (इंटरैक्टिव डायग्नोस्टिक एजेंट): एक LLM-आधारित एजेंट जिसे एंड-टू-एंड, मल्टी-टर्न सुदृढीकरण शिक्षण (RL) के माध्यम से Group Relative Policy Optimization (GRPO) एल्गोरिदम का उपयोग करके प्रशिक्षित किया गया है। एजेंट की पॉलिसी वर्तमान रोगी अवस्था को अगले इष्टतम कार्य (next optimal action) में मैप करती है: या तो एक विशिष्ट परीक्षण की सिफारिश करना या अंतिम निदान प्रदान करना। प्रशिक्षण एक मल्टी-ऑब्जेक्टिव रिवॉर्ड फंक्शन का उपयोग करता है:
  • $r_{diag}$: नैदानिक सटीकता को पुरस्कृत करता है।
  • $r_{exam}$: अनुशंसित परीक्षाओं की प्रासंगिकता/सूचनात्मकता को पुरस्कृत करता है (फिजिशियन-क्यूरेटेड प्रक्षेप पथों के विरुद्ध F1 स्कोर)।
  • $r_{turn}$: नैदानिक दक्षता को प्रोत्साहित करने के लिए अत्यधिक, अनावश्यक टर्न को दंडित करता है।
• DiagBench (मूल्यांकन बेंचमार्क): एक व्यापक, मल्टी-सेंटर बेंचमार्क जिसमें चार अलग-अलग वितरणों (MIMIC-IV, PMC-OA, MTSamples, और DDXPlus) से 2.2K फिजिशियन-वैलिडेटेड मामले शामिल हैं। इसमें न केवल अंतिम उत्तर का, बल्कि तर्क प्रक्रिया की गुणवत्ता का मूल्यांकन करने के लिए (जैसे, "क्या एजेंट ने सही परीक्षणों को प्राथमिकता दी?") 3.3K फिजिशियन-लिखित वेटेड रूब्रिक्स (weighted rubrics) शामिल हैं।

3. प्रमुख योगदान

1. एक उच्च-फिडेलिटी वर्ल्ड मॉडल: DiagGym नैदानिक वातावरण को सिम्युलेट करने का एक स्केलेबल तरीका प्रदान करता है, जो वास्तविक दुनिया के EHRs की सीमा को दूर करता है जिनमें केवल वे परीक्षण होते हैं जो वास्तव में किए गए थे।
2. डायनामिक पॉलिसी लर्निंग: सुपरवाइज्ड फाइन-ट्यूनिंग (SFT) से RL की ओर बढ़ने से एजेंट को "नैदानिक रणनीतियों" को सीखने की अनुमति मिलती है—यह जानना कि कब रुकना है और नै적인 शाखाओं वाले पथों (branching clinical paths) को कैसे नेविगेट करना है।
3. प्रक्रिया-उन्मुख मूल्यांकन: DiagBench और इसके रूब्रिक-आधारित स्कोरिंग का परिचय मूल्यांकन प्रतिमान को "क्या मॉडल ने सही उत्तर प्राप्त किया?" से बदलकर "क्या मॉडल ने चिकित्सकीय रूप से सुदृढ़ तर्क प्रक्रिया का पालन किया?" में बदल देता है।

4. परिणाम

मूल्यांकन प्रदर्शित करता है कि DiagAgent अत्याधुनिक LLMs (जिसमें DeepSeek-v3 और Claude-4-Sonnet शामिल हैं) और विशिष्ट चिकित्सा मॉडल्स को महत्वपूर्ण रूप से पीछे छोड़ देता है:

• सटीकता और दक्षता: एंड-टू-एंड सेटिंग्स में, DiagAgent ने अगले सर्वश्रेष्ठ प्रतिस्पर्धी की तुलना में 11.20% नैदानिक सटीकता में वृद्धि और 17.58% परीक्षा अनुशंसा F1 स्कोर में उछाल हासिल किया।
• सामान्यीकरण (OOD): एजेंट ने आउट-ऑफ-डोमेन (OOD) डेटासेट पर मजबूत प्रदर्शन दिखाया, विविध नैदानिक सेटिंग्स (जैसे, आउटपेशेंट बनाम ICU) में उच्च सटीकता और हिट रेट बनाए रखा।
• प्रक्रियात्मक गुणवत्ता: रूब्रिक-आधारित मूल्यांकनों में, DiagAgent ने अगले सर्वश्रेष्ठ मॉडल को 7.1% से पछाड़ दिया, जो यह सिद्ध करता है कि यह पेशेवर चिकित्सा प्रोटोकॉल और तर्क तर्क (reasoning logic) का अधिक निकटता से पालन करता है।
• एब्लेशन अंतर्दृष्टि (Ablation Insights): अध्ययन ने पुष्टि की कि RL, SFT की तुलना में श्रेष्ठ है; जबकि SFT मॉडल को मौजूदा नोट्स की नकल करने की अनुमति देता है, RL मॉडल को उन प्रक्षेप पथों का अन्वेषण और अनुकूलन करने की अनुमति देता है जो प्रशिक्षण डेटा में मौजूद नहीं हो सकते हैं, जिससे अनिश्चितता के तहत बेहतर निर्णय लेने की क्षमता आती है।

5. महत्व

यह कार्य चिकित्सा AI में एक प्रतिमान परिवर्तन (paradigm shift) का प्रतिनिधित्व करता है, जो "मेडिकल क्वेश्चन आंसरिंग" से "क्लिनिकल डिसीजन मैनेजमेंट" की ओर बढ़ता है। प्रशिक्षण के लिए एक आभासी वातावरण स्थापित करके, लेखक जटिल, मल्टी-टर्न नैदानिक वर्कफ़्लो को प्रबंधित करने में सक्षम स्वायत्त एजेंट विकसित करने के लिए एक ब्लूप्रिंट प्रदान करते हैं। यह दृष्टिकोण स्थिर ज्ञान पुनर्प्राप्ति (static knowledge retrieval) और वास्तविक दुनिया के नैदानिक अभ्यास की गतिशील, इंटरैक्टिव प्रकृति के बीच के अंतर को पाटता है, जिससे AI चिकित्सकों के लिए एक तैनात करने योग्य निर्णय-सहायता उपकरण (decision-support tool) बनने के करीब पहुँच जाता है।