GPT-5 versus Senior Anesthesiology-Intensive Care Residents on Sequential Clinical Cases: A Pilot Study of Documented Clinical Reasoning

तकनीकी सारांश: क्रमिक नैदानिक मामलों पर GPT-5 बनाम वरिष्ठ एनेस्थिसियोलॉजी-इंटेंसिव केयर रेजिडेंट्स

समस्या विवरण
यद्यपि लार्ज लैंग्वेज मॉडल्स (LLMs) ने मेडिकल लाइसेंसिंग परीक्षाओं पर उच्च सटीकता प्रदर्शित की है, बहुविकल्पीय परीक्षणों के प्रदर्शन मेट्रिक्स यह स्पष्ट नहीं करते कि एक प्रतिक्रिया अंतर्निहित नैदानिक तर्क प्रक्रिया को कितनी स्पष्टता से प्रलेखित करती है। नैदानिक तर्क (Clinical reasoning) एक संदर्भ-निर्भर संज्ञानात्मक गतिविधि है जिसमें समस्या का निरूपण (problem representation), परिकल्पना सृजन (hypothesis generation), और साक्ष्य व्याख्या शामिल है। मौजूदा साहित्य में अक्सर इन विशिष्ट तर्क दस्तावेजीकरण कौशल पर LLMs की तुलना प्रशिक्षुओं (trainees) के साथ करने वाले कठोर अनुभवजन्य डिजाइनों का अभाव होता है। इसके अलावा, विशेष रूप से उत्तरी अफ्रीकी चिकित्सा संदर्भों के भीतर फ्रांसीसी-भाषा के स्नातकोत्तर प्रशिक्षण वातावरण में LLM प्रदर्शन के संबंध में साक्ष्यों की कमी है। यह अध्ययन "सही उत्तरों" और "दस्तावेजीकृत तर्क" के बीच के अंतर को संबोधित करता है, जो एक अत्याधुनिक LLM (GPT-5) और वरिष्ठ चिकित्सा प्रशिक्षुओं के बीच लिखित नैदानिक तर्क आउटपुट की गुणवत्ता की तुलना करता है।

कार्यप्रणाली (Methodology)
यह अध्ययन कासाब्लांका, मोरक्को के सेंटर हॉस्पिटालियर यूनिवर्सिटेयर इब्न रोच में आयोजित एक एकल-केंद्र, क्रॉस-सेक्शनल तुलनात्मक पायलट अध्ययन था।

• प्रतिभागी: अध्ययन में चौथे वर्ष के 14 एनेस्थिसियोलॉजी-इंटेंसिव केयर रेजिडेंट्स का व्यापक जनगणना (exhaustive census) उपयोग किया गया (100% भागीदारी)।
• उद्दीपन (Stimuli): बीस वास्तविक, पूरी तरह से गुमनाम नैदानिक मामले (2020-2024) चुने गए और मानकीकृत किए गए। मामलों को दो क्रमिक भागों में विभाजित किया गया था: भाग 1 (इतिहास, पृष्ठभूमि, शारीरिक परीक्षण) और भाग 2 (प्रयोगशाला और इमेजिंग परिणाम)।
• कार्य आवंटन: प्रत्येक रेजिडेंट ने चार अलग-अलग मामले पूरे किए (कुल 56 रेजिडेंट प्रतिक्रियाएं)। GPT-5 ने सभी 20 मामलों को एक बार पूरा किया। यह एक अपूर्ण-ब्लॉक संरचना वाला डिजाइन था जहाँ प्रत्येक रेजिडेंट को प्राथमिक विश्लेषण के लिए उन्हीं चार मामलों पर GPT-5 के साथ मिलाया गया था।
• प्रॉम्प्ट इंजीनियरिंग: GPT-5 को OpenAI API (मॉडल एलियास gpt-5, तापमान 0.3, रीजनिंग एफर्ट "मीडियम") के माध्यम से एक्सेस किया गया था। प्रॉम्प्ट ने मॉडल को एक एनेस्थिसियोलॉजी-इंटेंसिविस्ट की भूमिका सौंपी और स्पष्ट रूप से संशोधित-IDEA (R-IDEA) घटकों को दर्शाने वाला एक संरचित आउटपुट मांगा: एक वैचारिक चेकलिस्ट, एक संक्षिप्त समस्या निरूपण, प्राथमिकता वाले जांच, और एक विभेदक निदान (differential diagnosis) जिसमें प्रत्येक परिकल्पना के पक्ष और विपक्ष में स्पष्ट साक्ष्य दिए गए हों। मॉडल को संदर्भ निदान या स्कोरिंग रूब्रिक प्रदान नहीं किया गया था।
• मूल्यांकन: दो संकाय सदस्यों ने R-IDEA उपकरण के आधार पर केस-विशिष्ट संदर्भ रूब्रिक्स विकसित किए। एक मास्क किए गए मूल्यांकनकर्ता (masked evaluator) ने इन रूब्रिक्स (रेजिडेंट्स और GPT-5 दोनों) के विरुद्ध सभी प्रतिक्रियाओं को स्कोर किया। R-IDEA स्कोर (0–10) चार डोमेन का आकलन करता है: व्याख्यात्मक सारांश (Interpretive Summary), विभेदक निदान (Differential Diagnosis), मुख्य निदान की व्याख्या (Explanation of Lead Diagnosis), और वैकल्पिक निदानों की व्याख्या (Explanation of Alternative Diagnoses)।
• सांख्यिकीय विश्लेषण: प्राथमिक विश्लेषण ने एक पेयर्ड स्टूडेंट टी-टेस्ट (paired Student's t-test) का उपयोग किया, जो प्रत्येक रेजिडेंट के औसत R-IDEA स्कोर (उनके चार मामलों में) की तुलना उन्हीं चार मामलों पर GPT-5 के औसत स्कोर से करता है। नैदानिक सटीकता को वर्णनात्मक रूप से रिपोर्ट किया गया।

मुख्य परिणाम

• प्राथमिक परिणाम: GPT-5 ने रेजिडेंट्स (7.0, SD 2.4) की तुलना में काफी उच्च औसत कुल R-IDEA स्कोर (9.5, SD 0.9) प्राप्त किया। औसत पेयर्ड अंतर GPT-5 के पक्ष में 2.5 अंक था (95% CI 1.4–3.6; p < 0.001)। प्रभाव का आकार (effect size) बड़ा था (paired d_z = 1.39)।
• डोमेन प्रदर्शन: GPT-5 ने सभी चार R-IDEA डोमेन में रेजिडेंट्स को पीछे छोड़ दिया। सबसे बड़ा पूर्ण अंतर "व्याख्यात्मक सारांश" डोमेन में हुआ (1.0 अंक का अंतर)। GPT-5 के स्कोर स्केल के अधिकतम के करीब केंद्रित थे, जो एक संभावित सीलिंग इफेक्ट (ceiling effect) का सुझाव देते हैं, जबकि रेजिडेंट्स के स्कोर में अधिक परिवर्तनशीलता देखी गई (विचरण गुणांक: रेजिडेंट्स के लिए 34% बनाम GPT-5 के लिए 9%)।
• नैदानिक सटीकता: GPT-5 ने 75% मामलों (15/20) में संकाय संदर्भ निदान की पहचान की, जबकि रेजिडेंट्स की औसत नैदानिक सटीकता 68% थी। अध्ययन के डिजाइन ने गैर-स्वतंत्र अवलोकनों और असमान केस प्रतिकृति के कारण इन प्रतिशत के अनुमानित सांख्यिकीय तुलना को रोक दिया।

मुख्य योगदान

• एक नए संदर्भ में वैचारिक प्रतिकृति: यह अध्ययन जेनेरेटिव AI और नैदानिक तर्क (जैसे, कैब्राल एट अल.) के संबंध में पिछले निष्कर्षों को एक फ्रांसीसी-भाषा सेटिंग, एक मोरक्कन शैक्षणिक केंद्र और एक वरिष्ठ एनेस्थिसियोलॉजी कोहोर्ट तक विस्तारित करता है।
• दस्तावेजीकरण बनाम सक्षमता का विभेदन: अध्ययन स्पष्ट रूप से दस्तावेजीकृत तर्क की गुणवत्ता (जिसमें GPT-5 विशिष्ट प्रॉम्प्ट के तहत उत्कृष्ट था) और वास्तविक नैदानिक सक्षमता या बेडसाइड प्रदर्शन के बीच अंतर करता है।
• कार्यप्रणाली ढांचा (Methodological Framework): यह संरचित रूब्रिक्स (R-IDEA) और सोर्स-मास्किंग का उपयोग करके प्रशिक्षु लिखित कार्य के विरुद्ध LLM आउटपुट की तुलना करने के लिए एक प्रोटोकॉल प्रदर्शित करता है, जो मूल्यांकन मानदंडों के साथ प्रॉम्प्ट संरेखण के महत्व को उजागर करता है।

महत्व और दावे
लेखक निष्कर्ष निकालते हैं कि R-IDEA घटकों के साथ संरेखित प्रॉम्प्ट के तहत, GPT-5 ऐसा लिखित नैदानिक तर्क दस्तावेजीकरण प्रस्तुत करता है जो वरिष्ठ रेजिडेंट्स की तुलना में उच्च स्कोर करता है। हालांकि, शोध पत्र इस निष्कर्ष के निहितार्थों पर एक मध्यम रुख बनाए रखता है:

• श्रेष्ठ सक्षमता का कोई दावा नहीं: लेखक स्पष्ट रूप से कहते हैं कि उच्च दस्तावेजीकरण स्कोर श्रेष्ठ नैदानिक सक्षमता, नैदानिक समानता, या शैक्षिक प्रभावशीलता को स्थापित नहीं करते हैं।
• शैक्षिक परिकल्पना: प्राथमिक महत्व "तर्क-दस्तावेजीकरण स्कैफोल्ड" (reasoning-documentation scaffold) के रूप में GPT-5 की क्षमता में निहित है। लेखक प्रस्तावित करते हैं कि संकाय-पर्यवेक्षित, सत्यापित GPT-5 आउटपुट को 'वर्क्ड एग्जांपल्स' (worked examples) के रूप में उपयोग किया जा सकता है ताकि रेजिडेंट्स को अपने स्वयं के समस्या निरूपणों की तुलना एक संरचित मॉडल से करने में मदद मिल सके, जिससे तर्क अधिक दृश्यमान हो सके।
• सीमाएं और भविष्य की दिशाएं: अध्ययन में एकल-केंद्र डिजाइन, एकल रेटर का उपयोग, स्टोकेस्टिक परिवर्तनशीलता (stochastic variability) का आकलन करने के लिए दूसरे मॉडल रन का अभाव, और रूब्रिक के साथ विशिष्ट प्रॉम्प्ट संरेखण के कारण मॉडल को मिलने वाले संभावित लाभ सहित सीमाओं को स्वीकार किया गया है। लेखक सुझाव देते हैं कि भविष्य के शोध में मल्टी-रेटर शैक्षिक परीक्षणों को शामिल किया जाना चाहिए ताकि यह परीक्षण किया जा सके कि क्या मॉडल-जनित वर्क्ड एग्जांपल्स का उपयोग वास्तव में ऑटोमेशन बायस (automation bias) उत्पन्न किए बिना शिक्षार्थी के परिणामों में सुधार करता है।