Accuracy and Limitations of AI Scoring for Objective Medical Interview Checklist Items in a Year-One School of Medicine Objective Structured Clinical Examination (OSCE)
यह अध्ययन प्रदर्शित करता है कि प्रथम वर्ष के मेडिकल OSCEs में वस्तुनिष्ठ चिकित्सा साक्षात्कार चेकलिस्ट मदों का एआई-सहायता प्राप्त स्कोरिंग, मानव मानकीकृत रोगी स्कोरिंग के साथ मध्यम सहमति प्राप्त करता है, जबकि यह मूल्यांकन समय को महत्वपूर्ण रूप से कम करता है, हालांकि इसकी विश्वसनीयता ट्रांसक्रिप्ट सटीकता और मानवीय निरीक्षण की आवश्यकता के कारण सीमित बनी हुई है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
मेडिकल स्कूलों में, मरीजों से बात करना सीखना उतना ही महत्वपूर्ण है जितना कि उनका परीक्षण करना सीखना। यह सुनिश्चित करने के लिए कि छात्र वास्तविक दुनिया के लिए तैयार हैं, शिक्षक 'ऑब्जेक्टिव स्ट्रक्चर्ड क्लिनिकल एग्जामिनेशन' (Objective Structured Clinical Examination) नामक एक परीक्षण पद्धति का उपयोग करते हैं। इस सेटिंग में, एक छात्र एक प्रशिक्षित अभिनेता के साथ बैठता है जो एक मरीज की भूमिका निभा रहा होता है। छात्र को मेडिकल हिस्ट्री जुटाने के लिए सही सवाल पूछने होते हैं, और अभिनेता छात्र के प्रदर्शन को पूछे गए सवालों और उन्हें कितनी अच्छी तरह किया गया, इसके एक सख्त चेकलिस्ट के आधार पर स्कोर देता है। यह प्रक्रिया नैदानिक कौशल (clinical skills) सिखाने के लिए स्वर्ण मानक (gold standard) है, लेकिन यह अविश्वसनीय रूप से श्रम-साध्य भी है। इसके लिए अभिनेताओं के प्रशिक्षण के लिए घंटों की आवश्यकता होती है, जिन्हें निरंतर (consistent) रहना होता है और साथ ही छात्र के प्रदर्शन का निर्णय भी लेना होता है, और इसके लिए फैकल्टी सदस्यों को निष्पक्षता सुनिश्चित करने के लिए इन अंतःक्रियाओं की समीक्षा करने में अनगिनत घंटे बिताने पड़ते हैं। जैसे-जैसे आर्टिफिशियल इंटेलिजेंस (AI) बातचीत सुनने और भाषा समझने में अधिक सक्षम हो रहा है, शिक्षक यह सोचने लगे हैं कि क्या एक कंप्यूटर स्कोरिंग का कार्य संभाल सकता है। उम्मीद यह है कि एक मशीन रिकॉर्डिंग को सुन सकती है, आवश्यक प्रश्नों को चेक कर सकती है, और मानव द्वारा लगने वाले समय के एक अंश में छात्र को ग्रेड दे सकती है, जिससे संसाधनों को अधिक शिक्षण के लिए मुक्त किया जा सके।
यूनिवर्सिटी ऑफ टेक्सास मेडिकल ब्रांच एट गैल्वेस्टन के शोधकर्ताओं की एक टीम ने इस विचार का परीक्षण करने के लिए एक विशिष्ट लक्ष्य के साथ काम किया: यह देखना कि क्या आर्टिफिशियल इंटेलिजेंस मेडिकल इंटरव्यू के वस्तुनिष्ठ (objective) हिस्सों को सटीक रूप से स्कोर कर सकता है। उन्होंने एक प्रथम वर्ष के मेडिकल स्कूल परीक्षा पर ध्यान केंद्रित किया जिसमें 234 छात्र शामिल थे। इस परीक्षा में, छात्रों को एक मानकीकृत रोगी (standardized patient) का साक्षात्कार करते हुए रिकॉर्ड किया गया था, और मानव अभिनेताओं ने पहले ही उन्हें बारह विशिष्ट चेकलिस्ट मदों (items) पर ग्रेड दिया था, जैसे कि दर्द के स्थान के बारे में पूछना, लक्षणों की गंभीरता, या मरीज का पारिवारिक इतिहास। शोधकर्ताओं ने इन मुलाकातों की वीडियो रिकॉर्डिंग ली और उन्हें टेक्स्ट ट्रांसक्रिप्ट में बदल दिया। फिर उन्होंने इन ट्रांसक्रिप्ट्स को एक सॉफ्टवेयर प्लेटफॉर्म में डाला जो आर्टिफिशियल इंटेलिजेंस से लैस था, और इसे उन बारह चेकलिस्ट मदों को खोजने के लिए डिज़ाइन किए गए प्रॉम्प्ट्स के साथ प्रोग्राम किया गया। कंप्यूटर को एक ग्रेडर की तरह कार्य करने के लिए कहा गया, जो टेक्स्ट में पहचाने गए प्रत्येक आइटम के लिए एक अंक प्रदान करता है। टीम ने कंप्यूटर द्वारा उत्पन्न स्कोर की तुलना मानव अभिनेताओं द्वारा दिए गए स्कोर से की, अंतरों को देखा और यह समझने की कोशिश की कि वे क्यों हुए।
परिणामों ने दिखाया कि आर्टिफिशियल इंटेलिजेंस एक सक्षम, हालांकि पूर्ण नहीं, सहायक था। जब शोधकर्ताओं ने कंप्यूटर के ग्रेड की तुलना मानव ग्रेड से की, तो उन्हें मध्यम स्तर की सहमति मिली। कंप्यूटर द्वारा दिया गया औसत कुल स्कोर मानव द्वारा दिए गए औसत के लगभग समान था, जहाँ कंप्यूटर ने 12 में से औसतन 11.51 अंक दिए, जबकि मनुष्यों ने 11.60 अंक दिए। समय के मामले में, अंतर बहुत बड़ा था। मानव स्कोरिंग प्रक्रिया, जिसमें अभिनेताओं का प्रशिक्षण और परीक्षाओं की समीक्षा शामिल थी, इस समूह के छात्रों के लिए पूरा होने में लगभग 56 घंटे लगा। कंप्यूटर ने, सिस्टम सेटअप होने के बाद, सभी 234 इंटरव्यू का विश्लेषण किया और तीन घंटे से भी कम समय में स्कोर तैयार कर दिए। यह बताता है कि मेडिकल इंटरव्यू में तथ्यात्मक प्रश्नों को चेक करने के विशिष्ट कार्य के लिए, मशीन उल्लेखनीय गति और उच्च स्तर की निरंतरता के साथ भारी काम कर सकती है।
हालाँकि, अध्ययन ने यह भी उजागर किया कि मशीन कहाँ लड़खड़ाई। लगभग 2,800 व्यक्तिगत स्कोरिंग निर्णयों में से, 83 ऐसे मामले थे जहाँ कंप्यूटर और मानव अभिनेता के बीच असहमति थी। जब शोधकर्ताओं ने इन त्रुटियों की बारीकी से जांच की, तो उन्होंने विसंगति के चार मुख्य कारण पाए। पहला, कंप्यूटर पूरी तरह से उस टेक्स्ट की गुणवत्ता पर निर्भर है जिसे वह पढ़ता है। यदि ऑडियो रिकॉर्डिंग धीमी थी, यदि दो लोग एक साथ बोले, या यदि बैकग्राउंड शोर ने बातचीत में बाधा डाली, तो ट्रांसक्रिप्शन सॉफ्टवेयर एक शब्द मिस कर सकता है या उसे गलत समझ सकता है। उदाहरण के लिए, यदि छात्र ने पूछा कि क्या दर्द शरीर के दूसरे हिस्से में "रेडियेट" (radiate) हुआ, लेकिन कंप्यूटर ने इसे "रेजोनेट" (resonate) के रूप में ट्रांसक्राइब कर दिया, तो AI सही मेडिकल शब्द को नहीं पहचान पाएगा और उसे प्रश्न के रूप में चिह्नित नहीं करेगा।
दूसरा, कंप्यूटर उस तरीके के साथ संघर्ष करता है जिस तरह से मनुष्य वास्तव में बोलते हैं। छात्र अक्सर अपने सवाल अनूठे या अप्रत्यक्ष तरीकों से पूछते हैं जिन्हें एक मानव अभिनेता तुरंत समझ सकता है, लेकिन एक कंप्यूटर चूक सकता है यदि वह शब्दों के एक विशिष्ट सेट की तलाश कर रहा हो। यदि छात्र ने "क्या दर्द एक ही जगह रहता है?" पूछा, बजाय इसके कि अपेक्षित "क्या दर्द रेडियेट होता है?", तो एक मानव श्रेय दे सकता है, लेकिन कंप्यूटर, कठोर नियमों का पालन करते हुए, ऐसा नहीं कर सकता। तीसरा, कंप्यूटर गैर-मौखिक संकेतों (nonverbal cues) को देख या सुन नहीं सकता। एक वास्तविक इंटरव्यू में, एक मरीज जवाब देने के लिए सिर हिला सकता है या पेट की ओर इशारा कर सकता है, और एक मानव अभिनेता उस बातचीत के लिए छात्र को श्रेय देगा। चूंकि कंप्यूटर केवल टेक्स्ट ट्रांसक्रिप्ट पढ़ता है, वह सिर हिलाने या इशारा करने को नहीं देख सकता, इसलिए वह प्रश्न को बिना उत्तर वाले प्रश्न के रूप में चिह्नित करता है। अंत में, निर्णय लेने में अंतर था। कभी-कभी मानव अभिनेता उस निहित अर्थ (implied meaning) के लिए श्रेय देता था जिसे छात्र ने इरादा किया था, जबकि कंप्यूटर के लिए आवश्यक था कि छात्र चेकलिस्ट पर लिखे सटीक शब्द कहे।
शोधकर्ताओं ने निष्कर्ष निकाला कि हालांकि आर्टिफिशियल इंटेलिजेंस संरचित, वस्तुनिष्ठ चेकलिस्ट की ग्रेडिंग को तेज करने के लिए एक शक्तिशाली उपकरण है, लेकिन यह मानव निर्णय को पूरी तरह से बदलने के लिए तैयार नहीं है। कंप्यूटर ट्रांसक्रिप्ट में विशिष्ट शब्दों को खोजने में उत्कृष्ट है, लेकिन इसमें संदर्भ, स्वर, या छात्र के प्रश्न के पीछे के सूक्ष्म इरादे को समझने की क्षमता का अभाव है। अध्ययन सुझाव देता है कि इस तकनीक का सबसे अच्छा उपयोग एक सहायता उपकरण (support tool) के रूप में है। यह ग्रेडिंग के प्रारंभिक चरण को संभाल सकता है, जिससे शिक्षकों के दर्जनों घंटे बच सकते हैं, लेकिन खराब ऑडियो, अद्वितीय वाक्यांश, या गैर-मौखिक संचार से उत्पन्न होने वाली त्रुटियों को पकड़ने के लिए एक मानव को अभी भी परिणामों की समीक्षा करनी होगी। जब तक तकनीक मानवीय बातचीत के पूर्ण सूक्ष्म विवरणों, जिसमें वह भी शामिल है जो अनकहा रह गया, को विश्वसनीय रूप से व्याख्या करने में सक्षम नहीं होती, तब तक छात्र के नैदानिक कौशल का आकलन करने में अंतिम निर्णय एक व्यक्ति के पास ही रहना चाहिए। चिकित्सा शिक्षा मूल्यांकन का भविष्य एक ऐसी साझेदारी में हो सकता है जहाँ मशीन वॉल्यूम (मात्रा) को संभाले और मानव निर्णय को संभाले, जिससे यह सुनिश्चित हो सके कि छात्रों को निष्पक्ष और कुशलता से ग्रेड दिया जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।