Automating QuAL Scoring of Entrustable Professional Activity Narrative Feedback Across Residency Programs: A Locally Deployed Natural Language Processing Model
यह अध्ययन प्रदर्शित करता है कि एक स्थानीय रूप से तैनात DeBERTa-v3 प्राकृतिक भाषा प्रसंस्करण मॉडल, डेटा गोपनीयता बनाए रखते हुए, कई रेजिडेंसी कार्यक्रमों में एन्ट्रस्टेबल प्रोफेशनल एक्टिविटी नैरेटिव फीडबैक के क्वालिटी ऑफ असेसमेंट फॉर लर्निंग (QuAL) स्कोरिंग को सटीक और स्केलेबल तरीके से स्वचालित कर सकता है, जो मानव रेटर्स के साथ पर्याप्त सहमति प्राप्त करता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
चिकित्सा प्रशिक्षण की दुनिया में, सीखना अब केवल तथ्यों को याद रखने के बारे में नहीं है; यह यह साबित करने के बारे में है कि आप काम कर सकते हैं। आधुनिक कार्यक्रम एक ऐसी प्रणाली पर निर्भर करते हैं जहाँ प्रशिक्षु डॉक्टरों को वास्तविक कार्यों को करते हुए लगातार देखा जाता है, जैसे कि रोगी की देखभाल का प्रबंधन करना से लेकर संकट को संभालने तक। इन अवलोकनों को न केवल एक संख्या के साथ, बल्कि लिखित टिप्पणियों के साथ रिकॉर्ड किया जाता है। ये नोट्स इस प्रक्रिया की जीवनधारा हैं। वे प्रशिक्षु को बताते हैं कि उन्होंने क्या अच्छा किया, उन्हें क्या सुधारने की आवश्यकता है, और उनके कार्यों का पेशे के मानकों से क्या संबंध है। इन विशिष्ट, उच्च-गुणवत्ता वाले नोट्स के बिना, एक प्रशिक्षु को एक स्कोर तो मिल सकता है लेकिन वह सुधार कैसे करना है, इस बारे में अनिश्चित रह सकता है। समस्या यह है कि ये नोट्स लिखना कठिन काम है, और जो कुछ भी लिखा जाता है उसकी गुणवत्ता बहुत भिन्न होती है। कुछ नोट्स विवरण से भरपूर और स्पष्ट सलाह वाले होते हैं; अन्य अस्पष्ट या पूरी तरह से मुद्दे से भटक जाते हैं। इसे ठीक करने के लिए, शिक्षकों ने इन टिप्पणियों की गुणवत्ता को मापने का एक तरीका विकसित किया है, जो तीन विशिष्ट चीजों की तलाश करता है: क्या हुआ इसका प्रमाण, सुधार के लिए एक स्पष्ट सुझाव, और एक सीखने के लक्ष्य से जुड़ाव। लेकिन प्रत्येक नोट को हाथ से जांचना धीमा और थकाऊ है, जिससे यह सुनिश्चित करना कठिन हो जाता है कि प्रत्येक प्रशिक्षु को वह फीडबैक मिले जिसका वह हकदार है।
अल्बर्टा विश्वविद्यालय के शोधकर्ताओं के एक दल ने यह देखने के लिए हाथ डाला कि क्या एक कंप्यूटर इस भारी काम में मदद कर सकता है। वे जानना चाहते थे कि क्या एक विशेष कंप्यूटर प्रोग्राम, जो मानव भाषा को समझता है, इन हजारों लिखित नोट्स को पढ़ सकता है और उन्हें ठीक उसी तरह ग्रेड दे सकता है जैसे कि एक मानव विशेषज्ञ देगा। लक्ष्य शिक्षकों को बदलना नहीं था, बल्कि एक ऐसा उपकरण बनाना था जो अस्पताल और विश्वविद्यालय की दीवारों के भीतर डेटा को सुरक्षित रखते हुए काम के बोझ को संभाल सके। उन्होंने चिकित्सा प्रशिक्षण के एक विशिष्ट प्रकार पर ध्यान केंद्रित किया जिसे 'एंट्रस्टेबल प्रोफेशनल एक्टिविटीज' (Entrustable Professional Activities) कहा जाता है, जहाँ रेजिडेंट्स को विशिष्ट कर्तव्यों को निभाने की उनकी क्षमता पर आंका जाता है। शोधकर्ताओं ने एक एकल कनाडाई संस्थान के 24 विभिन्न रेजिडेंसी कार्यक्रमों से 5,000 से अधिक लिखित टिप्पणियाँ एकत्र कीं। ये टिप्पणियाँ 2019 और 2020 के बीच के एक वर्ष के प्रशिक्षण से आई थीं। कंप्यूटर द्वारा डेटा देखे जाने से पहले, नोट्स को पहले ही मानव विशेषज्ञों द्वारा एक मानक चेकलिस्ट का उपयोग करके सावधानीपूर्वक पढ़ा और स्कोर किया जा चुका था। यह मानव स्कोरिंग 'गोल्ड स्टैंडर्ड' के रूप में कार्य करती थी, यानी सही उत्तर जिसके विरुद्ध कंप्यूटर के प्रदर्शन को मापा जाना था।
शोधकर्ताओं ने एक कंप्यूटर मॉडल बनाया जिसे उन्होंने पूरी तरह से अपने स्थानीय सर्वरों पर चलाया, जिससे यह सुनिश्चित हुआ कि कोई भी संवेदनशील रोगी या प्रशिक्षु जानकारी उनके सुरक्षित वातावरण से बाहर न जाए। उन्होंने इस मॉडल को नोट्स में तीन प्रमुख तत्वों को खोजने के लिए प्रशिक्षित किया: साक्ष्य (evidence), सुझाव (suggestions), और जुड़ाव (connections)। साक्ष्य वाले भाग के लिए, मॉडल को यह तय करना था कि लेखक ने वास्तव में क्या हुआ इसका वर्णन कितनी अच्छी तरह किया है, जो बिल्कुल कोई विवरण न होने से लेकर एक बहुत विस्तृत विवरण तक हो सकता है। अन्य दो भागों के लिए, इसे बस यह तय करना था कि क्या सुधार का सुझाव मौजूद है और क्या नोट किसी व्यापक सीखने के लक्ष्य से जुड़ता है। परीक्षण को निष्पक्ष और यथार्थवादी बनाने के लिए, उन्होंने डेटा को इस तरह विभाजित किया कि एक ही प्रशिक्षु के नोट्स कभी भी प्रशिक्षण समूह और परीक्षण समूह दोनों में दिखाई न दें। इसने कंप्यूटर को एक विशिष्ट प्रशिक्षु की लेखन शैली को केवल याद करने और यह दिखाने से रोका कि वह नियमों को समझ गया है।
जब शोधकर्ताओं ने मॉडल को अनदेखे टेस्ट डेटा पर आजमाया, तो परिणाम उत्साहजनक रहे। कंप्यूटर यह पहचानने में बहुत अच्छा रहा कि क्या किसी नोट में सुधार का स्पष्ट सुझाव शामिल है, और उसने अधिकांश समय इसे सही पाया। इसने साक्ष्य अनुभाग की पहचान करने में भी अच्छा काम किया, जिसने अधिकांश मामलों में विवरण की गुणवत्ता का सही निर्णय लगाया। मॉडल अवलोकन और सीखने के लक्ष्य के बीच संबंध खोजने में थोड़ा कम सटीक था, लेकिन फिर भी यह उपयोगी होने के लिए पर्याप्त रूप से अच्छा प्रदर्शन करता था। जब शोधकर्ताओं ने प्रत्येक नोट के लिए मॉडल द्वारा दिए गए कुल स्कोर की तुलना मानव स्कोर से की, तो उन्होंने पाया कि 86 प्रतिशत से अधिक मामलों में, कंप्यूटर का स्कोर मानव विशेषज्ञ के स्कोर के केवल एक अंक के भीतर था। इसके द्वारा की गई त्रुटियां आमतौर पर छोटी थीं, जैसे कि तीन के बजाय दो का स्कोर देना, न कि बड़ी गलतियां जो फीडबैक की गुणवत्ता को पूरी तरह से गलत तरीके से प्रस्तुत करती हों।
अध्ययन यह सुझाव देता है कि इस तरह का स्थानीय रूप से संचालित कंप्यूटर टूल चिकित्सा शिक्षकों के लिए एक व्यावहारिक साथी बन सकता है। यह हर एक नोट को पढ़ने के लिए लोगों को नियुक्त करने की भारी लागत के बिना कई कार्यक्रमों में फीडबैक की गुणवत्ता की निगरानी करने का एक तरीका प्रदान करता है। चूंकि मॉडल स्थानीय कंप्यूटरों पर चलता है, इसलिए यह प्रशिक्षुओं की गोपनीयता का सम्मान करता है और संस्थान की सुरक्षा करता है, जिससे संवेदनशील डेटा को बाहरी कंपनियों को भेजने के जोखिमों से बचा जा सकता है। शोधकर्ता सावधानीपूर्वक यह नोट करते हैं कि यह एक शुरुआत है, न कि एक पूर्ण समाधान। मॉडल को अभी भी अन्य अस्पतालों और वास्तविक समय की स्थितियों में परीक्षण करने की आवश्यकता है ताकि यह देखा जा सके कि क्या यह लंबे समय में शिक्षकों और प्रशिक्षुओं की मदद करता है। लेकिन निष्कर्षों से पता चलता है कि चिकित्सा फीडबैक की बारीकियों को समझने वाला सिस्टम बनाना संभव है, जो यह सुनिश्चित करने का एक स्केलेबल तरीका प्रदान करता है कि प्रत्येक प्रशिक्षु को स्पष्ट, कार्रवाई योग्य मार्गदर्शन मिले ताकि वे एक कुशल डॉक्टर बन सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।