Reliability and Feasibility of a Multi-Source, Competency-Based Evaluation System for Surgical Sub-Internship Students: A Single-Institution Pilot Study
यह एकल-संस्थान पायलट अध्ययन प्रदर्शित करता है कि सर्जिकल सब-इंटर्न के लिए एक संक्षिप्त, बहु-स्रोत, क्षमता-आधारित मूल्यांकन प्रणाली न्यूनतम मूल्यांकनकर्ता भार के साथ मजबूत अंतर-रेट-रिलायबिलिटी और व्यवहार्यता प्राप्त करती है, जो उच्च-दांव वाले रेजिडेंसी चयन के लिए इसकी क्षमता का समर्थन करती है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त रेस्टोरेंट के लिए एक नया शेफ रख रहे हैं। आमतौर पर, आप शायद सिर्फ हेड शेफ से पूछेंगे, "क्या यह व्यक्ति ठीक लग रहा था?" और उनके एक अकेले मत के आधार पर निर्णय ले लेंगे। लेकिन क्या होगा अगर हेड शेफ पूरे समय निगरानी करने के लिए बहुत व्यस्त थे, या अगर उन्होंने उस शेफ को केवल एक अच्छे दिन पर देखा हो? आप यह देखने के लिए एक बेहतर सिस्टम चाहेंगे कि क्या नया कर्मचारी वास्तव में डिनर की भीड़ (रश) को संभालने के लिए तैयार है।
यह पेपर मेडिकल छात्रों के लिए एक नए "रिपोर्ट कार्ड" सिस्टम के परीक्षण के बारे में है, जो वास्तविक सर्जन बनने से पहले अपना अंतिम ट्रायल रन (जिसे "सब-इंटर्नशिप" कहा जाता है) कर रहे हैं। इसका लक्ष्य यह देखना था कि क्या उन्हें ग्रेड देने का एक नया, संरचित तरीका पुराने, अनौपचारिक तरीके से बेहतर काम करता है।
यहाँ बताया गया है कि उन्होंने क्या किया और क्या पाया, सरल उपमाओं (analogies) का उपयोग करते हुए:
समस्या: "अनुमान लगाने का खेल" (The Guessing Game)
अभी, जब मेडिकल स्कूल रेजिडेंट्स को चुनते हैं, तो वे अक्सर एक डॉक्टर के एक एकल अनुशंसा पत्र (letter of recommendation) पर भरोसा करते हैं। यह एक पायलट को हवाई अड्डे के मैनेजर के साथ एक बातचीत के आधार पर काम पर रखने जैसा है, बिना उसके फ्लाइट लॉग्स चेक किए या को-पायलट्स से पूछे। यह अनुचित, असंगत हो सकता है और इस बात की पूरी तस्वीर को छोड़ देता है कि छात्र वास्तव में कैसा प्रदर्शन कर रहा है।
समाधान: "360-डिग्री स्कोरकार्ड" (The 360-Degree Scorecard)
शोधकर्ताओं ने एक नया डिजिटल रिपोर्ट कार्ड बनाया। केवल एक व्यक्ति द्वारा छात्र को ग्रेड देने के बजाय, उन्होंने तीन अलग-अलग समूहों से इसे भरने के लिए कहा:
- बॉस: अटेंडिंग सर्जन (जैसे हेड शेफ)।
- सहकर्मी (Peers): अन्य रेजिडेंट्स (जैसे सू-शेफ जो छात्र के साथ कंधे से कंधा मिलाकर काम करते हैं)।
- सहायक कर्मचारी (Support Staff): नर्स और तकनीशियन (जैसे बर्तन धोने वाले और वेटर्स जो देखते हैं कि छात्र पूरी टीम के साथ कैसा व्यवहार करता है)।
रिपोर्ट कार्ड ने केवल यह नहीं पूछा, "क्या यह छात्र अच्छा है?" (जो कि अस्पष्ट है)। इसके बजाय, इसने छह प्रमुख क्षेत्रों के बारे में विशिष्ट प्रश्न पूछे, जैसे "क्या वे चाकू संभाल सकते हैं?" (तकनीकी कौशल), "क्या उन्हें रेसिपी पता है?" (क्लिनिकल ज्ञान), और "क्या वे दबाव में भी विनम्र हैं?" (प्रोफेशनलिज्म/व्यवहार कुशलता)। उन्होंने 1 से 5 के पैमाने का उपयोग किया, जो एक फिल्म को रेटिंग देने के समान है।
परीक्षण: एक 5-महीने का पायलट
उन्होंने इस नए सिस्टम को एक अस्पताल में पांच महीने तक आज़माया। आठ छात्र अपने रोटेशन से गुजरे, और स्टाफ ने इन 24 डिजिटल फॉर्मों को भरा। फॉर्म इस तरह बनाए गए थे कि वे त्वरित हों, जैसे फोन ऐप पर कॉफी ऑर्डर करना, जिन्हें पूरा करने में केवल लगभग 3 मिनट लगते हैं।
परिणाम: क्या नया सिस्टम काम करता है?
शोधकर्ता दो चीजें जानना चाहते थे:
- विश्वसनीयता (Reliability): यदि अलग-अलग लोग एक ही छात्र को ग्रेड देते, तो क्या वे सहमत होते? (यदि एक व्यक्ति "5 स्टार" कहता है और दूसरा "1 स्टार" कहता है, तो सिस्टम टूटा हुआ है)।
- व्यवहार्यता (Feasibility): क्या यह स्टाफ के लिए बहुत अधिक काम था?
यहाँ उन्हें क्या मिला:
- यह तेज़ और आसान था: स्टाफ ने फॉर्म भरने में लगभग 3 मिनट का समय लिया। इसने अस्पताल के काम को धीमा नहीं किया।
- "बड़ी तस्वीर" वाले ग्रेड बेहद सुसंगत थे: जब सबसे महत्वपूर्ण सवालों की बात आई—"क्या यह छात्र सर्जन बनने के लिए तैयार है?" और "उनके तकनीकी कौशल कितने अच्छे हैं?"—तो विभिन्न मूल्यांकनकर्ताओं (डॉक्टरों, रेजिडेंट्स और स्टाफ) के बीच लगभग पूर्ण सहमति थी। यह ऐसा ही है जैसे यदि आप पांच अलग-अलग फूड क्रिटिक्स से एक डिश को रेट करने के लिए कहें, और वे सभी उसे 5-स्टार समीक्षा दें।
- "ज्ञान" वाले ग्रेड ठीक थे: जब बात चिकित्सा के बारे में छात्र के ज्ञान को ग्रेड देने की आई, तो मूल्यांकनकर्ताओं के बीच मध्यम स्तर की सहमति थी।
- "प्रोफेशनलिज्म" वाले ग्रेड पेचीदा थे: दिलचस्प बात यह है कि "एक अच्छा इंसान होने" के स्कोर सभी के लिए इतने ऊंचे थे कि सिस्टम उनमें बहुत अधिक अंतर नहीं बता सका। यह एक ऐसी क्लास की तरह है जहाँ हर छात्र को उपस्थिति के लिए "A" ग्रेड मिलता है; ग्रेड सभी एक जैसे हैं, इसलिए गणित अजीब दिखता है, लेकिन इसका मतलब सिर्फ यह है कि सभी समय पर थे! सिस्टम फिर भी काम कर रहा था क्योंकि इसमें गंभीर समस्याओं के लिए एक विशेष "रेड फ्लैग" सेक्शन था।
- कोई पक्षपात नहीं: इससे कोई फर्क नहीं पड़ा कि बॉस ने फॉर्म भरा या सहकर्मी ने; उन्होंने समान स्कोर दिए। इसका मतलब है कि यह सिस्टम निष्पक्ष है, चाहे ग्रेडिंग करने वाला कोई भी हो।
- इसने समस्याओं को पकड़ा: सिस्टम ने उन छात्रों को सफलतापूर्वक फ्लैग किया जो संघर्ष कर रहे थे। लगभग 17% मूल्यांकनों में "चिंता" (concern) नोट था, और सिस्टम ने यह सुनिश्चित किया कि उन्हें स्पष्ट रूप से लिखा जाए ताकि हायरिंग कमेटी देख सके कि वास्तव में क्या गलत हुआ।
मुख्य निष्कर्ष (The Bottom Line)
शोधकर्ताओं ने निष्कर्ष निकाला कि यह नया, बहु-व्यक्ति रिपोर्ट कार्ड एक ठोस, विश्वसनीय उपकरण है। यह एक स्पष्ट और सुसंगत तस्वीर देता है कि क्या छात्र काम के लिए तैयार है, बिना मेडिकल स्टाफ का बहुत अधिक समय लिए।
उन्होंने उल्लेख किया कि यह केवल एक छोटा परीक्षण (एक "पायलट") था जिसमें छात्रों का एक छोटा समूह शामिल था। इसे परफेक्ट बनाने के लिए, वे कहते हैं कि उन्हें इसे अधिक अस्पतालों और अधिक छात्रों के साथ आज़माना होगा ताकि नंबरों को और बेहतर बनाया जा सके। लेकिन फिलहाल, यह साबित करता है कि ग्रेडिंग का एक संरचित, टीम-आधारित तरीका संभव है और अच्छी तरह काम करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।