Standard Setting in the Era of Workplace-Based Assessment: A Pilot Exploration
यह पायलट अध्ययन प्रदर्शित करता है कि तीन स्थापित मानक-निर्धारण विधियों (एंगोफ, बुकमार्क और कंस्ट्रक्ट मैपिंग) को एक रक्षात्मक जनरल सर्जरी ग्रेजुएशन मानक को परिभाषित करने के लिए अनुदैर्ध्य कार्यस्थल-आधारित मूल्यांकन डेटा में व्यवहार्य और विश्वसनीय रूप से अनुकूलित किया जा सकता है, जिसमें परिणामों के अभिसरण और गुणात्मक अंतर्दृष्टि द्वारा समर्थित 582 का प्रस्तावित कट स्कोर प्रस्तावित है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हेड शेफ हैं जो यह तय करने की कोशिश कर रहे हैं कि एक पाक कला (culinary) के छात्र को कब रसोई छोड़कर अपना खुद का रेस्टोरेंट खोलना चाहिए। अतीत में, आप शायद केवल उन्हें एक विशिष्ट व्यंजन (जैसे कि सुफ्ले) बनाते हुए देखते और निर्णय लेते, "हाँ, वे इसे संभाल सकते हैं।" लेकिन आज, मेडिकल स्कूल छात्रों को कई वर्षों तक कई अलग-अलग व्यंजन बनाते हुए देखने और वास्तविक रसोई (ऑपरेटिंग रूम) में उनके प्रदर्शन के भारी मात्रा में डेटा एकत्र करने की ओर बढ़ रहे हैं।
समस्या यह थी? कोई नहीं जानता था कि इस लंबे समय के डेटा को एक स्पष्ट "पास" या "फेल" लाइन में कैसे बदला जाए।
यह पेपर एक पायलट टेस्ट की तरह है जहाँ विशेषज्ञों के एक समूह (सर्जिकल एजुकेटर्स) ने तीन अलग-अलग मापने वाले उपकरणों का उपयोग करके उस रेखा को खींचने का तरीका खोजने की कोशिश की। उन्होंने क्या किया और उन्हें क्या मिला, इसका सरल विवरण यहाँ दिया गया है:
लक्ष्य: "ग्रेजुएशन लाइन" खोजना
शोधकर्ता एक विशिष्ट स्कोर खोजना चाहते थे जो यह कहे कि, "यह छात्र अकेले अभ्यास करने के लिए तैयार है।" उन्होंने SIML नामक एक डिजिटल टूल का उपयोग किया, जो सर्जरी में प्रदर्शन के आधार पर छात्रों को 372 से 628 के बीच एक स्कोर देता है। लक्ष्य उस सटीक संख्या को खोजना था जहाँ छात्र "अभ्यास के लिए तैयार" हो जाता है।
तीन मापने वाले उपकरण
विशेषज्ञों ने इस रेखा को निर्धारित करने के तरीके के तीन अलग-अलग परीक्षण किए, ठीक वैसे ही जैसे आप घर की कीमत का अनुमान लगाने के लिए विभिन्न तरीकों का उपयोग कर सकते हैं:
"एंगोफ़" विधि (मानसिक अनुमान):
- यह कैसे काम करता है: विशेषज्ञों से एक "बमुश्किल पास होने वाले" छात्र की कल्पना करने के लिए कहा गया। फिर, सर्जरी की एक सूची में से हर एक सर्जरी के लिए, उन्हें अनुमान लगाना था: "इस बमुश्किल पास होने वाले छात्र के इस सर्जरी को अच्छी तरह से करने की कितनी संभावना है?"
- उपमा: यह उन जजों से पूछने जैसा है जो कल्पना करें कि एक धावक जो ओलंपिक टीम में शामिल होने के लिए बस पर्याप्त तेज़ है, और फिर अनुमान लगाएं कि वह कितने बाधाओं (hurdles) को पार कर सकता है।
- परिणाम: यह विशेषज्ञों के लिए बहुत कठिन था। उन्हें लगा कि यह बहुत जटिल था और हर एक सर्जरी के लिए उस "बमुश्किल पास होने वाले" छात्र की कल्पना करने में उनका दिमाग थक गया।
"बुकमार्क" विधि (सीढ़ी):
- यह कैसे काम करता है: उन्होंने सर्जरी की एक सूची ली और डेटा के आधार पर उन्हें "सबसे आसान" से "सबसे कठिन" के क्रम में व्यवस्थित किया। विशेषज्ञों को फिर उस सूची पर एक "बुकमार्क" लगाने के लिए कहा गया जहाँ एक छात्र असफल होना शुरू हो जाएगा।
- उपमा: एक सीढ़ी की कल्पना करें जहाँ सर्जरी के पायदान (rungs) हैं। विशेषज्ञों को यह बताना था कि "एक छात्र इस पायदान तक चढ़ सकता है, लेकिन यदि वह इससे ऊपर जाता है, तो वह गिर जाएगा।"
कम्प्यूटर द्वारा सुझाए गए क्रम में कुछ सर्जरी फिट नहीं बैठ रही थीं, जिससे वे अपने उत्तर को लेकर अनिश्चित महसूस करने लगे।
"कंस्ट्रक्ट मैपिंग" विधि (हीट मैप):
- यह कैसे काम करता है: यह सबसे पसंदीदा तरीका था। विशेषज्ञों ने एक रंगीन "हीट मैप" (एक चार्ट जिसमें रंगों के माध्यम से संभावनाएँ दिखाई गई हैं) देखा। इस मानचित्र ने उन्हें दिखाया कि एक निश्चित स्कोर वाले छात्र के किसी विशेष सर्जरी को पास करने की कितनी संभावना है। वे एक साथ पूरी तस्वीर देख सकते थे।
- उपमा: यह किसी चीज़ का अनुमान लगाने या सीढ़ी चढ़ने के बजाय, एक मौसम मानचित्र (weather map) को देखने जैसा है। आप एक साथ तूफान के बादलों (कठिन सर्जरी) और धूप वाले स्थानों (आसान सर्जरी) को देख सकते हैं और कह सकते हैं, "ठीक है, यदि तापमान (स्कोर) यहाँ है, तो छात्र बाहर जाने के लिए सुरक्षित है।"
- परिणाम: विशेषज्ञों ने इसे बहुत पसंद किया। यह तेज़ था, इसमें वास्तविक डेटा का उपयोग किया गया था, और इसने उन्हें यह देखने में मदद की कि एक एकल स्कोर कई सर्जरी पर कैसे लागू होता है।
बड़ी खोज
जब विशेषज्ञों ने अपना काम पूरा किया, तो उन्होंने तीन अलग-अलग उपकरणों का उपयोग करके खींची गई "पास" लाइनों की तुलना की।
- Angoff ने 577 के आसपास एक रेखा सुझाई।
- Bookmark ने 588 के आसपास एक रेखा सुझाई।
- Construct Mapping ने 582 के आसपास एक रेखा सुझाई।
आश्चर्य: भले ही उपकरण पूरी तरह से अलग थे, लेकिन उनके द्वारा खींची गई रेखाएं लगभग एक जैसी थीं। सांख्यिकीय रूप से, उनके बीच कोई वास्तविक अंतर नहीं था। इसने शोधकर्ताओं को विश्वास दिलाया कि 582 ग्रेजुएशन के लिए एक ठोस, निष्पक्ष संख्या के रूप में उपयोग करने योग्य है।
विशेषज्ञों ने क्या कहा (मानवीय पक्ष)
हालाँकि संख्याएँ करीब थीं, लेकिन विशेषज्ञों के पास प्रक्रिया के बारे में कुछ विचार थे:
- "तैयार" को परिभाषित करना: उनके लिए इस बात पर सहमत होना कठिन था कि एक "न्यूनतम सक्षम" छात्र कैसा दिखता है। क्या उनका मतलब उस छात्र से है जो बस स्नातक होने के लिए पर्याप्त अच्छा है, या उस छात्र से है जो कल ही सर्जन बनने के लिए तैयार है? उन्हें "परफेक्ट" सर्जन के बारे में सोचना बंद करने और "अच्छे पर्याप्त" सर्जनों पर ध्यान केंद्रित करने में संघर्ष करना पड़ा।
- जटिलता: उन्हें किसी विशिष्ट सर्जरी की कठिनाई को ध्यान में रखने में कठिनाई हुई। वे "सरल" मामलों के लिए मानक निर्धारित करने पर सहमत हुए, न कि सबसे कठिन मामलों के लिए।
- विजेता: वे हीट मैप (कंस्ट्रक्ट मैपिंग) को पसंद करते थे क्योंकि यह सबसे कुशल था और इसने उन्हें कई सर्जरी में एक साथ मानक को विज़ुअलाइज़ करने में मदद की।
मुख्य निष्कर्ष
यह अध्ययन सिद्ध करता है कि आप लंबे समय के प्रदर्शन डेटा के पहाड़ को एक स्पष्ट, निष्पक्ष स्नातक मानक में बदल सकते हैं। उन्होंने पाया कि मापने के तीन अलग-अलग तरीके एक ही परिणाम देते हैं, जो परिणाम को विश्वसनीय बनाता है।
वे 582 के स्कोर को नए मानक के रूप में प्रस्तावित करते हैं। यदि कोई छात्र इस स्कोर तक पहुँच जाता है, तो डेटा बताता है कि उनके लैप्रोस्कोपिक अपेंडिसेक्टोमी (laparoscopic appendectomy) करने के लिए 88-90% संभावना है, पित्ताशय हटाने (gallbladder removal) के लिए 83-85% संभावना है, और कोलन सर्जरी के लिए 76-80% संभावना है।
संक्षेप में, उन्होंने एक विश्वसनीय तरीका खोज लिया है जिससे यह मापा जा सके कि एक सर्जिकल छात्र कब अकेले उड़ने के लिए तैयार है, और उन्होंने पाया कि "बड़ी तस्वीर" (हीट मैप) को देखना सबसे अच्छा तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।