Inverted validity arguments in the evaluation of India’s national professionalism curriculum: a systematic review
यह व्यवस्थित समीक्षा यह प्रकट करती है कि भारत के राष्ट्रीय एईटीकॉम (AETCOM) व्यावसायिकता पाठ्यक्रम का मूल्यांकन करने वाला साहित्य पद्धतिगत रूप से त्रुटिपूर्ण और "उल्टा" है, जो कमजोर डिजाइनों और भ्रामक प्रस्तुति के आधार पर प्रभावशीलता के बड़े, आत्मविश्वासी दावे तो प्रस्तुत करता है, लेकिन वास्तविक चिकित्सा अभ्यास में पाठ्यक्रम वास्तव में सुधार करता है या नहीं, यह निर्धारित करने के लिए आवश्यक साक्ष्य प्रदान करने में विफल रहता है।
मूल पेपर CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शेफ हैं जो यह पता लगाने की कोशिश कर रहे हैं कि क्या सरकार द्वारा अनिवार्य रूप से बनाई गई "परफेक्ट सूप" (Perfect Soup) की नई रेसिपी वास्तव में लोगों को स्वस्थ बना रही है। चिकित्सा शिक्षा की दुनिया में, इस रेसिपी को AETCOM कहा जाता है—भारत में एक राष्ट्रीय कार्यक्रम जिसे भविष्य के डॉक्टरों को दयालु, नैतिक और मरीजों से बात करने में कुशल बनाने के लिए डिज़ाइन किया गया है। लेकिन पेचीदा बात यह है कि आप कैसे जान सकते हैं कि वह सूप वास्तव में काम कर रहा है या नहीं? आप केवल शेफ से यह नहीं पूछ सकते कि क्या उन्हें लगता है कि सूप का स्वाद अच्छा है, और आप केवल सामग्री की सूची भी नहीं देख सकते। आपको यह देखना होगा कि जब उस सूप को एक वास्तविक रेस्तरां में वास्तविक ग्राहकों को परोसा जाता है, तो क्या होता है। यहीं से "मूल्यांकन" (evaluation) का विज्ञान आता है। यह जाँचने की प्रक्रिया है कि क्या कोई सबक वास्तव में वास्तविक दुनिया में व्यवहार को बदल देता है, न कि केवल एक कक्षा में। इसे ठीक से करने के लिए, वैज्ञानिक कुछ बड़े विचारों का उपयोग करते हैं: "वैधता" (Validity), जो यह जाँचने जैसा है कि आपका पैमाना लंबाई माप रहा है या केवल तापमान; "प्रशिक्षण का हस्तांतरण" (Transfer of Training), जो यह पूछता है कि क्या रसोई में जो आपने सीखा है वह वास्तव में तब काम आता है जब रेस्तरां में भीड़ बढ़ जाती है; और "स्पिन" (Spin), जब कोई रिपोर्ट लिखता है जो एक छोटी सी सफलता को एक बड़ी जीत की तरह पेश करती है।
अब, कल्पना कीजिए कि जासूसों की एक टीम—शोधकर्ता सिद्धलिंगैया और मसाला—इस "परफेक्ट सूप" की रेसिपी के बारे में लिखी गई रिपोर्टों के ढेर की जांच करने का निर्णय लेती है। उन्होंने केवल यह नहीं पूछा, "क्या सूप काम करता है?" बल्कि उन्होंने एक बहुत ही अजीब सवाल पूछा: "क्या हमारे पास जो रिपोर्ट हैं, वे वास्तव में उस सवाल का जवाब देने में सक्षम भी हैं?" उन्होंने 2015 के बाद के दर्जनों अध्ययनों को देखा जिन्होंने AETCOM पाठ्यक्रम का परीक्षण करने की कोशिश की थी। उन्होंने जो पाया वह ऐसा था जैसे आप एक ऐसे कमरे में कदम रख रहे हों जहाँ हर कोई चिल्ला रहा हो कि सूप अद्भुत है, लेकिन वास्तव में कोई भी रेस्तरां में सूप चख नहीं रहा है। इसके बजाय, वे रसोई में कच्ची सामग्री को चख रहे हैं, या बस शेफ से पूछ रहे हैं कि वे कैसा महसूस करते हैं।
जासूसों ने पाया कि इन अध्ययनों में रिपोर्ट की गई सफलता का "आकार" पूरी तरह से इस बात पर निर्भर था कि परीक्षण कैसे सेट किया गया था, न कि इस पर कि सूप वास्तव में कितना अच्छा था। जब शिक्षकों ने अपनी कक्षाओं के तुरंत बाद अपने छात्रों को ग्रेड दिया, तो परिणाम बहुत बड़े और शानदार थे, जैसे कि 1 (जो पहले से ही महान है) के पैमाने पर 3.49 का स्कोर। लेकिन जब शोधकर्ताओं ने उन एकमात्र दो अध्ययनों को देखा जिन्होंने वास्तव में उन छात्रों की तुलना की जिन्हें प्रशिक्षण मिला था बनाम उन छात्रों की जिन्हें प्रशिक्षण नहीं मिला था, तो वह जादू गायब हो गया। स्कोर गिरकर मात्र 0.12 रह गया। यह ऐसा है जैसे पहले समूह के परीक्षकों ने आवर्धक लेंस (magnifying glass) का उपयोग किया था जिससे सब कुछ बड़ा दिखाई दे रहा था, जबकि दूसरे समूह ने एक साधारण, ईमानदार दर्पण का उपयोग किया। शोध पत्र दिखाता है कि परीक्षण के नियम जितने अधिक "उदार" (permissive) या ढीले थे, रिपोर्ट की गई सफलता उतनी ही बड़ी दिखाई दी।
यहाँ तक कि अधिक दिलचस्प बात यह है कि शोधकर्ताओं ने "स्पिन" (spin) का एक अजीब पैटर्न देखा। उन्होंने पाया कि 75% रिपोर्टों में, लेखकों ने ऐसे दावे किए जो उनके द्वारा मापे गए तथ्यों से कहीं आगे निकल गए। यह ऐसा है जैसे किसी छात्र को वर्तनी (spelling) के टेस्ट में 'A' मिला हो और फिर वह अपनी रिपोर्ट में लिखे, "यह साबित करता है कि मैं साहित्य के लिए नोबेल पुरस्कार जीतूँगा।" अध्ययनों ने "छात्र कैसा महसूस करते हैं" या "उन्होंने टेस्ट में क्या सीखा" जैसी चीजों को मापा, लेकिन रिपोर्टों ने दावा किया कि ये अध्ययन साबित करते हैं कि डॉक्टर अब मरीजों का बेहतर इलाज कर रहे हैं या मुकदमेबाजी खत्म हो जाएगी। वास्तव में, 89% रिपोर्टों ने उससे कहीं अधिक दावा किया जितना कि उनके साक्ष्य समर्थन कर सकते थे। वे उन सटीक स्थानों पर सबसे अधिक आश्वस्त थे जहाँ उनके पास सबसे कम प्रमाण थे।
पत्र यह भी बताता है कि लगभग किसी ने भी "कार्यस्थल की स्थितियों" की जाँच नहीं की। इसे इस तरह सोचें: आप एक ड्राइवर को खाली पार्किंग स्थल में बिल्कुल सही तरीके से पार्क करना सिखा सकते हैं, लेकिन यदि वास्तविक शहर की सड़कें अवरुद्ध, भीड़भाड़ वाली हैं, और बॉस उन्हें तेज़ चलाने के लिए कहता है, तो भी वे दुर्घटनाग्रस्त हो सकते हैं। शोधकर्ताओं ने पाया कि केवल 5% अध्ययनों ने यह जाँच की कि क्या डॉक्टरों के पर्यवेक्षकों (supervisors) ने नए व्यवहार का समर्थन किया, और केवल 12% ने यह जाँच की कि क्या डॉक्टरों के पास जो उन्होंने सीखा था उसका अभ्यास करने का अवसर भी था। यह जाने बिना कि "पार्किंग स्थल" खुला है या नहीं, आप ड्राइवर को ठीक से पार्क न कर पाने के लिए दोष नहीं दे सकते, और न ही आप ड्राइविंग स्कूल को दोष दे सकते हैं।
तो, फैसला क्या है? यह पत्र यह नहीं कह रहा है कि AETCOM पाठ्यक्रम बुरा है या यह काम नहीं करता है। यह कह रहा है कि इसे परखने का वर्तमान तरीका टूटा हुआ है। साक्ष्य आधार "उल्टा" (inverted) है: यह वहाँ सबसे अधिक मुखर और आश्वस्त है जहाँ यह वास्तव में सबसे कमजोर है। लेखक निष्कर्ष निकालते हैं कि हम अभी तक यह नहीं बता सकते कि पाठ्यक्रम एक सफलता है या विफलता, क्योंकि हमने अभी तक ऐसा परीक्षण नहीं बनाया है जो वास्तव में देख सके कि क्या सबक तब भी टिके रहते हैं जब डॉक्टर वास्तविक अस्पतालों में वास्तविक मरीजों के साथ काम कर रहे होते हैं। वे सुझाव देते हैं कि हमें "आवर्धक लेंस" वाले परीक्षणों का उपयोग करना बंद करना चाहिए और एक ऐसी प्रणाली बनाने की शुरुआत करनी चाहिए जो वास्तविक दुनिया में क्या होता है, इस पर नज़र रखे, और यह देखे कि क्या वातावरण नए कौशल का उपयोग करने की अनुमति देता है। जब तक हम ऐसा नहीं करते, जीवन बचाने और रिश्तों को सुधारने के बड़े दावे केवल दावे ही रहेंगे, सिद्ध तथ्य नहीं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।