Inverted validity arguments in the evaluation of India’s national professionalism curriculum: a systematic review
تكشف هذه المراجعة المنهجية أن الأدبيات التي تقيم منهج "AETCOM" الوطني للاحترافية في الهند تعاني من عيوب منهجية ووضع "معكوس"، حيث تقدم ادعاءات واثقة وكبيرة حول الفعالية بناءً على تصميمات ضعيفة وتزييف، بينما تفشل في تقديم الأدلة اللازمة لتحديد ما إذا كان المنهج يحسن بالفعل الممارسة الطبية في العالم الحقيقي.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك طاهٍ يحاول اكتشاف ما إذا كانت وصفة "الحساء المثالي" الجديدة، المفروضة من الحكومة، تجعل الناس أكثر صحة حقاً. في عالم التعليم الطبي، تُسمى هذه الوصفة AETCOM، وهي برنامج وطني في الهند مصمم لتعليم الأطباء المستقبليين كيف يكونون لطفاء، وأخلاقيين، وجيدين في التحدث مع المرضى. لكن الجزء الصعب هنا هو: كيف تعرف ما إذا كان الحساء يعمل حقاً؟ لا يمكنك مجرد سؤال الطاهي عما إذا كان يعتقد أن طعمه جيد، ولا يمكنك فقط النظر إلى قائمة المكونات. عليك أن تراقب ما يحدث عندما يُقدم الحساء لزبائن حقيقيين في مطعم حقيقي. وهنا يأتي دور علم "التقييم". إنه عملية التحقق مما إذا كان الدرس يغير السلوك بالفعل في العالم الحقيقي، وليس فقط في الفصل الدراسي. وللقيام بذلك بشكل صحيح، يستخدم العلماء بعض الأفكار الكبيرة: "الصلاحية" (Validity)، وهي تشبه التحقق مما إذا كان مسطرتك تقيس الطول بالفعل وليس درجة الحرارة؛ و"انتقال التدريب" (Transfer of Training)، والذي يسأل عما إذا كان ما تعلمته في المطبخ يساعدك حقاً على الطهي بشكل أفضل عندما يصبح المطعم مزدحماً؛ و"التضخيم" (Spin)، وهو عندما يكتب شخص ما تقريراً يجعل النجاح الصغير يبدو وكأنه انتصار هائل.
تخيل الآن فريقاً من المحققين — الباحثان سيدالينجايا وماسالي — يقرران التحقيق في كومة التقارير المكتوبة حول وصفة "الحساء المثالي" هذه. لم يكتفوا بالسؤال: "هل يعمل الحساء؟" بل طرحوا سؤالاً أكثر غرابة: "هل التقار_ التي لدينا قادرة أصلاً على الإجابة على هذا السؤال؟" لقد نظروا في عشرات الدراسات منذ عام 2015 فصاعداً والتي حاولت اختبار منهج AETCOM. وما وجدوه كان يشبه المشي في غرفة حيث يصرخ الجميع بأن الحساء مذهل، ولكن لا أحد يتذوق الحساء فعلياً في المطعم. بدلاً من ذلك، هم يتذوقون المكونات الخام في المطبخ، أو يسألون الطاهي فقط عن شعوره تجاه الوصفة.
وجد المحققون أن "حجم" النجاح المُبلغ عنه في هذه الدراسات كان يعتمد كلياً على كيفية إعداد الاختبار، وليس على مدى جودة الحساء نفسه. فعندما قام المعلمون بتقييم طلابهم بأنفسهم مباشرة بعد الفصل، كانت النتائج ضخمة ومتوهجة، مثل درجة 3.49 على مقياس يعتبر 1 فيه ممتازاً بالفعل. ولكن عندما بحث الباحثون عن الدراستين الوحيدتين اللتين قارنت فعلياً بين الطلاب الذين تلقوا التدريب والطلاب الذين لم يتلقوه، تلاشى السحر. انخفضت الدرجة إلى 0% 0.12. الأمر كما لو أن المجموعة الأولى من المختبرين كانوا يستخدمون عدسة مكبرة تجعل كل شيء يبدو أكبر، بينما استخدمت المجموعة الثانية مرآة عادية وصادقة. أظهرت الورقة أنه كلما كانت القواعد "متساهلة" (أو فضفاضة) في الاختبار، بدا النجاح المُبلغ عنه أكبر.
والأكثر إثارة للاهتمام، لاحظ الباحثون نمطاً غريباً من "التضخيم". فقد وجدوا أنه في 75% من التقارير، قدم المؤلفون ادعاءات تجاوزت بكثير ما قاموا بقياسه بالفعل. إنه يشبه طالباً يحصل على درجة 'A' في اختبار إملاء ثم يكتب في تقريره: "هذا يثبت أنني سأفوز بجائزة نوبل في الأدب". لقد قامت الدراسات بقياس أشياء مثل "كيف شعر الطلاب" أو "ما عرفوه في اختبار"، لكن التقارير زعمت أن هذه الدراسات أثبتت أن الأطباء يعالجون المرضى بشكل أفضل الآن أو أن الدعاوى القضائية ستختفي. في الواقع، ادعى 89% من التقارير أكثر مما يمكن لأدلتهم دعمه. لقد كانوا واثقين من النتائج في الأماكن التي لديهم فيها أقل قدر من الأدلة.
كما تشير الورقة إلى أن أحداً لم يتحقق من "ظروف مكان العمل". فكر في الأمر بهذه الطريقة: يمكنك تعليم السائق ركن السيارة بشكل مثالي في موقف سيارات فارغ، ولكن إذا كانت شوارع المدينة الحقيقية مزدحمة ومغلقة، ويخبره المدير أن يقود بسرعة، فقد يصطدم على أي حال. وجد الباحثون أن 5% فقط من الدراسات تحققت مما إذا كان مشرفو الأطباء يدعمون السلوك الجديد، وأن 12% فقط تحققت مما إذا كان لدى الأطباء حتى فرصة لممارسة ما تعلموه. بدون معرفة ما إذا كان "موقف السيارات" مفتوحاً، لا يمكنك لوم السائق على عدم الركن جيداً، ولا يمكنك لوم مدرسة القيادة أيضاً.
إذن، ما هي النتيجة؟ الورقة لا تقول إن منهج AETCOM سيء أو أنه لا يعمل. إنها تقول إن الطريقة الحالية لاختباره معطلة. إن قاعدة الأدلة "منقلبة": فهي الأعلى صوتاً والأكثر ثقة في الأماكن التي تكون فيها في الواقع الأضعف. ويخلص المؤلفون إلى أنه لا يمكننا معرفة ما إذا كان المنهج نجاحاً أو فشلاً بعد، ببساطة لأننا لم نبنِ اختباراً يمكنه رؤية ما إذا كانت الدروس تترسخ عندما يتعامل الأطباء مع مرضى حقيقيين في مستشفيات حقيقية. ويقترحون أننا بحاجة للتوقف عن استخدام اختبارات "العدسة المكبرة" والبدء في بناء نظام يراقب ما يحدث في العالم الحقيقي، ويتحقق مما إذا كانت البيئة تسمّح باستخدام المهارات الجديدة. وحتى نفعل ذلك، ستظل الادعاءات الكبيرة حول إنقاذ الأرواح وإصلاح العلاقات مجرد ادعاءات، وليست حقائق مثبتة.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.