Accuracy and Limitations of AI Scoring for Objective Medical Interview Checklist Items in a Year-One School of Medicine Objective Structured Clinical Examination (OSCE)

في كليات الطب، يعد تعلم كيفية التحدث إلى المرضى أمراً بالغ الأهمية تماماً مثل تعلم كيفية فحصهم. ولضمان جاهزية الطلاب للعالم الحقيقي، يستخدم التربويون طريقة اختبار تسمى "الامتحان السريري المنظم الموضوعي" (Objective Structured Clinical Examination). في هذا الإعداد، يجلس الطالب مع ممثل مدرب يلعب دور المريض؛ حيث يجب على الطالب طرح الأسئلة الصحيحة لجمع التاريخ الطبي، ويقوم الممثل بتقييم الطالب بناءً على قائمة مراجعة صارمة لما تم سؤاله ومدى جودة أدائه. هذه العملية هي المعيار الذهبي لتدريس المهارات السريرية، لكنها أيضاً عملية مجهدة للغاية وتتطلب جهداً بشرياً كبيراً. فهي تتطلب ساعات من التدريب للممثلين، الذين يجب أن يظلوا متسقين بينما يقومون أيضاً بالحكم على أداء الطالب، كما تتطلب من أعضاء هيئة التدريس قضاء ساعات لا حصر لها في مراجعة هذه التفاعلات لضمان العدالة. ومع زيادة قدرة الذكاء الاصطناعي على الاستماع إلى المحادثات وفهم اللغة، بدأ التربويون يتساءلون عما إذا كان بإمكان الكمبيوتر تولي مهمة التصحيح. والأمل هو أن يتمكن الجهاز من الاستماع إلى التسجيل، والتحقق من الأسئلة المطلية، وتصحيح درجة الطالب في جزء ضئيل من الوقت الذي يستغرقه البشر، مما يوفر الموارد لمزيد من التدريس.

لقد وضع فريق من الباحثين في جامعة تكساس الطبية بمدينة غالفيستون هدفاً محدداً لاختبار هذه الفكرة: وهو معرفة ما إذا كان الذكاء الاصطناعي يمكنه تصحيح الأجزاء الموضوعية من المقابلة الطبية بدقة. وقد ركزوا على امتحان لطلاب السنة الأولى في كلية الطب شمل 234 طالباً. في هذا الامتحان، تم تسجيل الطلاب أثناء مقابلة مريض معياري، وكان ممثلون بشريون قد قاموا بالفعل بتقييمهم بناءً على اثني عشر بنداً محدداً في قائمة المراجعة، مثل السؤال عن موقع الألم، أو شدة الأعراض، أو التاريخ العائلي للمريض. أخذ الباحثون تسجيلات الفيديو لهذه اللقاءات وحولوها إلى نصوص مكتوبة (transcripts). ثم أدخلوا هذه النصوص في منصة برمجية مزودة بالذكاء الاصطناعي، وبرمجوها باستخدام مطالبات (prompts) مصممة للبحث عن تلك البنود الاثني عشر نفسها. أُمر الكمبيوتر بأن يعمل كمصحح، بحيث يمنح نقطة لكل بند يكتشفه في النص. ثم قارن الفريق بين الدرجات التي أنتجها الكمبيوتر والدرجات التي منحها الممثلون البشريون، بحثاً عن الاختلافات ومحاولةً لفهم أسباب حدوثها.

أظهرت النتائج أن الذكاء الاصطناعي كان مساعداً كفؤاً، وإن لم يكن مثالياً. فعندما قارن الباحثون درجات الكمبيوتر بالدرجات البشرية، وجدوا مستوى متوسطاً من التوافق. كانت درجات الكمبيوتر الإجمالية المتوسطة متطابقة تقريباً مع المتوسط الذي منحه البشر، حيث منح الكمبيوتر متوسط 11.51 نقطة من أصل 12، بينما منح البشر 11.60. أما من حيث الوقت، فقد كان الفرق صارخاً؛ إذ استغرقت عملية التصحيح البشرية، والتي شملت تدريب الممثلين ومراجعة الامتحانات، حوالي 56 ساعة لإتمامها لهذه المجموعة من الطلاب. بينما قام الكمبيوتر، بمجرد إعداد النظام، بتحليل جميع المقابلات الـ 234 وتوليد الدرجات في أقل من ثلاث ساعات. وهذا يشير إلى أنه بالنسبة لمهمة محددة مثل التحقق من الأسئلة الواقعية في المقابلة الطبية، يمكن للآلة القيام بالعمل الشاق بسرعة ملحوية واتساق عالٍ.

ومع ذلك، كشفت الدراسة أيضاً عن المواضع التي تعثر فيها الجهاز. فمن بين ما يقرب من 2,800 قرار تصحيح فردي، كانت هناك 83 حالة اختلف فيها الكمبيوتر مع الممثل البشري. وعندما فحص الباحثون هذه الأخطاء عن كثب، وجدوا أربعة أسباب رئيسية لهذا عدم التطابق. أولاً، يعتمد الكمبيوتر كلياً على جودة النص الذي يقرأه. فإذا كان التسجيل الصوتي خافتاً، أو إذا تحدث شخصان في وقت واحد، أو إذا قاطع ضجيج الخلفية المحادثة، فقد يخطئ برنامج النسخ في كلمة أو يسيء سماعها. على سبيل المثال، إذا سأل الطالب عما إذا كان الألم "ينتقل/يشع" (radiates) إلى جزء آخر من الجسم، ولكن الكمبيوتر نسخها على أنها "يرن/يتردد" (resonates)، فإن الذكاء الاصطناعي لن يتعرف على المصطلح الطبي الصحيح وسيعتبر السؤال مفقوداً.

ثانياً، يواجه الكمبيوتر صعوبة في التعامل مع الطريقة التي يتحدث بها البشر فعلياً. فغالباً ما يصيغ الطلاب أسئلتهم بطرق فريدة أو غير مباشرة يمكن للممثل البشري فهمها فوراً، لكن الكمبيوتر قد يخطئ في فهمها إذا كان يبحث عن مجموعة محددة من الكلمات. فإذا سأل الطالب: "هل يبقى الألم في بقعة واحدة؟" بدلاً من الصيغة المتوقعة "هل ينتقل الألم؟"، فإن الإنسان قد يمنح الدرجة لفهم المفهوم، لكن الكمبيوتر، الذي يتبع قواعد جامدة، قد لا يفعل ذلك. ثالثاً، لا يستطيع الكمبيوتر رؤية أو سماع الإشارات غير اللفظية. في مقابلة حقيقية، قد يهز المريض رأسه أو يشير إلى معدته للإجابة على سؤال، والممثل البشري سيمنح الطالب الدرجة لهذا التفاعل. وبما أن الكمبيوتر يقرأ فقط النص المكتوب، فإنه لا يستطيع رؤية الإيماءة أو الإشارة، لذا يعتبر السؤال لم يُجب عليه. وأخيراً، كانت هناك اختلافات في التقدير؛ فأحياناً يمنح الممثل البشري الدرجة بناءً على معنى ضمني قصده الطالب، بينما يتطلب الكمبيوتر من الطالب ذكر الكلمات المكتوبة في قائمة المراجعة نصاً.

خلص الباحثون إلى أنه على الرغم من أن الذكاء الاصطناعي أداة قوية لتسريع عملية تصحيح قوائم المراجعة الهيكلية والموضوعية، إلا أنه ليس جاهزاً لاستبدال الحكم البشري تماماً. فالكمبيوتر ممتاز في إيجاد كلمات محددة في النص، لكنه يفتقر إلى القدرة على فهم السياق، أو النبرة، أو القصد الضمني وراء سؤال الطالب. وتشير الدراسة إلى أن أفضل استخدام لهذه التكنولوجيا هو كأداة دعم؛ حيث يمكنها تولي المرحلة الأولى من التصحيح، مما يوفر على التربويين عشرات الساعات، ولكن يجب على الإنسان مراجعة النتائج لاكتشاف الأخطاء التي تنجم عن سوء جودة الصوت، أو الصياغات الفريدة، أو التواصل غير اللفظي. وحتى تتمكن التكنولوجيا من تفسير كامل تفاصيل المحادثة البشرية بشكل موثوق، بما في ذلك ما لم يُقل صراحة، يجب أن يظل الكلمة الفصل في تقييم المهارات السريرية للطالب بيد الإنسان. إن مستقبل تقييم التعليم الطبي قد ينطوي على شراكة حيث تتولى الآلة التعامل مع الحجم الكبير، ويتولى الإنسان التعامل مع التقدير والحكم، لضمان تقييم الطلاب بعدالة وكفاءة.