Expert validation of AI-generated clinical assessment items for physician assistant certification: a multi-dimensional rubric and dual- reliability method
تقدم هذه الدراسة وتتحقق من صحة نموذج تقييم متعدد الأبعاد وطريقة موثوقية مزدوجة للتقييم المنهجي لأسئلة اختبار اعتماد مساعد الطبيب المولدة بواسطة الذكاء الاصطناي، مما يثبت أن المحتوى الذي أنتجه الذكاء الاصطناعي يستوفي معايير الجودة لدى الخبراء ولا يمكن تمييزه عن الأسئلة التي كتبها البشر من حيث أداء الطلاب وتصوراتهم.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك تحاول تعليم روبوت كيف يكون طبيبًا. أنت لا تريد منه فقط حفظ الحقائق؛ بل تريد منه أن يخوض اختبارًا، ويحل لغزًا، ويشرح منطقه تمامًا كما يفعل طالب الطب البشري. هذا هو عالم الذكاء الاصطناعي التوليدي في التعليم. فكر في الذكاء الاصطناائي ككاتب فائق السرعة ولا يكل، يمكنه إنتاج آلاف الأسئلة التدريبية في الوقت الذي يستغرقه أستاذ بشري لكتابة سؤال واحد. ولكن هنا تكمن المشكلة: في الاختبارات عالية المخاطر مثل تلك التي يجب أن يجتازها المساعدون الطبيون (PAs) للحصول على رخصتهم، لا يكون السؤال السيئ مجرد أمر مزعج؛ بل قد يكون خطيرًا. فإذا كان السؤال مربكًا أو كانت الإجابة خاطئة، فقد يتعلم الطلاب الشيء الخاطئ.
لسنوات، امتلكنا نظامًا صارمًا لفحص الأسئلة التي يكتبها البشر. حيث يقوم فريق من الخبراء بقراءة كل سؤال للتأكد من أنه يتبع القواعد، وأنه واضح، ويختبر المهارات الصحيحة. ولكن لم يكن أحد يعرف كيفية تطبيق نفس عملية "الفحص الخبير" هذه على الذكاء الاصطناعي. إذا كتب الذكاء الاصطناعي سؤالًا، فكيف تعرف ما إذا كان جيدًا حقًا؟ هل هو مجرد "سلطة كلمات" منمقة، أم أنه اختبار حقيقي للمعرفة الطبية؟ هذه الورقة البحثية تدخل في هذه الفجوة، متسائلة: هل يمكننا بناء قائمة مراجعة موثوقة للتحقق من صحة الأسئلة الطبية التي يولدها الذكنا الاصطناعي، وهل ينتج الذكاء الاصطناعي بالفعل عملًا بجودة عمل البشر؟
مصنع أسئلة الذكاء الاصطناعي والمفتشون الخبراء
قرر الباحثون في جامعة بيتسبرغ بناء "مصنع" يستخدم الذكاء الاصطناعي لتوليد أسئلة تدريبية للامتحان الوطني لشهادة المساعد الطبي (PANCE). ولكن قبل أن يتمكنوا من السماح للطلاب باستخدام هذه الأسئلة، كانوا بحاجة إلى طريقة لفحص مخرجات المصنع. لم يكن بإمكانهم الوثوق بالذكاء الاصطناعي فحسب؛ بل كانوا بحاجة إلى فريق بشري لضبط الجودة.
لذلك، أنشأوا أداة فحص جديدة، وهي تشبه بطاقة تسجيل تفصيلية تحتوي على خمس فئات محددة. تخيل أنك تحكم في مسابقة للخبز؛ لن تقول فقط "كعكة جيدة"، بل ستتحقق مما يلي:
- المواءمة الإكلينيكية-التعليمية: هل يختبر هذا السؤال بالفعل ما يحتاج الطبيب لمعرفته؟
- اكتمال السيناريو: هل القصة (أعراض المريض) كاملة، أم أن الخباز نسي البيض؟
- جودة خيارات الإجابة: هل الخيارات الخاطئة (المشتتات) مخادعة ولكن عادلة، أم أنها خاطئة بشكل واضح؟
- اللغة والوضوح: هل السؤال سهل القراءة، أم أنه كتلة مربكة؟
- جودة الشرح: إذا أخطأ الطالب، فهل يشرح له السبب؟
استخدم الفريق بطاقة التسجيل هذه لفحص 55 سؤالًا من توليد الذكاء الاصطناعي. واستعانوا بستة أعضاء هيئة تدريس خبراء في مجال المساعد الطبي للقيام بدور الحكام. كانت النتائج جيدة بشكل مفاجئ؛ حيث سجلت الأسئلة درجات عالية جدًا في مقياس الجودة الإجمالي (بمتوسط 0.9285 من 1.0)، مما يعني أن الذكاء الاصطناعي كان يتبع قواعد كتابة الأسئلة الجيدة بنجاح. وقد اجتاز كل من "مسار السؤال" (الفئات الأربع الأولى) و"مسار الشرح" (الفئة الخامسة) عتبة كونها "قوية".
لغز "الاتفاق" العظيم
هنا تصبح القصة ملتوية ومثيرة للاهتمام. عندما نظر الخبراء الستة إلى الأسئلة، اتفقوا في الغالب: "نعم، هذا جيد". في الواقع، اتفقوا على جودة الأسئلة في حوالي 88% من الحالات.
ولكن عندما حاول الباحثون استخدام صيغة رياضية قياسية (تسمى Fleis's κ) لقياس مدى اتفاق الخبراء، جاء الرقم منخفضًا للغاية—يكاد يكون صفرًا (0.1201). عادةً ما يعني رقم منخفض كهذا أن الخبراء يتجادلون ولا يستطيعون الاتفاق، لكنهم كانوا متفقين بالفعل!
تفسر الورقة البحثية ذلك بأنه "مفارقة الانتشار". فكر في الأمر كفصل دراسي حيث يحصل 99% من الطلاب على درجة امتياز. إذا حاولت حساب مدى اتفاق الطلاب على من حصل على الامتياز، فستصبح الرياضيات غريبة لأن الجميع يفعل الشيء نفسه تقريبًا. الصيغة القياسية ترتبك بسبب هذا "الاتفاق الزائد" وتظن أنه مجرد صدفة.
ولإصلاح ذلك، استخدم الباحثون أداة رياضية مختلفة وأكثر قوة تسمى Gwet's AC1. أعطت هذه الأداة درجة عالية (0.8653)، مما أكد أن الخبراء كانوا متناغمين بالفعل. وتجادل الورقة بأنه عندما يؤدي الذكاء الاصطناعي عملًا جيدًا، سنرى هذا النمط كثيرًا: اتفاق عالٍ يبدو كأنه اتفاق منخفض بالنسبة للرياضيات التقليدية. ويقترحون أننا بحاجة لاستخدام هذه الأداة الجديدة لتجنب الذعر عندما يكون محتوى الذكاء الاصطناعي ممتازًا في الواقع.
الاختبار الأعمى "بين الإنسان والروبوت"
أخيرًا، أراد الباحثون معرفة ما إذا كان الطلاب يستطيعون تمييز الفرق. أجروا اختبارًا أعمى مع 10 طلاب طب. أجاب الطلاب على 30 سؤالًا: 15 كتبها الذكاء الاصطناعي و15 كتبها بشر. ولم يكونوا يعرفون مصدر الأسئلة.
كانت النتائج تعادلًا. أجاب الطلاب على 70.0% من أسئلة الذكاء الاصطناعي بشكل صحيح، و69.3% من الأسئلة البشرية بشكل صحيح. من الناحية الإحصائية، هذا تعادل تام. كانت أسئلة الذكاء الاصطناعي بنفس صعوبة ووضوح الأسئلة البشرية.
ومع ذلك، عندما حاول الطلاب تخمين أي الأسئلة كتبها روبوت، فقد أخطأوا في التخمين في أغلب الأحيان. لقد خمنوا بشكل صحيح بنسبة 52.67% فقط (وهي تقريبًا مثل رمي العملة المعدنية). ومن المثير للاهتمام، كان لديهم انحياز: فقد مالوا إلى الاعتقاد بأن أسئلة الذكاء الاصطناعي كتبها بشر، لكنهم كانوا أفضل في تحديد الأسئلة البشرية كبشرية. يشير هذا إلى أن الذكاء الاصطناعي أصبح جيدًا جدًا في محاكاة صوت البشر، لكنه ليس مثاليًا بعد.
ماذا يعني هذا (وماذا لا يعني)
تخلص الورقة إلى أنهم بنوا "أداة فحص" عاملة يمكنها التحقق من صحة أسئلة الذكاء الاصطناعي للامتحانات الطبية. المحتوى الذي اختبره الذكاء الاصطناعي كان عالي الجودة واجتاز مراجعة الخبراء، كما أدى أداءً يضاهي الأسئلة التي كتبها البشر في اختبار طلاب صغير.
ومع ذلك، فإن المؤلفين حذرون من القول بأن هذا حل نهائي ومثالي. كان اختبار الطلاب صغيرًا (10 أشخاص فقط)، لذا وصفوه بأنه "أولي". كما أشاروا إلى أن الذكاء الاصطناعي لا يزال يعاني قليلاً في "جودة خيارات الإجابة"—فأحيانًا لا تكون الإجابات الخاطئة مخادعة بما يكفي. الأداة التي بنوها مصممة ليتم استخدامها في امتحانات طبية أخرى أيضًا، مثل اختبارات التمريض أو الجراحة، ولكن يجب اختبارها هناك أولاً.
باختصار، الذكاء الاصطناعي ليس مستعدًا لاستبدال المعلمين بعد، ولكن مع وجود هذه "بطاقة التسجيل" الجديدة للتحقق من عمله، قد نتمكن أخيرًا من السماح له بالمساعدة في كتابة الاختبارات التدريبية التي تُعد الجيل القادم من الأطباء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.