ملخص تقني: النشر الاستباقي للتقييم متعدد الوسائط القائم على الذكاء الاصطناعي للامتحانات السريرية المنظمة (OSCE) لطلاب الطب

بيان المشكلة

تُعد الامتحانات السريرية المنظمة (OSCE) المعيار الذهبي لتقييم الكفاءة السريرية في التعليم الطبي، حيث تقيم أخذ التاريخ المرضي، والفحص البدني، والتواصل، والاستنتاج. ومع ذلك، فإن إدارة الـ OSCE التقليدية تستهلك موارد هائلة، وتتطلب مقيمين مدربين، وتدقيقاً يدوياً لنماذج التقييم (rubrics)، ووقتًا بشريًا كبيرًا. في المؤسسة التي ينتمي إليها المؤلفون (جامعة UT Southwestern)، تطلب التقييم اليدوي لتوثيق ما بعد المقابلة وحده حوالي 1,120 ساعة و56,000 دولار سنويًا. هذه القيود تحد من وتيرة التقييمات، وتؤخر تقديم الملاحظات للمتعلمين (غالبًا بفارق أشهر)، وتعيق توسيع التقييم التكويني. وبينما أظهرت النماذج اللغوية الكبيرة (LLMs) وعودًا في تقييم الاستجابات المكتوبة، فإن التقييم الشامل لـ OSCE يتطلب تقييم النصوص والصوت والفيديو في آن واحد. وقد أظهرت النماذج متعددة الوسائط الجاهزة المتاحة حاليًا قيودًا في التقييم السريري الدقيق، ولا يزال الدليل من عمليات النشر التعليمية الاستباقية واسعة النطاق نادرًا.

المنهجية

يسجل المؤلفون أول نشر استباقي لنظام MAPLES (خط أنابيب التقييم متعدد الوسائط لتسجيل لقاءات التعلم)، وهو نظام تقييم قائم على نماذج التقييم (rubrics) ويعمل بأسلوب "الصفر محاولة" (zero-shot)، وذلك خلال إدارة OSCE في خريف 2025 في مركز UT Southwestern الطبي.

بنية النظام وسير العمل

• استيعاب البيانات: استوعب النظام ثلاثة تدفقات بيانات متزامنة من 222 طالبًا من طلاب السنة الثانية في الطب عبر خمس محطات: الملاحظات السريرية المكتوبة، وصوت اللقاء، وفيديو متزامن بثلاث كاميرات (موجه للمريض، وموجه للطبيب، وكاميرا علوية).
• منطق التقييم: استخدم نظام MAPLES نهج الصفر محاولة (zero-shot). حيث تم رفع نماذج التقييم التي وضعها أعضاء هيئة التدريس (ملفات Excel مهيكلة)، وقام النظام ببناء المطالبات (prompts) ديناميكيًا لكل عنصر. لم يتم توفير أي ضبط دقيق (fine-tuning) مخصص للمهمة أو أمثلة "اللقطة الواحدة" (few-shot).
  • النص: تمت معالجة الملاحظات كنص مجرد.
  • الصوت: تمت معالجة الصوت مباشرة دون تحويل وسيط إلى نص لتقييم المحتوى اللفظي، والنبرة، والقدرة على بناء العلاقات (rapport).
  • الفيديو: قامت خطوة معالجة مسبقة مؤتمتة (باستخدام التجزئة صفرية المحاولة) بعزل مقاطع الفحص البدني قبل التقييم.
• تكوين النموذج: استخدم النظام نموذج Gemini 2.5 Pro (من Google DeepMind) للاستدلال مع درجة حرارة (temperature) 0 و top-p 1، مستخدمًا قيود المخرجات المهيكلة لضمان التزام الدرجات بنموذج التقييم. كما استُخدم نموذج Gemini 2.5 Flash لتجزئة الفيديو.
• سير عمل الإنسان في الحلقة (Human-in-the-Loop):
  1. التقييم الأولي بالذكاء الاصطناي: قام الذكاء الاصطناعي بتقييم جميع العناصر الـ 72,907 التي تم الاحتفاظ بها.
  2. التوجيه: تم توجيه المتعلمين الذين وقعوا في أدنى 5% (للملاحظات) أو أدنى 10% (للصوت/الفيديو) للمراجعة البشرية المستقلة.
  3. مراجعة المقيمين (SPE) المعماة: قام مقيمو المرضى المعياريون (SPEs) بإعادة تقييم العناصر الموجهة بشكل مستقل، مع التعمية عن درجات الذكاء الاصطناعي.
  4. التحكيم: العناصر التي اختلف فيها تقييم الذكاء الاصطناعي عن تقييم (SPE) بما يتجاوز حد التسامح المحدد مسبقًا (مطابقة تامة للقيم الثنائية؛ أو فرق فئة واحدة أو أقل للقيم الترتيبية) تم تصعيدها إلى خبراء أطباء للتحكيم النهائي. راجع الأطباء كلاً من الدرجات والأدلة المصدرية.

تصميم الدراسة

• العينة: 222 طالبًا، 10 نماذج محطات، 330-333 عنصر تقييم لكل طالب.
• مجموعة المراجعة: تم توجيه 28 متعلمًا فريدًا للمراجعة (12 للملاحظات، 23 للصوت/الفيديو، 7 لكليهما).
• مجموعة التحكيم: تمت مراجعة 616 خلافًا حقيقيًا (باستثناء أخطاء البيانات/النماذج) من قبل الأطباء.
• الحوكمة: أشرفت لجنة إشرافية متعددة التخصصات على اختيار النموذج، وعتبات التقييم، ودورات النشر، لضمان التحسين المستمر.

النتائج الرئيسية

الاتفاق والتحكيم

• الاتفاق بين الذكاء الاصطناعي و(SPE): في مجموعة المراجعة ذات الدرجات المنخفضة الموجهة، كان الاتفاق المتسامح (السماح بفرق فئة واحدة للعناصر الترتيبية) مرتفعًا: 85.7% للملاحظات، 89.2% للصوت، و 92.4% للفيديو. أما الاتفاق التام فكان أقل (72.0% إجماليًا)، مدفوعًا بتعقيد تقييم الصوت/الفيديو.
• تحكيم الأطباء: من بين 616 خلافًا تم تصعيدها، طابق الخباء الأطباء درجة الذكاء الاصطناعي 76.0% من الوقت، و درجة (SPE) 19.0% من الوقت، ولم يطابق أي منهما 5.0%. وكان هذا التفضيل للذكاء الاصطناعي قائمًا عبر جميع الوسائط، وإن كان الأعلى للملاحظات (81.6%) والأدنى للفيديو (51.5%).
• اتجاه الاختلاف: كان الأطباء أكثر عرضة للانحياز للذكية الاصطناعي سواء سجل الذكاء الاصطناي درجة أعلى أو أقل من (SPE)، مما يشير إلى أن الذكاء الاصطناعي لم يكن يقوم بمجرد تضخيم الدرجات.

تحليل الأخطاء

• أخطاء (SPE): كانت العوامل الرئيسية لأخطاء (SPE) هي "إغفال الأدلة" (35.1%) و "المعرفة السريرية" (24.4%)، حيث فشلوا غالبًا في التعرف على التكافؤ الدلالي للمصطلحات.
• أخطاء الذكاء الاصطناعي: كانت العوامل الرئيسية لأخطاء الذكاء الاصطناعي هي "التقييم المتساهل للغاية" (37.8%) و "وضع التوثيق الخاطئ" (25.2%)، حيث نسب الذكاء الاصطناعي الإجابات الصحيحة إلى أقسام خاطئة في الملاحظات. وشكلت نسبة صغيرة (9.4%) "أدلة مفبركة" (هلوسة).
• جودة نماذج التقييم (Rubrics): كان "نقص تحديد النماذج" مساهمًا متكررًا في الأخطاء لكل من البشر والذكاء الاصطناعي، مما يسلط الض الضوء على الحاجة إلى تصميم دقيق لنماذج التقييم.

الكفاءة التشغيلية

• تقليل عبء العمل: تطلب سير العمل المدعوم بالذكاء الاصطناعي 5,616 عملية تقييم بشري مقارنة بـ 72,907 في سير العمل اليدوي أحادي المرحلة (الافتراضي). ويمثل هذا انخفاضًا بنسبة 92.3% في الجهد البشري للتقييم.
• وقت الاستجابة: انخفض الوقت من الامتحان إلى تقارير الدرجات من عدة أشهر إلى أقل من أسبوعين.
• التكلفة: قُدرت تكلفة الاستدلال الهام marginal cost بـ 1.73 دولار لكل مقابلة (0.12 للملاحظات، 0.28 للصوت، 1.31 للفيديو)، باستثناء تكاليف التطوير الثابتة.

الأهمية والادعاءات

يدعي البحث أنه يقدم أول نشر استباقي لنظام ذكاء اصطناعي متعدد الوسائط متكامل لتقييم OSCE في التعليم الطبي الجامعي. ويؤكد المؤلفون أن المساهمة الأساسية ليست إزالة الحكم البشري، بل إعادة تخصيص الجهد البشري.

• الجدوى التشغيلية: تثبت الدراسة أن بإمكان الذكاء الاصطناعي متعدد الوسائط أن يُدمج في عمليات OSCE الروتينية، حيث يتولى التقييم الأولي لكامل المجموعة، مع تركيز المراجعة البشرية على "ذيل الدرجات المنخفضة" حيث تكون عملية العلاج والتدخل أكثر أهمية.
• المواءمة مع الخبراء: تشير نتيجة تفضيل الأطباء لدرجات الذكاء الاصطناعي على درجات (SPE) في حالات التحكيم إلى أن نظام الذكاء الاصطناعي يلتقط الفروق الدقيقة في التقييم بما يتوافق مع الحكم السريري الخبير، وربما يتفوق على التقييم التقليدي لـ (SPE) من حيث الاتساق.
• التحسين المنهجي: كشف النشر عن مشكلات منهجية في الوضع الراهن، بما في ذلك موثوقية المقيمين البشريين، وجودة نماذج التقييم، وعدم كفاءة العمليات. ويجادل المؤلفون بأن الذكاء الاصطناعي يحرر التربويين للتركيز على "ما هي المهارات التي يجب تقييمها" (تصميم النماذج والحالات) بدلاً من "كيفية التقييم".
• القابلية للتوسع: يسمح التصميم القائم على "الصفر محاولة" ونماذج التقييم بنقل مهارات التقييم إلى محطات جديدة أو تعديلات في النماذج دون الحاجة لإعادة تدريب النماذج، مما يدعم توسيع وتيرة ونطاق التقييم.

يحافظ المؤلفون على نبرة متواضعة فيما يتعلق بالقدرة على التعميم، مشيرين إلى أن النتائج خاصة ببنية تحتية ونماذج تقييم مؤسسة واحدة. كما يقرون بالقيود، بما في ذلك عدم وجود تحكيم معمي للمجموعة الكاملة، وتركيز التحليل في ذيل الدرجات المنخفضة، والحاجة إلى مزيد من التحقق فيما يتعلق بالعدالة الديموغرافية ومعدلات الهلوسة. ويتم تأطير العمل كخطوة تأسيسية نحو أنظمة تقييم مدعومة بالذكاء الاصطناعي ويديرها التربويون.