GPT-5 versus Senior Anesthesiology-Intensive Care Residents on Sequential Clinical Cases: A Pilot Study of Documented Clinical Reasoning

ملخص تقني: نموذج GPT-5 مقابل مقيمي طب التخدير والعناية المركبة في حالات سريرية متسلسلة

بيان المشكلة
بينما أظهرت النماذج اللغوية الكبيرة (LLMs) دقة عالية في اختبارات الترخيص الطبي، فإن مقاييس الأداء في الاختبارات متعددة الخيارات لا توضح مدى صراحة الاستجابة في توثيق عملية الاستدلال السريري الكامنة. الاستدلال السريري هو نشاط معرفي يعتمد على السياق، ويتضمن تمثيل المشكلة، وتوليد الفرضيات، وتفسير الأدلة. تفتقر الدراسات الحالية غالباً إلى التصاميم التجريبية الصارمة التي تقارن بين النماذج اللغوية الكبيرة والمتدربين في مهارات توثيق الاستدلال هذه تحديداً. علاوة على ذلك، هناك ندرة في الأدلة المتعلقة بأداء النماذج اللغوية الكبيرة في بيئات التدريب ما بعد التخرج باللغة الفرنسية، لا سيما في السياقات الطبية بشمال أفريقيا. تعالج هذه الدراسة الفجوة بين "الإجابات الصحيحة" و"الاستدلال الموثق" من خلال مقارنة جودة مخرجات الاستدلال السريري المكتوبة بين نموذج لغوي كبير متطور (GPT-5) والمتدربين الطبيين.

المنهجية
كانت الدراسة عبارة عن دراسة تجريبية مقارنة، مقطعية، أحادية المركز، أُجريت في المركز الاستشفائي الجامعي ابن رشد بالدار البيضاء، المغرب.

• المشاركون: استخدمت الدراسة حصراً شاملاً لـ 14 مقيماً في السنة الرابعة لتخصص التخدير والعناية المركبة (مشاركة بنسبة 100%).
• المحفزات: تم اختيار وتوحيد عشرين حالة سريرية حقيقية ومجهولة الهوية تماماً (2020–2024). قُسمت الحالات إلى جزأين متسلسلين: الجزء الأول (التاريخ المرضي، الخلفية، والفحص البدني) والجزء الثاني (نتائج المختبر والتصوير الشعاعي).
• توزيع المهام: أكمل كل مقيم أربع حالات متميزة (إجمالي 56 استجابة من المقيمين). أكمل GPT-5 جميع الحالات العشرين لمرة واحدة. كان التصميم عبارة عن هيكل كتل غير مكتمل حيث تم مطابقة كل مقيم مع GPT-5 في نفس الحالات الأربع للتحليل الأساسي.
• هندسة الأوامر (Prompt Engineering): تم الوصول إلى GPT-5 عبر واجهة برمجة تطبيقات OpenAI (الاسم المستعار للنموذج gpt-5، درجة الحرارة 0.3، جهد الاستدلال "متوسط"). أسند الأمر للنموذج دور اختصاصي التخدير والعناية المركبة وطلب صراحةً مخرجاً مهيكلاً يحاكي مكونات نموذج R-IDEA (الملخص التفسيري، والتشخيص التفريقي، وتفسير التشخيص الرئيسي، وتفسير التشخيصات البديلة): قائمة مرجعية مفاهيمية، تمثيل موجز للمشكلة، فحوصات ذات أولوية، وتشخيص تفريقي مع أدلة صريحة مع أو ضد كل فرضية. لم يتم تزويد النموذج بالتشخيص المرجعي أو معيار التقييم.
• التقييم: قام عضوان من هيئة التدريس بتطوير معايير مرجعية خاصة بكل حالة بناءً على أداة R-IDEA. قام مقيم واحد "معمي" (Masked) بتقييم جميع الاستجابات (المقيمين وGPT-5) مقابل هذه المعايير. يقيم سجل R-IDEA (من 0 إلى 10) أربعة مجالات: الملخص التفسيري، التشخيص التفريقي، شرح التشخيص الرئيسي، وشرح التشخيصات البديلة.
• التحليل الإحصائي: استخدم التحليل الأساسي اختبار "t" للعينات المرتبطة (paired Student's t-test) لمقارنة متوسط درجات R-IDEA لكل مقيم (عبر حالاته الأربع) مقابل متوسط درجة GPT-5 في نفس الحالات الأربع. تم الإبلاغ عن دقة التشخيص وصفياً.

النتائج الرئيسية

• النتيجة الأساسية: حقق GPT-5 متوسط درجة R-IDEA إجمالية أعلى بشكل ملحوظ (9.5، انحراف معياري 0.9) مقارنة بالمقيمين (7.0، انحراف معياري 2.4). كان متوسط الفرق الزوجي 2.5 نقطة لصالح GPT-5 (فاصل ثقة 95% 1.4–3.6؛ p < 0.001). كان حجم التأثير كبيراً (paired d_z = 1.39).
• الأداء حسب المجال: تفوق GPT-5 على المقيمين في جميع مجالات R-IDEA الأربعة. حدث أكبر فرق مطلق في مجال "الملخص التفسيري" (فرق قدره 1.0 نقطة). تركزت درجات GPT-5 بالقرب من الحد الأقصى للمقياس، مما يشير إلى احتمال وجود "تأثير السقف" (Ceiling effect)، بينما أظهرت درجات المقيمين تبايناً أكبر (معامل الاختلاف: 34% للمقيمين مقابل 9% لـ GPT-5).
• الدقة التشخيصية: حدد GPT-5 التشخيص المرجعي لهيئة التدريس في 75% من الحالات (15/20)، بينما بلغ متوسط الدقة التشخيصية للمقيمين 68%. منع تصميم الدراسة إجراء مقارنة إحصائية استدلالية لهذه النسب بسبب عدم استقلالية الملاحظات وعدم تساوي تكرار الحالات.

المساهمات الرئيسية

• التكرار المفاهيمي في سياق جديد: تمد هذه الدراسة النتائج السابقة (مثل دراسة Cabral et al.) المتعلقة بالذكاء الاصطناዊ التوليدي والاستدلال السريري إلى سياق اللغة الفرنسية، ومركز أكاديمي مغربي، وفئة مقيمي التخدير رفيعي المستوى.
• التمييز بين التوثيق والكفاءة: تميزت الدراسة بوضوح بين جودة التوثيق (حيث تفوق GPT-5 تحت أمر محدد) وبين الكفاءة السريرية الفعلية أو الأداء السريري المباشر.
• الإطار المنهجي: تُظهر الدراسة بروتوكولاً لمقارنة مخرجات النماذج اللغوية الكبيرة مع العمل المكتوب للمتدربين باستخدام معايير مهيكلة (R-IDEA) وإخفاء المصدر، مما يسلط الضال على أهمية مواءمة "الأمر" مع معايير التقييم.

الأهمية والادعاءات
خلص المؤلفون إلى أنه تحت أمر يتوافق مع مكونات R-IDEA، ينتج GPT-5 توثيقاً للاستدلال السريري المكتوب يسجل درجات أعلى من مقيمي التخدير ذوي الخبرة. ومع ذلك، تحافظ الورقة على موقف متواضع بشأن الآثار المترتبة على هذه النتيجة:

• لا يوجد ادعاء بتفوق الكفاءة: صرح المؤلفون صراحةً أن درجات التوثيق الأعلى لا تثبت تفوق الكفاءة السريرية، أو التكافؤ التشخيصي، أو الفعالية التعليمية.
• الفرضية التعليمية: تكمن الأهمية الأساسية في إمكانية استخدام GPT-5 كـ "سقالة لتوثيق الاستدلال" (Reasoning-documentation scaffold). يقترح المؤلفون إمكانية استخدام مخرجات GPT-5 التي تمت مراجعتها وتحت إشراف أعضاء هيئة التدريس كـ "أمثلة مشروحة" (Worked examples) لمساعدة المقيمين على مقارنة تمثيلاتهم للمشكلات مع نموذج مهيكل، مما يجعل عملية الاستدلال أكثر وضوحاً.
• القصور والتوجهات المستقبلية: تقر الدراسة بوجود قيود تشمل تصميم الدراسة أحادي المركز، واستخدام مقيم واحد، وعدم إجراء تشغيل ثانٍ للنموذج لتقييم التباين العشوائي، وتوافق "الأمر" مع المعاي

الذي قد يكون قد صب في مصلحة النموذج. وتقترح الدراسة ضرورة أن تتضمن الأبحاث المستقبلية تجارب تعليمية استباقية متعددة المقيمين لاختبار ما إذا كان استخدام الأمثلة المشروحة المولدة بواسطة النماذج سيؤدي فعلياً إلى تحسين نتائج المتعلمين دون إحداث "تحيز الأتمتة" (Automation bias).