AI-Benchmarked Analysis of Department-Specific ICU Exit Exam Performance: A Cross-Sectional Study
تُظهر هذه الدراسة المستعرضة أنه بينما تفوق نموذج الذكاء الاصطناعي DeepSeek-V4-Pro على الأطباء المقيمين بشكل عام في امتحانات الخروج من وحدة العناية المركزة، إلا أن فجوات الأداء الكبيرة تباينت حسب القسم المنتمي إليه الطبيب ونوع السؤال، مما يسلط الضوء على فائدة إطار عمل قياس أداء الذكاء الاصطناعي ثنائي المرجع لتحديد الاحتياجات التعليمية المستهدفة رغم الحاجة إلى مزيد من التحقق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المستشفى الحديث، تُعد وحدة العناية المركزة مكاناً يكون فيه المرضى في أكثر حالات ضعفهم، ويجب أن يكون الأطباء الذين يرعونهم على قدر استثنائي من المهارة. ولضمان جاهزية الأطباء المتدربين لهذه البيئة عالية المخاطر، تطلب كليات الطب في العديد من البلدان من المقيمين قضاء شهر كامل في دورة تدريبية داخل وحدة العناية المركزة قبل أن يتمكنوا من التخرج. وفي نهاية هذه الدورة، يخضعون لامتحان تحريري لإثبات أنهم تعلموا ما يجب عليهم معرفته. ولسنوات طويلة، تساءل التربويون عما إذا كان نوع الطبيب الذي يتدرب عليه المقيم — سواء كان جراحاً، أو أخصائي قلب، أو ممارساً عاماً — يؤثر على أدائهم في هذه الاختبارات. وفي الوقت نفسه، دخل نوع جديد من الأدوات في هذا النقاش: الذكاء الاصطناعي. فقد أظهرت هذه الأنظمة الحاسوبية، المعروفة باسم النماذج اللغوية الكبيرة، قدرتها على قراءة الكتب الطبية والإجابة على أسئلة معقدة بدقة مذهلة. ولم يعد السؤال الكبير الذي يواجه التربويين هو ما إذا كانت هذه الآلات قادرة على اجتياز الاختبار فحسب، بل ما إذا كان بإمكانها أن تعمل كمقياس موثوق لقياس التعلم البشري، مما يساعد في تحديد المواضع التي قد يحتاج فيها مجموعات مختلفة من الأطباء إلى مزيد من المساعدة بدقة.
قرر فريق من الباحثين في جامعة ونتشو الطبية في الصين وضع هذه الفكرة قيد الاختبار. فقد جمعوا نتائج اختبار 412 طبيباً مقيماً ممن أنهوا للتو دورة تدريبية لمدة شهر واحد في وحدة العناية المركزة. وقد جاء هؤلاء الأطباء من ست خلفيات مختلفة، بما في ذلك الطب الباطني، والجراحة، والتخدير. أراد الباحثون معرفة ما إذا كانت الأقسام الأصلية للأطباء تحدث فرقاً في درجاتهم، وأرادوا معرفة كيف سيكون أداء نموذج محدد من الذكاء الاصطناعي، وهو DeepSeek-V4-Pro، في نفس مجموعة الأسئلة تماماً. كان الامتحان نفسه ضخماً، حيث تألف من 300 سؤال مقسمة إلى أنماط مختلفة. سألت بعض الأسئلة عن حقائق أساسية، بينما عرضت أسئلة أخرى قصة قصيرة لمريض وطلبت إجابة واحدة هي الأفضل، وطبقة أخيرة تطلبت من الطبيب تحليل حالة معقدة واختيار جميع الخيارات الصحيحة من قائمة.
قام الباحثون بتغذية نموذج الذكاء الاصطناعي بكل سؤال من تلك الأسئلة الـ 300. وتم توجيه الحاسوب ليعمل كأنه خاضع للاختبار، بحيث يقدم فقط حرف الإجابة دون أي شرح إضافي. وعندما ظهرت النتائج، أجاب النموذج الحاسوبي على 85.7 بالمائة من الأسئلة بشكل صحيح. أما الأطباء البشر، فقد سجلوا في المتوسط 80.8 بالمائة. وهذا يعني أن الذكاء الاصطناعي تفوق على مجموعة الأطباء ككل. ومع ذلك، لم تكن القصة هي نفسها لكل نوع من أنواع الأسئلة؛ فقد كان الحاسوب أفضل بكثير في أسئلة الحقائق الأساسية وأسئلة القصص ذات الإجابة الواحدة. ولكن عندما تعلق الأمر بالجزء الأكثر تعقيداً في الامتحان — وهي أسئلة تحليل الحالات حيث يتعين على الأطباء اختيار عدة إجابات صحيحة من قائمة — فقد تفوق الأطباء البشر فعلياً على الآلة بشكل طفيف. حيث سجل الأطباء أعلى بنحو 2.7 نقطة مئوية في هذه العناصر الصعبة، وهي ميزة صغيرة ولكنها حقيقية تشير إلى أن البشر لا يزالون يمتلكون تفوقاً طفيفاً في أنواع معينة من مهام التفكير النقدي.
ثم نظر الباحثون عن كثب في درجات البشر لمعرفة ما إذا كانت الأقسام الأصلية للأطباء تهم. وحتى بعد مراعاة حقيقة أن سنوات تدريب مختلفة خضعت لنسخ مختلفة من الاختبار، ظلت هناك فروق واضحة. فقد سجل الأطباء من قسم الجراحة درجات أقل في المتوسط من أطباء الطب الباطني والتخصصات السريرية الأخرى. كما سجلت مجموعة التخدير أيضاً درجات أقل من مجموعات الطب الباطني والمجموعات السريرية الأخرى. يشير هذا إلى أن الخلفية التي ينتمي إليها الطبيب تؤثر على كيفية أدائه في اختبارات الخروج من وحدة العناية المركزة، حتى بعد أن أتموا جميعاً نفس الشهر التدريبي. وهذا لا يثبت أن التدريب نفسه قد فشل لهذه المجموعات، ولكنه يسلط الضوء على أن نقاط انطلاقهم أو احتياجاتهم التعليمية المحددة قد تختلف.
ولجعل هذه النتائج مفيدة للتدريس، ابتكر الباحثون طريقة جديدة للبحث عن مواضع الخلل. فقد قارنوا أداء كل قسم في كل نوع من أنواع الأسئلة مقابل شيئين: متوسط أداء جميع الأقسام الأخرى، والدرجة التي حققها الذكاء الاصطناعي. كانوا يبحثون عن الحالات التي سجلت فيها مجموعة معينة من الأطباء درجات أقل من أقرانهم ومن الحاسوب معاً. ووجدوا ثلاثة عشر حالة من هذا القبيل. وفي ثماني من هذه الحالات، كانت الفجوة كبيرة بما يكفي لتكون ذات دلالة إحصائية. فعلى سبيل المثال، كانت الفجوة لدى مجموعة الجراحة كبيرة بشكل خاص مقارنة بالحاسوب في أسئلة الحقائق الأساسية، حيث سجلت أقل بنحو 18 نقطة مئوية. وبالمثل، عانت مجموعة التخدير مع الحقائق الأساسية مقارنة بالمعيار المرجعي للحاسوب. وتعمل هذه النتائج كإشارة، توجه التربويين نحو مجالات محددة قد تحتاج فيها مجموعات معينة من الأطباء إلى مراجعة إضافية أو استراتيجيات تدريس مختلفة.
وتشير الدراسة بحذر إلى أن هذه النتائج هي نقطة انطلاق وليست حكماً نهائياً. فقد أُجري البحث في مستشفى واحد، وتصميم الدراسة يعني أنها لا تستطيع إثبات أن الدورة التدريبية في وحدة العناية المركزة هي التي سببت الاختلافات في الدرجات، بل تثبت فقط وجودها في نهاية الدورة. علاوة على ذلك، تم اختبار الذكاء الاصطناعي مرة واحدة فقط في كل سؤال، ويمكن للنماذج الحاسوبية أحياناً أن تعطي إجابات مختلفة إذا سُئلت السؤال نفسه مرة أخرى. وبالرغم من هذه القيود، فإن هذا العمل يقدم منظوراً جديداً؛ فهو يوضح أن الذكاء الاصطناعي يمكن أن يعمل كمعيار ثابت للمعرفة الطبية، حيث يتفوق على متوسط المقيمين في الأسئلة المعيارية. والأهم من ذلك، أنه يبرهن على منهجية لاستخدام ذلك المعجع لتحديد فجوات التعلم المحددة في مجموعات مختلفة من الأطباء. وقبل أن تُستخدم هذه الإشارات لتغيير المناهج الدراسية في كليات الطب، ستحتاج إلى التأكيد من خلال دراسات أكبر، لكن هذا النهج يقدم أداة واعدة لفهم كيفية تعلم الأطباء.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.