Evaluating Clinical Competencies of Large Language Models with a General Practice Benchmark
تقدم هذه الورقة البحثية GPBench، وهو معيار تقييم جديد قائم على الكفاءة للممارسة العامة، لتقييم عشرة من النماذج اللغوية الكبيرة المتطورة، وتخلص إلى أن النماذج الحالية ليست مناسبة بعد للنشر السريري المستقل، مما يستلزم إشرافاً بشرياً مستمراً وتحسيناً إضافياً.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك توظف طبيبًا جديدًا لعيادتك في الحي. لن تكتفي فقط بسؤاله عن تعريف كتابي للحمى؛ بل ستود رؤية كيف يتعامل مع مريض حقيقي، معقد، ومربك، يعاني من ثلاثة مشاكل صحية مختلفة في آن واحد.
هذه الورقة البحثية هي في الأساس "مقابلة عمل" لأطباء الذكاء الاصطناعي (AI)، وتحديداً لنماذج اللغات الكبيرة (LLMs). لقد صمم الباحثون ساحة اختبار جديدة تسمى GPBench ليروا ما إذا كانت نماذج الذكاء الاصطناعي جاهزة للعمل كأطباء ممارسين عامين (GPs).
إليك تفصيل تجربتهم ونتائجهم، باستخدام تشبيهات بسيطة:
1. المشكلة: الاختبار القديم كان سهلاً للغاية
في السابق، كان اختبار أطباء الذكاء الاصطناعي يشبه إعطاءهم اختبار خيارات متعددة يعتمد على امتحان أحياء للمرحلة الثانوية. كان بإمكانهم الإجابة على أسئلة مثل: "ما هي عاصمة فرنسا؟" أو "ما الذي يسبب الصداع؟" بشكل جيد جداً.
لكن الحياة الواقعية ليست اختبار خيارات متعددة. الطبيب الحقيقي يجب أن:
- يستمع لمريض يتحدث بأسلوب غير منظم عن أعراضه.
- يستنتج أي مرض من بين خمسة أمراض محتملة هو المسبب الحقيقي للمشكلة.
- يقرر ما إذا كان المريض يحتاج إلى طبيب متخصص أم يمكنه البقاء في العيادة.
- يشرح العلاج بطريقة يفهمها المريض.
- يراعي ميزانية المريض ومشاعره.
الاختبارات القديمة لم تفحص هذه "المهارات الناعمة" أو التفكير المعقد، بل فحصت فقط ما إذا كان الذكاء الاصطناعي قد حفظ الحقائق.
2. الحل: "لعبة محاكاة" واقعية
ابتكر الباحثون GPBench، وهي تشبه لعبة محاكاة عالية المخاطر للذكاء الاصطناعي. بدلاً من مجرد الإجابة على الأسئلة، كان على الذكاء الاصطناعي لعب ثلاثة أدوار مختلفة:
- سيد المعلومات العامة (اختبار الخيارات المتعددة - MCQ): الإجابة على 3,661 سؤالاً من نوع الاختيار من متعدد لإثبات معرفتهم بالحقائق الطبية.
- المحقق (اختبار الحالة السريرية): قراءة سجلات مرضى حقيقية ومجهولة الهوية وكتابة تشخيص كامل وخطة علاج، تماماً كما يفعل الطبيب البشري.
- المُحاور (اختبار المريض الذكي): كان على الذكاء الاصطناعي أن يلعب دور الطبيب، ويطرح الأسئلة الصحيحة على "مريض محاكى" (ذكاء اصطناعي آخر) ليعرف ما الخطب. هذا اختبر ما إذا كان الذكاء الاصطناعي يعرف ماذا يسأل، وليس فقط ماذا يقول.
3. النتائج: الذكاء الاصطناعي "دودة كتب"، وليس "طبيباً"
قام الباحثون باختبار 10 من أذكى نماذج الذكاء الاصطناعي المتاحة (بما في ذلك GPT-4 وClaude ونماذج طبية متخصصة) وقارنوها بأطباء بشريين بمستويات خبرة مختلفة.
إليك ما وجدوه:
- الذكاء الاصطناٍ هو آلة لتدوير الحقائق: في أسئلة المعلومات العامة (حفظ الحقائق)، تفوق نماذج الذكاء الاصطناعي في الواقع على الأطباء البشريين. إنهم يشبهون الطلاب الذين قرأوا كل الكتب الطبية في المكتبة ويمكنهم تسميعها بدقة.
- الذكاء الاصطناعي يفشل في "العمل التحقيقي": عندما وُضع أمام حالة مريض حقيقية، عانى الذكاء الاصطناعي.
- تجاهل الأدلة: غالباً ما فاتتهم تفاصيل حاسمة، مثل عدم ملاحظة أن المريض يعاني من حالة قلبية خطيرة أو تفويت مرض نادر.
- الهلوسة (اختلاق معلومات): في بعض الأحيان، كان الذكاء الاصطناعي يخترع مرحلة مرضية أو جرعة دواء غير موجودة، فقط لجعل الإجابة تبدو كاملة. الأمر يشبه طالباً يخمن الإجابة في الاختبار لأنه يخشى ترك السؤال فارغاً.
- المقابلة السيئة: عند تمثيل دور الطبيب، كان الذكاء الاصطناعي سيئاً في طرح الأسئلة الاستقصائية الصحيحة. إذا قال المريض إنه يعاني من ألم في المعدة، فقد يسأل الذكاء الاصطناعي ببساطة "هل لديك حمى؟" بدلاً من التعمق في أين يؤلمه أو ما الذي يزيد من حدة الألم.
- فجوة "اللمسة البشرية": كان الذكاء الاصطناعي جيداً في تقديم نصائح صحية عامة (مثل "تناول الخضروات")، لكنه فشل في الرعاية الشخصية. لم يستطع تحديد أفضل خطة علاج لشخص معين ذي احتياجات معقدة.
4. الحكم: ليس جاهزاً للعمل في الخطوط الأمامية
خلصت الورقة البحثية إلى أن نماذج الذكاء الاصطناعي الحالية ليست جاهزة للعمل بمفردها في عيادة الطبيب.
- يحتاجون إلى مشرف: تماماً كما يحتاج طالب الطب إلى طبيب ممارس لمراقبته، تحتاج هذه النماذج إلى طبيب بشري لمراجعة عملهم. لا يمكن الوثوق بهم لاتخاذ القرارات بمفردهم.
- يفتقرون إلى التفكير بـ "المنطق السليم": هم بارعون في إيجاد المعلومات، لكنهم سيئون في ربط النقاط ببعضها في موقف حقيقي وفوضوي.
- يحتاجون إلى مزيد من التدريب: ليكونوا مفيدين، لا يجب تدريبهم على الكتب المدرسية فحسب، بل على العملية الفعلية والفوضوية لكيفية تفكير الأطباء البشر، وتحدثهم، واتخاذهم للقرارات.
باختصار: الذكاء الاصطناعي هو موسوعة عبقرية يمكنها اجتياز امتحان تحريري بتفوق، ولكنه حالياً يشبه متدرباً مرتبكاً وغير خبير يحتاج إلى موجه بشري للحفاظ على سلامة المرضى. إنه ليس جاهزاً بعد ليحل محل الطبيب الحقيقي.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.