Healthy LLMs? Benchmarking LLM Knowledge of UK Government Public Health Information
تقدم هذه الورقة PubHealthBench، وهو معيار مرجعي جديد يضم أكثر من 8,000 سؤال مستمدة من التوجيهات الحكومية البريطانية، لتقييم النماذج اللغوية الكبيرة في معرفة الصحة العامة، وتجد أنه بينما تتفوق النماذج الحديثة في مهام الاختيار من متعدد، فإن أداءها في الاستجابات الحرة يظل محدوداً، مما يسلط الض الضوء على الحاجة إلى ضمانات إضافية في التطبيقات الواقعية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أنك وظفت للتو مساعداً جديداً، ذكياً للغاية، يُدعى "الذكاء الاصطناعي". تريد أن تعرف ما إذا كان هذا المساعد مستعداً لمساعدتك في اتخاذ قرارات صحية مهمة لعائلتك. تسأله: "هل تعرف أحدث القواعد المتعلقة بلقاحات الإنفلونزا؟" أو "ماذا يجب أن أفعل إذا ظهر عليّ طفح جلدي؟"
هذه الورقة البحثية هي في الأساس تقرير درجات لـ 24 من هؤلاء المساعدين من الذكاء الاصطناعي، حيث تختبر معرفتهم بتوجيهات الصحة العامة للحكومة البريطانية. قام الباحثون من وكالة الأمن الصحي في المملكة المتحدة (UKHSA) ببناء امتحان ضخم ومخصص أطلقوا عليه اسم PubHealthBench ليروا مدى كفاءة هؤلاء المساعدين في الأداء.
إليك تفصيل نتائجهم، باستخدام بعض التشبيهات البسيطة:
1. الامتحان: اختبار مكتبة ضخمة
لم يقم الباحثون بوضع أسئلة عشوائية، بل استعانوا بأكثر من 687 وثيقة صحية حكومية رسمية (مثل مكتبة ضخمة من كتب القواعد) واستخدموا روبوتاً لتحويلها إلى أكثر من 8,000 سؤال.
- اختبار الاختيار من متعدد (MCQA): هذا يشبه الامتحان المدرسي المعتاد. يُعطى الذكاء الاصطناعي سؤالاً وقائمة من الإجابات (أ، ب، ج، د، إلخ)، وعليه فقط اختيار الإجابة الصحيحة.
- الاختبار ذو الصيغة الحرة: هذا يشبه المحادثة. يتعين على الذكاء الاصطناعي شرح الإجابة بأسلوبه الخاص، تماماً كما يفعل "روبوت الدردشة" (Chatbot) الحقيقي.
2. النتائج: "الذكي" مقابل "الثرثار"
اختبار الاختيار من متعدد: الطلاب المتفوقون
عندما خضع الذكاء الاصطناعي لاختبار الاختيار من متعدد، كانت النماذج العليا (مثل GPT-4.5 و o1) بارعة.
- الدرجة: حصلوا على أكثر من 90% من الإجابات الصحيحة.
- المقارنة: لقد تفوقوا بالفعل على إنسان عادي مسموح له باستخدام "جوجل" للبحث عن الإجابات (لكنه ليس خبيراً طبياً).
- التشبيه: تخيل طالباً حفظ الموسوعة بأكملها؛ إذا سألته "ما هي عاصمة فرنسا؟" أو "ما هي القاعدة الخاصة بـ X؟"، يمكنه فوراً الإشارة إلى الصفحة الصحيحة. إنهم بارعون جداً في استرجاع الحقائق عندما تُقدم لهم تلميحات (خيارات الاختيار من متعدد).
الاختبار ذو الصيغة الحرة: الحكواتي "المُهلوس"
عندما طلب الباحثون من نفس نماذج الذكاء الاصطناعي شرح الإجابات بكلماتهم الخاصة (بدون تلميحات الاختيار من متعدد)، انخفضت الدرجات بشكل كبير.
- الدرجة: لم يحقق أي نموذج درجة أعلى من 75%.
- المشكلة: بدأت نماذج الذكاء الاصطناعي في "الهلوسة". وهذا يشبه طالباً يعرف الحقائق، لكنه يصاب بالارتباك ويبدأ في اختراع تفاصيل ليبدو ذكياً. قد يضيفون نصائح إضافية ليست موجودة في القواعد الرسمية، أو قد يخطئون في توقيت التدخل الطبي.
- التشبيه: تخيل أنك طلبت من نفس طالب الموسوعة ذلك أن يكتب مقالاً؛ فبدلاً من ذكر الحقائق فقط، قد يبدأ في الثرثرة، مخترعاً قصة عن قاعدة "جديدة" لا وجود لها، أو ربما ينسى تفصيلاً حاسماً لأنه يحاول أن يكون "ودوداً" في حديثه أكثر من اللازم.
3. "العام" مقابل "المحترف"
لاحظ الباحثون شيئاً مثيراً للاهتمام حول نوع المعلومات التي برع فيها الذكاء الاصطناعي:
- النصائح العامة: كانت النماذج رائعة في الإجابة على الأسئلة الموجهة للناس العاديين (مثل "متى يجب أن أغسل يدي؟").
- النصائح السريرية: واجهت صعوبة أكبر في التعامل مع النصائح المعقدة الموجهة للأطباء والمتخصصين.
- التشبيل: فكر في الذكاء الاصطناعي كمرشد سياحي؛ فهو ممتاز في إخبار السياح (الجمهور) بمكان أقرب دورة مياه أو مواعيد العمل، ولكن إذا طلبت منه مخططاً معمارياً مفصلاً للمبنى (نصيحة سريرية)، فقد يرتبك أو يعطيك إجابة غامضة.
4. النماذج الصغيرة مقابل النماذج الكبيرة
كانت هناك فجوة هائلة بين "الذكاء الاصطناعي الخارق" (النماذج المملوكة والمدفوعة) و"الذكاء الاصطناعي الصغير" (النماذج مفتوحة المصدر والأصغر حجماً).
- الذكاء الاصطناعي الكبير: يشبه أستاذاً كبيراً يحمل شهادة دكتوراه؛ إنه موثوق، لكنه لا يزال يرتكب أخطاء عند التحدث بحرية.
- الذكاء الاصطناعي الصغير: يشبه طالباً ذكياً في المرحلة الثانوية؛ يمكنه أداء جيد في اختبار الاختيار من متعدد، ولكن عندما يُطلب منه كتابة مقال، فإنه أكثر عرضة لاختلاق حقائق. الفجوة في الأداء بين النماذج الكبيرة والصغيرة اتسعت بشكل هائل في الاختبار ذي الصيغة الحرة.
الخلاصة: ملصق تحذيري
تنتهي الورقة البحثية برسالة مهمة جداً لأي شخص يفكر في استخدام الذكاء الاصطناعي للحصول على نصائح صحية:
"الذكاء الاصطناعي أمين مكتبة رائع، لكنه طبيب محفوف بالمخاطر."
- الأخبار الجيدة: إذا استخدمت الذكاء الاصطناعي للعثور على المعلومات (مثل محرك البحث)، فإن أحدث النماذج دقيقة للغاية ويمكنها مساعدتك في العثات على التوجيهات الحكومية الصحيحة بسرعة.
- الأخبار السيئة: إذا تركت الذكاء الاصطناعي يشرح النصائح أو يضع لك خطة في دردشة، فقد يخترع قواعد أو يغفل تفاصيل حاسمة.
الخلاصة: لا ينبغي لنا أن نثق في الذكاء الاصطناعي ليعطينا نصيحة طبية مباشرة. يجب أن نتعامل معه كمساعد مفيد يشير لك إلى كتاب القواعد الرسمي، ولكن يجب علينا دائماً التأكد من "قصصه" (صيغته الحرة) من خلال خبير بشري أو الموقع الرسمي للحكومة. الذكاء الاصطناعي يزداد ذكاءً، لكنه لا يزال بحاجة إلى شبكة أمان.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.