💬 NLP

EpiQAL: Benchmarking Large Language Models in Epidemiological Question Answering for Enhanced Alignment and Reasoning

تقدم هذه الورقة البحثية EpiQAL، وهو أول معيار تشخيصي مصمم لتقييم النماذج اللغوية الكبيرة في الاستدلال الوبائي القائم على الأدلة عبر ثلاث مجموعات فرعية تتدرج في الصعوبة، مما يكشف أن النماذج الحالية تعاني في الاستنتاج متعدد الخطوات وأن الأداء لا يتحدد فقط بحجم النموذج.

المؤلفون الأصليون: Mingyang Wei, Dehai Min, Zewen Liu, Yuzhang Xie, Guanchen Wu, Ziyang Zhang, Carl Yang, Max S. Y. Lau, Qi He, Lu Cheng, Wei Jin

نُشر 2026-03-19

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Mingyang Wei, Dehai Min, Zewen Liu, Yuzhang Xie, Guanchen Wu, Ziyang Zhang, Carl Yang, Max S. Y. Lau, Qi He, Lu Cheng, Wei Jin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك محقق يحاول حل لغز ضخم وعالمي: كيف تنتشر الأمراض، وما الذي يوقفها حقاً؟

لفترة طويلة، كان الذكاء الاصطناعي (مثل روبوتات الدردشة التي نستخدمها اليوم) بارعاً في الإجابة على أسئلة المرضى الأفراد. "ما الدواء الذي يعالج الصداع؟" أو "ما هي أعراض الإنفلونزا؟". ولكن عندما يتعلق الأمر بالصورة الكبيرة — مثل النظر إلى ملايين الأشخاص، وتحليل آلاف الأوراق البحثية، وفهم الأنماط المعقدة مثل "إذا أغلقنا المدارس في المدينة (أ)، كيف سيغير ذلك من انتشار الفيروس في المدينة (ب)؟" — كان الذكاء الاصطناعي يعاني. الأمر يشبه محققاً بارعاً في حل الجرائم داخل منزل واحد، ولكنه يضيع عندما يُطلب منه رسم خريطة لشبكة إجرامية في مدينة كاملة.

تقدم الورقة البحثية التي شاركتَها EpiQAL، وهو "امتحان" صُمم خصيصاً لاختبار ما إذا كان بإمكان الذكاء الاصطناعي أن يصبح محققاً وبائياً حقيقياً.

إليك شرح مبسط لكيفية بناء هذا الامتحان وما وجدوه، باستخدام بعض التشبيهات من الحياة اليومية.

1. المشكلة: الذكاء الاصطناعي "يغش" في الامتحانات

قبل هذه الورقة، كانت اختبارات معايير الذكاء الاصطناعي تشبه اختبارات المدرسة الثانوية حيث تكون الإجابات مخبأة بجوار السؤال مباشرة. إذا كان السؤال هو "ما هي عاصمة فرنسا؟" وكان النص يقول "باريس هي عاصمة فرنسا"، يمكن للذكتا الاصطناعي مجرد إيجاد كلمة "باريس" وتخمين الإجابة دون أن يفهم المفهوم فعلياً.

في علم الأوبئة، هذا أمر خطير. إذا كان الذكاء الاصطناعي يخمن فقط بناءً على مطابقة الكلمات، فقد ينصح حكومة باستخدام دواء يصلح للأطفال على البالغين، أو يقترح استراتيجية تعمل في الشتاء لمرض ينتشر في الصيف.

2. الحل: امتحان "EpiQAL"

أنشأ الباحثون اختباراً من ثلاثة أجزاء (مثل لعبة فيديو بثلاثة مستويات) لمعرفة ما إذا كان بإمكان الذكاء الاصطناعي أن يفكر حقاً، وليس مجرد البحث. لقد بنوا هذه الأسئلة باستخدام أوراق علمية حقيقية حول أمراض مثل الملاريا وحمى الضنك وغيرها.

المستوى 1: "الباحث عن الحقائق" (EpiQAL-A)
- التشبيه: تخيل أنك أمام أمين مكتبة. تسأله: "في أي عام نُشر هذا الكتاب؟" فيقوم بسحب الكتاب من الرف ويقرأ التاريخ.
- الاختبار: يجب على الذكاء الاصطناعي إيجاد حقيقة محددة (مثل معدل الشفاء) مباشرة من النص.
- الخدعة: تأكد الباحثون من أن الذكاء الاصطناعي لا يمكنه مجرد مطابقة الكلمات. لقد غيروا السؤال بحيث يتعين على الذكاء الاصطناعي فهم معنى الرقم، وليس فقط العثور عليه.
المستوى 2: "حل الألغاز" (EpiQAL-B)
- التشبيه: تخيل أنك طباخ. لديك وصفة تقول "أضف الملح" وأخرى تقول "أضف الفلفل". لكن الوصفة لا تقول أبداً "الحساء يحتاج إلى تتبيلة". عليك دمج هاتين الحقيقتين لتدرك أن الحساء يحتاج إلى تتبيلة.
- الاختبار: يجب على الذكاء الاصطناعي قراءة أجزاء مختلفة من الدراسة وربط النقاط ببعضها. "الدراسة (أ) تقول إن الفيروس ينتشر عن طريق البعوض. الدراسة (ب) تقول إن البعوض يكون نشطاً في الليل". يجب على الذكاء الاصطناعي أن يستنتج: "الفيروس هو تهديد ليلي على الأرجح".
- النتيجة: كان هذا هو المستوى الأصعب. فشلت معظم نماذج الذكاء الاصطناعي هنا لأنها لم تستطع ربط النقاط؛ بل كانت تبحث فقط عن الإجابة في جملة واحدة.
المستوى 3: "قراءة الأفكار" (EpiQAL-C)
- التشبيه: تخيل أنك تقرأ رواية غموض، لكن المؤلف حذف الفصل الأخير حيث يشرح المحقق الحل. عليك النظر إلى الأدلة (القرائن) وتخمين ما توصل إليه المحقق.
- الاختبار: قام الباحثون بإخفاء قسم "الخلاصة" من الأوراق العلمية. كان على الذكاء الاصطناعي النظر فقط في البيانات والمنهجيات وتخمين ما استنتجه العلماء.
- الخدعة: هذا يختبر ما إذا كان بإمكان الذكاء الاصطناعي التمييز بين "ما تثبته البيانات" و"ما يأمل العلماء في كونه حقيقة".

3. كيف تأكدوا من عدالة الامتحان

بناء اختبار للذكاء الاصطناعي أمر صعب لأن الذكاء الاصطناعي ذكي بما يكفي لإيجاد الثغرات. استخدم الباحثون فريق "بشر + روبوت" لبناء الامتحان:

"الروبوتات المخادعة": استخدموا عدة نماذج مختلفة من الذكتا الاصطناعي لإنشاء "مشتتات" (إجابات خاطئة). تم تصميم هذه الإجابات الخاطئة لتبدو مقنعة للغاية، مثل بطاقة هوية مزيفة تبدو حقيقية ولكن بها خطأ صغير جداً.
"الحكام البشر": عندما لم يكن الروبوتات متأكدة مما إذا كان السؤال سهلاً جداً أو صعباً جداً، كان يتدخل خبير بشري للتحقق.
"فلتر الصعوبة": مرروا الأسئلة عبر لجنة من نماذج الذكاء الاصطناعي الأخرى. إذا أجاب الذكاء الاصطناعي بشكل صحيح بسهولة شديدة، كانوا يعيدون كتابة السؤال لجعله أكثر صعوبة (مثل إزالة القرائن الواضحة).

4. المفاجأة الكبرى: الأكبر ليس دائماً الأفضل

عندما طبقوا الاختبار على 14 نموذجاً مختلفاً من الذكاء الاصطناعي (من النماذج الصغيرة إلى الضخمة)، وجدوا نتائج صادمة:

الحجم لا يهم: النماذج الأكبر والأغلى ثمناً لم تكن دائماً هي الفائزة. في الواقع، تفوق نموذج أصغر ومصمم بذكاء (Mistral-7B) على بعض النماذج العملاقة في المستويات الأكثر صعوبة. الأمر يشبه محققاً صغماً ورشيقاً يحل قضية أسرع من روبوت ضخم وبطيء الحركة.
تأثير "سلسلة الأفكار": عندما أخبروا الذكاء الاصطناعي أن "يفكر خطوة بخطوة" (مثل كتابة منطقه قبل الإجابة)، تحسن أداؤه كثيراً في مستوى "حل الألغاز". ولكن في المستويات الأخرى، جعل الأمر أحياناً أسوأ، حيث بالغ في التفكير في سؤال بسيط مما أدى لتشتته.
مشكلة "الثقة المفرطة": كانت العديد من النماذج مستعدة للتخمين. كانت تختار الإجابة الصحيحة والإجابة الخاطئة معاً لتكون في أمان. في الحياة الواقعية، هذا أمر خطير. إذا اقترح ذكاء اصطناعي للصحة العامة الإغلاق العام و اقترح عدم فعل شيء في آن واحد، فسيخلق ذلك فوضى. أفضل النماذج كانت هي التي عرفت متى تقول: "أنا لست متأكداً"، بدلاً من التخمين.

5. لماذا يهم هذا؟

هذه الورقة البحثية هي بمثابة جرس إنذار. فهي تظهر أنه بينما يعد الذكاء الاصطناعي مذهلاً في كتابة القصائد أو تلخيص رسائل البريد الإلكتروني، فإنه ليس جاهزاً بعد ليكون العقل الأساسي وراء قرارات الصحة العامة.

إذا اعتمدنا على الذكاء الاصطناعي الحالي لإخبارنا بكيفية إيقاف الجائحة، فقد يغفل عن الروابط الدقيقة بين الدراسات المختلفة أو يسيء تفسير البيانات. يوفر EpiQAL وسيلة لقياس مكان فشل الذكاء الاصطناعي بالضبط حتى نتمكن من إصلاحه.

باختصار: لقد بنينا اختباراً صعباً ومتخصصاً للغاية لنرى ما إذا كان بإمكان الذكاء الاصطناعي أن يصبح عالم أوبئة حقيقياً. تظهر النتائج أنه بينما يصبح الذكاء الاصطناعي أكثر ذكاءً، فإنه لا يزال بحاجة إلى الكثير من التدريب قبل أن نتمكن من الوثوق به لإنقاذ الأرواح على نطاق عالمي. إنه عمل قيد التنفيذ، ولكن لدينا الآن مسطرة نقيس بها هذا التقدم.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "EPIQAL: تقييم النماذج اللغوية الكبيرة في الإجابة على الأسئلة الوبائية لتعزيز المواءمة والاستدلال."

1. بيان المشكلة

تركز معايض النماذج اللغوية الكبيرة (LLMs) الحالية في المجال الطبي بشكل أساسي على المعرفة السريرية (مثل التشخيص، وإرشادات العلاج) أو الاستدلال على مستوى المريض. ومع ذلك، فإن الاستدلال الوبائي أمر متميز: فهو يتطلب تركيب أدلة دراسية متباينة لاستنتاج عبء المرض على مستوى السكان، وديناميكيات الانتقال، وآثار التدخلات.

تفشل الموارد الحالية في معالجة هذه الفجوة لأنها:

غالبًا ما تكون مرتبطة بمرض معين (مثل كوفيد-19 فقط).
تعتمد على تنسيقات استخراجية أو مساحات تسمية مقيدة (مثل نعم/لا).
تفتقر إلى التأسيس الصارم للأدلة الدراسية، مما يجعل من الصعب التمييز بين الاستنتاج الحقيقي والهلوسة.
تسمح للنماذج باستغلال الإشارات السطحية (مثل التداخل المعجمي) بدلاً من إظهار استدلال حقيقي.

يجادل المؤلفون بأن هناك حاورة ماسة لمعيار يقيم بشكل منهجي الاستدلال الوبائي القائم على الأدلة عبر أمراض متنوعة وعمق استدلالي متفاوت.

2. المنهجية: إطار عمل EpiQAL

قدم المؤلفون EpiQAL (الإجابة على الأسئلة الوبائية من خلال الأدبيات)، وهو معيار تشخيصي تم بناؤه من خلال مسار خاضع لضبط الجودة. يعالج إطار العمل أربعة تحديات رئيسية: النطاق (أمراض متنوعة)، التأسيس (قابل للتتبع للأدلة)، التحقق (التعامل مع صحة الإجابات المتعددة)، والصعوبة (منع تعلم المسارات المختصرة).

أ. مسار بناء مجموعة البيانات

تتضمن عملية البناء أربع مراحل رئيسية:

معالجة المدخلات والتصنيف:
- تم تطوير تصنيف يتكون من 6 فئات و25 موضوعًا (مثل المراقبة، والتحقيق في تفشي الأمراض، والقابلية للإصابة) بالتعاون مع خبراء الأوبئة لضمان التغطية الواسعة.
- تُستمد الوثائق المصدرية من مجلة PLOS Negledted Tropical Diseases (حوالي 10,600 مقال).
توليد الأسئلة والأجوبة:
- يقوم نموذج توليد ( $M_g$ ) بإنشاء أسئلة ( $Q$ )، وخيارات صحيحة ( $O_c$ )، ومشتتات ( $O_d$ ) تحت قيود محددة ( $G$ ).
- المعرفة الخارجية: بالنسبة لمجموعة الاستدلال، تُستخدم ثلاثيات الرسوم البيانية للمعرفة اختيارياً فقط أثناء التوليد لتوجيه الاستدلال، ولكن يتم حجبها أثناء التقييم.
التحقق متعدد النماذج:
- تقوم مجموعة من النماذج اللغوية الكبيرة بالتحقق بشكل مستقل من الخيارات لضمان الاتساق الواقعي وتماسك الاستدلال.
- يتم قبول الخيارات، أو رفضها، أو وضع علامة عليها للمراجعة البشرية بناءً على نسبة التصويت ( $v$ ).
- من المهم أن يتحقق الفاحصون مقابل مدخلات وقت الاختبار (التي قد تكون محجوبة) بدلاً من الوثيقة الكاملة لمنع تسرب البيانات.
التحكم في الصعوبة (تحسين نص السؤال):
- يُطبق على مجموعات الاستدلال لمنع "التعلم عبر المسارات المختصرة" (مثل مطابقة أسماء الكيانات).
- يتم استبدال الكيانات البارزة في نص السؤال بعبارات وصفية مستخرجة من الويب، مما يجبر النماذج على الاستدلال حول المفاهيم بدلاً من مطابقة الأنماط.
- يحدد درجة الصعوبة ($DiffScore$) بناءً على أداء النموذج ما إذا كانت عملية التحسين مطلوبة.

ب. المجموعات الثلاث

يتكون EpiQAL من ثلاث مجموعات مصممة لعزل قدرات محددة:

EpiQAL-A (الاستدعاء القائم على النص):
- المهمة: استرجاع الحقائق المذكورة صراحة في الوثيقة.
- التنسيق: متعدد الإجابات (قائم على المجموعات).
- المشتتات: عوامل مربكة قائمة على الوثيقة (نفس الكيان، ولكن سياق أو مقياس خاطئ).
EpiQAL-B (الاستدلال متعدد الخطوات):
- المهمة: دمج نتائج متعددة للوصول إلى استنتاج غير مذكور صراحة في جملة واحدة.
- التنسيق: إجابة واحدة.
- المشتتات: عيوب على مستوى الاستدلال (انعكاس سببي، خطأ في إسناد الكيان، انتهاك الافتراضات).
EpiQAL-C (إعادة بناء الاستنتاج):
- المهمة: استنتاج استنتاجات الدراسة باستخدام أقسام المنهجية والنتائج فقط (قسم المناقشة يكون محجوباً).
- التنسيق: إجابة واحدة.
- المشتتات: ادعاءات معقولة ولكن غير مدعومة (تكهنات، اعتماد خارجي، إعادة صياغة الخلفية).

3. المساهمات الرئيسية

أول معيار للأسئلة والأجوبة الوبائية: يعد EpiQAL أول معيار يقيم بشكل منهجي الاستدلال على مستوى السكان عبر أمراض متنوعة باستخدام التقييم القائم على المجموعات.
تصنيف منسق من قبل الخبراء: إطار عمل مهيكل يغطي 25 موضوعاً وبائياً لضمان تغطية واسعة للمجالات الفرعية.
إطار عمل بناء مؤتمت: مسار مبتكر يدمج التحقق متعدد النماذج، وفحص الصعوبة، والمراجعة البشرية المستهدفة لضمان بيانات عالية الجودة وخالية من الهلوسة.
تقييم شامل: يكشف تقييم 14 نموذجاً (مفتوحة المصدر ومملوكة) عن أوضاع فشل متميزة في الاستدلال الوبائي.

4. النتائج التجريبية

قام المؤلفون بتقييم 14 نموذجاً (بما في ذلك GPT-4/5، DeepSeek، Llama-3، Mistral، Qwen، GLM) عبر المجموعات الثلاث.

النتائج الرئيسية:

الأداء المحدود: حتى النماذج المتطورة تواجه صعوبة في الاستدلال الوبائي. حقق أفضل النماض أداءً وهو DeepSeek-Reasoner، حيث سجل تطابقاً تاماً (EM) بنسبة 0.928 في الاستدعاء (A) و 0.868 في الاستدلال (B)، لكن الأداء ينخفض بشكل كبير في إعادة البناء (C).
الاستدلال متعدد الخطوات هو العائق: الأداء في EpiQAL-B هو الأدنى عبر جميع النماذج. بدون استخدام "سلسلة الأفكار" (CoT)، تسجل العديد من النماذج أقل من 0.50 في التطابق التام (EM).
التصنيفات تعتمد على المجموعة: لا يهيمن نموذج واحد على جميع المجموعات الثلاث.
- مثال: يتفوق Mistral-7B على Mistral-Large و Llama-3.3-70B في EpiQAL-B و C، رغم امتلاكه بارامترات أقل. يشير هذا إلى أن الاختيارات المعمارية والضبط التوجيهي أكثر أهمية من الحجم الخام لهذا المجال تحديداً.
الحجم لا يضمن النجاح: لا تتفوق النماذج الأكبر حجماً باستمرار على النماذج الأصغر. تظهر بعض النماذج الأصغر (مثل Mistral-7B) قدرات استدلال متفوقة مقارنة بنظيراتها الأكبر بكثير.
تأثيرات سلسلة الأفكار (CoT):
- في EpiQAL-B: توفر CoT مكاسب كبيرة (على سبيل المثال، تحسن Llama-3.1-8B من 0.318 إلى 0.665 في EM).
- في EpiQAL-C: تعطي CoT نتائج مختلطة؛ بالنسبة لبعض النماذج (مثل GPT-5-mini)، تؤدي في الواقع إلى تدهور الأداء، مما يشير إلى أن سلاسل الاستدلال الصريحة يمكن أن تضخم الأخطاء عندما تكون الأدلة غير مكتملة.
تحليل المشتتات:
- التقارب الدلالي (Semantic Near-Misses) هي أكثر المشتتات خداعاً في EpiQAL-A.
- الارتباك في المتغيرات و الأخطاء السببية/المنطقية هي نقاط الفشل الأساسية في EpiQAL-B.
- مشتتات التكهنات/القصور هي الأكثر خداعاً في EpiQAL-C، مما يشير إلى أن النماذج تجد صعوبة في التمييز بين الفرضيات غير المختبرة والاستنتاجات القائمة على الأدلة.

5. الأهمية والآثار المترتبة

الذكاء الاصطناعي في الصحة العامة: يسلط EpiQAL الضوء على أن النماذج اللغوية الكبيرة الحالية ليست جاهزة بعد لاتخاذ قرارات حاسمة في مجال الصحة العامة، حيث تحمل النتائج الإيجابية الكاذبة (مثل التدخلات غير الضرورية) تكاليف باهظة.
الاستدلال مقابل الاسترجاع: يثبت المعيار أنه بينما تبرع النماذج اللغوية الكبيرة في استرجاع الحقائق، فإنها تفتقر إلى القوة اللازمة لتركيب استنتاجات سببية معقدة على مستوى السكان من البحوث.
الاتجاهات المستقبلية: تشير النتائج إلى أن مجرد زيادة حجم البارامترات ليس كافياً. تتطلب التحسينات المستقبلية مواءمة أفضل مع المبادئ الوبائية، وتحسيناً في التعامل مع المعلومات غير المكتملة، وتدريباً متخصصاً على تركيب الأدلة.
إطلاق الموارد: يطلق المؤلفون مجموعة البيانات، والكود، والتصنيف لتسهيل الأبحاث المستقبلية في الاستدلال القائم على الأدلة في مجال الصحة العامة.

في الختام، يعمل EpiQAL كأداة تشخيصية بالغة الأهمية، حيث يكشف أن الفجوة بين قدرات النماذج اللغوية الكبيرة الحالية والمتطلبات الصارمة للاستدلال الوبائي لا تزال واسعة، لا سيما في الاستدلال متعدد الخطوات وإعادة بناء الاستنتاجات في ظل عدم اليقين.