Medmarks: A Comprehensive Open-Source LLM Benchmark Suite for Medical Tasks
تقدم هذه الورقة Medmarks، وهي مجموعة معيارية شاملة ومفتوحة المصدر تتكون من 30 مهمة طبية متنوعة و61 نموذجاً تم تقييمها، والتي تكشف أن نماذج الاستدلال الرائدة تتفوق على غيرها في الدقة وكفاءة الرموز (token efficiency) مع تسليط الض الضوء على عرضة النماذج الأصغر لـتحيز ترتيب الإجابة.
المؤلفون الأصليون:Benjamin Warner, Ratna Sagari Grandhi, Max Kieffer, Aymane Ouraq, Saurav Panigrahi, Geetu Ambwani, Kunal Bagga, Nikhil Khandekar, Arya Hariharan, Nishant Mishra, Manish Ram, Shamus Sim Zi Yang, Ahmed Benjamin Warner, Ratna Sagari Grandhi, Max Kieffer, Aymane Ouraq, Saurav Panigrahi, Geetu Ambwani, Kunal Bagga, Nikhil Khandekar, Arya Hariharan, Nishant Mishra, Manish Ram, Shamus Sim Zi Yang, Ahmed Essouaied, Adepoju Jeremiah Moyondafoluwa, Robert Scholz, Bofeng Huang, Molly Beavers, Srishti Gureja, Anish Mahishi, Sameed Khan, Maxime Griot, Hunar Batra, Jean-Benoit Delbrouck, Siddhant Bharadwaj, Ronald Clark, Ashish Vashist, Anas Zafar, Leema Krishna Murali, Harsh Deshpande, Ameen Patel, William Brown, Johannes Hagemann, Connor Lane, Paul Steven Scotti, Tanishq Mathew Abraham
تخيل عالم الذكاء الاصطنا-عي كأنه مستشفى ضخم يعج بالحركة. لفترة طويلة، حاولنا معرفة أي "أطباء" الذكاء الاصطناعي بارعون حقاً في وظائفهم. لكن الاختبارات التي كنا نستخدمها لتقييمهم أصبحت تشبه لوحة النتائج المعطلة: فهي إما سهلة للغاية (بحيث يحصل كل ذكاء اصطناعي على درجة امتياز)، أو سرية للغاية (بحيث لا يستطيع أحد مراجعة العمل)، أو أنها تختبر فقط ما إذا كان بإمكان الذكاء الاصطناعي حفظ كتاب مدرسي بدلاً من التفكير فعلياً في مشكلة المريض.
إليك MEDMARKS، وهي "كلية طب" جديدة ومفتوحة المصدر بالكامل للذكاء الاصطناعي، أنشأها فريق من الباحثين. فكر فيها كأنها صالة ألعاب رياضية ضخمة وشفافة يأتي إليها 61 نموذجاً مختلفاً من نماذج الذكاء الاصطناعي (من النماذج الصغيرة ذات الميزانية المنخفضة إلى نسخ الحواسيب الفائقة الضخمة) لتأدية 30 اختباراً بدنياً وعقلياً مختلفاً.
إليك ما توصلت إليه الورقة البحثية، مشروحاً ببساطة:
1. مجموعة الاختبارات: تحديات متنوعة
بدلاً من مجرد سؤال "ما هي عاصمة فرنسا؟" (وهو أمر سهل للذكاء الاصطناعي)، يلقي MEDMARKS بمزيج من التحديات على النماذج:
اختبار الاختيار من متعدد (MED_MARKS-V): مثل امتحان مجلس الإدارة القياسي حيث يختار الذكاء الاصطناٍء الإجابة الصحيحة من قائمة، ويتضمن ذلك مسائل رياضية معقدة وقصص مرضى طويلة ومعقدة.
المقابلة مفتوحة النهايات (MED_MARKS-OE): هنا، يتعين على الذكاء الاصطناعي الدردشة مع "مريض" أو كتابة خطة علاجية. وبما أنه لا توجد إجابة واحدة صحيحة، استخدم الباحثون "ذكاءً اصطناعياً حكماً" (حكماً ذكياً) لتقييم المحادثة، تماماً كما يقوم معلم بشري بتصحيح مقال.
"عجلات التدريب" (MED_MARKS-T): مجموعة فرعية خاصة من هذه الاختبارات مصممة لتُستخدم كصالة ألعاب رياضية للذكاء الاصطناعي. يمكن للباحثين استخدام هذه الاختبارات لتدريب الذكاء الاصطناعي فعلياً ليصبح أفضل، تماماً كما يستخدم المدرب التمارين لتحسين مستوى الرياضي.
2. النتائج: من فاز بالميداليات؟
قام الباحثون بإجراء الاختبارات 71 مرة مختلفة مع إعدادات مختلفة لمعرفة من سيتصدر المشهد.
العمالقة يفوزون (غالباً): نماذج الذكاء الاصطناعي الأكبر والأكثر قوة من شركات مثل OpenAI (GPT-5.1/5.2) وGoogle (Gemini 3) حصلت عموماً على أعلى الدرجات. إنهم يشبهون رياضيي الأولمبياد في مجال الذكاء الاصطناعي.
"المتخصص" مقابل "العام": بعض نماذج الذكاء الاصطناعي تم تدريبها خصيصاً على الكتب والملاحظات الطبية. هذه النماذج "المتخصصة" غالباً ما هزمت النماذج "العامة" الأكبر حجماً التي تعرف القليل عن كل شيء. الأمر يشبه طبيب محلي يعرف حيه بشكل أفضل من طبيب مشهور يزور المنطقة مرة واحدة في السنة.
فجوة الكفاءة: هنا تكمن مفاجأة غير متوقعة. كانت نماذج الذكاء الاصطناعي رفيعة المستوى والمغلقة المصدر (التي تدفع مقابلها) تشبه سيارات الفيراري: فقد حققت أفضل النتائج ولكنها استهلكت القليل من الوقود (قوة الحوسبة). أما النماذج مفتوحة المصدر (المتاحة للتحميل مجاناً) فكانت مثل الشاحنات: يمكنها أحياناً إنجاز المهمة، لكنها تستهلك كمية هائلة من الوقود؛ حيث احتاجت بعض النماذج المفتوحة إلى 5 أضعاف قوة الحوسبة للحصول على نتيجة مماثلة.
3. العيات والعيوب
وجدت الورقة أيضاً بعض العادات المضحكة والمثيرة للقلق في أطباء الذكاء الاصطناعي هؤلاء:
"المفرطون في التفكير": عندما يخطئ الذكاء الاصطناعي في الإجابة، فإنه غالباً ما يتحدث أكثر مما يفعل عندما يصيب. كان الأمر يشبه طالباً يهذي بتوتر عندما لا يعرف الإجابة، آملاً أن يتعثر في الإجابة الصحيحة بالصدفة.
"انحياز الترتيب": إذا قام الباحثون بتغيير ترتيب إجابات الاختيار من متعدد (أ، ب، ج، د)، فإن بعض نماذج الذكاء الاصطناعي الصغيرة تصاب بالارتباك وتغير إجاباتها، حتى لو كان المحتوى هو نفسه. إنه يشبه طالباً يختار الإجابة "ج" لمجرد أنها في المنتصف، وليس لأنه يعرف الإجابة.
مشاكل "الأدوات": عندما أعطى الباحثون الذكاء الاصطناعي أداة حاسبة للمساعدة في الرياضيات، ساء أداء العديد من النماذج في الواقع. فإما تجاهلوا الحاسبة، أو استخدموها بشكل خاطئ، أو ارتبكوا بسبب التعليمات. الأمر يشبه إعطاء طباخ سكيناً جديداً، فيقوم بالخطأ بقطع المكون الخاطئ لأنه لم يعتد على الأداة الجديدة.
4. الصورة الكبيرة
الخلاصة الرئيسية هي أنه بينما يصبح الذكاء الاصطناعي جيداً جداً في المهام الطبية، إلا أنه ليس مثالياً بعد.
النماذج الرائدة (Frontier models) (الأحدث والأكبر) هي القائدة حالياً.
التدريب المتخصص يساعد، لكنه لا يضمن الفوز على النماذج الأكبر حجماً.
الكفاءة تمثل مشكلة كبيرة؛ فالنماذج المجانية غالباً ما تكون "مكلفة" للغاية من حيث وقت الحوسبة.
الموثوقية لا تزال قضية قائمة؛ إذ يمكن خداع النماذج بسهولة من خلال طريقة صياغة الأسئلة، أو قد ترتبك عند استخدام الأدوات.
لقد بنى المؤلفون MEDMARKS لتكون "لوحة صدارة حية". تماماً كما تُحدث الدوريات الرياضية ترتيبها كل أسبوع، تم تصميم هذا المعيار لاختبار نماذج الذكاء الاصطناعي الجديدة باستمرار فور إصدارها، لضمان معرفة من هو "أفضل" ذكاء اصطناعي طبي حالياً، وأين تكمن نقاط ضعفهم بالضبط. لقد جعلوا جميع أكوادهم وبياناتهم عامة لكي يتمكن أي شخص من تشغيل الاختبارات والتحقق من النتائج، مما يجلب الشفافية إلى هذا المجال.
ملخص تقني: MEDMARKS
بيان المشكلة
يواجه تقييم النماذج اللغوية الكبيرة (LLMs) في التطبيقات الطبية ثلاثة تحديات رئيسية: تشبع المعايير المرجعية، ومحدودية إمكانية الوصول إلى البيانات، وعدم كفاية التغطية للمهام السريرية ذات الصلة. لقد تشبعت المجموعات الحالية مثل MultiMedQA بشكل كبير بسبب اعتمادها على مهام استرجاع المعرفة الأساسية التي أتقنتها النماذج الرائدة. أما المعايير الأخرى، مثل HealthBench، فتركز بشكل ضيق على المحادثات الموجهة للمرضى، بينما تعتمد مجموعات مثل MedHELM بشكل كبير على مجموعات بيانات مقيدة أو مملوكة تمنع إعادة الإنتاج من قبل المجتمع العلمي. علاوة على ذلك، تفشل العديد من التقييمات الحالية في عكس حالات الاستخدام في العالم الحقيقي، مثل إنشاء خطط علاجية من التقارير الطبية أو الانخراط في استدلال سريري مفتوح النهايات. هناك حاجة ماسة إلى مجموعة تقييم محدثة بانتظام، ومفتوحة المصدر بالكامل، وقابلة لإعادة الإنتاج، قادرة على قياس طيف واسع من النماذج عبر مهام متنوعة وذات ص relevance سريرية.
المنهجية
يقدم المؤلفون MEDMARKS، وهي مجموعة تقييم شاملة ومفتوحة المصدر بالكامل تتكون من 30 معياراً مرجعياً. تنقسم المجموعة إلى مجموعتين فرعيتين رئيسيتين:
MEDMARKS-V (القابلة للتحقق): تحتوي على أسئلة الاختيار من متعدد (MCQA) ومهام أخرى ذات حقائق أرضية حتمية (مثل الحسابات الطبية، واستخراج المعلومات).
MEDMARKS-OE (مفتوحة النهايات): تحتوي على مهام غير قابلة للتحقق مثل المحادثات الموجهة للمرضى، والاستدلال التشخيصي، وتوليد الملاحظات، والتي يتم تقييمها باستخدام تقنية النموذج اللغوي كحكم (LLM-as-a-Judge).
اختيار المعايير المرجعية والتنفيذ
تغطي المعايير الثلاثون مجموعة متنوعة من المهام بما في ذلك:
المعرفة والاستدلال: MedQA، وMedMCQA، وPubMedQA، وMedXpertQA (على مستوى الخبراء)، وMetaMedQA (ما وراء المعرفة).
لضمان إمكانية إعادة الإنتاج، تم تنفيذ جميع المعايير المرجعية كـ بيئات تحقق (Brown, 2025) مع وظائف مكافأة مقابلة. تتضمن مجموعة فرعية من هذه البيانات، تسمى MEDMARKS-T، تقسيمات صريحة للتدريب والاختبار، مما يتيح استخدامها المباشر كبيئات للتعلم التعزيزي (RL) لمرحلة ما بعد التدريب.
بروتوكول التقييم
النماذج التي تم تقييمها: قيمت الدراسة 61 نموذجاً عبر 71 تكويناً، بما في ذلك واجهات برمجة التطبيقات (APIs) المملوكة والرائدة (مثل GPT-5.1/5.2، وGemini 3 Pro، وGrok 4، وClaude Sonnet 4.5) والنماذج مفتوحة المصدر (مثل Qwen3، وBaichuan-M3، وGLM-4، وLlama 3).
آليات التصحيح:
MCQA: تم تطوير وظيفة تصحيح قوية للتعامل مع اختلافات التنسيق، وإزالة آثار التفكير، وتطبيع حالة الأحرف وعلامات الترقيم، ومراعاة النفي لمنع النتائج السلبية الكاذبة.
مفتوحة النهايات: استخدم المؤلفون تقنية النموذج اللغوي كحكم مع لجنة من الحكام (بشكل أساسي GPT-5 mini، مقترناً بـ Grok 4.1 Fast أو Gemini 3 Flash Preview) لتقييم التشابه الدلالي والالتزام بالقواعد، وتجنب قيود مقاييس التداخل اللفظي مثل ROUGE.
المقاييس: يتم ترتيب النماذج باستخدام متوسط معدل الفوز الموزون، حيث يتم تجميع الأداء عبر مجموعات البيانات مع وزن يعتمد على حجم المجموعة (log-size weighting) لموازنة تأثير مجموعة البيانات.
المساهمات الرئيسية
مجموعة شاملة مفتوحة المصدر: تُقدم MEDMARKS كأكبر مجموعة تقييم مؤتمتة مفتوحة المصدر بالكامل للقدرات الطبية، حيث تغطي 30 معياراً مرجعياً عبر مهام قابلة للتحقق، ومفتوحة النهايات، ووكيلية.
تقييم قابل للتوسع: أجرى المؤلفون تقييماً منهجياً لـ 61 نموذجاً (بما في ذلك 6 نماذج طبية متخصصة تم ضبطها بدقة) عبر 71 تكويناً، مما يوفر المقارنة الأكثر توثيقاً علناً لقدرات النماذج اللغوية الطبية حتى الآن.
بيئات جاهزة للتعلم التعزيزي (RL): من خلال تنفيذ المعايير المرجعية كأدوات تحقق مع وظائف مكافأة، تسهل المجموعة عمليات ما بعد التدريب الخاصة بالمجال الطبي. تسمتد مجموعة MEDMARKS-T الفرعية للباحثين استخدام هذه البيانات للتعلم التعزيزي مع المكافآت القابلة للتحقق (RLVR).
إمكانية إعادة الإنتاج: تم فتح جميع الأكواد والبنية التحتية للتقييم المصدرية، وصُممت المجموعة كـ "لوحة صدارة حية" لتتبع حدود القدرات الطبية للنماذج اللغوية الكبيرة مع إصدار نماذج جديدة.
النتائج الرئيسية
أسفر التقييم عن عدة نتائج هامة فيما يتعلق بالحالة الراهنة للنماذج اللغوية الطبية:
قادة الأداء: حققت نماذج الاستدلال الرائدة (تحديداً Gemini 3 Pro Preview، وGPT-5.1، وGPT-5.2) أعلى أداء عبر المعايير المرجعية القابلة للتحقق ومفتوحة النهايات.
كفاءة الرموز (Tokens): بينما تفوقت النماذج المملوكة الرائدة عموماً على البدائل مفتوحة الأوزان، إلا أنها كانت أيضاً أكثر كفاءة في استهلاك الرموز بشكل ملحوظ. غالباً ما احتاجت النماذج مفتوحة المصدر إلى 5 أضعاف أو أكثر من الرموز للاقتراب من أداء النماذج الرائدة، مما يسلط الض الضوء على فجوة تحسين كبيرة.
الضبط الدقيق الطبي: تفوقت النماذج المضبوطة طبياً (مثل Baichuan-M2، وMedGemma) عموماً على نظيراتها العامة، مما يثبت قيمة ما بعد التدريب المتخصص في المجال. ومع ذلك، أخفقت بعض النماذج الطبية أمام نماذج الاستدلال العامة الأحدث في مهام محددة.
الاستدلاء مقابل التعليمات: بشكل عام، تفوقت نسخ "الاستدلال" (reasoning) من النماذج على نسخ "التعليمات" (instruct). ومع ذلك، لم يكن هذا الاتجاه عالمياً؛ حيث شهدت عائلة Ministral أداءً أقل لنسخ الاستدلال مقارنة بنسخ التعليمات.
تدرج الصعوبة: تغطي المعايير المرجعية نطاقاً واسعاً من الصعوبة. فقد تم حل مهام السياق الطويل البسيطة (مثل PubHealthBench) بدقة عالية (>0.80)، بينما ظلت مهام الاستدلال السريري بمستوى الخبراء مثل MedXpertQA دون حل إلى حد كبير (الدرجات ~0.23)، مما يشير إلى فجوة كبيرة في القدرات الحالية للاستدلال السريري عالي المخاطر.
التحيز والمتانة:
تحيز ترتيب الإجابة: أظهرت النماذج، وخاصة الصغيرة منها وGrok 4، حساسية تجاه تحيز ترتيب الإجابات في مهام الاختيار من متعدد.
الإفراط في التفكير (Overthinking): مالت النماذج إلى توليد المزيد من الرموز عند الإجابة بشكل خاطئ، مما يشير إلى أنها تعاني في التعرف على الحالات التي لا تعرف فيها الإجابة.
الكمية (Quantization): كان استخدام 8-bit كمية (quantization) حميداً إلى حد كبير، لكن استخدام 4-bit أدى إلى عقوبات أداء ثابتة.
استخدام الأدوات: عند تزويدها بأدوات حاسبة للحسابات الطبية، فشلت العديد من النماذج إما في استخدامها، أو تجاهلت مخرجات الأدوات الصحيحة، أو أنتجت استدعاءات أدوات مشوهة، مما أدى إلى تراجع الأداء في بعض الحالات.
الأهمية والادعاءات
يدعي البحث أن MEDMARKS تعالج الحاجة الماسة إلى مجموعة معايير مرجعية شفافة، وقابلة لإعادة الإنتاج، وشاملة تنتقل من مجرد استرجاع المعرفة البسيطة إلى تقييم الاستدلال الطبي الحقيقي والسلامة. ومن خلال توفير "لوحة صدارة حية" وبيئات جاهزة للتعلم التعزيزي، يهدف المؤلفون إلى تسريع تطوير ذكاء اصطٍ طبي أكثر أماناً وقدرة.
يقر المؤلفون صراحةً بالقيود: لا تزال المجموعة منحازة بشدة نحو الإجابة على الأسئلة أحادية الدور، وتفتقر إلى تقييم واسع للعدالة/التحيز والسلامة بخلاف اكتشاف الهلوسة، وتركز فقط على المهام النصية (مستبعدة القدرات متعددة الوسائط). ويذكرون أن أداء المعايير المرجعية لا يعادل الكفاءة السريرية ويجب تفسيره بحذر، مؤكدين أن MEDMARKS هي أداة للتحليل والتحسين وليست شهادة نهائية على الجاهزية السريرية.