MRI-Eval: A Tiered Benchmark for Evaluating LLM Performance on MRI Physics and GE Scanner Operations Knowledge

ملخص تقني لـ MRI-Eval: معيار متدرج لتقييم أداء النماذج اللغوية الكبيرة (LLMs) في معرفة فيزياء الرنين المغناطيسي وعمليات ماسحات GE

بيان المشكلة

بينما تُستخدم النماذج اللغوية الكبيرة (LLMs) بشكل متزايد في أبحاث الرنين المغناطيسي لتصميم البروتوكولات، واختيار المعلمات، واستكشاف الأخطاء وإصلاحها، إلا أن موثوقيتها في الأدوار المتخصصة تظل غير مثبتة. لقد وصلت معايடات الرنين المغناطيسي الحالية، مثل تلك المستندة إلى كتب مراجعة التقنيين لعام 1995، إلى سقف أداء (performance ceilings) للنماذج المملوكة الرائدة (مثل o1 Preview الذي سجل 94%)، مما يوفر قدرة تمييزية محدودة. والأهم من ذلك، لم يختبر أي تقييم منهجي النماذج اللغوية الكبيرة في المحتوى التشغيلي الخاص بالشركات المصنعة (vendor-specific)—وهو أمر جوهري لعمل الرنين المغناطاري البحثي اليومي—والذي يشمل معلمات بروتوكول محددة، وسلوكيات تسلسل النبضات، وعمليات وحدة التحكم. علاوة على بنية الأسئلة متعددة الخيارات (MCQ)، فإن الدرجات العالية قد تعكس التعرف على الخيارات بدلاً من الاستدعاء التوليدي الحقيقي، وهو تمييز لم يتم اختباره في تقييمات الرنين المغناطيسي السابقة.

المنهجية

يقدم البحث MRI-Eval، وهو معيار متدرج يتكون من 1,365 عنصرًا مسجلًا (1,355 سؤال اختيار من متعدد و10 أسئلة حول المفاهيم الخاطئة) عبر تسعة فئات تقنية وثلاث مستويات من الصعوبة.

• مصادر البيانات: استُمدت العناصر من الكتب المرجعية المعتمدة، وأدلة تطبيقات ماسح GE SIGNA Works، ومواد دورة برمجة GE EPIC، و35 سؤالًا تم إنشاؤها بواسطة خبراء لمعالجة الفجوات المعرفية.
• الفئات: تشمل الفئات التسعة: عمليات ماسح GE والبروتوكولات (ن=406)، تسلسلات النبضات (ن=330)، المعرفة بمجال GE (ن=155)، السلامة، k-space وتشكيل الصورة، العيوب التصويرية (artifacts)، الاسترخاء T1/T2، نسبة الإشارة إلى الضوضاء (SNR)/جودة الصورة، والتصوير المتوازي.
• مستويات الصعوبة: المستوى 1 (83.1%) يختبر استدعاء المفهوم الواحد؛ المستوى 2 (15.6%) يتطلب دمج المفاهيم؛ المستوى 3 (1.3%) يطرح سيناريوهات دمج الخبرات (لوحظ كقصور بسبب صغر حجم العينة).
• النماذج التي تم تقييمها: تم اختبار خمسة نماذج من عائلات متميزة: GPT-5.4، وClaude Opus 4.6، وClaude Sonnet 4.6، وGemini 2.5 Pro، وLlama 3.3 70B.
• ظروف التقييم:
  1. الاختيار المتعدد الأساسي (MCQ): صيغة صفرية (zero-shot)، مكونة من أربعة خيارات مع ترتيب عشوائي للإجابات.
  2. النص فقط (نص حر): تمت إزالة الخيارات؛ حيث قامت النماذج بتوليد استجابات نصية حرة يتم تقييمها بواسطة نموذج لغوي كبير مستقل (Grok). تم استبعاد Gemini 2.5 Pro هنا بسبب تأثير رموز الاستدلال الإلزامية على التنسيق.
  3. التشخيص الموجه (Primed Diagnostic): عُرضت على النماذج ادعاءات بإجابات خاطئة وطُلب منها الموافقة أو الاعتراض، لاختبار النزعة للموافقة (sycophancy) أو المساعدة في الاسترجاع.
• التسجيل والتحليل: شمل التحليل الإحصائي فترات الثقة لدرجة ويلسون (Wilson score)، واختبارات ماكنيمار (McNemar's tests) للمقارنات الزوجية، ومعامل كابا لكوهين (Cohen's kappa) للتكرارية. كشفت عملية تدقيق لاحقة عن وجود مؤشرات طول الخيارات المنتشرة (كانت الخيارات الصحيحة أطول بـ 1.3 مرة من متوسط طول المشتتات في 84.9% من العناصر).

المساهمات الرئيسية

1. بناء معيار متدرج: مجموعة بيانات متخصصة تتضمن محتوى تشغيليًا خاصًا بشركة GE غير ممثل بشكل كافٍ، مصممة لتحديد حدود المعرفة بدلاً من مجرد تأكيد الكفاءة.
2. تنسيقات تقييم متكاملة: تضمين حالة "النص فقط" بجانب الأسئلة متعددة الخيارات لقياس الفجوة بين التعرف على الخيارات والاستدعاء التوليدي، إلى جانب حالة التشخيص الموجه.
3. مقارنة صارمة للنماذج: مقارنة لخمسة نماذج مع اختبارات إحصائية زوجية وتقييم التكرار من تشغيل لآخر (كابا كوهين 0.983–0.998 للنماذج المختبرة).
4. قابلية التكرار: إصدار أدوات التقييم ونصوص التحليل للجمهور، مع حجب بنك الأسئلة الكامل لمنع تلوث بيانات التدريب.

النتائج

• أداء الاختيار المتعدد (MCQ): كانت الدقة الإجمالية عالية ومتقاربة، حيث تراوحت بين 93.2% (Llama 3.3 70B) و 97.1% (GPT-5.4). كان التباين بين النماذج الأربعة الرائدة 2.4 نقطة مئوية فقط.
• تباين الفئات: كانت عمليات ماسح GE هي الفئة الأقل درجات لجميع النماذج (88.2%–94.6%)، بينما اقتربت أساسيات الفيزياء (مثل استرخاء T1/T2) من أداء السقف.
• تدهور أداء "النص فقط": أدى إزالة الخيارات إلى انخفاض حاد في الدقة لجميع النماذج. انخفضت النماذج الرائدة إلى 58.4%–61.1% (انخفاض قدره 35.5–36.8 نقطة مئوية)، بينما انخفض Llama 3.3 70B إلى 37.1% (انخفاض قدره 56.1 نقطة مئوية).
• الاستدعاء الخاص بالشركة المصنعة: في حالة "النص فقط"، انهارت الدقة لعمليات ماسح GE إلى 13.8%–29.8%، مما يشير إلى أن أداء الاختيار المتعدد القريب من السقف لم يترجم إلى استدعاء نص حر قوي للمحتوى الخاص بـ GE.
• الحالة الموجهة (Primed): أدت اقتراحات الإجابات الخاطئة عمومًا إلى زيادة الدقة (تأثير توجيه الإجابة)، رغم أن Llama 3.3 70B أظهر انخفاضًا في الدقة عند مستويات الصعوبة العالية تحت التوجيه، مما يشير إلى أن النماذج الأضعف قد تقبل التوجيهات الخاطئة عندما تكون المعرفة غير كافية.
• التكرارية: كانت التكرارية من تشغيل لآخر شبه مثالية عبر النماذج، مع تركز الخلافات في فئة عمليات ماسح GE.

الأهمية والادعاءات

يجادل البحث بأن الأداء القوي في أسئلة الاختيار المتعدد في محتوى الرنين المغناطيسي يمكن أن يخفي ضعف الاستدعاء التوليدي، خاصة فيما يتعلق بالمعرفة التشغيلية الخاصة بالشركة المصنعة. يعمل هذا المعيار في المقام الأول كأداة للمقارنة النسبية بين النماذج بدلاً من كونه مقياسًا مطلقًا للكفاءة أو الجاهزية للنشر.

تشمل الاستنتاجات الرئيسية ما يلي:

• محدودية أسئلة الاختيار المتعدد: قد يعكس الأداء العالي في هذه الأسئلة التعرف على الخيارات وإشارات الطول بدلاً من الفهم العميق.
• المخاطر التشغيلية: يدعم الانخفاض الحاد في أداء "النص فقط" للمحتوى الخاص بـ GE ضرورة توخي الحذر عند الاعتماد على مخرجات النماذج اللغوية الكبيرة الخام لتوجيه البروتوكولات الخاصة بالشركة المصنعة في البيئات البحثية.
• الاتجاهات المستقبلية: تحفز النتائج تطوير أنظمة مدعومة بالاسترجاع (RAG) أو الأنظمة المستندة إلى الوثائق كخطوة ضرورية تالية، حيث يبدو أن المعرفة البارامترية البحتة غير كافية للمهام التشغيلية.
• معايير التقييم: يجب أن تتضمن معايير التقييم المستقبلية المتخصصة تنسيقات مفتوحة أو "نص فقط" لتمييز النماذج بشكل أفضل، حيث تضغط أسئلة الاختيار المتعدد القياسية الأداء بالقرب من السقف.

يؤكد المؤلفون أن هذه النتائج تستند إلى مقارنات محكومة من نموذج لآخر ولا تشكل معايرة مقابل أداء الخبراء البشريين أو تقديرًا مباشرًا للجاهزية للنشر السريري.