Auditing Multimodal LLM Raters: Central Tendency Bias in Clinical Ordinal Scoring

ملخص تقني: تدقيق مقيمي النماذج اللغوية الكبيرة متعددة الوسائط للتقييم الرتبي السريري

بيان المشكلة
يتم نشر النماذج اللغوية الكبيرة (LLMs) متعددة الوسائط بشكل متزايد كمقيمين آليين ("النموذج اللغوي كحكم") في السياقات السريرية. ومع ذلك، لا يزال سلوك التقييم الخاص بها في المقاييس الرتبية السريرية غير مفهوم بشكل جيد. تعتمد مقاييس التقييم القياسية، مثل متوسط الخطأ المطلق (MAE) والاتفاق ضمن نطاق التسامح، غالبًا على إحصاءات تجميعية يمكن أن تخفي أنماط فشل منهجية. وتحديدًا، قد يحقق المقيم اتفاقًا تجميعيًا قويًا بينما يفشل عند أطراف المقياس. وفي السياقات السريرية مثل فحص التدهور المعرفي، تحمل الأخطاء عند هذه الأطراف (مثل تصنيف مريض يعاني من ضعف شديد على أنه طبيعي، أو العكس) عواقب جسيمة على قرارات الفحص اللاحقة. يبحث البحث فيما إذا كانت النماذج اللغبية الكبيرة تظهر تحيزات منهجية، وتحديدًا "تأثير النزعة المركزية" (ضغط الدرجات نحو منتصف المقياس)، عند تطبيقها على مهام التقييم الرتبي السريري، وما إذا كان يمكن التخفيف من هذا التحيز من خلال هندسة الأوامر (Prompt Engineering).

المنهجية
يقارن البحث بين ثلاث عائلات من النماذج اللغبية الكبيرة الرائدة متعددة الوسائط (GPT-5/GPT-5.4، وGemini-2.5-Pro، وClaude-4-Sonnet) مقابل نماذج التعلم العميق الخاضعة للإشراف (CNNs وVision Transformers) في اختبار رسم الساعة (CDT).

• مجموعات البيانات: يستخدم التقييم الأساسي 597 صورة من دراسة الاتجاهات الوطنية للصحة والشيخوخة (NHATS)، مقسمة إلى مجموعات تطوير واختبار. يتم إجراء التحقق الخارجي على مجموعة بيانات مستقلة لـ CDT من تايلاند (386 صورة).
• المهمة: تتمثل المهمة في التنبؤ بدرجة صحيحة $y \in \{0, \dots, 5\}$ بناءً على معيار شولمان (Shulman rubric)، حيث تمثل 0 رسمًا غير قابل للتمييز وتمثل 5 تصويرًا دقيقًا.
• النماذج:
  • النماذج المرجعية الخاضعة للإشراف: نموذج ResNet-101 CNN ونوعان من نماذج Vision Transformer (التصنيف الرتبي والتراجع المستمر). هذه النماذج خضعت لضبط دقيق كامل على بيانات NHATS.
  • المقيمون من النماذج اللغبية الكبيرة: نماذج لغبية كبيرة متعددة الوسائط تعمل بأسلوب "التعلم من الصفر" (Zero-shot) و"التعلم من أمثلة قليلة" (Few-shot). تتلقى هذه النماذج الصورة ومعيارًا لغويًا طبيعيًا يصف مستويات الدرجات الستة ولكنها لا تخضع لأي تدريب قائم على التدرج (Gradient-based training) على مجموعة البيانات المستهدفة.
• بروتوكول التقييم:
  • المقاييس التجميعية: MAE، وRMSE، ودقة ضمن نطاق 1 (الاتفاق القائم على التسامح).
  • تحليل لكل درجة: فحص توزيع الدرجات المتوقعة، وملفات الخطأ الاتجاهي، ومصفوفات الارتباك للكشف عن الضغط المنهجي نحو المركز.
  • استئصال الأوامر (Prompt Ablations): للتمييز بين نواتج هندسة الأوامر والسلوك الجوهري للنموذج، اختبر المؤلفون:
    1. الأمر بالأمثلة القليلة (Few-shot prompting): تقديم 30 صورة نموذجية (5 لكل مستوى درجة) لتثبيت النموذج.
    2. الأمر غير السريري (De-clinicalized prompting): إزالة المصطلحات الطبية (مثل "علم النفس العصبي") لاختبار ما إذا كانت آليات السلامة تحفز التقييم المحافظ.

النتائج الرئيسية

1. الأداء التجميعي: حققت نماذج ViT-Ordinal التي خضعت لضبط دقيق كامل أفضل معايرة (MAE 0.52، ودقة ضمن نطاق 1 بنسبة 91%). ومن بين النماذج اللغبية الكبيرة التي تعمل بأسلوب التعلم من الصفر، كان GPT-5 هو الأقوى أداءً (MAE 0.67، ودقة ضمن نطاق 1 بنسبة 92%)، مما أظهر اتفاقًا تنافسيًا في نطاق التسامح رغم ارتفاع خطئه المطلق مقارنة بأفضل النماذج الخاضعة للإشراف.
2. تأثير النزعة المركزية: كشف تحليل كل درجة عن تحيز منهجي واضح في جميع عائلات النماذج اللغبية الكبيرة. كانت التوقعات مضغوطة نحو المنتصف:
   • الإفراط في التنبؤ في الطرف المنخفض: الدرجات الحقيقية 0 تم التنبؤ بها كثيرًا على أنها 1.
   • النقص في التنبؤ في الطرف العالي: الدرجات الحقيقية 5 تم التنبؤ بها كثيرًا على أنها 4.
   • أدى ذلك إلى ميل معايرة أقل انحدارًا بشكل ملحوظ من النماذج الخاضعة للإشراف، مع تركز الأخطاء في الخلايا (0→1) و(5→4) من مصفوفة الارتباك.
3. نتائج الاستئصال:
   • الأمر بالأمثلة القليلة (Few-shot prompting): حسن المقاييس التجميعية (مقللًا MAE إلى 0.56) وزاد الدقة في الطرف العالي، ولكنه لم يلغِ تأثير النزعة المركزية. ظل جزء كبير من الدرجات المتطرفة يُصنف خطأً نحو المركز.
   • الأمر غير السريري (De-clinicalized prompting): أدى إلى تدهور الأداء عبر جميع المقاييس وفشل في تقليل التحيز، مما يشير إلى أن المصطلحات السريرية تساعد في دقة التقييم بدلاً من تحفيز التحفظ المفرط.
4. التحقق الخارجي: تكرر نمط النزعة المركزية (ضغط الأطراف) في مجموعة بيانات CDT المستقلة من تايلاند، مما يؤكد قوة هذه النتيجة عبر مجموعات سكانية مختلفة.

المساهمات الرئيسية

• بروتوكول تقييم منهجي: يقترح المؤلفون بروتوكولًا يجمع بين تفكيك الخطأ لكل درجة وتحليل ميل المعايرة للكشف عن أنماط الفشل التي تخفيها المقاييس التجميعية.
• تحديد تحيز النزعة المركزية: توضح الدراسة أن النماذج اللغبية الكبيرة متعددة الوسائط تظهر تأثير نزعة مركزية ثابتًا في التقييم الرتبي السريري، حيث تتجنب التقييمات المتطرفة (0 و5) بشكل منهجي لصالح الدرجات المتوسطة.
• عزل مصدر التحيز: من خلال عمليات استئصال مستهدفة، تعزل الورقة هذا التحيز كنزعة سلوكية جوهرية للنماذج اللغبية الكبيرة متعددة الوسائط الحالية، وليس كنتيجة لعدم كفاية هندسة الأوامر أو الإطار السريري المحدد.

الأهمية والادعاءات
تجادل الورقة بأنه بينما تظهر النماذج اللغبية الكبيرة الواعدة كبدائل قابلة للتوسع للتدوين الخبير، فإن سلوك التقييم الحالي لها ليس بعد مناسبًا للنشر المستقل في سير عمل الفحص السريري عالي المخاطر حيث يكون تحديد أطراف المقياس أمرًا بالغ الأهمية. يشكل تأثير النزعة المركزية خطرًا محددًا: فقد يؤدي إلى نقص اكتشاف التدهور المعرفي الشديد (عن طريق التنبؤ بـ 1 بدلاً من 0) أو الإفراط في الإحالة للأفراد الأصحاء (عن طريق التنبؤ بـ 4 بدلاً من 5).

يوسع المؤلفون الأدبيات المتعلقة بتحيز "النموذج اللغبي كحكم" من تقييم معالجة اللغات الطبيعية إلى التقييم السريري. ويفترضون أن هذا السلوك قد ينبع من محاذاة التعلم المعزز من التغذية الراجعة البشرية (RLHF)، والتي تستبطن تجنبًا بشريًا للتقييمات المتطرفة، أو كأولوذج توزيعي مسبق في النموذج. وتخلص الورقة إلى أن نشر المقيمين القائمين على النماذج اللغبية الكبيرة يتطلب تقييمًا مدركًا للمعايرة وتقترح أن المعايرة اللاحقة أو سير العمل الهجين (باستخدام النماذج اللغبية الكبيرة للفحص الأولي والنماذج الخاضعة للإشراف/البشر للتقييم النهائي) ضروري قبل أن يمكن دمج هذه الأدوات بأمان في الممارسة السريرية.