An Automated, Contamination-Controlled VQA Benchmark for Evaluating Vision-Language Models on 3D Oncology Imaging

ملخص تقني: معيار مرجعي آلي للأسئلة والأجوبة البصرية (VQA) محكوم بالملوثات لتقييم نماذج الرؤية واللغة على التصوير ثلاثي الأبعاد للأورام

بيان المشكلة
تُطبق نماذج الرؤية واللغة (VLMs) بشكل متزايد في التصوير الطبي، ومع ذلك لا تزال موثوقيتها في الإعدادات السريرية غير مشخصة بشكل جيد. تعاني المعايير المرجعية العامة الحالية للأسئلة والأجوبة البصرية الطبية (VQA) من عيبين حرجين:

1. تلوث البيانات: غالبًا ما تدخل مجموعات البيانات واسعة النطاق في مجموعات التدريب المسبق لنماذج الرؤية واللغة، مما يعني أن الدرجات العالية قد تعكس حفظ أزواج (الصورة-السؤال) بدلاً من الإدراك البصري الحقيقي.
2. القابلية للحل عبر النص فقط: يمكن الإجابة على العديد من عناصر المعيار المرجعي باستخدام نص السؤال والسابقة اللغوية فقط، مما يتجاوز الحاجة إلى تحليل الصورة.

علاوة على ذلك، تفرض تصويرات الأورام تحديات فريدة: فالدراسات حجمية (ثلاثية الأبعاد)، مما يتطلب التفسير عبر شرائح وتسلسلات متعددة، بينما تقبل معظم نماذج الرؤية واللغة الحالية المدخلات ثنائية الأبعاد فقط. تفشل المعايير المرجعية الحالية في التمييز بين الأداء المعتمد على الصورة والأداء المدفوع بالألفة مع مجموعة البيانات أو إشارات نص السؤال.

المنهجية
يقدم المؤلفون مسار عمل مؤتمت وموجه بواسطة وكيل (agent-driven pipeline) مصمم لتوليد معايير مرجعية للأسئلة والأجوبة البصرية متعددة الخيارات محكومة بالملوثات مباشرة من التقارير الإشعاعية المزدوجة وتصوير الأورام ثلاثي الأبعاد.

• مصدر البيانات: يستخدم مسار العمل تقارير إشعاعية خاصة أحادية المؤسسة وتصويرًا ثلاثي الأبعاد (CT و MRI) من أربع مجموعات أورام: كبد (CT)، كبد (MRI)، رئة (CT)، ودماغ (MRI) (إجمالي 2,509 حالة للمعلم المرجعي الرئيسي). تم توليد مجموعة خامسة من تصوير الدماغ (MRI) خاصة تماماً داخل المؤسسة بنفس الطريقة، وتم حجزها خصيصاً لدراسة استئصال التلوث (التجريد) العامة/الخاصة (الجدول 3) واستبعادها من إجمالي المعلم المرجعي الرئيسي. ولأن هذه التقارير المصدرية خاصة وليست جزءًا من بيانات التدريب المسبق العامة، فإن الأسئلة المولدة مضمونة الخلو من التلوث على مستوى الحالة.
• توليد الأسئلة: ينتج النظام نوعين متكاملين من الأسئلة:
  1. الموجهة بالمخطط (على طراز RADS): يتم ملء الأسئلة بشكل حتمي من مخططات مراجعة سريريًا مستندة إلى أطر تقارير معتمدة (LI-RADS، وLung-RADS، ومخطط دماغ متوافق مع RANO). يضمن هذا أسئلة معيارية قابلة للإجابة بصريًا.
  2. المستمدة من التقرير: يتم توليد الأسئلة بواسطة نموذج لغوي بناءً على نتائج طبيب الأشعة والانطباع، ثم يتم تصفيتها بواسطة "فحص مستند إلى التقرير" لضمان أن الإجابة مدعومة صراحةً بالنص المصدر.
• معالجة الصور: بالنسبة للنماذج التي تقبل مدخلات ثنائية الأبعاد، يتم عرض الأحجام ثلاثية الأبعاد كمجمعات (montages) مركبة مكونة من 12×12 من 144 شريحة محورية (حوالي 128×128 بكسل لكل شريحة).
• بروتوكول التقييم: تم تقييم خمسة نماذج معاصرة من نماذج الرؤية واللغة في وضع "الصفر معرفة" (zero-shot): نموذجان مغلقان من الطراز الرائد (Claude Opus 4.6، GPT-5.2)، ونموذج واحد مفتوح الأوزات من الطراز الرائد (Qwen3-VL-30B)، ونموذجان متخصصان طبيًا (MedGemma1.0-27B، MedGemma1.5-4B).
• دراسات الاستئصال (Ablation Studies): لعزل الاعتماد البصري، تمت إعادة تقييم النماذج باستبدال الصورة بمدخل فارغ ("الحالة العمياء") بالإضافة إلى ذلك، تمت مقارنة مجموعة دماغ عامة (PDGM) مع مجموعة دماغ خاصة مطابقة من داخل المؤسسة لاختبار الألفة مع توزيع الصور.
• الدقة الإحصائية: تستخدم الدراسة طريقة "bootstrapping" المجمعة للحالات لإنشاء فترات الثقة واختبارات التحكم في التعددية (تصحيح Benjamini-Hochberg FDR واختبار TOST للتماثل) للتمييز بين التأثيرات الحقيقية والضجيج.

النتائج الرئيسية

• أداء متغير: لم يكن أي نموذج موثوقًا عبر جميع المجموعات. تراوحت الدقة من خط الأساس القريب من العشوائية (0.28) إلى 0.81. وتفاوتت تصنيفات النماذج بشكل كبير حسب المجموعة ونوع السؤال.
• الاستقلال عن الصورة: بالنسبة لعدة تكوينات عالية الأداء، لم يؤدِ إزالة الصورة إلى تأثير كبير على الدقة.
  • في تصوير الرنين المغناطيسي للدماغ (العام والخاص) وتصوير الرئة (CT)، أظهرت النماذج الرائدة (مثل Claude Opus 4.6) انخفاضًا طفيفًا في الدقة عند إزالة الصور، مما يشير إلى أن أدائها يعتمد بشدة على السوابق اللغوية أو إشارات نص السؤال بدلاً من الأدلة البصرية.
  • وعلى العكس من ذلك، أظهر MedGemma1.0-27B انخفاضات كبيرة في تصوير الكبد (CT و MRI) عند جعله "أعمى"، مما يشير إلى اعتماد بصري أقوى في تلك السياقات المحددة.
• تصوير الدماغ العام مقابل الخاص: في الأسئلة المستندة إلى المخطط (RADS-style)، سجلت النماذج الرائدة درجات أعلى بمقدار 0.17–0.19 في صور الدماغ العامة (PDGM) مقارنة بالصور الخاصة المطابقة، مما يشير إلى احتمال الألفة مع مجموعات البيانات العامة. ومع ذلك، في الأسئلة المستمدة من التقرير، كان الأداء غير متمايز بين المجموعات العامة والخاصة.
• صعوبة المهمة: واجهت النماذج صعوبة كبيرة في الأحكام الكمية أو المتدرجة (مثل حجم الآفة، أو فئة Lung-RADS، أو درجة تأثير الكتلة)، حيث بالكاد تجاوزت الدقة مستوى الصدفة. في المقابل، تم أداء مهام التعرف النوعي (مثل وجود أو غياب النتائج) بدقة أعلى بكثير.
• النتائج الإحصائية: بعد تصحيح FDR، تجاوزت 37 من أصل 40 قياسًا للدقة مستويات الصدفة. ومع ذلك، كشف اختبار التماثل أنه بالنسبة للعديد من النماذج عالية الأداء في مهام محددة (مثل تقارير رنين الدماغ)، فإن الفرق بين الأداء "المبصر" والأداء "الأعمى" كان مكافئًا إحصائيًا للصفر ضمن هامش ±0.05.

الأهمية والادعاءات
لا يدعي البحث تقديم لوحة صدارة نهائية للنماذج، بل يوضح أن إنشاء معيار مرجعي خاص ومولد بشكل متجدد يمكن أن يفصل بفعالية بين الأداء المعتمد على الصورة وتأثيرات نص السؤال والألفة مع مجموعة البيانات.

• الآثار السريرية: إن نماذج الرؤية واللغة الحالية، بما في ذلك المتخصصون الطبيون، ليست بعد قادرة على القراءة الموثوقة للدراسات الحجمية للأورام عند تقديمها بتنسيقات ثنائية الأبعاد مختزلة. قد تبالغ الدقة المعلنة في القدرة البصرية، خاصة للمهام التي يمكن حلها عبر السوابق اللغوية (مثل تصوير الرئة أو تصوير الدماغ).
• قيود المهام: يشير عدم قدرة النماذج على التعامل مع القياسات المكانية (الحجم، تدرج الشدة) مقارنة بالتعرف البسيط إلى أن الأنظمة الحالية ذات المدخلات ثنائية الأبعاد غير مناسبة للمهام التي تقود الإدارة السريرية والتي تعتمد على التحديد الكمي الدقيق.
• المساهمة المنهجية: يقدم المؤلفون مسار العمل كمهارة وكيل مفتوحة، مما يسمح للمؤسسات بإعادة توليد معايير مرجعية محكومة بالملوثات باستخدام بياناتها الخاصة. وهذا ينقل التقييم من القطع الأثرية العامة الثابتة إلى اختبارات داخلية خاصة ومتجددة، مما يعالج القضية الحرجة المتمثلة في تسرب البيانات في تقييم الذكاء الاصطناعي الطبي.

يخلص البحث إلى أنه بينما تُظهر نماذج الرؤية واللغة إمكانات واعدة، فإن قدرات الاستدلال البصري لديها في إعدادات الأورام المعقدة والحجمية تظل محدودة وتعتمد بشدة على نوع التصوير ونوع السؤال. يوفر المعيار المرجعي المقترح إطارًا صارمًا لتحديد هذه القيود ومنع نشر النماذج التي تعتمد على الحفظ بدلاً من الإدراك.