ملخص تقني: VISTAQA

بيان المشكلة

تعاني التقييمات الحالية لنماذج اللغات الكبيرة متعددة الوسائط (MLLMs) من انفصال جوهري بين صحة الإجابة النصية والتدليل البصري القائم على الأدلة. فالمعايير المرجعية القياسية تقيم الأداء من خلال الدقة النصية في المقام الأول، مما يكافئ النماذج التي تنتج إجابات صحيحة حتى عندما لا تكون تلك الإجابات مدعومة بالأدلة البصرية المناسبة (الهلوسة)، أو عندما يعتمد النموذج على الأولويات اللغوية بدلاً من الإدراك البصري. وعلى العكس من ذلك، فإن معايות التدليل (grounding) الموجودة غالبًا ما تعامل أقنعة التجزئة (segmentation masks) كهدف تنبؤ أساسي بدلاً من كونها دليلًا صريحًا يدعم إجابة نصية، أو تقيم النص والتوطين كمعايير مستقلة في مجموعات بيانات منفصلة. هذا الافتقار إلى التقييم المشترك يترك اقتران الاستدلال والتدليل كتحدٍ مفتوح، مما يفشل في تحديد ما إذا كان رد النموذج مستندًا حقًا إلى الصورة — وهو مطلب بالغ الأهمية للقابلية للتفسير والموثوقية في المجالات ذات الأهمية الحرجة للسلامة.

المنهجية

معيار VISTAQA المرجعي

لمعالجة هذه الفجوات، قدم المؤلفون VISTAQA، وهو معيار مرجعي شامل مصمم للتقييم المشترك لصحة الإجابة الحرة وتدليل الأدلة على مستوى البكسل في مهام الإجابة على الأسئلة البصرية (VQA).

• تكوين مجموعة البيانات: تتكون VISTAQA من 1,157 عينة تم إعدادها من قبل خبراء. وخلافًا لخطوط الإنتاج المؤتمتة التي وجد المؤلفون أنها غير موثوقة لإنشاء ثلاثيات (صورة-سؤال-قناع) معقدة، تم بناء VISTAక QA باستخدام خط إنتاج صارم متعدد المراحل يتضمن جلب صور مناسبة للمجال، وتوليد أقنعة هجين، وتوليد أسئلة بمساعدة النماذج اللغوية الكبيرة (LLM)، وتحقق بشري متعدد الجولات.
• النطاق: يغطي المعيار المرجعي ستة أنواع من المهام (التحديد، الصفة، التعرف الضوئي على الحروف OCR، المكاني، العد، المقارنة) وستة مجالات بصرية (الداخلي، الخارجي، القيادة الذاتية، الروبوتات، العلوم، الرياضيات).
• الوعي بالهلوسة: تم تصميم حوالي 27% من العينات (314) خصيصًا كحالات واعية بالهلوسة حيث يكون الكيان المستعلم عنه غائبًا أو السؤال غير قابل للإجابة، مما يتطلب من النماذج تحديد غياب الأدلة البصرية الصالحة بشكل صحيح.
• الترميز (Annotation): تتضمن كل عينة سؤالًا، وإجابة مرجعية، وقناع تجزئة يحدد الأدلة البصرية المطلوبة لدعم تلك الإجابة.

مقياس GROVE للتقييم

قدمت الورقة البحثية مقياس GROVE (تقييم الأدلة المرتكزة - GROunded eVidence Evaluation)، وهو مقياس موحد مصمم لفرض الصحة المشتركة.

• الحساسية المشتركة: تُعتبر التنبؤات صحيحة تمامًا فقط عندما تكون كل من الإجابة النصية وقناع الدليل المقابل صالحين.
• الآلية: يحسب GROVE المتوسط الهندسي لكل عينة من درجات النص والقناع الممهدة (smoothed).
  • درجة النص ($S_a$): إشارة صحة ثنائية (0 أو 1) يتم تحديدها عبر بروتوكول "النموذج اللغوي الكبير كحكم" (باستخدام Qwen 2.5-14B) لتقييم الصحة الدلالية بدلاً من مطابقة السلاسل النصية.
  • درجة القناع ($S_m$): تقيس دقة أقنعة التجزئة المتوقعة باستخدام تقاطع الاتحاد (IoU) مع الحقيقة الأرضية (ground truth)، مع التطبيع حسب الحد الأقصى لعدد الحالات لمعاقبة كل من التنبؤات المفقودة والزائفة. كما تتعامل مع حالات الهلوسة من خلال مكافأة التنبؤات الفارغة عند عدم وجود كيان.
  • التمهيد (Smoothing): لمنع انهيار الدرجة (حيث يؤدي فشل واحد إلى تصفير الدرجة بالكامل)، يتم تطبيق معامل أرضية $\epsilon$ (تم ضبطه تجريبيًا عند 0.1) على كلا الدرجتين قبل حساب المتوسط الهندسي: $S = \sqrt{S'_a \cdot S'_m}$.
• الهدف التصميمي: يضمن هذا الصياغة عدم قدرة أي من البعدين (النص أو القناع) على تعويض أوجه القصور في الآخر، مما يمنع النماذج من تحقيق درجات عالية من خلال التفوق في أحد الوسائط فقط.

المساهمات الرئيسية

1. معيار VISTAQA المرجعي: أول معيار منهجي يتطلب من النماذج إنتاج إجابات حرة صحيحة مدعومة صراحةً بأدلة بصرية على مستوى البكسل عبر ست مهام ومجالات متنوعة، بما في ذلك سيناريوهات الهلوسة الصريحة.
2. مقياس GROVE: مقياس تقييم موحد يقيس بشكل مشترك صحة الإجابة ودقة التدليل، مما يفرض الرضا المتزامن لكلا الوسيطين من خلال نهج المتوسط الهندسي.
3. تقييم شامل: تجارب واسعة النطاق عبر نماذج أساسية متطورة، بما في ذلك نماذج التجزئة الاستدلالية المخصصة (مثل LISA، SESAME، GLaMM) والخطوط الهجينة التي تجمع بين نماذج MLL de frontier ونماذج التجزئة (مثل Qwen3-VL + SAM3، GPT-5.4 + SAM3).

النتائج التجريبية

قيم المؤلفون 14 نموذجًا على VISTAQA دون ضبط دقيق (fine-tuning). تسلط النتائج الضوء على فجوة كبيرة بين دقة الإجابة والمواءمة مع الأدلة البصرية:

• الأداء العام المنخفض: تحقق أقوى الأنظمة أداءً محدودًا تحت مقياس GROVE. حقق أفضل النماذج أداءً، وهو GPT-5.4-T + SAM3، درجة GROVE بلغت 45.53% فقط.
• فجوة الوسائط: بينما حققت بعض الخطوط الهجبية دقة نصية فردية عالية نسبيًا (على سبيل المثال، >60%) أو درجات IoU للقناع، ظلت درجة GROVE المشتركة منخفضة. يشير هذا إلى أن الإجابات الصحيحة والأدلة الدقيقة تحدث غالبًا في عينات مختلفة؛ فالنماذج لا توائم بينهما باستمرار.
• تحديات المهام والمجالات:
  • ظهر الاستدلال المكاني والتعرف الضوئي على الحروف (OCR) كأكثر المهام صعوبة.
  • كانت الرياضيات هي المجال الأكثر صعوبة باستمرار لجميع عائلات النماذج، ويرجع ذلك على الأرج الله إلى التجريد المطلوب لربط الاستدلال الرمزي بالبكسلات.
  • متانة الهلوسة: مالت نماذج التجزئة إلى التنبؤ بأقنعة حتى عند عدم وجود كيان صالح، بينما بالغت بعض الخطوط الهجينة في التنبؤ بـ "لا يوجد قناع"، مما أدى إلى مقايضات بين كشف الهلوسة وجودة التدليل في العينات الصالحة.
• تعقيد التدليل: تراجعت النماذج عمومًا في الأداء عند الانتقال من سيناريوهات التدليل أحادي الحالة إلى سيناريوهات متعددة الحالات، حيث أظهرت نماذج التدليل المخصصة أكبر انخفاض.

الأهمية والادعاءات

تدعي الورقة أن VISTAQA و GROVE يكشفان عن قصور جوهري في التفكير متعدد الوسائط الحالي: الصحة النصية وحدها لا يمكنها تحديد ما إذا كان الرد مستندًا حقًا إلى الصورة.

• كشف الفجوة: يوضح المعيار المرجعي أنه حتى أكثر نماذج MLLM تقدمًا تواجه صعوبة في مواءمة إجاباتها مع الأدلة البصرية الصحيحة في آن واحد. الأداء العالي في مهام VQA التقليدية أو معايير التجزئة لا يضمن استدلالًا موثوقًا ومستندًا إلى الأدلة.
• صرامة التقييم: من خلال منع التعويض بين الوسائط، يوفر GROVE تقييمًا أكثر صرامة لقدرات النماذج، لا سيما في التطبيقات الحرجة للسلامة مثل القيادة الذاتية والروبوتات حيث يمكن أن تكون للهلوسة عواقب وخيمة.
• الاتجاه المستقبلي: يرى المؤلفون أن VISTAQA يعمل كقاعدة لأبحاث مستقبلية في التقييم المستند إلى الأدلة متعدد الوسائط، مع التأكيد على الحاجة إلى نماذج لا يمكنها التفكير فحسب، بل يمكنها أيضًا تبرير استدلالها صراحةً بالأدلة البصرية.

تقر الورقة بالقيود، مشيرة إلى أن الطبيعة الثابتة للمعيار المرجعي لا تغطي تدليل الفيديو أو الصور المتعددة، وأن بناء عينات عالية الجودة يظل عملية كثيفة العمالة بسبب عدم موثوقية النماذج حاليًا في توليد مثل هذه الثلاثيات بشكل مستقل.