Traceable Evidence Enhanced Visual Grounded Reasoning: Evaluation and Methodology

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "تعزيز الاستدلال البصري المرتكز على الأدلة القابلة للتتبع: التقييم والمنهجية"

1. بيان المشكلة

أظهرت النماذج اللغوية متعددة الوسائط الكبيرة (LMMs) الحديثة، مثل OpenAI-o3، قدرات "التفكير باستخدام الصور" من خلال الإشارة الديناميكية إلى المناطق المرئية أثناء عملية الاستدلال. ومع ذلك، يفتقر المجال إلى معيار شامل لتقييم هذه القدرات بشكل كلي. تعاني المعايب الحالية (مثل: POPE، MMBench، V* Bench) من ثلاث فجوات رئيسية:

• الافتقار إلى التحديد الدقيق للمواقع (Localization): غالبًا ما تتجاهل الأهداف الدقيقة في المشاهد المعقدة.
• غياب الأدلة القابلة للتتبع: هي تقيم الإجابات النهائية فقط، ولا تتحقق من خطوات الاستدلال الوسيطة (على سبيل المثال، ما إذا كان النموذج قد حدد الكائن ذي الصلة بشكل صحيح قبل الإجابة).
• محدودية الاستدلال من الدرجة الثانية: تركز على استعلامات بسيطة من نوع "ماذا/أين" بدلاً من التركيز على التسلسل الهرمي المكاني المعقد، والتفاعلات بين الأشياء (مثل الحجب أو التلامس)، وتحولات المنظور.

بناءً على ذلك، تواجه النماذج الحالية صعوبة في التقييم بناءً على قدرتها على إجراء الاستدلال البصري المرتكز (VGR)—وهي عملية تتطلب تحديد الموقع بدقة متبوعاً بالاستنتاج المنطقي.

2. المنهجية

تقدم الورقة مكونين أساسيين: TreeBench (معيار تشخيصي) و TreeVGR (نموذج تدريبي).

أ. TreeBench: معيار تقييم الأدلة القابلة للتتبع

تم تصميم TreeBench لتقييم "التفكير باستخدام الصور" بناءً على ثلاثة مبادئ:

1. الإدراك البصري المركز: تحديد الأهداف الصغيرة والدقيقة في المشاهد المزدحمة والواقعية.
2. الأدلة القابلة للتتبع: تتطلب من النماذج إخراج مربعات إحاطة (bounding boxes) لنماذج الأهداف، مما يسمح بتقييم سلاسل الاستدلال، وليس فقط الإجابات النهائية.
3. استدلال من الدرجة الثانية متمحور حول الرؤية: اختبار التفاعلات المعقدة مثل الحجب (occlusion)، والاحتواء المكاني، وتحولات المنظور.

• البناء:
  • مصدر البيانات: 1,000 صورة عالية الدقة تم اختيارها من SA-1B، مع إعطاء الأولوية للمشاهد ذات الكائنات الكثيفة.
  • الترميز (Annotation): قام 8 خبراء في النماذج اللغوية متعددة الوسائط (LMM) بصياغة الأسئلة والخيارات والإجابات يدويًا.
  • خط الإنتاج (Pipeline): استخدم خط إنتاج شبه آلي نماذج OpenAI-o3 و Gemini-2.5-Pro لتوليد الأسئلة الأولية، والتي تمت مراجعتها وتنقيحها والتحقق منها من قبل خبراء بشريين.
  • التحكم في الصعوبة: تم استبعاد الأسئلة التي أجابت عليها جميع النماذج الأربعة الرائدة (Qwen2.5-VL-72B، InternVL3-78B، GPT-4o، Gemini-2.5-Flash) بشكل صحيح.
  • مجموعة البيانات النهائية: 405 زوجًا من (VQA) التحدي مع ترميزات دقيقة لمربعات الإحاطة للأهداف المستهدفة.
  • الفئات: مقسمة إلى الإدراك (السمات، المادة، الحالة الفيزيائية، استرجاع الأشياء، التعرف الضوئي على الحروف OCR) و الاستدلال (تحول المنظور، الترتيب، التلامس والحجب، الاحتواء المكاني، المقارنة).

ب. TreeVGR: الاستدلال البصري المرتكز المعزز بالأدلة القابلة للتتبع

TreeVGR هو إطار تدريب يتكون من مرحلتين، مصمم لتعليم النماذج تحديد المناطق أولاً ثم الإجابة، تحت إشراف الأدلة القابلة للتتبع.

1. التهيئة عبر البدء البارد (SFT):

   • يعالج عدم الكفاءة الحسابية للتعلم المباشر بالتعزيز (RL).
   • يستخدم مجموعة بيانات منسقة (35 ألف عينة) مشتقة من VGR-158K، محولة إلى إحداثيات مطلقة لتناسب النموذج الأساسي (Qwen2.5-VL-7B).
   • يتضمن مجموعة فرعية "تأملية" حيث يتم تدريب النماذج على اكتشاف وتصحيح مربعات الإحاطة الخاطئة.

2. التعلم بالتعزيز باستخدام الأدلة القابلة للتتبع:

   • يستخدم تحسين السياسة النسبي للمجموعات (GRPO).
   • تصميم المكافأة: تجمع المكافأة الإجمالية ($R$) بين ثلاثة مكونات:
     • $R_{acc}$: مكافأة الدقة (الإجابة النهائية الصحيحة).
     • $R_{format}$: مكافأة التنسيق (وسوم XML الصحيحة للاستدلال والإجابات).
     • $R_{IoU}$: مكافأة IoU المزدوجة، وهي الابتكار الجوهري. تقوم بحساب متوسط الاستدعاء (Recall) (لضمان مطابقة كل مربع حقيقي) و الدقة (Precision) (لضمان أن كل مربع متوقع يطابق حقيقة واحدة)، وذلك لمنع النموذج من سرد مربعات مفرطة للتلاعب بمقياس الاستدعاء.
   • بيانات التدريب: 37 ألف عينة تجمع بين العينات الصعبة من V* Bench وبيانات الكشف عالية الدقة من VisDrone.

3. المساهمات الرئيسية

1. معيار TreeBench: أول معيار مصمم خصيصًا لتقييم "التفكير باستخدام الصور" مع أدلة قابلة للتتبع. يكشف عن حدود النماذج الحالية (على سبيل المثال، يحقق OpenAI-o3 نسبة 54.87% فقط)، مما يثبت أن حتى النماذج المتقدمة تعاني في الاستدلال البصري الدقيق متعدد الخطوات.
2. آلية مكافأة IoU المزدوجة: دالة مكافأة مبتكرة للتعلم بالتعزيز تعمل على تحسين الدقة والاستدعاء معًا لتوليد مربعات الإحاطة، مما يضمن تعلم النموذج تقديم أدلة بصرية دقيقة و كاملة بدلاً من التخمين أو الإفراط في التوليد.
3. نموذج تدريب فعال: يحقق TreeVGR أداءً رائدًا دون التكلفة الحسابية الهائلة للطرق السابقة (على سبيل المثال، تطلب DeepEyes 32 وحدة GPU من نوع H100 لمدة 48 ساعة؛ بينما يستخدم TreeVGR خط إنتاج أكثر كفاءة يعتمد على "البدء البارد + التعلم بالتعزيز").
4. القابلية للتفسير: من خلال إجبار النموذج على توليد مربعات الإحاطة، يصبح مسار الاستدلال شفافًا، مما يسمح بتشخيص ما إذا كانت الأخطاء ناتجة عن سوء تحديد الموقع أم فشل منطقي.

4. النتائج

• على معيار TreeBench:

  • يحقق TreeVGR-7B (المبني على Qwen2.5-VL-7B) دقة 50.4%، متفوقًا بشكل كبير على النموذج الأساسي (37.0%) وعلى نماذج VGR مفتوحة المصدر الأخرى.
  • يحقق تحسنًا بنسبة 13.4% عن النموذج الأساسي في TreeBench وتحسنًا بنسبة 24.2% في mIoU (دقة تحديد الموقع).
  • يقدم أداءً مشابهًا لنموذج InternVL3-78B الضخم (45.5% مقابل 46.4%)، مما يثبت فعالية طريقة التدريب مقارنة بحجم النموذج المجرد.
  • يسجل OpenAI-o3 نسبة 54.87%، و Gemini-2.5-Pro نسبة 54.6%، مما يبرز صعوبة هذا المعيار.

• على المعايير الأخرى:

  • V Bench:* يصل TreeVGR-7B إلى 91.1%، بزيادة قدرها +16.8 عن النموذج الأساسي، محققًا رقمًا قياسيًا جديدًا للنماذج مفتوحة المصدر.
  • MME-RealWorld-Lite: يحقق 54.9%، بزيادة قدرها +12.6.
  • المعايير العامة: يظهر مكاسب ثابتة في MMVP و CV-Bench و MMBench، مما يثبت أن التمركز الأرضي (grounding) القابل للتتبع يحسن الفهم متعدد الوسائط العام.

• دراسات الاستئصال (Ablation Studies):

  • إزالة مكافأة IoU المزدوجة (باستخدام التعلم بالتعزيز النصي فقط) يؤدي إلى انخفاض كبير في الأداء وفي mIoU.
  • إزالة عنصر الدقة (Precision) يتسبب في قيام النموذج بسرد مربعات مفرطة (مشكلة التكرار) والفشل في الإجابة.
  • إزالة عنصر الاستدعاء (Recall) يؤدي إلى تحديد مواقع غير مكتملة.

5. الأهمية

تضع هذه الورقة معيارًا جديدًا لتقييم وتدريب الاستدلال البصري المرتكز (Visual Grounded Reasoning).

• للتقييم: ينقل TreeBench المجال إلى ما وراء مقاييس الدقة البسيطة، مقدمًا القابلية للتتبع كبعد حيوي. ويكشف أن النماذج الحالية غالبًا ما تعتمد على التحيزات اللغوية بدلاً من الفهم البصري الحقيقي.
• للتدريب: يثبت TreeVGR أن الإشراف الصريح على خطوة تحديد الموقع عبر التعلم بالتعزيز (وتحديدًا مكافأة IoU المزدوجة) أمر ضروري لفتح آفاق قدرات الاستدلال المعقدة. كما يثبت أن نهج "التمركز ثم الإجابة" هو نموذج قابل للتطبيق ومتفوق للاستدلال متعدد الوسائط، مما يوفر مخططًا لبناء نماذج يمكنها حقًا "التفكير باستخدام الصور".

الشيفرة البرمجية والمعيار متاحان كمصدر مفتوح، مما يسههل المزيد من الأبحاث في مجال الذكاء الاصطناعي متعدد الوسائط الشفاف والموثوق.