ملخص تقني: فك تشفير نبض الاستدلال في نماذج الرؤية واللغة (VLMs) في مهام فهم الصور المتعددة

1. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) نجاحاً كبيراً في فهم الصورة الواحدة، لكنها تعاني في مهام الاستدلال متعدد الصور (مثل المقارنة، أو العد، أو الترتيب، أو الربط عبر صور متعددة). تكشف الاختبارات المرجعية الحالية (MuirBench، BLINK) عن أنماط فشل مستمرة:

• الارتباك في هوية الصورة: تفشل النماذج في التمييز بين الصورة التي تناقشها حالياً.
• التحيز الموضعي: تظهر النماذج تفضيلاً نظامياً للانتباه إلى الصور المبكرة في التسلسل، بغض النظر عن صلة المهمة.
• المقارنات الهلوسية: تولد النماذج مقارنات بين الصور ليست مستندة إلى أدلة بصرية حقيقية.

يفترض المؤلفون أن هذه الإخفاقات لا تنبع مجرد من نقص بيانات التدريب، بل من ديناميكيات الانتباه الداخلية أثناء توليد سلسلة الأفكـات (Chain-of-Thought - CoT). وتحديداً، حددوا ظاهرتين حرجتين:

1. نبضات انتباه النص إلى الصورة (T2I) المنتشرة: أثناء توليد سلسلة الأفكـات، يكون انتباه النموذج لرموز الصور متقطعاً وغير مركز. حتى عندما يشير النص صراحةً إلى صورة معينة، تكون أوزان الانتباه مشتتة عبر جميع الصور المدخلة بدلاً من التركيز على الصورة ذات الصلة.
2. تحيز الانتباه الموضعي: يظهر التحليل المجمع أن الصور المبكرة (مثل $I_1, I_2$) تتلقى باستمرار كتلة انتباه أعلى من الصور اللاحقة، بشكل مستقل عن متطلبات المهمة.

2. المنهجية: PulseFocus

لمعالجة هذه المشكلات، يقترح المؤلفون PulseFocus، وهو تدخل أثناء الاستنتاج لا يتطلب تدريباً، يعمل على إعادة هيكلة عملية الاستدلال وتعديل آلية الانتباه.

أ. التلقين المتداخل المهيكل

بدلاً من السماح بتوليد سلسلة أفكـات حرة التنسيق، يقوم PulseFocus بتقييد المخرجات في تسلسل متبادل من نوعين من الكتل:

1. كتلة <plan>: يقرر النموذج الخطوة التالية ويذكر صراحةً الصورة التي يجب فحصها تالياً (مثلاً: Next focus: I5). تسمح هذه الكتلة بالانتباه الحر لجميع الصور لأغراض التخطيط.
2. كتلة <focus:Ix>: يولد النموذج ملاحظات تتعلق تحديداً بالصورة (أو الصور) المشار إليها. تقتصر هذه الكتلة بصرامة على صورة واحدة أو اثنتين فقط.

يفرض هذا الهيكل فحصاً منهجياً وخطوة بخطوة للصور، مما يمنع القفزات العشوائية بينها.

ب. بوابات الانتباه الناعمة (Soft Attention Gating)

الابتكار التقني الجوهري هو آلية بوابة الانتباه الناعمة المطبقة أثناء فك ترميز الرموز (tokens) داخل كتلة <focus:Ix>.

• الآلية: لمجموعة من مؤشرات الصور المركزة $F$، يتم تعديل لوغاريتمات الانتباه $\alpha_{k,p}$ للرمز $k$ للموضع $p$:
  $$\tilde{\alpha}_{k,p} = \alpha_{k,p} + \Delta_p$$
  حيث $\Delta_p = 0$ إذا كان $p$ ينتمي إلى صورة مركزة، و $\Delta_p = -\lambda$ (عقوبة سالبة) إذا كان $p$ ينتمي إلى صور غير مركزة.
• الأثر: يعمل هذا على كبح الانتباه للصور غير المستهدفة بعامل تحدده معلمة فائقة $\lambda$ (تم ضبطها عند 2.0 في التجارب) دون إلغائها تماماً. وهذا يحافظ على قدرة النموذج على إجراء مقارنات بين الصور عند الضرورة مع التركيز بحدة على الصورة المستهدفة الحالية.
• التحكم في الميزانية: لمنع الحلقات اللانهائية، تم فرض ميزانيات للرموز (على سبيل المثال، 256 رمزاً لكل خطة، و192 لكل تركيز، بحد أقصى 12 دورة).

3. المساهمات الرئيسية

1. تحليل ديناميكيات الانتباه: تقدم الورقة أول تحليل مفصل لأنماط انتباه النص إلى الصورة (T2I) أثناء سلسلة الأفكـات متعددة الصور، كاشفة عن ظاهرة "النبض المشتت" ومؤكدة التحيز الموضعي على مستوى الانتباه الداخلي.
2. إطار عمل PulseFocus: طريقة مبتكرة لا تتطلب تدريباً، تجمع بين التلقين المهيكل وبوابة الانتباه الناعمة لمحاذاة الاستدلال اللفظي مع الانتباه البصري.
3. التحقق التجريبي: أثبتت الطريقة تحسينات متسقة عبر عدة نماذج رائدة (InternVL3.5، Qwen3-VL) واختبارات مرجعية دون الحاجة لإعادة تدريب النماذج.

4. النتائج التجريبية

تم تقييم الطريقة باستخدام MuirBench، و BLINK، و Visual Haystacks باستخدام نماذج InternVL3.5 و Qwen3-VL.

• اختبار BLINK المرجعي: حقق PulseFocus تحسناً في الدقة بنسبة +3.73% على نموذج InternVL3.5-8B (من 50.45% إلى 54.18%) و +0.85% على Qwen3-VL-2B.
• اختبار MuirBench المرجعي: حقق تحسناً بنسبة +1.07% على InternVL3.5-8B و +0.82% على Qwen3-VL-4B.
• أداء المهام الفرعية: لوحظت أكبر المكاسب في المهام التي تتطلب مقارنة منهجية، مثل الاستدلال متعدد المنظور (+15.79%)، و التطابق الوظيفي (+5.38%)، و العلاقة المكانية (+4.90%).
• التحليل النوعي: أظهرت دراسات الحالة (مثل MuirBench #342 و #359) بصرياً كيف يصحح PulseFocus "الارتباك في الهوية". في النماذج الأساسية، كانت الرموز التي تصف الصورة 5 تظهر أوزان انتباه موزعة عبر جميع الصور؛ ومع PulseFocus، تركزت كتلة الانتباه بشكل حصري تقريباً على الصورة المستهدفة، مما أدى إلى إجابات صحيحة.

5. الأهمية والعمل المستقبلي

• كفاءة وقت الاستنتاج: يوفر PulseFocus حلاً منخفض التكلفة لفشل الاستدلال المعقد دون الأعباء الحسابية لإعادة الضبط الدقيق (fine-tuning) أو تدريب نماذج جديدة.
• رؤية الآلية: يسلط الضوء على أن تحسين أداء الاستدلال لا يتطلب دائماً المزيد من البيانات أو المعلمات، بل يتطلب محاذاة أفضل للانتباه بين الحالة الداخلية للنموذج وخطوات الاستدلال المولدة.
• الاتجاهات المستقبلية: يقترح المؤلفون توسيع هذا النهج عبر التعلم التعزيزي (مثل GRPO) لتدريب النماذج صراحةً على التنسيق المتداخل، وتوسيع التقييم ليشمل اختبارات مرجعية أكثر تنوعاً.

في الختام، يثبت PulseFocus أن هيكلة عملية الاستدلة وفرض التركيز في الانتباه من خلال البوابة الناعمة يمكن أن يقلل بشكل كبير من أخطاء "الهلوسة" و"الارتباك" السائدة في نماذج الرؤية واللغة متعددة الصور الحالية.