ملخص تقني: تصحيح الضبابية البصرية الناجمة عن تشتت الانتباه للحد من الهلوسة

1. بيان المشكلة

تعاني نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) بشكل متكرر من هلوسة الأشياء، حيث تولد أوصافاً واثقة ولكن خاطئة للمدخلات البصرية (مثل نسب أشياء غير موجودة أو سمات غير صحيحة). وبينما توجد استراتيجيات تخفيف حالية — تتراوح بين استرجاع المعرفة الخارجية والضبط الدقيق إلى تعديل الانتباه والتعلم التبايني — إلا أنها غالباً ما تعاني من ثلاث فجوات رئيسية:

1. الاعتماد على الموارد: تعتمد العديد من الطرق على موارد مساعدة، أو مجموعات بيانات ضخمة، أو أوقات معالجة ممتدة (مثل فك التشفير القائم على الاسترجاع).
2. عدم كفاية الفهم الآلي: لا تزال آليات الإدراك البصري الكامنة وراء الهلوسة غير مستكشفة بشكل كافٍ. غالباً ما تعزو الأعمال السابقة الهلوسة حصرياً إلى انحيازات جانب اللغة (مثل القصور الذاتي للنص)، متجاهلةً التشوهات في التفسير البصري.
3. الفجوات الزمكانية والنظرية: تدرس دراسات قليلة بشكل مشترك الهلوسة من خلال منظور ديناميكيات الانتباه المكاني والتدهور الزمني. علاوة على ذلك، فإن الرابط النظري بين تشتت الانتباه وقدرة النموذج على التعميم لا يزال غير موصوف بدقة.

يفترض المؤلفون أن الهلوسة ترتبط بقوة بـ ظاهرة تشتت الانتباه الشبيهة بالبشر، حيث يؤدي التركيز المنقسم إلى تدهور الوضوح البصري. وفي نماذج (MLLMs)، يتجلى هذا في عدم الاتساق المكاني في الانتباه متعدد الرؤوس والتلاشي الزمني للانتباه تجاه رموز الصور أثناء فك التشفير التوليدي التلقائي.

2. المنهجية: نهج التركيز على الانتباه لتحسين الإدراك الصوري (AFIP)

يقترح البحث إطار عمل AFIP، وهو إطار عمل جاهز للاستخدام (plug-and-play) ولا يتطلب تدريباً، مصمم لتصحيح تشتت الانتباه دون تكبد تكالوف إضافية في وقت الاستنتاج. يعمل الأسلوب على جبهتين رئيسيتين:

أ. تصحيح تشتت الانتباه على مستوى الرأس (الاتساق المكاني)

بناءً على النتيجة التي تشير إلى أن الرموز المهلوسة تظهر انتباهاً مشتتاً وعدم اتساق عالٍ بين الرؤوس، يقوم AFIP بتجميع المعلومات من رؤوس انتباه متعددة لتحديد الإشارات الإدراكية الموثوقة.

• الآلية: لكل طبقة، تختار الطريقة أفضل ($k$) رؤوس انتباه تظهر أقوى استجابة لرموز الصور.
• التصحيح: تقوم الطريقة بحساب المتوسط ($Avg$) والتباين ($Var$) لدرجات الانتباه عبر هذه الرؤوس المختارة. ثم يتم تعديل درجات الانتباه عن طريق إثراء المعلومات المفيدة ومعاقبة الاستجابات غير المتسقة:
  $$\hat{B}^{(l,h)}_t(at, i) = B^{(l,h)}_t(at, i) + Avg^{(l)} - \alpha Var^{(l)}$$
  حيث يعمل $\Delta^{(l)}_1 = Avg^{(l)} - \alpha Var^{(l)}$ كعنصر تنظيم لقمع الانتباه غير المتسق وتركيز التركيز على المناطق البصرية البارزة.

ب. تعزيز الانتباه التاريخي الديناميكي (الاتساق الزمني)

لمعالجة التدهور التدريجي للانتباه البصري (التلاشي الزمني) أثناء التوليد طويل المدى، يقوم AFIP بإعادة دمج المعلومات البصرية التاريخية.

• الآلية: تقوم نافذة تاريخية ثابتة الطول بتخزين درجات الانتباه البصري من خطوات فك التشفير السابقة. تحدد الطريقة أكثر الرموز النصية التاريخية صلة وتدمج الانتباه البصري التاريخي المقابل في الحالة الحالية:
  $$\tilde{B}^{(l,h)}_t(at, j) = \hat{B}^{(l,h)}_t(at, j) + \gamma C^{(l,h)}_{t-1-r^{(l,h)}_t}(s+j)$$
  حيث يمثل $\Delta^{(l,h)}_2$ عنصر التعزيز التاريخي.
• البوابة الديناميكية: لمنع التعديل المفرط الذي قد يعطل التوليد السلس أو يتجاهل السياق النصي الضروري، يتم استخدام آلية بوابة ديناميكية. تقوم بحساب الفجوة ($D^{(l,h)}_t$) بين أقصى درجة انتباه فوق المناطق البصرية وأقصى درجة فوق المناطق النصية. إذا كان الانتباه النصي مهيمناً بشكل كبير ($D^{(l,h)}_t \geq \tau$)، يتم كبح التعديل لتجنب التداخل مع الاستدلال المدفوع بالنص.

ج. الأساس النظري

يوفر البحث رؤى نظرية تربط تشتت الانتباه بتعقيد النموذج.

• تعقيد راديميخر (Rademacher Complexity): يشتق المؤلفون حداً أعلى لتعقيد راديميخر لبنية Transformer. ويوضحون أن الحد يتم تقليله عندما تساهم رؤوس الانتباه بشكل موحد (أي $a_1 = \dots = a_H = \bar{a}$). إن الانحرافات عن هذا التوحيد (زيادة عدم التجانس) تزيد من حد التعقيد، مما يضعف ضمانات التعميم.
• خطأ التعميم: يشير التحليل النظري إلى أن التعميم القوي ينشأ عندما تحافظ الرؤوس المتعددة على تركيز دلالي عالي الاتساق. إن عدم الاتساق عبر الرؤوس يضعف التمييز على مستوى الرمز، مما يزيد من احتمالية الهلوسة.

3. المساهمات الرئيسية

1. القياس الجديد: يعد هذا البحث الأول الذي يكشف عن قياس قوي بين الهلوسة الآلية والضبابية البصرية البشرية الناتجة عن تشتت الانتباه، من خلال تفكيك هذه الظاهرة إلى عدم اتساق مكاني (تباعد متعدد الرؤوس) وتوهن زمني (تلاشي بصري) داخل نماذج (MLLMs).
2. الرؤية النظرية: يثبت نظرياً أن التباينات عبر رؤوس الانتباه تزيد من تعقيد النموذج وتضعف التمييز على مستوى الرمز، مما يقلل من أداء التعميم العام.
3. إطار عمل AFIP: اقتراح AFIP، وهو وحدة برمجية لا تتطلب تدريباً، تقوم بتصحيح تشتت الانتباه عبر الإثراء المتبادل للرؤوس والتعزيز التاريخي الديناميكي، دون الحاجة لتدريب إضافي أو زيادة في زمن الاستنتاج.

4. النتائج التجريبية

أُجريت تجارب مكثفة على عدة معايير (CHAIR للتوليد طويل المدى، وPOPE لوجود الأشياء الثنائي) عبر خمسة نماذج (LLaVA-1.5-7B/13B, Shikra-7B, MiniGPT-4-7B, Qwen-VL).

• الأداء: تفوق AFIP باستمرار على النماذج المرجعية الرئيسية، بما في ذلك Greedy/Beam decoding، وOPERA، وVCD (التحليل التبايني)، وHGAI (تدخل الانتباه)، وMemVR (تدخل الحالة المخفية).
  • في اختبار CHAIR، حقق AFIP نتائج رائدة، حيث قلل معدل الهلوسة على مستوى الجملة (CS) بأكثر من 50% مقارنة باستراتيجيات فك التشفير العادية على LLaVA-1.5 وQwen-VL.
  • في اختبار POPE، حقق AFIP دقة ودرجات F1 رائدة عبر الإعدادات العشوائية (Random)، والشعبية (Popular)، والعدائية (Adversarial) لمعظم النماذج.
• المتانة: أظهرت الطريقة متانة عبر أطوال توليد متفاوتة (64 إلى 256 رمزاً)، حيث أظهرت مكاسب كبيرة خاصة في المهام ذات التسلسل الطويل حيث يكون التلاشي الزمني أكثر وضوحاً.
• دراسات الاستبعاد (Ablation Studies): أدى إزالة أي مكون (التصحيح المكاني، أو التعزيز التاريخي، أو البوابة الدينامية) إلى تدهور الأداء، مما يؤكد ضرورة إطار العمل الكامل.
• حساسية المعلمات: وُجد أن الطريقة غير حساسة إلى حد كبير لمعامل تنظيم التباين ($\alpha$) ومعامل التعزيز التاريخي ($\gamma$)، حيث يتم تحقيق الأداء الأمثل عموماً عندما يكون اختيار أفضل-$k$ من الرؤوس بين 5.5 و7.5، وعتبة البوابة ($\tau$) بين 0.4 و0.6.

5. الأهمية والادعاءات

يزعم البحث أن AFIP يعالج الأسباب الجذرية للهلوسة من خلال تصحيح "الضبابية البصرية" الناتجة عن تشتت الانتباه. ومن خلال مواءمة آليات الانتباه الداخلية للنموذج مع مبادئ الإدراك البصري المركز (الانتباه المكاني المركز والتركيز الزمني المستدام)، يعزز AFIC بشكل كبير من التأسيس البصري (Visual Grounding).

يؤكد المؤلفون أن نهجهم يقدم تدخلاً خفيف الوزن في وقت الاستنتاج لا يتطلب إعادة تدريب أو قواعد بيانات خارجية، مما يجعله مناسباً للنشر في التطبيقات الحساسة للوقت. يربط هذا العمل بين علم النفس الإدراكي البشري وبنية (MLLM)، مما يوفر حلاً عملياً وإطاراً نظرياً لفهم وتخفيف الهلوسة.