TARAC: Mitigating Hallucination in LVLMs via Temporal Attention Real-time Accumulative Connection

إليك ملخص تقني مفصل لورقة البحث "TARAC: Mitigating Hallucination in LVLMs via Temporal Attention Real-time Accumulative Connection".

1. بيان المشكلة

تعاني نماذج الرؤية واللغة الكبيرة (LVLMs) من الهلوسة (توليد محتوى غير مدعوم بالمدخلات البصرية)، مما يحد من نشرها العملي. وبينما توجد استراتيجيات تخفيف حالية، إلا أنها تواجه عيبين رئيسيين:

• الطرق القائمة على التدريب: تتطلب إعادة تدريب مكثفة، أو تنقيح بيانات، أو تعلم تعزيزي، وهو أمر مكلف حاسوبياً ويستهلك الكثير من الموارد.
• الطرق الخالية من التدريب: غالباً ما تعتمد على آليات ثقيلة حاسوبياً مثل فك التشفير التبايني (الذي يتطلب عمليات تمرير أمامي متعددة) أو التراجع (backtracking)، مما يؤدي إلى تأخير كبير في زمن الاستدلال وزيادة في استهلاك الذاكرة.

الملاحظة الجوهرية: حدد المؤلفون أن السبب الرئيسي للهلوسة هو تلاشي الانتباه البصري أثناء عملية توليد الرموز (tokens). فكلما ولد النموذج المزيد من الرموز النصية، يتضاءل انتباهه للرموز الصورية تدريجياً. وغالباً ما تحدث الجمل المهلوسة تحديداً عندما ينخفض مستوى هذا الانتباه البصري إلى مستويات متدنية.

2. المنهجية: TARAC

يقترح المؤلفون TARAC (الربط التراكمي للاتصال الزمني للانتباه)، وهو إطار عمل مبتكر، خالٍ من التدريب، وقابل للتركيب المباشر (plug-and-play)، مصمم لمواجهة تلاشي الانتباه البصري. مستلهماً من آليات التعزيز المعرفي (تحديداً منحنى النسيان لإبينغهاوس)، يقوم TARAC بتجميع وإعادة حقن الانتباه التاريخي ديناميكياً للحفاظ على التجذر البصري.

يعمل الإطار عبر ثلاث خطوات أثناء توليد كل رمز:

أ. تراكم الانتباه على الرموز الصورية

• الاستخراج: بالنسبة للرمز الجاري توليده عند الخطوة الزمنية $t$، يستخرج النموذج أوزان الانتباه الموجهة نحو الرموز الصورية عبر جميع رؤوس الانتباه. يستخدم المؤلفون دالة التجميع الأقصى (max-pooling) عبر الرؤوس لالتقاط المعلومات البصرية الأكثر بروزاً، بدلاً من المتوسط (الذي قد يخفف الإشارات الرئيسية).
• تحديث الذاكرة: يتم الحفاظ على توزيع انتباه تراكمي ($\hat{A}_t$). بالنسبة لـ $t > 1$، يتم دمج الانتباه الحالي مع الانتباه التراكمي السابق باستخدام عامل اضمحلال $\alpha$ (حيث $0 \le \alpha \le 1$):
  $$\hat{A}_t = \alpha \bar{A}_t + (1 - \alpha) \hat{A}_{t-1}$$
  تضمن هذه الآلية إعطاء النموذج الأولوية للمثيرات البصرية الحديثة مع الاحتفاظ بذاكرة للتركيز البصري السابق، مما يمنع الانتباه من التلاشي تماماً.

ب. حقن الانتباه المتراكم

• يتم إعادة حقن الانتباه المتراكم $\hat{A}_t$ في توزيع انتباه الرمز الحالي للرموز الصورية.
• يتم التحكم في ذلك بواسطة معامل قياس $\beta$:
  $$A_t[:, -1, \text{image\_tokens}] = A_t[:, -1, \text{image\_tokens}] + \beta \cdot \hat{A}_t$$
• تفرض هذه الخطوة على النموذج الحفاظ على تركيز قوي على المحتوى البصري حتى مع طول تسلسل التوليد.

ج. إعادة التطبيع (Re-normalization)

• بما أن حقن الانتباه يغير مجموع صف الانتباه، يطبق المؤلفون تطبيع مجموع الصف (row-sum normalization) على الصف الأخير من مصفوفة الانتباه. هذا يحافظ على الطبيعة الاحتمالية لآلية الانتباه (التي يكون مجموعها 1) مع ضمان الحفاظ على التركيز المعزز على الرموز الصورية دون الإخلال بالتوزيع النسبي للرموز الأخرى.

نطاق التنفيذ: يتم تطبيق الطريقة فقط ضمن نطاق محدد من طبقات المحولات (Transformer layers) (عادةً الطبقات الوسطى)، حيث تختلف قدرات الإدراك البصري عبر عمق الشبكة.

3. المساهمات الرئيسية

1. إطار عمل مبتكر خالٍ من التدريب: يعد TARAC أول طريقة تعالج صراحةً التلاشي الزمني للانتباه البصري أثناء التوليد من خلال تجميع وإعادة حقن أوزان الانتباه التاريخية ديناميكياً.
2. كفاءة استثنائية: على عكس طرق فك التشفير التبايني أو التراجع التي تتطلب عمليات تمرير أمامي متعددة، لا يضيف TARAC سوى ~4% من وقت إنتاج الرمز (TPOT) واستهلاك ضئيل جداً لذاكرة وحدة معالجة الرسومات (~0.02 ميجابايت).
3. توافق "التركيب والتشغيل": لا يتطلب أي تعديلات في البنية أو إعادة تدريب، ويعمل بسلاسة عبر نماذج LVLMs متنوعة (LLaVA-1.5, Qwen2-VL, InternVL2).
4. تقييم شامل: أظهرت الطريقة أداءً فائقاً عبر عدة اختبارات مرجعية، متفوقة بشكل كبير على النماذج المرجعية (SOTA) الخالية من التدريب مثل VCD وAGLA وOPERA.

4. النتائج التجريبية

قيم المؤلفون TARAC على عدة اختبارات مرجعية (CHAIR, AMBER, SHR, MME) باستخدام نماذج مثل LLaVA-1.5-7B وQwen2-VL-7B وInternVL2-8B.

• تقليل الهلوسة:
  • CHAIR: قلل الجمل المهلوسة (CS) بنسبة 25.2% والأجسام المهلوسة (CI) بنسبة 8.7% مقارنة بالنموذج الأساسي.
  • SHR: تفوق على VCD وAGLA وOPERA بنسبة 31.3% و23.3% و~19.5% على التوالي في نسبة الجمل المهلوسة.
  • AMBER: قلل معدلات الهلوسة بشكل كبير مع الحفاظ على تغطية تنافسية.
• تحسين الإدراك:
  • MME: حسن درجة الإدراك بمقدار +10.65 في Qwen2-VL و**+14.18** في LLaVA-1.5، مما يشير إلى قدرات تمييزية أكثر حدة فيما يتعلق بالوجود، والعدد، والموقع، واللون.
• الكفاءة:
  • تسبب TARAC في زيادة قدرها 4% فقط في وقت الاستدلال.
  • في المقابل، تسببت الطرق المنافسة مثل OPERA في زيادة زمن التأخير بمقدار 7.79 ضعفاً، بينما تسببت طرق التباين (VCD/AGLA) في تأخير بنحو 2.2 ضعف مع أعباء ذاكرة هائلة (تصل إلى 5 جيجابايت).
• جودة النص:
  • أظهر تحليل الارتباك (Perplexity) أن TARAC يحافظ على السلاسة اللغوية (بل ويحسنها غالباً) مقارنة بطرق التخفيف الأخرى، محققاً مقايضة "الجودة مقابل الكمية" عبر إنتاج أوصاف موجزة ودقيقة واقعياً.

5. الأهمية

يمثل TARAC تحولاً نوعياً في الحد من الهلوسة من خلال معالجة الديناميكيات الزمنية للانتباه بدلاً من الاعتماد على التدخلات الثابتة أو إعادة التدريب المكلفة.

• النشر العملي: تجعل تكلفته الحسابية المنخفضة منه خياراً قابلاً للتطبيق في التطبيقات التي تعمل بالزمن الحقيقي حيث تكون قيود زمن التأخير والذاكرة حرجة.
• الرؤية الميكانيكية: يؤكد صحة الفرضية القائلة بأن الهلوسة مرتبطة مباشرة بتلاشي الانتباه البصري خلال تسلسلات التوليد الطويلة.
• القدرة على التعميم: من خلال عمله كوحدة خفيفة الوزن قابلة للتطبيق على بنيات مختلفة، فإنه يقدم حلاً عالمياً لتحسين موثوقية نماذج LVLMs دون تكلفة إعادة التدريب.

في الختام، يجسّر TARAC بفعالية الفجوة بين الأداء العالي والكفاءة، ويقدم حلاً قوياً لواحد من أكثر التحديات استمراراً في نمذجة الرؤية واللغة.