DEX-AR: A Dynamic Explainability Method for Autoregressive Vision-Language Models

إليك ملخص تقني مفصل لورقة البحث "DEX-AR: طريقة تفسير ديناميكية لنماذج الرؤية واللغة ذات التوليد الذاتي (Autoregressive)".

١. بيان المشكلة

حققت نماذج الرؤية واللغة (VLMs) مثل LLaVA وPaliGemma وGPT-4o نجاحاً ملحوظاً في سد الفجوة بين الفهم البصري وتوليد اللغة الطبيعية. ومع ذلك، لا يزال فهم عمليات اتخاذ القرار لديها تحدياً كبيراً بسبب طبيعتها ذات التوليد الذاتي (Autoregressive nature).

تواجه طرق التفسير الحالية ثلاثة قيود أساسية عند تطبيقها على نماذج الرؤية واللغة الحديثة ذات التوليد الذاتي:

• الاستاتيكية مقابل الديناميكية: صُممت الطرق التقليدية (مثل Grad-CAM وAttention Rollout) لمهام التصنيف ذات المخرجات الثابتة. وهي تفشل في التقاط عملية التوليد الديناميكية (token-by-token) حيث يتغير انتباه النموذج عند كل خطوة.
• دقة التجزئة (Token Granularity): تفتقر النهج الحالية غالباً إلى الدقة اللازمة للتمييز بين الرموز المرتبطة بصرياً (visually-grounded tokens) (مثل "كلب"، "أحمر") وبين الرموز اللغوية الحشوية (linguistic filler tokens) (مثل "الـ"، "يكون"، "أداة"). ويؤدي تجميع التفسيرات دون هذا التمييز إلى خرائط حرارية مشوشة تسلط الضوء على مناطق خلفية غير ذات صلة.
• ضجيج الانتباه (Attention Noise): لا تساهم جميع رؤوس الانتباه (attention heads) بالتساوي في الاستنتاج البصري. فالعديد من الرؤوس تركز على السياق النصي أو الهياكل النحوية. إن تطبيق أوزان الانتباه أو التدرجات القياسية دون تصفية يؤدي إلى إدخال الضجيج، مما يحجب المحركات البصرية الحقيقية لتنبؤات النموذج.

٢. المنهجية: DEX-AR

يقترح المؤلفون DEX-AR (التفسير الديناميكي للنماذج ذات التوليد الذاتي)، وهو طريقة تعتمد على التدرج (gradient-based) مصممة لإنشاء خرائط حرارية ثنائية الأبعاد لكل رمز (per-token) وعلى مستوى التسلسل (sequence-level). تعمل الطريقة على مبدأ حساب التدرجات لكل طبقة بالنسبة لخرائط الانتباه أثناء عملية التوليد.

المكونات الأساسية:

1. حساب التدرج على مستوى الطبقة:

   • بدلاً من الاعتماد فقط على طبقة المخرجات النهائية، يقوم DEX-AR بحساب اللوغيت الوسيط ($o_{l,t}$) عند كل طبقة $l$ وخطوة توليد $t$ باستخدام نهج "عدسة اللوغيت" (Logit Lens).
   • يقوم بحساب تدرج اللوغيت للرمز المتوقع بالنسبة لخرائط الانتباه ($A_{l,t}$) في طبقات المحولات (transformer layers): $\nabla A_{l,t} = \frac{\partial \hat{o}_{l,t}}{\partial A_{l,t}}$.
   • يعزل التدرجات المقابلة للرمز الأخير (الذي يتم التنبؤ به) ويستخرج تحديداً أوزان الانتباه الموجهة نحو الرموز البصرية ($Z_v$).

2. تصفية الرؤوس الديناميكية (على مستوى الطبقة/الرأس):

   • لا تركز جميع رؤوس الانتباه على الصورة. يقدم DEX-AR آلية لوزن رؤوس الانتباه بناءً على تركيزها.
   • لكل رأس $i$، يحسب الحد الأقصى لمقدار التدرج للرموز البصرية ($S_{img}$) مقابل الرموز النصية ($S_{text}$).
   • يتم حساب عامل الوزن: $w_{l,t,i} = \max(0, S_{img} - S_{text})$.
   • تساهم فقط الرؤوس ذات الفرق الموجب (التي تشير إلى تركيز أقوى على المحتوى البصري من النص) في الخريطة الحرارية النهائية. يعمل هذا فعلياً على تصفية الرؤوس التي تركز فقط على السياق اللغوي.

3. تصفية التسلسل (على مستوى الرمز):

   • للتمييز بين الكلمات ذات المحتوى والكلمات الحشوية، يقوم DEX-AR بتجميع التفسيرات لكل رمز باستخدام وزن خاص بالرمز $\delta_t$.
   • يتم حساب $\delta_t$ من خلال مقارنة أقصى حساسية بصرية مقابل الحساسية النصية عبر جميع الطبقات والرؤوس لذلك الرمز المحدد.
   • يتم كبح الرموز المدفوعة أساساً بالنماذج اللغوية المسبقة (حساسية بصرية منخفضة)، بينما يتم تضخيم الرموز التي تتطلب أدلة بصرية.

4. توليد الخريطة الحرارية النهائية:

   • الخريطة الحرارية لكل رمز $E(t)$ هي مجموع أوزان التدرجات المصفاة عبر الطبقات والرؤوس، والتي يتم إعادة تشكيلها إلى شبكة ثنائية الأبعاد.
   • الخريطة الحرارية على مستوى التسلسل هي المجموع الموزون لجميع الخرائط الحرارية لكل رمز، مع تطبيعها لإنتاج خريطة التوزيع النهائية.

٣. المساهمات الرئيسية

1. إطار عمل جديد قائم على التدرج: طريقة تفسير متخصصة لنماذج الرؤية واللغة ذات التوليد الذاتي، تتعامل مع عملية التوليد رمزاً تلو الآخر من خلال الاستفادة من تدرجات الطبقات الوسيطة وخرائط الانتباه.
2. آلية تصفية مزدوجة: نهج عام يقوم بتصفية:
   • رؤوس الانتباه: إعطاء الأولوية لتلك التي تركز على المعلومات البصرية.
   • الرموز: التمييز بين المحتوى المرتبط بصرياً والحشو اللغوي.
3. بروتوكول تقييم جديد: تقديم PascalVOC-QA، وهو مجموعة بيانات متخصصة مع تسميات توضيحية (ground-truth) تميز بين الكلمات الحشوية وكلمات المحتوى، ومقياس الارتباك المعياري (normalized perplexity) للتقييم القائم على الاضطراب.
4. استقلالية النموذج: تعمل الطريقة عبر بنيات متنوعة (Decoder-only, Encoder-Decoder, Prefix-Decoder) بالاعتماد على التدرج العالمي لآليات الانتباه في المحولات (Transformers).

٤. النتائج التجريبية

قام المؤلفون بتقييم DEX-AR على ImageNet وVQAv2 وPascalVOC باستخدام نماذج مثل LLaVA-1.5 وBakLLaVA وPaliGemma وFlorence-2.

• مقاييس الاضطراب (ImageNet/VQAv2):

  • حقق DEX-AR أعلى مساحة تحت المنحنى (AUC) للاضطراب الإيجابي (إزالة البكسلات المهمة)، مما يشير إلى أن إزالة المناطق التي تسلط DEX-AR الضوء عليها تسبب أكبر انخفاض في ثقة النموذج (الارتباك).
  • في نموذج BakLLaVA، حقق DEX-AR مساحة تحت المنحنى موجبة قدرها 18.10، متفوقاً بشكل كبير على النماذج المرجعية مثل Attn×Grad (12.60) وRISE (6.39).
  • كما أظهر درجات اضطراب سلبية متفوقة، حيث حدد المناطق غير ذات الصلة بشكل صحيح.

• مقاييس التجزئة (PascalVOC):

  • أظهر DEX-AR تحسينات جوهرية في IoU وSoft-IoU. بالنسبة لنموذج LLaVA-1.5، حقق IoU بنسبة 36.34% وSoft-IoU بنسبة 17.70%، مما يمثل تحسناً نسبياً بنسبة ~73% عن أفضل طريقة تالية.
  • كانت درجات لعبة توجيه الطاقة (EPG) هي الأعلى أيضاً، مما يؤكد دقة تحديد المواقع للأجسام.

• تجربة تصفية الاستبعاد (PascalVOC-QA):

  • أدى نهج التصفية المزدوجة إلى تحسين نسبة الإشارة إلى الضوضاء (SNR) بشكل هائل من 9.16 (النموذج المرجعي) إلى 96.12.
  • يؤكد هذا قدرة الطريقة على كبح الكلمات الحشوية بفعالية وعزل المحتوى البصري.

• الكفاءة: يعد DEX-AR أسرع بكثير من طرق الاضطراب التكرارية (مثل RISE) وطرق التدرج المعقدة (مثل Integrated Gradients)، مع أوقات استنتاج مماثلة لتصورات الانتباه القياسية.

٥. الأهمية والأثر

• معالجة فجوة حرجة: يسد DEX-AR فجوة كبيرة في قابلية تفسير نماذج الرؤية واللغة من خلال توفير طريقة مصممة خصيصاً للطبيعة الديناميكية والمتسلسلة للتوليد الذاتي، والتي لم تستطع الطرق الساكنة السابقة معالجتها بشكل كافٍ.
• تحسين الموثوقية: من خلال التمييز بين التأسيس البصري والنماذج اللغوية المسبقة، يساعد DEX-AR في تحديد أنماط الفشل (مثل الهلوسة أو الارتباطات الزائفة) بدقة أكبر من الأدوات الحالية.
• المتانة: أثبتت الطريقة متانتها ضد تشوهات الصور (الضوضاء، الضبابية) والآثار الهيكلية مثل "رموز السجل" (register tokens) في محولات الرؤية (Vision Transformers)، والتي غالباً ما تخدع طرق الانتباه القياسية.
• التطبيق العملي: القدرة على إنشاء خرائط حرارية نظيفة متمحورة حول الأجسام تجعل من DEX-AR أداة قيمة لنشر نماذج الرؤية واللغة في المجالات عالية الخطورة (مثل الأنظمة ذاتية القيادة، والتصوير الطبي) حيث يكون فهم الاستنتاج البصري للنموذد أمراً حيوياً للثقة والسلامة.

باختصار، يمثل DEX-AR تقدماً كبيراً في مجال الذكاء الاصضي القابل للتفسير (XAI) للنماذج متعددة الوسائط، حيث ينتقل من تفسيرات التصنيف الساكنة إلى تحليل الاستنتاج البصري الديناميكي، الدقيق، والمدرك لغوياً.