Selective Aggregation of Attention Maps Improves Diffusion-Based Visual Interpretation

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التجميع الانتقائي لخرائط الانتباه يحسن التفسير البصري القائم على الانتشار (Diffusion)."

1. بيان المشكلة

تعتمد نماذج توليد الصور من النصوص (T2I)، مثل Stable Diffusion، بشكل كبير على آليات الانتباه المتقاطع (cross-attention mechanisms) لمواءمة النصوص مع توليد الصور. وبينما استخدمت الأبحاث السابقة (مثل DAAM) خرائط الانتباه المتقاطع لتفسير سلوك النموذج والقيام بمهام مثل التجزئة (segmentation)، إلا أن هذه الطرق عادة ما تقوم بـ تجميع خرائط الانتباه عبر جميع رؤوس الانتباه (attention heads) بشكل عشوائي وغير متمايز.

حدد المؤلفون فجوة حرجة: تمتلك رؤوس الانتباه المختلفة داخل نموذج (T2I) خصائص متميزة؛ فبعض الرؤوس متخصصة للغاية في مفاهيم بصرية محددة، بينما تكون رؤوس أخرى أقل صلة. الطرق الحالية التي تعتمد متوسط جميع الرؤوس قد تؤدي إلى تخفيف الإشارات الخاصة بالمفهوم بسبب الضجيج الناتج عن الرؤوس غير ذات الصلة، مما يؤدي إلى تفسير بصري غير مثالي ودقة تجزئة دون المستوى. تهدف الورقة إلى تحديد ما إذا كان التجميع الانتقائي فقط لرؤوس الانتباه الأكثر صلة يمكن أن يحسن التفسير البصري وأداء التجزئة.

2. المنهجية

يتكون النهج المقترح من ثلاث مراحل رئيسية:

أ. التمهيد والنماذج المرجعية (Baselines)

• آلية الانتباه المتقاطع: في نماذج (T2I)، تكشف خريطة الانتباه المتقاطع $M^{(h)}_t$ عند الرأس $h$ والخطوة الزمنية $t$ عن توزيع الاحتمالات لرموز النص (tokens) عبر المواقع المكانية للصورة.
• طريقة DAAM (خريطة الانتباه القائمة على الانتشار): الطريقة المرجعية القياسية التي تحسب متوسط خرائط الانتباه عبر جميع الرؤوس $H$ وجميع الخطوات الزمنية $T$ لإنشاء خريطة مجمعة واحدة لرمز نصي معين.
• متجه صلة الرأس (HRV - Head Relevance Vector): استفاد المؤلفون من طريقة من عمل سابق (HRV) لقياس مدى صلة كل رأس انتباه بمفاهيم بصرية محددة. يتضمن ذلك توليد كلمات مفاهيمية، وتشفيرها، وقياس قوة تنشيطها عبر الرؤوس لإنشاء متجه درجات صلة.

ب. التجميع الانتقائي لخرائط الانتباه

بدلاً من حساب متوسط جميع الرؤوس، يقترح المؤلفون استراتيجية التجميع الانتقائي:

1. التسجيل (Scoring): استخدام طريقة (HRV) لتسجيل كل رأس انتباه بناءً على صلته بمفهوم مستهدف (مثل "الحيوانات").
2. الاختيار (Selection): اختيار أفضل $k$ من رؤوس الانتباه (على سبيل المثال، أفضل 20-25%، وتحديداً 30 رأساً في تجاربهم) ذات أعلى درجات صلة.
3. التجميع (Aggregation): حساب خريطة الانتباه النهائية ($\hat{M}^{Ours}$) عن طريق حساب متوسط الخرائط فقط من هذه المجموعة المختارة من الرؤوس ($H_n$)، بدلاً من المجموعة بأكملها.
   $$\hat{M}^{Ours} = \frac{1}{|H_n|} \sum_{h \in H_n} F_h \left( \frac{1}{T} \sum_{t=1}^{T} M^{(h)}_t \right)$$
   (حيث $F_h$ هو الاستيفاء ثنائي التكعيب (bicubic interpolation) لمطابقة دقة الصورة).

ج. بروتوكول التقييم

• مجموعة البيانات: 100 صورة تم توليدها باستخدام Stable Diffusion v1.4 باستخدام مطالبات (prompts) بصيغة "photo of a {animal}" (10 أنواع من الحيوانات).
• الحقيقة الأرضية (Ground Truth): خرائط تجزئة دلالية تم إنشاؤها باستخدام Grounded-SAM.
• المقياس: مقياس متوسط التقاطع فوق الاتحاد (Mean IoU) المحسوب عن طريق تطبيق عتبة (thresholding) على خرائط الانتباه المجمعة عند 0.3 و0.4 و0.5 ومقارنتها بالحقيقة الأرضية.

3. المساهمات الرئيسية

1. إطار التجميع الانتقائي: قدمت الورقة طريقة لتصفية رؤوس الانتباه بناءً على صلة المفهوم قبل التجميع، مما يثبت أن ليس كل الرؤوس تساهم بالتساوي في مفهوم معين.
2. تحسين الأداء: يتفوق النهج الانتقائي على طريقة DAAM القياسية في تجزئة الكائنات القائمة على الانتشار، محققاً درجات IoU أعلى.
3. القدرة التشخيصية: توفر الطريقة أداة لتشخيص سوء تفسير المطالبات (prompts). من خلال عزل الرؤوس ذات الصلة بمفاهيم محددة (مثل "الحيوانات" مقابل "الإلكترونيات")، يمكن للمؤلفين شرح سبب توليد النموذج لتفسيرات متعددة لكلمة غامضة (مثل "mouse" كحيوان مقابل "mouse" كجهاز كمبيوتر) بصرياً.
4. رؤى الدراسة الاستقصائية (Ablation Insights): أكدت الدراسة أن استخدام الرؤوس الأقل صلة يؤدي إلى تجزئة سيئة للغاية، مما يثبت أن التجميع غير المتمايز هو نهج غير مثالي.

4. النتائج التجريبية

• النتائج الكمية (التجزئة):

  • حققت الطريقة المقترحة باستمرار درجات Mean IoU أعلى من DAAM عبر جميع العتبات المختبرة (0.3، 0.4، 0.5).
  • مثال: عند عتبة 0.4، سجلت DAAM درجة 0.7540، بينما سجلت الطريقة المقترحة 0.7765.
  • تأثير اختيار الرؤوس: استخدام أفضل 30 رأساً أكثر صلة بـ "الحيوانات" أعطى IoU قدره 0.7765 (عند عتبة 0.4)، بينما أدى استخدام أسوأ 30 رأساً (الأقل صلة) إلى انخفاض الدرجة إلى 0.6172.

• النتائج النوعية:

  • تُظهر التصورات أن DAAM غالباً ما تسلط الضوء على مناطق "التركيز غير المرغوب فيه" أو تفتقر إلى التركيز على الكائن المستهدف.
  • ينتج الأسلوب الانتقائي أقنعة (masks) أكثر نظافة وتتوافق بدقة أكبر مع الكائنات المستهدفة.

• تشخيص سوء التفسير:

  • في دراسة حالة للمطالبة "A mouse and other office objects"، ولد النموذج كلاً من القارض (الجرذ) وفأرة الكمبيوتر.
  • التصور الانتقائي: ركزت مجموعة رؤوس "الحيوانات" فقط على القارض، بينما ركزت مجموعة رؤوس "الإلكترونيات" فقط على فأرة الكمبيوتر.
  • تصور DAAM: أظهر التركيز على كلا الكائنين في آن واحد، مما جعل من الصعب التمييز بين مصدر الغموض.

• الدراسة الاستقصائية (Ablation Study):

  • كشفت اختبار أعداد مختلفة من الرؤوس المختارة (20، 30، 40) أن اختيار 30 رأساً (حوالي 23% من إجمالي 128 رأساً في SD v1) وفر التوازن الأمثل للأداء.

5. الأهمية والعمل المستقبلي

• القابلية للتفسير: ينقل هذا العمل النموذج من "متوسط كل شيء" إلى "اختيار الأفضل"، مما يوفر عدسة أكثر دقة لكيفية معالجة نماذج (T2I) للمعلومات الدلالية.
• القابلية للتحكم: من خلال فهم أي الرؤوس تدفع مفاهيم معينة، يمكن للمطورين التحكم بشكل أفضل في عملية التوليد أو تصحيح أخطاء النموذج.
• القابلية للتعميم: بينما تركز الدراسة الحالية على Stable Diffusion v1.4 وفئة "الحيوانات"، يرى المؤلفون أنه بما أن آليات الانتباه هي أساسية لنماذج (T2I)، فإن هذه النتائج من المرجح أن تعمم على بنيات ومفاهيم أخرى.
• الاتجاهات المستقبلية: يخطط المؤلفون لتوسيع مفردات المفاهيم إلى ما وراء الحيوانات وتطبيق الطريقة على بنيات متنوعة من (T2I) لمزيد من التحقق من النهج.

الخاتمة

تثبت الورقة أن التجميع الانتقائي لخرائط الانتباه هو استراتيجية متفوقة للتفسير البصري في نماذج الانتشار. من خلال تصفية رؤوس الانتباه غير ذات الصلة والتركيز فقط على تلك الأكثر استجابة لمفهوم مستهدف، تحسن الطريقة بشكل كبير دقة التجزئة (IoU) وتوفر أداة تشخيصية قوية لفهم وتصحيح سوء تفسير النموذج.