Learn to Rank: Visual Attribution by Learning Importance Ranking

إليك ملخص تقني مفصل لورقة البحث بعنوان "تعلم الترتيب: العزو البصري عبر تعلم ترتيب الأهمية" (التي تقترح إطار عمل AHA).

1. بيان المشكلة

تتناول الورقة تحدي العزو البصري (توليد خرائط حرارية لتفسير قرارات النموذج) للنماذج المعقدة في الرؤية الحاسوبية، وخاصة نماذج الـ Vision Transformers (ViT). تواجه الطرق الحالية "مقايضة ثلاثية الأبعاد":

• الطرق القائمة على الانتشار (Propagation-based methods) (مثل Grad-CAM وAttention Rollout): فعالة ومتسقة مع بنية النموذج، لكنها غالبًا ما تنحاز نحو الميزات منخفضة المستوى (الحواف) وتعتمد على بنية محددة. قد تفشل هذه الطرق في التقاط مسارات غير متعلقة بالانتباه (non-attention pathways) في نماذج Transformer.
• الطرق القائمة على الاضطراب (Perturbation-based methods) (مثل RISE وSHAP وMDA): متجذرة سببياً ومستقلة عن بنية النموذج، لكنها مكلفة حاسوبياً (تتطلب آلاف عمليات التمرير الأمامي). بالنسبة لنماذج ViT، غالبًا ما تعمل على مستوى الرموز (tokens) لكل رقعة (patch)، مما ينتج عنه عزو خشن ومجزأ يفتقر إلى الدقة على مستوى البكسل.
• الطرق القائمة على التعلم (المُقسطة/Amortized): سريعة عند الاستنتاج، ولكنها تعتمد عادةً على أهداف بديلة أو معلمين يعتمدون على قواعد استدلالية (مثل طرق العزو الأخرى)، مما يجعلها ترث انحيازاتهم أو تضع افتراضات مقيدة حول توزيع البيانات.

الفجوة الجوهرية: هناك نقص في وجود طريقة تكون متجذرة سببياً (مثل طريقة الاضطراب)، وفعالة (مثل الطرق القائمة على التعلم)، وقادرة على إنتاج تفسيرات كثيفة وعلى مستوى البكسل لنماذج Transformer دون الاعتماد على القواعد الاستدلالية.

2. المنهجية: العزو الهجين المُقسط (AHA)

يقترح المؤلفون إطار عمل AHA، وهو إطار تعلمي يعمل على تحسين مقاييس جودة العزو القياسية (الحذف والإدراج - Deletion and Insertion) مباشرة عبر عملية استرخاء قابلة للاشتقاق لعملية الترتيب.

أ. الهدف: التحسين المباشر للمقاييس

بدلاً من استخدام القواعد الاستدلالية، يقوم AHA بتدريب نموذج شارح $\Phi_{f,\theta}$ لتقليل مساحة حذف AUC (Deletion AUC) وتعظيم مساحة إدراج AUC (Insertion AUC).

• الحذف (Deletion): يقيس مدى سرعة انخفاض ثقة النموذج عند إزالة البكسلات ذات الأهمية العالية.
• الإدراج (Insertion): يقيس مدى سرعة ارتفاع الثقة عند إضافة البكسلات ذات الأهمية العالية إلى مرجع فارغ.
• التحدي: تتطلب هذه المقاييس فرز البكسلات حسب الأهمية وإنشاء أقنعة ثنائية، وهو ما يتضمن عمليات غير قابلة للاشتقاق (الفرز/الترتيب والتبديل).

ب. الاسترخاء القابل للاشتقاق عبر Gumbel-Sinkhorn

لتمكين التدريب من البداية إلى النهاية (end-to-end)، أعاد المؤلفون صياغة مشكلة الترتيب كمسألة تعلم تبديل (permutation learning):

1. التبديل الناعم (Soft Permutation): بدلاً من الترتيب الصلب، استخدموا خوارزمية Gumbel-Sinkhorn لتوليد مصفوفة تبديل ناعمة وثنائية التوزيع (doubly-stochastic) $P^{soft}$. وهي تقرب عملية ترتيب درجات العزو $a$ مقابل الرتب المستهدفة $p$.
2. أقنعة الـ Top-k الناعمة: من خلال أخذ المجموع التراكمي لصفوف مصفوفة التبديل الناعمة، يقومون بتوليد أقنعة top-k ناعمة ($m^{soft}$) بقيم مستمرة في النطاق $[0, 1]$.
3. الاضطراب القابل للاشتقاق: تُستخدم هذه الأقنعة الناعمة لمزج الصورة المدخلة مع صورة مرجعية (مثل صورة سوداء أو مموهة)، مما يخلق صوراً مضطربة قابلة للاشتقاق. يسمح هذا بتدفق التدرجات من مخرجات النموذج المستهدف عودةً إلى معاملات الشارح.

ج. كفاءة التدريب والمتانة

لجعل التدريب ممكناً للصور عالية الدقة، يستخدم AHA عدة استراتيجيات:

• التبديل القائم على المناطق (Region-Based Permutation): بدلاً من فرز $N$ من البكسلات الفردية، يتم تقسيم الصورة إلى شبكة $G \times G$. يحدث الترتيب على مستوى المنطقة، ويتم رفع حجم الأقنعة (upsampling). هذا يقلل من التعقيد الحسابي ويمنع الإفراط في التخصيص (overfitting) لعيوب التردد العالي في البكسلات.
• أخذ عينات خطوات الاضطراب: بدلاً من تقييم جميع الخطوات $K$ لمنحنى AUC، تقوم الطريقة بأخذ عينة من مجموعة فرعية $S$ من الخطوات أثناء التدريب.
• تعزيز الشبكة (Grid Augmentation): تغيير حجم الشبكة وموقعها عشوائياً يمنع النموذج من تعلم انحيازات مرتبطة بمحاذاة شبكية ثابتة.
• التنظيم (Regularization): تعمل خسارة $L_2$ على معاقبة القمم المنعزلة ذات السعة العالية لتشجيع العزو المتماسك مكانياً.

د. صقل وقت الاختبار (Test-Time Refinement)

بينما صُمم AHA ليكون فعالاً في تمريرة واحدة، فإنه يدعم خطوة اختيارية لـ صقل وقت الاختبار. بالنسبة لمدخل معين، يمكن ضبط رأس الشارح لخطوات قليلة من التدرج ($T$) باستخدام نفس أهداف AUC القابلة للاشتقاق. هذا يكيف التفسير مع العينة المحددة، مما يزيد من حدة خريطة العزو.

3. المساهمات الرئيسية

1. التعلم القائم على المقاييس: إطار عمل جديد يحسن مباشرة مقاييس Deletion و Insertion عبر بدائل قابلة للاشتقاق، مما يسد الفجوة بين السببية القائمة على الاضطراب والكفاءة القائمة على التعلم.
2. استرخاء Gumbel-Sinkhorn: تطبيق Gumbel-Sinkhorn لتخفيف عمليات الترتب الصلبة، مما يسمح بالتدريب من البداية إلى النهاية لنموذج شارح موجه بواسطة مقاييس الترتيب.
3. عزو كثيف على مستوى البكسل لنماذج ViT: على عكس طرق ViT السابقة التي تنتج خرائط خشنة على مستوى الرقعة (patch-level)، ينتج AHA خرائط حرارية كثيفة ومحاذية للبكسل تحترم حدود الأجسام.
4. الكفاءة المُقسطة (Amortized Efficiency): تحقق الطريقة سرعات استنتاج مقارنة بالطرق القائمة على الانتشار (تمريرة واحدة أمامية) مع توفير دقة الطرق المحسنة بالمقاييس.
5. مقايضة مرنة: يسمح صقل وقت الاختبار الاختياري للمستخدمين بالموازنة بين التكلفة الحسابية وجودة التفسير.

4. النتائج التجريبية

تم تقييم الطريقة على ImageNet باستخدام مصنفات ViT-B/16 و ViT-B/32 و ConvNeXt Small.

• الأداء الكمي:
  • يتفوق AHA (بدون صقل، $T=0$) باستمرار على أفضل الطرق المرجعية (بما في ذلك MDA و TIS و ViT-CX و Grad-CAM) في Deletion AUC و Positive AUC.
  • مع صقل وقت الاختبار ($T=3$)، يحقق AHA أفضل درجات الأمانة (Faithfulness) الإجمالية (الفرق بين Ins-Del و Neg-Pos)، متفوقاً حتى على طرق التحسين لكل عينة مثل MDA.
  • يقلل بشكل كبير من متوسط نسبة الهبوط (ADP)، مما يشير إلى عزل أفضل للمقدمة (foreground).
• الأداء النوعي:
  • تظهر التصورات أن AHA ينتج خرائط حرارية أكثر حدة ومحاذية للحدود.
  • يبرز AHA أجزاء معينة من الجسم بشكل صحيح (مثل رأس الإمبالا أو أغطية الزجاجات على فتاحة العلب)، بينما تنتج الطرق القائمة على الرقع (TIS، ViT-CX) خرائط مجزأة ومنتشرة تشمل غالباً ضجيج الخلفية.
• وقت التشغيل:
  • عند $T=0$، يعمل AHA بسرعة تقارب 0.016 ثانية لكل صورة، وهو ما يضاهي Grad-CAM وأسرع بكثير من MDA (13 ثانية) أو TIS (1.1 ثانية).
  • حتى مع الصقل ($T=3$)، فإنه يظل أسرع من معظم الطرق المرجعية القائمة على الاضطراب.

5. الأهمية

يمثل هذا العمل تقدماً كبيراً في الذكاء الاصطناعي القابل للتفسير (XAI) لهياكل الرؤية الحديثة:

• حل مشكلة الدقة (Resolution): يتغلب على قيود "مستوى الرقعة" لمفسرات ViT الحالية، مما يوفر تفسيرات دقيقة على مستوى البكسل وقابلة للتفسير البشري.
• إلغاء القواعد الاستدلالية: من خلال التحسين المباشر لمقاييس التقييم الحقيقية (Deletion/Insertion) بدلاً من التقطير من طرق أخرى، فإنه يتجنب وراثة انحيازات المعلمين البدلاء.
• الانتشار العملي: الطبيعة المُقسطة لهذا النهج تجعله قابلاً للتطبيق في التطبيقات الواقعية حيث تكون السرعة والتفسيرات عالية الدقة مطلوبة (مثل القيادة الذاتية أو التصوير الطبي).
• المتانة: تسمح خطوة الصقل الاختيارية للنظام بالتكيف مع البيانات خارج التوزيع (out-of-distribution) أو الخصائص المحددة للنموذج (مثل اكتشاف التعلم المختصر/shortcut learning) دون إعادة تدريب الشارح بالكامل.

باختصار، نجح AHA في توحيد الأساس السببي لطرق الاضطراب مع كفاءة الطرق القائمة على التعلم، مما وضع معياراً جديداً للأداء في العزو البصري الكثيف والأمين لنماذج Vision Transformers.