LAYA: Layer-wise Attention Aggregation for Interpretable Depth-Aware Neural Networks

ملخص تقني: LAYA (تجميع الانتباه عبر الطبقات)

بيان المشكلة
تعتمد الشبكات العصبية العميقة (DNNs) عادةً بشكل حصري على التمثيل الناتج عن الطبقة المخفية الأخيرة ($h_L$) لتوليد التنبؤات. يفترض هذا التصميم ضمنياً أن التضمين الأعمق يحتوي بشكل كامل على جميع المعلومات الدلالية ذات الصلة المستخرجة من خلال التحويلات السابقة. ومع ذلك، تشير الأدلة التجريبية إلى أن الطبقات المتوسطة تحتوي على معلومات غنية ومتكاملة تتراوح من الأنماط منخفضة المستوى إلى التجريدات عالية المستوى. ومن خلال التخلص من هذه التمثيلات المتوسطة في مرحلة المخرجات، لا تكتفي البنى القياسية بفقدان المعلومات التمييزية المحتملة فحسب، بل تحجب أيضاً مساهمة مستويات التجريد المختلفة في القرار النهائي. علاوة على ذلك، فإن الأساليب الحالية لتفسير هذه المساهمات هي أساليب "بعدية" (post-hoc) إلى حد كبير، مما يتطلب تحليلاً خارجياً بعد عملية الاستدلال، بدلاً من كونها جزءاً أصيلاً من آلية التنبؤ للنموذج.

المنهجية
يقدم البحث LAYA (مجمع الانتباه عبر الطبقات)، وهو وحدة مخرجات خفيفة الوزن، مستقلة عن البنية، ومصممة لاستبدال رأس المصنف القياسي. بدلاً من إسقاط التضمين النهائي فقط، يقوم LAYA بتجميع التمثيلات الداخلية ديناميكياً من جميع الطبقات المخفية $\{h_i\}_{i=1}^L$.

تعمل الآلية كما يلي:

1. الإسقاط (Projection): يتم رسم كل تمثيل مخفي $h_i$ في فضاء كامن مشترك ذي بُعد $d^*$ عبر محول قابل للتعلم $g_i(\cdot)$، مما ينتج عنه $z_i = g_i(h_i)$.
2. التسجيل (Scoring): يمكن تحويل هذه التمثيلات المسقطة اختيارياً بواسطة رسم خرائط مشترك $\psi(\cdot)$ (إما هوية أو MLP خفيف الوزن) ودمجها. تقوم شبكة MLP للتسجيل بمعالجة هذا الدمج لإنتاج درجات صلة غير معيرة $s(x) \in \mathbb{R}^L$.
3. الانتباه (Attention): يتم تحويل الدرجات إلى معاملات انتباه مشروطة بالمدخلات $\alpha_i(x)$ باستخدام "softmax" مع ضبط درجة الحرارة:
   $$\alpha_i(x) = \frac{\exp(s_i(x)/\tau)}{\sum_{j=1}^L \exp(s_j(x)/\tau)}$$
   حيث تتحكم $\tau$ في حدة التوزيع.
4. التجميع والتنبؤ (Aggregation & Prediction): يتم حساب التمثيل المجمع النهائي كجموع مرجح $h_{agg} = \sum_{i=1}^L \alpha_i(x) z_i$، والذي يُمرر بعد ذلك إلى رأس المهمة المحدد للتصنيف.

من الأهمية بمكان أن أوزان الانتباه $\alpha_i(x)$ يتم توليدها أثناء التمرير الأمامي كجزء من عملية التنبؤ، مما يجعلها تعمل كـ درجات عزو للطبقات (layer-attribution scores) جوهرية دون الحاجة إلى حسابات عكسية إضافية أو نماذج تفسير خارجية.

المساهمات الرئيسية

1. إعادة النظر في طبقة المخرجات: يسلط العمل الضوء على محدودية رؤوس المخرجات التقليدية التي تتجاهل التمثيلات المتوسطة، ويقترح التحول نحو التجميع المدرك للعمق.
2. القابلية للتفسير الجوهري: يوفر LAYA آلية يكون فيها قرار النموذج قابلاً للتفسير بطبيعته. توضح معاملات الانتباه المتعلمة صراحةً مساهمة كل طبقة في التنبؤ النهائي، مما يلغي الحاجة إلى أدوات التفسير البعدية مثل "Integrated Gradients" أو "Grad-CAM" لعزو الطبقات.
3. الاستقلالية عن البنية: تعمل الوحدة كبديل جاهز لرؤوس المخرجات القياسية، مما يترك الشبكة الأساسية (مثل CNNs أو Transformers أو MLPs) دون تغيير تماماً.
4. التقييم الشامل: يقدم البحث تقييماً صارماً عبر ثلاثة تسلسلات هرمية تمثيلية متميزة: Perceptron متعدد الطبقات (MLP) على مجموعة بيانات Fashion-MNIST، وشبكة عصبية تلافيفية (CNN) على CIFAR-10، وVision Transformer (ViT) مجمد على مهمة تصنيف الأنماط الفنية.

النتائج التجريبية

• الأداء التنبئي: يحقق LAYA أداءً تنبؤياً تنافسياً، وفي بعض الحالات متفوقاً، مقارنة بالنماذج المرجعية القياسية (LastLayer)، والدمج الاستاتيكي (Concat)، والخلط العالمي (ScalarMix).
  • في Fashion-MNIST و CIFAR-10، حقق LAYA أعلى متوسط دقة بين جميع الرؤوس المختبرة.
  • في مجموعة بيانات Best Artworks، بينما كان الدمج الاستاتيكي هو الأفضل أداءً، إلا أن LAYA تفوق بشكل ملحوظ على نموذج LastLayer القياسي، مما يثبت أن التمثيلات المتوسطة تحتوي على معلومات قيمة حتى في النماذج الخلفية المدربة مسبقاً والمجمدة.
• أمانة التفسيرات (Faithfulness): يظهر التحليل الكمي باستخدام "الأمانة" (ارتباط Spearman بين درجات العزو وتأثيرات استبعاد طبقة واحدة) و "Deletion@1" (انخفاض الثقة عند إزالة الطبقة الأعلى تصنيفاً) أن درجات Lnya الجوهرية أمينة للغاية.
  • في Fashion-MNIST، اقتربت درجة أمانة LAYA (0.8575) من طرق التفسير البعدية القائمة على التدرج (حوالي 0.89) مع تفوقها بشكل كبير على الأوزان العالمية الاستاتيكية.
  • في مجموعة بيانات Best Artworks، حقق LAYA أعلى درجة في Deletion@1 (0.5787)، مما يشير إلى أن الطبقة التي حددها كأكثر أهمية كانت بالفعل الأكثر تأثيراً في التنبؤ.
• أنماط التفسير: كشف التحليل النوعي عن استخدام العمق المعتمد على المهمة. فعلى سبيل المثال، في CIFAR-10، تركز الانتباه بالكامل تقريباً على الطبقة الأخيرة، بينما في Best Artworks، كان الانتباه موزعاً بشكل متفرق عبر كتل محددة ومتأخرة من الـ ViT (مثل الكتل 7، 9، 11، 12)، وهو ما يختلف باختلاف الأسلوب الفني.

الأهمية والادعاءات
يفترض البحث أن LAYA يقدم بديلاً مبدئياً لعملية "انهيار" التمثيلات الهرمية التقليدية عند مرحلة المخرجات. تكمن أهميته الأساسية ليس في التفوق المطلق في دقة التصنيف، بل في قدرته على الجمع بين الأداء التنبئي التنافسي وبين العزو للطبقات المعتمد على المدخلات والقابل للفحص المباشر.

يدعي المؤلف أن LAYA:

• يوفر قابلية تفسير جوهرية، مما يجعل اعتماد النموذج على مستويات تجريد معينة شفافاً دون أدوات خارجية.
• يكشف عن أنماط مهيكلة ومعتمدة على المهمة لاستخدام العمق، مما يظهر أن المهام المختلفة وحتى الفئات المختلفة داخل المهمة الواحدة تعتمد على تركيبات مختلفة من أعماق الطبقات.
• يوفر أساساً لتطبيقات مستقبلية مثل ضغط النماذج الموجه بالانتباه (تقليم الطبقات ذات الانتباه الضئيل)، وآليات الخروج المبكر التكيفية، والتحليل التشخيصي لإخفاقات النماذج بناءً على تحولات الانتباه.

يخلص العمل إلى أنه على الرغم من التركيز على الرؤية الحاسوبية، فإن الإطار قابل للتطبيق على بنيات التسلسل الأخرى، مما قد يقدم رؤى جديدة حول كيفية صقل المعلومات عبر العمق في نماذج مثل Transformers.