Training for Trustworthy Saliency Maps: Adversarial Training Meets Feature-Map Smoothing

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التدريب من أجل خرائط بروز موثوقة: التدريب الخصمي يلتقي بتنعيم خرائط الميزات."

١. بيان المشكلة

تعد طرق البروز القائمة على التدرج (مثل التدرج العادي Vanilla Gradient، والتدرج المتكامل Integrated Gradients) أدوات قياسية لتفسير مصنفات الصور. ومع ذلك، فهي تعاني من ثلاث عيوب حرجة تحد من موثوقيتها في البيئات عالية المخاطر:
١. الضجيج وعدم الاستقرار: غالبًا ما تكون الخرائط مليئة بالضجيج وتتغير بشكل جذري تحت تأثير تغيرات طفيفة في المدخلات.
٢. الافتقار إلى التناثر (Sparsity): غالبًا ما تسلط التفسيرات الضوء على بكسلات غير ذات صلة بدلاً من التركيز على الميزات المميزة.
٣. فجوة التدريب: تحاول معظم الأعمال السابقة معالجة هذه المشكلات عن طريق تعديل خوارزمية الإسناد (بعد التدريب - post-hoc) أو إضافة مرشحات تنعيم بعد عملية التدريب. تجادل هذه الورقة بأن عملية التدريب نفسها هي المحدد الرئيسي لجودة التفسير، وهو عامل تم إغفاله إلى حد كبير.

حدد المؤلفون مقايضة محددة، لم يتم قياسها كميًا في السابق، في التدريب الخصمي (Adversarial Training - AT): بينما ينتج التدريب الخصمي خرائط أكثر تناثرًا وأكثر استقرارًا بالنسبة للمدخلات، إلا أنه غالبًا ما يؤدي إلى تدهور الاستقرار من جانب المخرجات (حيث تتقلب التفسيرات حتى عندما تظل تنبؤات النموذج واللوجيتس (logits) ثابتة تقريبًا).

٢. المنهجية

أ. التحليل النظري: الانحناء والاستقرار

يقدم المؤلفون تحليلًا قائمًا على الانحناء يربط بين استقرار الإسناد ونعومة مجال تدرج المدخلات.

• افتراض النموذج أحادي الطبقة: استنتجوا أن التباين في التدرج العادي (VG) والتدرج المتكامل (IG) يتم التحكم فيه بواسطة انحناء ($H''$) دالة التنشيط ومعيار الوزن ($\|w\|$).
• الرؤية الجوهرية: إذا كان مجال التدرج يتغير بسرعة (انحناء محلي عالٍ/جاكوبي غير ليبشيتز)، فإن التغييرات الصغيرة في المدخلات تسبب تغييرات كبيرة في التفسير. لذلك، فإن إجراءات التدريب التي تقلل من الحساسية المحلية والانحناء يجب أن تحسن الاستقرار.

ب. الحل المقترح: التدريب الخصمي + تنعيم خرائط الميزات

لمعالجة المقايضة حيث يحسن التدريب الخصمي (AT) التناثر ولكنه يضر بالاستقرار من جانب المخرجات، يقترح المؤلفون منظمًا خفيف الوزن أثناء وقت التدريب: تنعيم خرائط الميزات (Feature-Map Smoothing).

١. تعديل البنية: يتم إدراج مرشح غاوسي (Gaussian filter) قابل للاشتقاق ككتلة في الطبقات المتوسطة (تحديدًا بعد أول كتلة تلافيفية/باقية) من الشبكة العصبية.

• تطبق الكتلة مرشح تمرير منخفض مكاني ($G_\sigma$) على خرائط الميزات.
• يتبعها تلافيف $1\times1$ لإعادة خلط القنوات واتصال باقٍ (residual connection) للحفاظ على القدرة التمثيلية.
  ٢. هدف التدريب: يخضع النموذج لـ تدريب خصمي قياسي (تحسين min-max ضد اضطرابات $\ell_\infty$) مع تفعيل كتلة التنعيم أثناء المرور الأمامي (forward pass).
• يعمل هذا على كبح تقلبات التنشيط عالية التردد التي تنتقل إلى مجال تدرج المدخلات.
• إنه يقلل بفعالية من الانحناء الفعال للرسم البيكي (mapping) من البداية إلى النهاية، مما يؤدي إلى استقرار التدرج دون التضحية بفوائد التناثر التي يوفرها التدريب الخصمي.

٣. المساهمات الرئيسية

١. التحليل القائم على الانحناء: ربط نظري مبدئي يوضح أن استقرار الإسناد محكوم بنعومة مجال تدرج المدخلات، مما يحفز التدخلات المتمحورة حول التدريب.
٢. تحديد مقايضة: قياس تجريبي لمقايضة "التناثر مقابل الاستقرار من جانب المخرجات" في التدريب الخصمي. يحسن التدريب الخصمي التناثر واستقرار المدخلات، ولكنه يقلل من الاستقرار النسبي للمخرجات (ROS).
٣. استراتيجية تدريب مبتكرة: تقديم تنعيم خرائط الميزات أثناء التدريب الخصمي. تخفف هذه الطريقة من تدهور الـ ROS مع الحفاظ على التناثر والقدرة على الصمود.
٤. التحقق المرتكز على الإنسان: دراسة مستخدمين أظهرت أن هذه التحسينات الكمية تترجم إلى الإدراك البشري، حيث تم تقييم الخرائط المنعمة بأنها أكثر كفاية وموثوقية.

٤. النتائج التجريبية

تم تقييم الطريقة على مجموعات بيانات FMNIST و CIFAR-10 و ImageNette باستخدام ثلاثة متغيرات من النماذج: المدربة طبيعيًا (N)، المدربة خصميًا (A)، والمدربة خصميًا مع التنعيم الغاوسي (G).

• التناثر (مؤشر جيني Gini Index):
  • زاد التدريب الخصمي (A) من التناثر بشكل كبير مقارنة بـ N.
  • حافظ النموذج المنعم (G) على هذا المكسب في التناثر (على سبيل المثال، مؤشر جيني لـ VG على CIFAR-10: N=0.49, A=0.68, G=0.67).
• الاستقرار:
  • الاستقرار من جانب المدخلات (SSIM): تفوق كل من A و G على N. أظهر G أعلى SSIM، خاصة تحت الضجيج المتوسط إلى العالي.
  • الاستقرار من جانب المخرات (ROS): هذه هي النتيجة الحاسمة. بينما كان لـ A أسوأ ROS مقارنة بـ N (التفسيرات كانت تتقلب أكثر)، حسّن G بشكل كبير من ROS، مستعيدًا الاستقرار الذي فقده التدريب الخصمي القياسي.
• الأمانة/الإخلاص (ROAD-AOPC):
  • لم تؤدِ عملية التنعيم إلى تدهور الأمانة (faithfulness). حافظ G على درجات AOPC مماثلة أو أفضل من A، مما يشير إلى أن التفسيرات لا تزال تحدد الميزات المحركة للقرار بشكل صحيح.
• أداء النموذج:
  • حافظ G إلى حد كبير على الدقة القوية لـ A، مع انخفاض ضئيل في الدقة الطبيعية على FMNIST و CIFAR-10.
• الدراسة البشرية (65 مشاركًا):
  • قيم المشاركون التفسيرات من حيث "الكفاية" (Sufficiency) و"الثقة" (Trust).
  • حصل G على أعلى التقييمات (متوسط الكفاية: 3.33 لـ G مقابل 2.99 لـ A؛ متوسط الثقة: 3.14 لـ G مقابل 3.08 لـ A).
  • في المقارنات المباشلة، فضل 58% من المشاركين خرائط الخصم المنعمة (G) على خرائط الخصم القياسية (A) والخرائط الطبيعية (N).

٥. الأهمية والخاتمة

تنقل هذه الورقة النموذج المعرفي لتحسين القابلية للتفسير من الإصلاحات الخوارزمية اللاحقة (post-hoc) إلى التحكم الهيكلي أثناء وقت التدريب.

• الأثر العملي: تثبت الورقة أن التنعيم القابل للاشتقاق البسيط أثناء التدريب الخصمي هو مسار عملي لإنتاج خرائط بروز تكون في آن واحد متناثرة (موجزة)، مستقرة (قوية تجاه الضجيج وتغيرات التنبؤ)، وموثوقة للمراقب البشري.
• الدلالة الأوسع: تشير النتائج إلى أن "جودة" التفسير هي خاصية ناشئة عن ديناميكيات تدريب النموذج. من خلال تنظيم نعومة خرائط الميزات المتوسطة بشكل صريح، يمكن للممارسين إنتاج نماذج ليست قوية ضد الهجمات فحسب، بل توفر أيضًا تفسيرات موثوقة وقابلة للتفسير البشري.

الكود متاح علنًا، وتم التحقق من النهج عبر بنيات مختلفة (LeNet, ResNet, VGG) ومجموعات بيانات مختلفة، مما يشير إلى قدرة قوية على التعميم.