ملخص تقني: كيف يشكل تخصيص التناثر (Sparsity Allocation) قابلية الاسترداد بدون تسميات (Label-Free) بعد التقليم

بيان المشكلة

غالبًا ما يؤدي التقليم غير المهيكل للمقدار (unstructured magnitude pruning) عند نسب تناثر عالية (على سبيل المثال، >90%) إلى معاناة الشبكات العصبية من "انهيار الدقة" (accuracy collapse)، حيث ينخفض الأداء إلى مستويات تقترب من العشوائية. وبينما يتضمن الاسترداد القياسي عملية ضبط دقيق (fine-tuning) باستخدام بيانات موسومة، فإن هذا الأمر غالبًا ما يكون غير ممكن في سيناريوهات النشر العملي حيث لا تتوفر التسميات أو لا يمكن الوصول إلى خط أنابيب التدريب الأصلي.

أظهر عمل حديث حول الإنعاش التكيفي للإشارة (Adaptive Signal Resuscitation - ASR) [10] أن إصلاح القنوات بدون تسميات أو تدرجات (gradient-free) يمكنه استعادة دقة كبيرة من النماذج المتناثرة المنهارة عن طريق مطابقة إحصائيات التنشيط. ومع ذلك، فإن الأدبيات الحالية تركز بشكل أساسي على كيفية إصلاح النموذج، متجاهلة العوامل الصاعدة التي تحدد ما إذا كان النموذج قابلاً للإصلاح أم لا. تعالج هذه الورقة السؤال المكمل: بالنظر إلى خلفية إصلاح ثابتة بدون تسميات (ASR)، كيف يؤثر اختيار تخصيص التناثر الصاعد على مقدار إشارة التنشيط التي تنجو من التقليم وتظل قابلة للاسترداد؟

المنهجية

خط أنابيب تجريبي

تستخدم الدراسة خط أنابيب إصلاح ثابت لما بعد التقليم (الشكل 1):

1. التدريب المسبق: يتم إنشاء نموذج مدرب مسبقاً وكثيف (dense).
2. تخصيص التناثر: يتم توزيع ميزانية الكثافة عبر الطبقات باستخدام إما ERK (بناءً على شكل الطبقة) أو LAMP (بناءً على التشوه لكل طبقة).
3. التقليم: يتم تطبيق التقليم غير المهيكل للمقدار للوصول إلى تناثر عالمي مستهدف ($s \in [0.90, 0.955]$).
4. الإصلاح: يتم تطبيق عامل ASR [10] كخلفية ثابتة. يستخدم مجموعة صغيرة من الصور غير الموسومة ($n=128$) لتقدير تدهور تباين تنشيط كل قناة. ثم يقوم بإعادة تحجيم الأوزان الناجية وضبط الانحيازات (biases) لمطابقة إحصائيات النموذج الكثيف، يليه إعادة معايرة طبقة BatchNorm (BN). لا تُستخدم التدرجات أو التسميات.

المتغيرات والأسس المرجعية

• خلفيات الإصلاح: تقارن الدراسة بين اثنين من متغيرات ASR:
  • ASR-q50: يطبق أولوية انكماش (shrinkage prior) بناءً على وسيط التباين المتقلم لتخفيف الضوضاء في القنوات المتضررة بشدة.
  • Clipped ASR: يقيد عامل القياس بشكل أكبر ضمن النطاق $[0.5, 2.0]$ لمنع التصحيح المفرط في حالات الانهيار الشديد.
• الأسس المرجعية (Baselines): تتم مقارنة متغيرات ASR مقابل:
  • عدم الإصلاح (التقييم المباشر).
  • إعادة معايرة BN فقط.
  • تصحيح الانحياز + BN.
  • المعايرة التآلفية (Affine calibration) + BN.

النطاق

تغطي التجارب ResNet-18 وResNet-34 وResNet-50 عبر مجموعات بيانات CIFAR-10 وCIFAR-100 وImagenette. تتضمن عمليات التحقق الإضافية ImageNet-100 (ResNet-18) وDenseNet-121 (CIFAR-10/100) لاختبار الاتصال غير المتبقي (non-residual connectivity).

المساهمات الرئيسية

1. تحليل التفاعل: تعزل الورقة التفاعل بين تخصيص التناثر لكل طبقة (ERK مقابل LAMP) وقابلية الإصلاح بدون تسميات من خلال معاملة ASR كخلفية ثابتة.
2. الاسترداد المعتمد على التخصيص: تُظهر النتائج أن اختيار التخصيص يغير بشكل منهجي مقدار إشارة التنشيط القابلة للاسترداد. عند نفس التناثر العالمي، يحقق ERK وLAMP نتائج مختلفة تمامًا في الدقة بعد الإصلاح. والأهم من ذلك، أن اتجاه التفوق (أي تخصيص هو الأفضل) ينعكس اعتمادًا على البنية المعمارية وصعوبة مجموعة البيانات.
3. نظام الانتقال الحساس للإصلاح: يحدد المؤلفون نظاماً معيناً من التناثر يبدأ عنده نظام معايرة BN القياسي في الفشل، ومع ذلك لا يزال ASR يستعيد دقة غير ضئيلة. يختلف عرض وموقع هذا النظام بشكل كبير مع البنية المعمارية، والتخصيص، وصعوبة مجموعة البيانات.
4. استدلال اختيار المتغير: يعمل الأداء النسبي لـ ASR-q50 مقابل Clipped ASR كمؤشر على "مشهد التنشيط" (activation landscape) الذي تركه التخصيص. التصحيح الهجومي (q50) يكون مستقراً عندما يحافظ التخصيص على إشارة كافية، بينما يكون التصحيح المتحفظ (Clipped) مطلوباً عندما يكون المشهد هشاً.

النتائج الرئيسية

الأداء العام

عبر 54 إعداداً رئيسياً لـ ResNet، حقق أفضل متغير لـ ASR تحسناً بمعدل 17.4 نقطة مئوية عن الإصلاح المعتمد على BN فقط (الحد الأدنى للزيادة 1.3 نقطة). تفوق ASR باستمرار على غيره من خطوط المعايرة الأخرى (Bias, Affine) في جميع الإعدادات.

تأثيرات التخصيص (ERK مقابل LAMP)

• ResNet-50 / CIFAR-10: تفوق LAMP باستمرار على ERK. عند تناثر 90%، حقق LAMP+ASR-q50 نسبة 79.92% مقابل 70.24% لـ ERK+ASR-q50.
• ResNet-34 / CIFAR-100: انعكس الاتجاه. تفوق ERK على LAMP في جميع مستويات التناثر (على سبيل المثال، عند 95.0%، حقق ERK+ASR-q50 نسبة 41.20% مقابل 38.07% لـ LAMP+ASR-q50).
• ResNet-18 / CIFAR-100: أظهر LAMP ميزة طفيفة، لكن الفجوة كانت أضيق مما هي عليه في التكوينات الأخرى.
• DenseNet-121: على CIFAR-10، تفوق Clipped ASR بشكل كبير على ASR-q50، مما عكس النمط المشاهد في ResNets. يشير هذا إلى أن اتصال DenseNet الكثيف يخلق مشهد تنشيط هش حيث يؤدي التصحيح الهجومي إلى تجاوز الهدف.

أنظمة الانتقال

• ResNet-50 / CIFAR-100: يحدث الانتقال حيث يفشل BN وينجح ASR حول تناثر 92–93%.
• DenseNet-121 / CIFAR-100: يحدث الانتقال في وقت مبكر جداً، حوالي 70–80% تناثر. بحلول 85%، تفشل معظم الطرق، مع احتفاظ Clipped ASR بجدوى هامشية فقط.
• ImageNet-100: كانت الفجوة بين ERK وLAMP أصغر مما هي عليه في CIFAR-100، مما يشير إلى أن مجموعات البيانات/النماذ الأكبر تحتفظ بإشارة أكثر توزيعاً، مما يضيق منطقة الانتقال الحساسة للإصلاح.

الحساسية للحدود

أظهر تحليل الحساسية على حدود Clipped ASR أن الأداء مستقر عبر حدود أوسع (مثل $[0.25, 4.00]$ و $[0.50, 2.00]$) ولكنه يتدهور بشكل كبير عند تضييق الحدود بشكل محافظ للغاية (مثل $[0.80, 1.25]$).

الأهمية والادعاءات

تدعي الورقة أن تخصيص التناثر والإصلاح بدون تسميات ليسا خيارين تصميميين مستقلين. إن الخصائص الهيكلية للتخصيص (كيف يوزع الكثافة عبر أحجام وأنواع الطبقات) تتفاعل مع اتصال البنية المعمارية لتحديد مشهد تنشيط القنوات المتاح للإصلاح.

• الأثر العملي: في حالات النشر التي لا تتوفر فيها تسميات، يتطلب اختيار استراتيجية تخصيص التناثر مراعاة قدرة الإصلاح اللاحقة. التخصيص "الأفضل" لبنية معينة قد يكون "الأسوأ" لأخرى.
• الرؤية النظرية: يسلط وجود "نظام انتقال حساس للإصلاح" الضوء على نافذة تشغيل حرجة يكون فيها لخيارات التخصيص التأثير الأكبر على قابلية الاسترداد. خارج هذه النافذة (التناثر المنخفض حيث يعمل BN، أو التناثر الشديد حيث يكون الانهيار غير قابل للإصلاح)، تتضاءل حساسية التخصيص.
• القيود: يشير المؤلفون إلى أن آلية نسبة التباين تفترض أن إحصائيات النموذج الكثيف هي هدف مناسب، وهو ما قد لا يتحقق إذا اختلف توزيع المعايرة عن توزيع الاختبار. علاوة على ذلك، فإن ASR ليس بديلاً عن الضبط الدقيق الموسوم؛ فعند توفر التسميات، يتفوق الضبط الدقيق المقنع (masked fine-tuning) بشكل كبير على ASR (على سبيل المثال، 71.49% مقابل 25.96% على CIFAR-100 عند 92.5% تناثر).

في الختام، تؤسس هذه الورقة لفكرة أن فهم التفاعل بين التخصيص الصاعد والإصلاح اللاحق ضروري لنشر استرداد ما بعد التقليم المعتمد على عدم وجود تسمات بشكل موثوق.