ملخص تقني: تنظيم تركيز الأوزان لتحسين متانة التقليم تحت التخلخل العالي

بيان المشكلة

حققت الشبكات العصبية العميقة (DNNs) أداءً فائقاً في مهام الرؤية واللغة، لكنها غالباً ما تتطلب موارد حوسبة هائلة، مما يحد من نشرها في البيئات ذات الموارد المحدودة. يهدف تقليم النماذج (Model pruning) إلى تقليل حجم النموذج عن طريق إزالة المعلمات الأقل أهمية. وبينما يعد التقليم التكراري مع إعادة التدريب فعالاً، إلا أنه مكلف حوسبياً. يوفر التقليم بضربة واحدة (One-shot pruning)، الذي يزيل المعلمات الزائدة في خطوة واحدة دون إعادة تدريب، بديلاً أكثر كفاءة. ومع ذلك، فإن النماذج المدربة باستخدام أهداف قياسية غالباً ما تعاني من انخفاض كبير في الدقة تحت ظروف التخلخل الشديد (Aggressive sparsity).

تحاول الأعمال السابقة معالجة ذلك من خلال اتجاهين رئيسيين:

1. الأساليب القائمة على التنظيم (Regularization-based approaches) (مثل $\ell_1$ و DeepHoyers) التي تشكل توزيعات الأوزان أثناء التدريب. ومع ذلك، فإن $\ell_1$ يقلص جميع الأوزان بشكل موحد، بينما يحفز DeepHoyer التخلخل المستقل عن المقياس. لا يقوم أي منهما صراحةً بتركيز طاقة الوزن على مجموعة فرعية صغيرة من المعلمات المعلوماتية.
2. المحسنات المقاومة للتقليم (Pruning-robust optimizers) (مثل SAM و CrAM و S2SAM) التي تعمل على تسطيح مشهد الخسارة لتحسين التعميم.

تتمثل الفجوة الأساسية المحددة في أن طرق التخلخل القياسية لا تعالج صراحةً المقايضة بين التخلخل والحفاظ على المعلومات. فعندما يكون توزيع أهمية الوزن مشتتاً، فإن إزالة الأوزان ذات المقادير الصغيرة يمكن أن تؤدي إلى تدهور الأداء لأن "الطاقة" المهمة ليست مركزة بشكل كافٍ على عدد قليل من المعلمات المهيمنة.

المنهجية: منظم تركيز الأوزان (WCR)

يقترح المؤلفون منظم تركيز الأوزان (WCR)، وهو منظم يُستخدم أثناء التدريب لتشكيل توزيع مقدار الوزن. بخلاف الطرق التقليدية التي تقلص الأوزان بشكل موحد، يهدف WCR إلى تركيز طاقة الوزن على مجموعة فرعية صغيرة من المعلمات مع دفع البقية نحو الصفر. هذا يخلق توزيعاً "ثقيل الذيل" (Heavy-tailed) حيث تحتفظ بضعة معلمات بمعظم طاقة الوزن، مما يسمح لتقليم المقدار (Magnitude pruning) بإزالة المعلمات الضئيلة بأقل خسارة في الأداء.

الصيغة الرياضية

يعمل WCR عن طريق معاقبة مقلوب تباين القيم المطلقة للأوزان. بالنسبة لطبقة مختارة ذات أوزان $w^{(\ell)}$، يطبق المؤلفون أولاً تحويلاً للقيمة المطلقة سلس لضمان قابلية الاشتقاق عند نقطة الأصل:
$$\tilde{w}^{(\ell)}_i = \sqrt{(w^{(\ell)}_i)^2 + r} \approx |w^{(\ell)}_i|, \quad r = 10^{-8}$$
يتم حساب التباين لكل طبقة للتعامل مع اختلافات المقياس:
$$\text{Var}(\tilde{w}^{(\ell)}) = \frac{1}{n_\ell} \sum_{i=1}^{n_\ell} \left( \tilde{w}^{(\ell)}_i - \frac{1}{n_\ell} \sum_{j=1}^{n_\ell} \tilde{w}^{(\ell)}_j \right)^2$$
عقوبة التنظيم $\psi(w)$ هي مجموع مقلوبات التباينات عبر جميع الطبقات المختارة:
$$\psi(w) = \sum_{w^{(\ell)} \in \mathcal{W}} \frac{1}{\text{Var}(\tilde{w}^{(\ell)}) + \epsilon}$$
حيث تضمن $\epsilon = 10^{-8}$ الاستقرار العددي. يصبح هدف التدريب الإجمالي:
$$\mathcal{L}_{total}(w) = \mathcal{L}(w) + \lambda \psi(w)$$
حيث $\lambda > 0$ هو معامل موازنة.

التحليل النظري

تقدم الورقة تحليلاً للتقارب يوضح أن WCR يحافظ على معدل التقارب القياسي لـ Stochastic Gradient Descent (SGD). وتحت فرض $\beta_1$-smoothness لدالة الخسارة و $\beta_2$-smoothness للمنظم، يحقق الهدف المشترك ضمانات التقارب القياسية نحو الثبات. وبما أن المنظم هو دالة حتمية للأوزان، فإنه لا يضيف تباين تدرج عشوائي إضافي. وبالتالي، يظل معدل التقارب التقاربي هو $O(1/\sqrt{T})$، وهو ما يطابق SGD القياسي.

المساهمات الرئيسية

1. تقديم WCR: منظم جديد للتدريب يعمل على تركيز طاقة الوزن على مجموعة فرعية صغيرة من المعلمات، مما يشجع صراحةً على توزيع أوزان "ثقيل الذيل" بدلاً من التقلص الموحد.
2. الضمانات النظرية: إثبات أن WCR يحافظ على معدل التقارب القياسي لـ SGD تحت افتراضات السلاسة الطفيفة.
3. التحقق التجريبي: تقييم شامل عبر إعدادات متنوعة، بما في ذلك:
   • تصنيف الصور: ResNet-18/50، WideResNet-28-10 على CIFAR-10/100، SVHN، و ViT-B/32 على Tiny-ImageNet.
   • التقسيم الطبي: ResNet-50–UNet على مجموعة بيانات LGG Brain MRI.
   • ضبط نماذج اللغات الكبيرة (LLM): Qwen-2.5-1.5B و LLaMA-3.2-1B باستخدام LoRA على Commonsense-170K.
4. التوافق: إثبات أن WCR متوافق ويعزز المحسنات المقاومة للتقليم الموجودة (SAM، CrAM، S2SAM) ويمكن دمجه معها لتحقيق مكاسب إضافية.

النتائج التجريبية

قيم المؤلفون WCR تحت تقليم المقدار بضربة واحدة دون إعادة تدريب.

• مهام الرؤية (CNNs & ViTs): حسن WCR باستمرار دقة ما بعد التقليم، خاصة عند مستويات التخلخل العالية (مثل تقليم بنسبة 96%).
  • في CIFAR-10 مع ResNet-18، أدى إضافة WCR إلى SGD إلى تحسين الدقة عند تقليم 96% من 19.69% إلى 25.70%.
  • عند دمجه مع SAM، حقق WCR تحسينات هائلة: عند تقليم 96%، ارتفعت الدقة من 48.36% (SAM وحده) إلى 92.08% (SAM + WCR).
  • لوحظت اتجاهات مماثلة مع S2SAM (72.51% $\to$ 93.44%) ومع SVHN (9.74% $\to$ 95.99%).
  • بالنسبة لـ ViT-B/32، حسن WCR دقة تقليم 80% على CIFAR-100 من 64.11% (SAM) إلى 84.95%.
• التقسيم الطبي: في مجموعة بيانات LGG Brain MRI، حسن WCR درجات F1 بشكل كبير وقلل مسافة Hausdorff تحت تقليم 85% و 88%. ومن الجدير بالذكر أنه عند تقليم 88%، فشل نموذج SGD الأساسي في إنتاج تقسيمات صالحة، بينما حقق SGD + WCR درجة F1 بلغت 0.5280. أظهرت النتائج النوعية أن WCR يحافظ بشكل أفضل على حدود الآفات مقارنة بالنماذج المرجعية.
• ضبط نماذج اللغات الكبيرة (LLM): في الضبط الدقيق القائم على LoRA، تفوق WCR على منظمات $\ell_1$ و DeepHoyer. في Qwen-2.5-1.5B، حقق WCR أعلى متوسط دقة عند تقليم 30% (69.54%) بين المنظمات المقارنة، مما أظهر المتانة في سيناريوهات الضبط الدقيق الفعال للمعلمات.
• التعميم: أشار تحليل القيمة الذاتية الرئيسية لهيسيان (Hessian) إلى أن WCR يخفض انحناء سطح الخسارة، مما يشير إلى أنه يوجه التحسين نحو نقاط صغرى أكثر تسطحاً، وهو ما يرتبط بتحسين التعميم.

الأهمية والادعاءات

تدعي الورقة أن تشكيل توزيع مقدار الوزن أثناء التدريب هو نهج فعال لتحسين المتانة تحت التخلخل العالي. تكمن أهمية WCR في قدرته على:

• خلق فصل واضح بين المعلمات ذات المقدار الكبير (المعلوماتية) والمعلمات ذات المقدار الصغير (المهملة).
• تمكين تقليم المقدار من إزالة جزء كبير من المعلمات مع حد أدنى من التأثير الوظيفي.
• العمل كمنظم مستقل أو كمكون تكميلي لطرق تنعيم مشهد الخسارة مثل SAM.

يخلص المؤلفون إلى أن WCR يقدم حلاً عملياً أثناء التدريب لمشكلة انخفاض الدقة المرتبطة بالتقليم العدواني بضربة واحدة، وهو قابل للتطبيق عبر CNNs و Transformers والنماذج اللغوية الكبيرة، دون الحاجة إلى تغييرات هيكلية أو إعادة تدريب بعد التقليم.