ملخص تقني: أصلح الخسارة، لا نصف القطر: إعادة التفكير في الاضطراب العدائي لتقليل الحدة الواعية (SAM)

1. بيان المشكلة

غالبًا ما تعاني الشبكات العصبية العميقة (DNNs) من الإفراط في التخصيص (over-parameterization) والمنحنيات غير المحدبة لخسارة الفقد (non-convex loss landscapes)، مما يؤدي إلى وجود العديد من النهايات الصغرى المحلية ذات قدرات تعميم متفاوتة. تشير الفرضية السائدة إلى أن "النهايات الصغرى المسطحة" (المناطق ذات الانحناء المنخفض) تعمم بشكل أفضل من "النهايات الصغرى الحادة". وقد تم اقتراح تقنية "تقليل الحدة الواعية" (SAM) لمعالجة ذلك من خلال تقليل أسوأ حالة خسارة ضمن نصف قطر ثابت في فضاء المعلمات $\rho$.

ومع ذلك، يحدد المؤلفون عدم تطابق على مستوى الآلية في SAM ومتغيراتها:

• المثالي: المسطح هو بطبيعته خاصية من الدرجة الثانية، تتميز بانحناء (Hessian) دالة الخسارة محليًا.
• الواقع: تبني SAM هدفها العدائي باستخدام تقريب خطي من الدرجة الأولى. ضمن نصف قطر ثابت $\rho$، يكون الاضطراب محاذيًا لاتجاه التدرج. وبناءً على ذلك، فإن إشارة التعلم الناتلة تهيمن عليها معيار التدرج ($\rho \|\nabla L(w)\|$) بدلاً من الانحناء.
• النتيجة: نظرًا لأن معيار التدرج يهيمن على الإشارة، فإن فعالية SAM تُؤجل إلى المراحل المتأخرة من التدريب عندما تصبح التدرجات صغيرة طبيعيًا بما يكفي لتصبح مصطلحات الانحناء قابلة للمقارنة. وهذا يخلق تباينًا بين آلية التدريب والهدف المتمثل في إيجاد نهايات صغرى مسطحة طوال عملية التحسين بأكملها.

2. المنهجية: SAM المتساوي مع الخسارة (LE-SAM)

لحل عدم التطابق هذا، يقترح المؤلفون SAM المتساوي مع الخسارة (LE-SAM)، وهو إعادة صياغة على مستوى الآلية تعكس نموذج SAM التقليدي. فبدلاً من تثبيت نصف قطر الاضطراب في فضاء المعلمات، يقوم LE-SAM بتثبيت ميزانية في فضاء الخسارة $\sigma$.

الآلية الجوهرية

مستوحى من خطوة بوليا (Polyak step-size) الكلاسيكية، يقوم LE-SAM بتبسيط تغير الخسية من الدرجة الأولى.

1. ميزانية ثابتة: بدلاً من تثبيت $\rho$، يقوم LE-SAM بتثبيت زيادة مستهدفة في الخسارة $\sigma$ في فضاء الخسارة.
2. الحل العكسي لنصف القطر: يتم حساب نصف قطر الاضطراب $\rho_t$ ديناميكيًا لضمان مطابقة تغير الخسارة من الدرجة الأولى للميزانية $\sigma$:
   $$\rho_t = \frac{\sigma}{\|\nabla L(w)\|_2 + \varrho}$$
   حيث $\varrho$ ثابت صغير للاستقرار العددي.
3. الخسارة البديلة: عند تعويض هذا نصف القطر التكيفي مرة أخرى في مفكوك تايلور للخسارة، يصبح مصطلح الدرجة الأولى عبارة عن ثابت قياسي $\sigma$:
   $$L(w + \epsilon_t) \approx L(w) + \underbrace{\sigma}_{\text{ثابت قياسي}} + \frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$$
   بما أن $\nabla_w \sigma = 0$، يتم إزالة عقوبة معيار التدرج فعليًا من إشارة التحسين. وتنتقل إشارة التعلم بالكامل نحو مصطلح انحناء الدرجة الثانية ($\frac{1}{2} \epsilon_t^\top H(w) \epsilon_t$).

استراتيجيات الاستقرار

لمنع عدم الاستقرار عندما تكون معايير التدرج صغيرة (مما قد يؤدي إلى $\rho_t$ كبير للغاية)، يستخدم LE-SAM وسيلتي حماية:

• قص نصف القطر (Radius Clipping): يتم فرض نصف قطر أقصى $\rho_{max}$.
• تخميد ميزانية الخسارة (Loss Budget Annealing): يتم تخميد الميزانية $\sigma$ تدريجيًا إلى 0 خلال المراحل النهائية من التدريب (على سبيل المثال، عبر اضمحلال جيب التمام - cosine decay) لضمان التقارب السلس.

3. المساهمات الرئيسية

يدعي البحث المساهمات التالية:

1. تحديد عدم تطابق الهدف: يوضح المؤلفون أن الاضطراب العدائي في SAM القياسي يتم إنشاؤه عبر بديل خطي من الدرجة الأولى تحت قيد نصف القطر الثابت، مما يتسبب في هيمنة مقدار التدرج على إشارة التعلم بدلاً من انحناء الدرجة الثانية المطلوب للنهايات الصغرى المسطحة.
2. اقتراح LE-SAM: إعادة صياغة على مستوى الآلية تقوم بتثبيت ميزانية الخسارة بدلاً من نصف القطر. هذا الإجراء يبسط تغير الدرجة الأولى، مما يزيل هيمنة معيار التدرج وينقل إشارة التحسين نحو المصطلحات التي يهيمن عليها الانحناء طوال عملية التدريب بأكملها.
3. التفوق التجريبي: تظهر التجارب المكثفة أن LE-SAM يتفوق باستمرار على SAM ومتغيراتها (بما في ذلك ASAM وESAM وF-SAM وEigen-SAM) عبر معايير متنوعة، محققًا أداءً هو الأفضل في فئته (SOTA).

4. النتائج التجريبية

قيم المؤلفون LE-SAM على مهام ومجموعات بيانات متعددة:

• التدريب من الصفر:
  • CIFAR-10/100: باستخدام ResNet-18 وWideResNet-28-10 وPyramidNet-110، حقق LE-SAM أعلى دقة بين جميع متغيرات SAM. وفي CIFAR-100، تفوق على SAM القياسي بمقدار 1.34 إلى 1.49 نقطة.
  • ImageNet: عند تدريب ResNet-50 وResNet-101 من الصفر، تفوق LE-SAM على SAM بمقدار 0.71 و0.77 نقطة على التوالي.
• تعلم النقل (Transfer Learning): عند ضبط نموذج ViT-B-16 مدرب مسبقًا على CIFAR-10/100، تجاوز LE-SAM نموذج SAM باستمرار.
• التعميم النطاقي (Domain Generalization - SDG): في مجموعات بيانات PACS وVLCS، حسن LE-SAM متوسط الدقة بمقدار 2.18 و0.84 نقطة على التوالي مقارنة بـ SAM.
• المتانة (Robustness): تحت هجمات PGD العدائية من نوع $L_2$ و$L_\infty$، أظهر LE-SAM متانة أقوى، متفوقًا على SAM بما يصل إلى 2.47 نقطة.
• التعلم طويل الذيل (Long-Tailed Learning): في CIFAR-100-LT، أدى الجمع بين LE-SAM وطريقة GLMC المتطورة إلى تحسينات إضافية فوق GLMC+SAM.

تحليل الآلية

• مقاييس المسطح (Flatness Metrics): أكد تحليل أثر الهيسيان (Hessian trace) وأكبر قيمة ذاتية (top eigenvalue) أن LE-SAM يتقارب نحو نهايات صغرى أكثر تسطحًا (أثر هيسيان وقيمة ذاتية قصوى أقل) مقارنة بـ SAM وSGD.
• ديناميكيات التدريب: على عكس SAM، الذي يظهر مكاسب كبيرة فقط في مرحلة التدريب المتأخرة، أظهر LE-SAM فجوات أداء جوهرية طوال عملية التدريب بأكملها، مما يؤكد أن إشارة الانحناء نشطة منذ البداية.
• التكلفة الحسابية: يحافظ LE-SAM على نفس التعقيد التقاربي لـ SAM (مرتان من عمليات التمرير الأمامي والخلفي لكل تكرار) مع تكلفة إضافية ضئيلة لحساب نصف القطر الديناميكي.

5. الأهمية والادعاءات

يجادل البحث بأن القيد الأساسي لطرق تقليل الحدة الواعية الموجودة هو اعتمادها على تقريب من الدرجة الأولى بنصف قطر ثابت، مما يعطي الأولوية دون قصد لمقدار التدرج على حساب الانحناء. ومن خلال "تثبيت الخسارة، لا نصف القطر"، يعيد LE-SAM التفكير جذريًا في آلية الاضطراب العدائي.

يدعي المؤلفون أن هذا النهج يوفر رؤية موحدة للتعلم الواعي بالحدة وهو مدرك للانحناء بطبيعته. ومن خلال فصل حجم الاضطراب عن معيار التدرج، يوفر LE-SAM مسارًا أكثر مباشرة وقوة نحو المناطق المسطحة، مما يؤدي إلى أداء تعميم فائق عبر مختلف البنى، ومجموعات البيانات، وسيناريوهات التدريب (بما في ذلك تعلم النقل والتعميم النطاقي) دون تكبد تكاليف حسابية كبيرة.