Explaining f-Divergence-Based Regularization via Local Curvature and Sharpness-Aware Minimization

ملخص تقني: شرح التنظيم القائم على تباعد $f$ عبر الانحناء المحلي وتقليل الحدة الواعية (SAM)

بيان المشكلة
في سياق وكلاء التعلم المستمر والتعلم العميق العام، يتطلب تحقيق تعميم قوي التحكم في الإفراط في التخصيص (overfitting) والحساسية المحلية. ومن بين الأساليب البارزة لهذا الغرض: التنظيم القائم على التباعد (الذي يعاقب التباينات بين التوزيعات التنبؤية على المدخلات الأصلية والمضطربة) وتقليل الحدة الواعية (SAM)، الذي يسعى للوصول إلى معلمات ذات مساحات خسارة مسطحة. ورغم أن كلا الطريقتين مدفوعتان بالمتانة تجاه الاضطرابات، إلا أن علاقتهما النظرية لا تزال غير مستكشفة إلى حد كبير. وتحديداً، من غير الواضح ما إذا كان بالإمكان ربط الهندسة المحلية الناتجة عن منظم التباعد بشكل رسمي ببنية الهيسيان (Hessian) التي يتحكم فيها SAM ضمنياً.

المنهجية
يؤسس البحث إطاراً نظرياً موحداً من خلال تحليل الهندسة من الدرجة الثانية المحلية لتباعد $f$. وقد اتبع المؤلفون الخطوات التالية:

1. التوسع التربيعي المحلي: اشتقوا توسعاً من الدرجة الثانية لتباعدات $f$ عندما تكون التوزيعات التنبؤية للنموذج $P$ والتوزيع المضطرب $Q$ متقاربتين. وأظهروا أنه في هذا النظام المحلي، يختزل أي تباعد $f$ إلى عقوبة تربيعية مُدرجة بمعامل $\phi''(1)/2$.
2. التفسير الهندسي:
   • فضاء المعلمات: عندما تحدث الاضطرابات في فضاء المعلمات ($\theta \to \theta + \delta$)، يستحث المنظم عقوبة تتناسب مع $\delta^\top F_x(\theta) \delta$، حيث $F_x(\theta)$ هي مصفوفة معلومات فيشر.
   • فضاء المدخلات: عندما تحدث الاضترابات في فضاء المدخلات ($x \to T(x)$)، يستحث المنظم شكلاً تربيعياً "مسحوباً" (pullback) يتضمن تدرج الكثافة بالنسبة للمدخل.
3. الارتباط بـ SAM: تمت مقارنة عقوبة التباعد المستحثة بـ SAM. وقد أُظهر أن SAM يقرب محلياً عقوبة انحناء طيفي تتناسب مع القيمة الذاتية المهيمنة للهيسيان ($\lambda_{\max}(H)$). ويوضح البحث أنه بالنسبة لأهداف السلبية اللوغاريتمية (negative log-likelihood) مع توزيعات عائلة الأس (exponential-family)، فإن مصفوفة فيشر تتطابق مع مصفوفة "غاوس-نيوتن المعممة" (GGN)، والتي تلتقط المكون شبه الموجب لتحديد الهيسيان. وبالتالي، يصبح التنظيم القائم على التباعد وSAM قابلين للمقارنة محلياً من خلال هندسة انحناء مشتركة.
4. بيئة اختبار مضبوطة: للتحقق من هذه الادعاءات النظرية، استخدم المؤلفون عائلة تباعد "جنسن-شانون" (JSD) غير المتماثلة من نوع $\alpha$-skew. معامل الانحناء المحلي لهذه العائلة يتدرج كـ $\alpha(1-\alpha)$، ويصل إلى ذروته عند النقطة المتماثلة $\alpha = 1/2$. وهذا يسمح بتجربة مضبوطة حيث يمكن تغيير قوة عقوبة الانحناء دون تغيير البنية الأساسية للمنظم.

المساهمات الرئيسية

• توسع محلي موحد: اشتق البحث توسعاً محلياً من الدرجة الثانية لتنظيم تباعد $f$، موضحاً أنه يستحث عقوبات حساسة للانحناء محددة بواسطة هندسة فيشر في فضاء المعلمات ومقياس مسحوب في فضاء المدخلات.
• رابط رسمي بـ SAM: أثبت البحث أنه تحت افتراضات الخسارة الاحتمالية القياسية (تحديداً NLL مع عائلات الأس)، تصبح هندسة التباعد المستحثة قابلة للمقارنة محلياً مع التفسيرات من الدرجة الثانية لـ SAM عبر علاقة فيشر/GGN/الهيسيان.
• إطار اضطراب عام: يوضح التحليل أن التنظيم القائم على التباعد يقدم إطار اضطراب أكثر عمومية من SAM القياسي (الذي يُعرف عادةً عبر اضطرابات المعلمات) مع الحفاظ على نفس التفسير للحساسية المحلية.
• اشتقاق معامل الانحناء: بالنسبة لعائلة $\alpha$-skew JSD غير المتماثلة، اشتق المؤلفون صراحةً أن معامل الانحناء المحلي يتناسب مع $\alpha(1-\alpha)$، محددين الحالة المتماثلة ($\alpha=1/2$) باعتبارها نظام الحد الأقصى لعقوبة الانحناء.

النتائج
أُجري التحقق التجريبي على أربع مجموعات بيانات مرجعية (CIFAR-10، Fashion-MNIST، EMNIST، وOxford-IIIT Pet) باستخدام نموذج EfficientNet-B2 مع اضطرابات في فضاء المدخلات (masking عشوائي).

• اتجاهات الأداء: عبر جميع مجموعات البيانات، كان أداء النموذج (مقاساً بالدقة والسلبية اللوغاريتمية) هو الأفضل باستمرار بالقرب من النظام المتماثل $\alpha = 1/2$. وهذا يتوافق مع التنبؤ النظري بأن أقوى عقوبة انحناء محلي (التي تصل لذروتها عند $\alpha=1/2$) تحقق تعميماً فائقاً.
• تصور مساحة الخسارة: أظهرت تصورات مساحة الخسارة على CIFAR-10 باستخدام ResNet-18 أن النماذج المدربة باستخدام تنظيم التباعد تتقارب نحو نقاط صغرى محلية أكثر تسطحاً مقارنة بالنموذج المرجعي (baseline). علاوة على ذلك، أظهر النموذج المدرب بالإعداد المتماثل ($\alpha=0.5$) الحوض الأكثر تسطحاً، مما يتوافق مع أعلى عقوبة انحناء، بينما أظهر الإعداد غير المتماثل ($\alpha=0.9$) تسطحاً متوسطاً.
• المقاييس الإحصائية: أكد التحليل الكمي لإحصائيات مساحة الخسية (متوسط الخسارة، أثر مربع الهيسيان، والقيمة الذاتية القصوى) أن الإعداد المتماثل $\alpha=0.5$ أدى إلى أدنى متوسط خسارة ومقاييس انحناء مخفضة مقارنة بكل من النموذج المرجعي والإعدادات شديدة عدم التماثل.

الأهمية والادعاءات
يدعي البحث توضيح العلاقة بين التنظيم القائم على التباعد وتقليل الحدة الواعية من منظور هندسي محلي. ويفترض أنه بينما لا تعد الطريقتان متطابقتين في الأهداف، إلا أنهما يصبحان متوافقين محلياً من خلال هندسة انحناء مشتركة عندما تتحقق افتراضات احتمالية معينة.

يصيغ المؤلفون مساهمتهم بشكل متواضع كعمل تحليلي في المقام الأول؛ حيث يوضحون متى يصبح تنظيم التباعد، وهندسة فيشر، وأهداف الحدة الواعية قابلة للمقارنة محلياً. وتركز الدراسة التجريبية على التحقق من منظور الانحناء المحلي الأوسع ضمن سياق محدد لعائلة $\alpha$-skew JSD واضطرابات المدخلات، بدلاً من الادعاء بوجود تكافؤ تجريبي مباشر مع SAM في جميع الإعدادات. ويشير العمل إلى أن قوة الانحناء المحلي المستحث هي عامل ذو مغزى في فعالية التنظيم القائم على التباعد، حيث يوفر النظام المتماثل الأداء الأمثل في السيناريوهات المختبرة.