Don't Stop Me Yet: Sampling Loss Minima via Dissipative Riemannian Mechanics

ملخص تقني: لا توقفني الآن: أخذ عينات من نهايات الصغرى للفقد عبر الميكانيكا الريمانية التبديدية

بيان المشكلة
تتميز الشبكات العصبية الحديثة عادةً بأنها مفرطة في المعلمات (overparameterized)، مما يؤدي إلى تضاريس فقد (loss landscapes) حيث لا تكون النهايات الصغرى العالمية نقاطاً معزولة، بل تشكل مجموعات فرعية متصلة ومستمرة من الحلول الثابتة تحت إعادة التشكيل (reparameterization-invariant). وبينما تؤدي هذه الحلول أداءً متساوياً على بيانات التدريب، إلا أنها قد تسبب سلوكيات وظيفية متنوعة على المدخلات غير المرئية. تواجه الأساليب الحالية لتقدير عدم اليقين (uncertainty quantification) ثنائية: فالطرق التي تأخذ عينات من مناطق الفقد المنخفض تفشل غالباً في فرض الاستيفاء الدقيق (exact interpolation) لبيانات التدريب، بينما الطرق المقيدة بمجموعة إعادة التشكيل الثابتة تكون بطبيعتها محلية، مما يحد من قدرتها على استكشاف وديان النهايات الصغرى المتميزة. تعالج الورقة تحدي التنقل في فضاء "الحلول الجيدة" لأخذ عينات من نماذج متنوعة تقلل فقد التدريب بدقة مع الحفاظ على عدم يقين تنبؤي عالٍ للبيانات خارج التوزيع (OOD).

المنهجية: أخذ عينات النهايات الصغرى التبديدية (DIMS)
يقترح المؤلفون "أخذ عينات النهايات الصغرى التبديدية" (DIMS)، وهو نظام ديناميكي مدفوع بالهندسة مصمم لأخذ عينات بدقة من مستويات الـ (level sets) الدنيا لدالة الفقد. يعتمد النهج على الميكانيكا الريمانية والأنظمة التبديدية الكلاسيكية.

1. الصياغة الريمانية: يتم التعامل مع سطح الفقد كمتشعب ريماني $(M, g)$ منغمس في $\mathbb{R}^{K+1}$. يتم تعريف موتر المقياس (metric tensor) $G(\theta)$ كمقياس سحب (pullback metric)، حيث $G(\theta) = I_K + \nabla_\theta L(\theta)\nabla_\theta L(\theta)^\top$، والذي يدمج انحناء تضاريس الفقد في هندسة فضاء المعلمات.
2. النظام الديناميكي: عملية أخذ العينات تُمثل جسيماً يتحرك على هذا المتشعب. تُحكم الديناميكيات بواسطة معادلة تفاضلية عادية (ODE) من الدرجة الثانية مشتقة من معادلات أويلر-لاجرانج. يتضمن النظام:
   • الطاقة الحركية: $T(\alpha, \dot{\alpha}) = \frac{1}{2}\dot{\alpha}^\top G(\alpha)\dot{\alpha}$.
   • طاقة الوضع: $V(\alpha) = \kappa(L(\alpha) - L(\theta^*_{glob}))$، وهي تعمل كقوة جذب جاذبية نحو النهايات الصغرى.
   • التبديد: يتم إدخال حد احتكاك $-\eta(t)\dot{\alpha}$ لكسر حفظ الطاقة.
3. الاحتكاك المعتمد على السرعة: الابتكار الرئيسي هو تعريف دالة التبديد $\eta(t)$، التي تتناسب مع سرعة الجسيم (الجذر التربيعي للطاقة الحركية) والزاوية بين السرعة والمتجه المتدرج (gradient). يضمن هذا تبديد الطاقة بسرعة أكبر عند التحرك ضد المتجه المتدرج، بينما يسمح للجسيم بعبور مستوى الحد الأدنى (حيث يكون المتجه المتدرج متعامداً مع السرعة) بأقل قدر من الاحتكاك.
4. إجراء أخذ العينات: يبدأ أخذ العينات بوضع جسيم عند نهاية صغرى مدربة $\theta^*$ مع سرعة عشوائية مأخوذة من توزيع (غالباً تقريب لابلاس يحترم الهندسة المحلية). يتم دمج المعادلة التفاضلية العادية عددياً حتى يستقر الجسيم عند نقطة جديدة في المتشعب الأدنى $S^*(D)$.

المساهمات الرئيسية

1. أخذ عينات حتمي للمجموعات الفرعية الدنيا: يوفر DIMS طريقة لزيارة نقاط متميزة باستمرار في المجموعات الفرعية الدنيا لفقد التدريب. تم صياغته كنظام ديناميكي مدفوع بالهندسة بمعاملات فائقة فيزيائية قابلة للتفسير (معامل الاحتكاك $\eta_0$) تتحكم في الاستكشاف.
2. الضمانات النظرية: تثبت الورقة أن الديناميكيات المقترحة تستكشف سطح الفقد قبل الاستقرار في المتشعب الأدنى في زمن محدد. وتحديداً، يضمن النظرية 1 التقارب إلى مجموعة التوازن (النهايات الصغرى المحلية) تحت خاصية السرج الصارم (strict saddle property)، بينما توفر النظريتان 2 و3 حدوداً لزمن التقارب وطول المسافة المقطوعة، مما يضمن استكشافاً غير بديهي.
3. التحقق التجريبي: يوضح المؤلفون أن تقريبات البعد الخلفي (posterior approximations) المركزة على المتشعب الأدنى تعمم بشكل جيد. يحسن DIMS الأداء التنبؤي، والمعايرة، وتحديداً تقدير عدم اليقين للبيانات خارج التوزيع (OOD) مقارنة بتقريبات لابلاس الموجودة (Standard LA, Linearized LA, and Riemannian LA).

النتائج التجريبية
تم تقييم الطريقة في مهام الانحدار (مجموعة بيانات Snelson) والتصنيف (Banana, UCI datasets, MNIST, Fashion MNIST).

• الانحدار: في مجموعة بيانات Snelson، نجح DIMS في التقارب إلى حلول تناسب بيانات التدريب تماماً مع إظهار عدم يقين عالٍ للبيانات خارج التوزيع، بينما فشل تقريب لابلاس الريماني (RLA) في ضمان الاستيفاء عند البدء من مواضع دون المستوى الأمثل.
• التصنيف: في مجموعات بيانات UCI، حقق DIMS نتائج تنافسية أو متفوقة في مقاييس الـ (NLL) والمعايرة مقارنة بـ RLA والأساليب المرجعية الأخرى. والجدير بالذكر أن DIMS كان قوياً تجاه معامل الاحتكاك $\eta_0$، حيث عمل جيداً غالباً بقيمة افتراضية ثابتة عبر مجموعات بيانات متنوعة.
• أداء البيانات خارج التوزيع (OOD): في MNIST وFashion MNIST، تفوق DIMS باستمرار على الطرق الأخرى في درجات AUROC للكشف عن البيانات خارج التوزيع، مما يشير إلى قدرة فائقة على التمييز بين العينات داخل التوزيع وخارج التوزيع.

الأهمية والادعاءات
تدعي الورقة أن DIMS يقدم نهجاً مبدئياً لتقدير عدم اليقين في التعلم العميق من خلال استهداف هندسة مجموعات النهايات الصغرى الدنيا للفقد بشكل صريح. وعلى عكس تقريبات البعد الخلفي التقليدية التي قد تنتشر فوق مناطق الفقد المنخفض دون فرض الاستيفاء الدقيق للبيانات، يضمن DIMS التقارب إلى المتشعب الأدنى. يفترض المؤلفون أن هذا النهج يسمح بتوليد عينات وظيفية متنوعة تتفق على بيانات التدريب ولكنها تختلف في أماكن أخرى، وهي خاصية حاسمة للاستدلال البايزي. يشير العمل إلى أن الديناميكيات المستوحاة من الفيزياء والمدركة للهندسة يمكنها فعلياً التنقل في تضاريس الفقد المعقدة للشبكات مفرطة المعلمات، مما يوفر بديلاً قوياً لتقنيات أخذ العينات والتقريب الموجودة. ويقر المؤلفون بأن الطريقة مكلفة حوسبياً بسبب الحاجة إلى حل المعادلات التفاضلية العادية في فضاءات عالية الأبعاد، لكنهم يجادلون بأن المقايضة تؤدي إلى تقديرات أفضل لعدم اليقين.