Entropic Confinement and Mode Connectivity in Overparameterized Neural Networks

فيما يلي ملخص تقني مفصل لورقة البحث بعنوان "Entropic Confinement and Mode Connectivity in Overparameterized Neural Networks" (ICLR 2026).

1. بيان المشكلة

تعالج الورقة مفارقة جوهرية في تحسين الشبكات العصبية العميقة ذات المعلمات الزائدة (overparameterized):

• الاتصال بالأنماط (Mode Connectivity): تُظهر الأدلة التجريبية أن النهايات الصغرى (minima) المتميزة التي تجدها خوارزميات التحسين القياسية (مثل SGD) غالبًا ما تكون متصلة بمسارات ذات خسارة منخفضة وثابتة تقريبًا. يشير هذا إلى أن مشهد الخسارة (loss landscape) عبارة عن "وادي" واحد واسع بدلاً من كونه تضاريس وعرة من الأحواض المعزولة.
• الحصر (Confinement): على الرغم من وجود هذه الاتصالات ذات الخسارة المنخفضة، إلا أن ديناميكيات التحسين نادرًا ما تستكشف المناطق المتوسطة بين النهايات الصغرى. بدلاً من ذلك، تتقارب خوارزمية SGD إلى نهاية صغرى محددة وتظل محصورة هناك، ونادرًا ما تعبر إلى حلول أخرى متصلة.

السؤال الجوهري: إذا كانت الخسارة مسطحة (مفضلة طاقيًا) على طول المسار الذي يربط بين نهايتين صغريين، فلماذا لا يقوم المُحسّن (optimizer) بالانتشار عبر المسار لاستكشاف المنطقة المتصلة بأكملها؟ يفترض المؤلفون أن القوى الإنتروبية (entropic forces)، الناشئة عن تغيرات الانحناء وضجيج التحسين، تخلق حواجز فعالة تحصر النموذج في مناطق محددة.

2. المنهجية

يستخدم المؤلفون مزيجًا من التحليل النظري من الفيزياء الإحصائية والتجارب التجريبية المكثفة على مهام تصنيف الصور (CIFAR-10 و CIFAR-100).

أ. الإطار النظري

• القوى الإنتروبية: استنادًا إلى الفيزياء الإحصائية، يصيغ المؤلفون ديناميكيات SGD كعملية عشوائية $\dot{x} = -\nabla V(x) + \xi(t)$، حيث $V$ هي الخسارة و $\xi$ هو الضجيج (درجة الحرارة الفعالة $T \propto \eta/B$).
• الجهد المستحث بالانحناء (Curvature-Induced Potential): يوضح المؤلفون أنه إذا تغير الانحناء (طيف الهيسيان/Hessian spectrum) على طول مسار ما، فإن الضجيج يتفاعل مع هذا الانحناء لإنشاء جهد فعال ($V_{eff}$). وتحديدًا، ينحاز النظام نحو المناطق ذات الانحناء الأقل (النهايات الصغرى الأكثر تسطحًا) لأن هذه المناطق تشغل حجمًا أكبر في فضاء المعلمات.
• النموذج التجريبي (Toy Model): تم استخدام جهد ثنائي الأبعاد $V(x,y) = \frac{1}{2}g(y)x^2$ لتوضيح كيف تولد التقلبات في الاتجاه "الصلب" ($x$) قوة انجراف في الاتجاه "اللين" ($y$) تتناسب مع $-\nabla \ln g(y)$.

ب. الإعداد التجريبي

• البنى والبيانات: تم تدريب نماذج Wide ResNet-16-4 و ResNet-20/110 على مجموعات بيانات CIFAR-10 و CIFAR-100.
• بناء المسارات:
  • المسارات غير الخطية: استخدموا خوارزمية AutoNEB (Automatic Nudged Elastic Band) لإيجاد مسارات الطاقة الدنيا (MEPs) بين نهايات صغرى متميزة تم إيجادها عبر بذور عشوائية مختلفة.
  • المسارات الخطية: استخدموا نهج "الاتصال الخطي للأنماط" (Linear Mode Connectivity) (Frankle et al., 2020)، عبر تدريب شبكات متعددة مع مراحل أولية مشتركة ($k$) ثم فصلها لمعرفة ما إذا كانت تظل متصلة خطيًا.
• قياس الانحناء: نظرًا لصعوبة حساب الهيسيان الكامل، استخدموا ثلاثة بدائل:
  1. القيمة الذاتية القصوى ($\lambda_{max}$) عبر التكرار القدرتي (power iteration).
  2. أثر الهيسيان (Trace of the Hessian) (تقريبي عبر مصفوفة معلومات فيشر).
  3. تحليل القيم المفردة (SVD) لمصفوفة الدرجة (score matrix).
• تحليل الديناميكيات: تم تهيئة النماذج عند نقاط مختلفة على مسارات MEP وتدريبها باستخدام الـ SGD المسقط (Projected SGD) (حيث يتم إسقاط التحديثات مرة أخرى على المسار) لعزل الانجراف الناتج عن القوى الإنتروبية دون أن يتيه النموذج إلى أبعاد أخرى.

3. المساهمات الرئيسية

1. اكتشاف "نتوءات" الانحناء: أثبتوا تجريبيًا أنه بينما تكون الخسارة منخفضة ومسطحة على طول المسارات التي تربط بين النهايات الصغرى، فإن الانحناء يزداد بشكل منهجي (يصبح المشهد أكثر حدة) مع الابتعاد عن الأطراف نحو مركز المسار.
2. تحديد الحواجز الإنتروبية: جادلوا بأن تغيرات الانحناء هذه تخلق حواجز إنتروبية. فحتى في غياب الحواجز الطاقية (الخسارة)، فإن التفاعل بين ضجيج SGD والانحناء المتزايد يولد قوة فعالة تدفع النموذج للعودة نحو النهايات الصغرى الأكثر تسطحًا.
3. تكميم الحصر (Quantification of Confinement): أظهروا أن هذه القوى الإنتروبية قوية بما يكفي لدفع النماذج "للأعلى" في منحدر الخسارة (تسلق مشهد الخسارة) إذا كان ذلك يعني الانتقال نحو منطقة أكثر تسطحًا، مما يلغي تأثير القوى الطاقية في بعض الأنظمة.
4. الديناميكيات الزمنية: أثبتوا أن الحواجز الإنتروبية تستمر لفترة أطول من الحواجز الطاقية أثناء التدريب. ومع تقدم التدريب، تتلاشى الاختلافات الطاقية بين المسارات، لكن الحصر الإنتروبي الناتج عن الانحناء يصبح العامل المهيمن في تحديد حوض الجذب النهائي.

4. النتائج الرئيسية

• ملفات الانحناء (Curvature Profiles): على طول مسارات AutoNEB (MEPs)، غالبًا ما تكون الخسارة في المنتصف أقل مما هي عليه عند الأطراف، ومع ذلك يرتفع أثر الهيسان والقيمة الذاتية القصوى بشكل حاد في المنتصف. هذا يخلق "نتوءًا" حادًا بين نهايات صغرى "مسطحة".
• ديناميكيات الاسترخاء:
  • عندما يتم تهيئة النماذج في منتصف مسار MEP وتدريبها باستخدام Projected SGD، فإنها تنحرف بشكل منهجي عائدة نحو أقرب طرف.
  • الاعتماد على الضجيج: تزداد سرعة هذا الانحراف مع أحجام الدفعات الأصغر (ضجيج أعلى) ومعدلات التعلم الأكبر (درجة حرارة فعالة أعلى)، مما يؤكد الطبيعة الإنتروبية للقوة.
  • حساسية المُحسّن: تُظهر المُحسّنات التكيفية (Adam) و SGD ذات العزم (momentum-based) استجابات أقوى لهذه التغيرات في الانحناء مقارنة بـ vanilla SGD.
• الاتصال الخطي للأنماط:
  • بالنسبة للشبكات التي تم فصلها عند الحقبة $k$، تنخفض الخسارة على طول المسار الخطي مع زيادة $k$ (تتلاشى الحواجز الطاقية).
  • ومع ذلك، يظل عدم الاستقرار في الانحناء (نتوء الحدة) مرتفعًا حتى بالنسبة لقيم $k$ الكبيرة. وهذا يعني أنه بينما تكون المسارات متصلة طاقيًا، إلا أنها تظل منفصلة فعليًا بسبب الحواجز الإنتروبية في المراحل المتأخرة من التدريب.
• الآثار على التعميم: يقترح المؤلفون أن النهايات الصغرى التي تعمم جيدًا قد تكون منفصلة فعليًا عن النهايات الصغرى التي تفرط في التخصيص (overfitting) عبر هذه الحواجز الإنتروبية. حيث يتم طرد SGD طبيعيًا من المناطق الحادة (التي تفرط في التخصيص) بواسطة القوى الإنتروبية، حتى لو وجد مسار منخفض الخسارة.

5. الأهمية والتأثير

• إعادة صياغة رؤية مشهد الخسارة: تتحدى الورقة الرؤية التي تعتبر مشهد الخسارة عبارة عن وادٍ واحد مسطح. وبدلاً من ذلك، تقترح مشهدًا حيث يتم تقسيم المناطق ذات الخسارة المنخفضة بواسطة جدران إنتروبية ناتجة عن تغيرات الانحناء.
• فهم التقارب (Convergence): تفسر الورقة لماذا تتقارب خوارزمية SGD إلى نهايات صغرى محددة ولا تستكشف المكون المتصل الكامل لمساحة الحلول، رغم وجود مسارات منخفضة الخسارة.
• الآثار على دمج النماذج والإنسام (Ensembling): تفترض تقنيات مثل متوسط الأوزان العشوائي (SWA) أن متوسط الأوزان عبر النهايات الصغرى المتصلة يعطي حلًا أفضل. تشير هذه الورقة إلى أنه إذا كانت النهايات الصغرى مفصولة بحواجز إنتروبية قوية، فقد لا يكون المتوسط البسيط كافيًا، أو قد يكون من الصعب الوصول إلى الحل المتوسط الناتج عبر ديناميكيات الانتشار القياسية.
• نظرية التعميم: توفر تفسيرًا هندسيًا لسبب تعميم SGD الجيد: القوى الإنتروبية تحصر المُحسّن طبيعيًا في الأحواض المسطحة التي تعمم جيدًا، وتطرده بعيدًا عن المناطق الحادة التي تفرط في التخصيص، حتى بدون تنظيم (regularization) صريح.

باختصار، تحل الورقة مفارقة الاتصال بالأنماط مقابل الحصر من خلال تحديد القوى الإنتروبية المستحثة بالانحناء كآلية تفصل فعليًا مناطق الخسارة المنخفضة في فضاء المعلمات، مما يحكم خصائص التمركز النهائي والتعميم للشبكات العصبية العميقة.