ملخص تقني: التنظيم الكنسي للشبكات العصبية واسعة تعلم الميزات

بيان المشكلة

تعد الشبكات العصبية الواسعة التي تعمل في نظام تعلم الميزات (feature-learning regime) — حيث تتعلم الشبكة التمثيلات بنشاط بدلاً من التصرف كآلة نواة ثابتة — هي المحرك الأساسي للتعلم العميق الحديث. ومع ذلك، فإن الفهم النظري لهذه الشبكات يتأخر بشكل كبير عن نظام النواة (kernel regime) (الذي تمت صياغته عبر نواة تانغنت العصبية، NTK). توجد فجوة حرجة فيما يتعلق بـ التنظيم الضمني (implicit regularisation) والأولوية في فضاء الدوال (function-space prior) التي يفرضها تدفق التدرج (gradient flow).

في نظام النواة، من الثابت أن تدفق التدرج يختار الحل الفريد الذي يقلل المسافة المربعة في فضاء المعلمات من نقطة البداية (المنحدر المثبت، $\|\theta - \theta_0\|^2$). هذه الخاصية تدعم التناظر بين الشبكة العصبية والعملية الغاوسية (NN-GP)، مما يسمح بنمذجة الضجيج وتقدير عدم اليقين بشكل منهجي. ومع ذلك، غالباً ما يطبق الممارسون تقليص الأوزان القياسي ($\|\theta\|^2$) أو المنحدر المثبت (anchored ridge) على شبكات تعلم الميزات بشكل افتراضي. تجادل هذه الورقة بأن هذه المنظمات تكون غير متوافقة هندسياً في نظام تعلم الميزات، مما يؤدي إلى انحياز "صامت" يشوه الانحياز الاستقرائي للشبكة، خاصة في سيناريوهات تعلم النقل (transfer learning) حيث تكون الميزات المدربة مسبقاً ذات قيمة معلوماتية.

المنهجية والإطار النظري

يطور المؤلفون إطاراً هندسياً لتوصيف ديناميكيات فضاء المعلمات للشبكات المفرطة في البارامترات (overparametrised) التي تحقق فرضية التكييف الموحد لجاكوبي (Uniform Jacobian Conditioning) (الفرضية 2.1). تفترض هذه الفرضية أن مصفوفة جاكوبي $J(\theta)$ تمتلك قيمًا مفردة محصورة بعيداً عن الصفر واللانهاية في جوار الحلول الاستيفائية.

1. التفكيك الهندسي

يقوم المؤلفون بتفكيك فضاء المعلمات $\Theta$ حول مستوفٍ (interpolator) إلى ثلاثة كائنات رئيسية:

• مدار التدفق (Flow Orbit - $O_{flow}$): مجموعة جميع المعلمات التي يمكن الوصول إليها بواسطة تدفق التدرج من نقطة البداية $\theta_0$. في نظام تعلم الميزات، يمكن أن يكون هذا مجموعة فرعية ريمانية تحتية (sub-Riemannian) عالية الأبعاد.
• متعدد طيات التدفق المثبت بالقياس (Gauge-Fixed Flow Manifold - $M_{flow}(\theta_0)$): متعدد طيات فرعي محدد ذو $n$ بُعد داخل مدار التدفق يحتوي على مسار تدفق التدرج المتحقق. يعمل كـ "مخطط" (chart) لفضاء المعلمات بالقرب من المستوفي.
• ألياف المخرجات (Output Fibres - $\Theta(c)$): اتجاهات عرضية لمتعدد طيات التدفق حيث تظل تنبؤات التدريب $g(\theta)$ ثابتة، ولكن التنبؤات على مدخلات غير مرئية يمكن أن تتغير بشكل جذري.

2. اعتلال تنظيم المنحدر (Ridge Regularisation)

تثبت الورقة أنه في نظام تعلم الميزات، يكون متعدد طيات التدفق $M_{flow}(\theta_0)$ منحنياً، على عكس الفضاء الأفيني في نظام النواة.

• فشل المنحدر المثبت: تدرج المنحدر المثبت، $-2(\theta - \theta_0)$، هو وتر إقليدي. على متعدد طيات منحني، يكتسب هذا التدرج مكوناً على طول ألياف المخرجات (العمودية على اتجاه التدفق).
• النتيجة: مع اقتراب قوة التنظيم $\lambda \to 0$، لا يتقارب الحل نحو حد تدفق التدرج غير المنظم $\theta^*$. بدلاً من ذلك، يسحب تدرج التنظيم المعلمات على طول الألياف، مما يشوه الأولوية الضمنية وقد يدمر الانحيازات الاستقرائية المفيدة التي تم تعلمها أثناء التدريب المسبق. يتم صياغة ذلك في النظرية 3.1.

3. الاشتقاق البديهي للمنظم الكنسي

لحل هذه المعضلة، يصيغ المؤلفون طاقة فضاء الدوال الكنسية كأقل طاقة تحكم نظرية (control-theoretic energy) مطلوبة لنقل مخرجات الشبكة من نقطة البداية إلى الهدف تحت ديناميكيات تدفق التدرج.

• الوحدانية: من خلال فرض بديهيات الثبات الإيزومتري (isometry invariance) والإضافة المتعامدة (orthogonal additivity)، يثبتون أنه في نظام النواة، تقابل هذه الطاقة بشكل فريد مع معيار RKHS المربع (مسترجعةً المنحدر المثبت).
• التعميم: برفع هذه الطاقة إلى فضاء المعلمات عبر التعريف 4.3، نحصل على منظم المنحدر الجيوديسي (Geodesic Ridge):
  $$d^2(\theta, \theta_0) = d^2_{flow}(\theta_0, g|^{-1}_{\theta_0}(g(\theta))) + d^2_{fibre}(\theta, g|^{-1}_{\theta_0}(g(\theta)))$$
  يقيس هذا المسافة الجيوديسية المربعة على طول متعدد طيات التدفق بالإضافة إلى المسافة الجيوديسية على ليف المخرجات.
• الأولوية الضمنية: يتم تحديد الأولوية المقابلة في فضاء الدوال كـ عملية غيبس ريمانية (Riemannian Gibbs Process)، والتي تعمم عملية غاوس (GP) الخاصة بـ NTK إلى الهندسات المنحنية.

4. منحدر القوس (Arc Ridge): بديل عملي متين

بما أن حساب المسافات الجيوديسية أمر مستعصٍ حسابياً على نطاق واسع، يقترح المؤلفون منحدر القوس (Arc Ridge) كبديل "مينيمكس" متين (minimax-robust).

• التعريف: منحدر القوس هو مربع طول المسار الكلي لتدريب المسار: $L_2(\gamma) = (\int_0^T \|\dot{\gamma}(t)\| dt)^2$.
• الخصائص: يمثل حداً علوياً لمنحدر الجيوديسي، ويحتفظ بخاصية "عدم الانحياز" (no-bias) على طول اتجاه تدفق التدرج المتحقق، وهو مكافئ رسمياً لـ التوقف المبكر (early stopping) تحت تدفق التدرج الدقيق. لا يتطلب معلومات من الدرجة الثانية، بل يراكم فقط مقداراً عددياً واحداً (طول المسار) أثناء التدريب.

النتائج الرئيسية

1. انحياز المنظمات القياسية: تثبت الورقة أن كلاً من المنحدر القياسي والمنحدر المثبت يسببان انحيازاً لحد تدفق التدرج في نظام تعلم الميزات (النظرية 3.1). يستمر هذا الانحياز حتى مع تلاشي قوة التنظيم، مما يسبب انجراف الحل على طول ألياف المخرجات غير المرئية لخسارة التدريب.
2. المنحدر الجيوديسي كحل كنسي: يستنتج المؤلفون المنحدر الجيوديسي كالمُنظم الوحيد الذي يتوافق مع هندسة شبكات تعلم الميزات، مما يضمن أن حد التنظيم المتلاشي يستعيد حل تدفق التدرج غير المنظم (النظرية 4.2).
3. تكافؤ منحدر القوس: يُظهر منحدر القوس أنه حد علوي ضيق وقابل للتطبيق للمنحدر الجيوديسي. والأهم من ذلك، ثبت أنه مكافئ للتوقف المبكر في حد تدفق التدرج الدقيق (الخاصية F.4)، مما يوفر تبريراً نظرياً للتوقف المبكر كتقنية تنظيم واعية بالهندسة.
4. التحقق التجريبي: تُظهر التجارب على مهام تعلم النقل (تراجع العمر باستخدام UTKFace على ResNet18؛ وتراجع درجات المراجعات باستخدام Yelp على DistilBERT) أن:
   • عند قوى التنظيم العالية، يسبب المنحدر القياسي والمنحدر المثبت تدهوراً كبيراً في أداء الاختبار بسبب تدمير الأولوية المدربة مسبقاً.
   • منحدر القوس يتسبب في تدهور طفيف فقط، بما يتفق مع "نقص التدريب الحميد" (benign undertraining).
   • عند قوى التنظيم المنخفضة، تتلاقى جميع الطرق، حيث يهيمن التوقف المبكر على الانحياز.

الأهمية والادعاءات

تدعي الورقة أنها تقدم أول إطار منهجي لفهم وتصحيح الانحياز الضمني لتدفق التدرج في الشبكات الواسعة ذات تعلم الميزات. وتتمثل مساهماتها الرئيسية في:

• الرؤية الهندسية: تحدد انحناء متعدد طيات التدفق كسبب جذري لفشل المنظمات القائمة على المسافة الإقليدية (مثل المنحدر المثبت) في أنظمة تعلم الميزات.
• التوحيد النظري: تعمم التناظر بين NN-GP والعملية الغاوسية إلى نظام تعلم الميزات من خلال تحديد عملية غيبس ريمانية كأولوية كنسية والمنحدر الجيوديسي كمنظم كنسي.
• الحل العملي: تقترح منحدر القوس (مربع طول المسار) كبديل قابل للتوسع ومتين (minimax-robust) يتوافق مع هندسة التدريب. يكشف هذا عن علاقة عميقة لم تكن مصاغة سابقاً بين التوقف المبكر والتنظيم الكنسي، مما يشير إلى أن التوقف المبكر ليس مجرد وسيلة استدلالية (heuristic) بل هو استراتيجية تنظيم تحافظ على الهندسة.

يؤكد المؤلفون أنه بينما يفترض نظرهم "تكييف جاكوبي الموحد" (الذي تم التحقق منه تجريبياً في الملحق H)، فإن الحدس الهندسي يفسر ظواهر مثل تدهور التمثيلات المدربة مسبقاً أثناء الضبط الدقيق (fine-tuning)، وظاهرة "النمو" (grokking)، مما يفتح مساراً نحو استراتيجيات تنظيم أكثر متانة في التعلم العميق.