ملخص تقني: لماذا تظهر الاستمرارية الهندسية في الشبكات العصبية العميقة

بيان المشكلة

تشير ملاحظات جديدة إلى أن مصفوفات الأوزان في الطبقات المتجاورة للشبكات العصبية العميقة، لا سيما النماذج اللغوية الكبيرة (LLMs)، تُظهر استمرارية هندسية (Geometric Continuity): حيث تشير متجهات القيم المفردة الرائدة لديها إلى اتجاهات متشابهة وتُشكل مسارات سلسة عبر عمق الشبكة. ورغم أن هذه الظاهرة موثقة تجريبياً ومرتبطة بفوائد عملية مثل تقليم الطبقات (layer pruning) والمشاركة الجزئية للمعلمات عبر الطبقات، إلا أن أصلها الجوهري لا يزال غير واضح. ومن غير المؤكد ما إذا كانت هذه الاستمرارية نتيجة حتمية لتدريب الشبكات العميقة أم أنها تتطلب متطلبات معمارية محددة. يبحث هذا المساهمة في الأصول الميكانيكية للاستمرارية الهندسية لتحديد ما إذا كانت نتاجاً لعمليات تحسين (optimizers) معينة أم أنها نتاج هيكلي لتعلم الشبكات المتبقية (residual networks).

المنهجية

يستخدم المؤلفون مزيجاً من دراسات الاستئصال المنضبطة على نماذج "لعبة" للمدركات متعددة الطبقات (MLPs) ومحولات (Transformers) صغيرة، جنباً إلى جنب مع تحليل النماذج اللغوية الكبيرة المدربة مسبقاً.

1. تجارب MLP "اللعبة" (MNIST):

   • المعمارية: مدرك (MLP) متبقٍ (residual) مكون من 16 طبقة بـ 256 بُعداً مخفياً.
   • المتغيرات: تعزل الدراسة المكونات المعمارية بشكل منهجي عن طريق:
     • إزالة الاتصالات المتبقية (NoRes).
     • إزالة دوال التنشيط (Res+None).
     • استبدال التنشيطات القياسية بتنشيطات متساوية التباين الدوراني (rotation-equivariant) (Res+Radial باستخدام $\sigma_{rad}(x) = x \cdot \tanh(\|x\|)$).
     • تغيير مقاييس التهيئة وإعدادات المحسن (مثل Adam مع $\beta_2=0$).
   • المقاييس: يقيس المؤلفون تشابه جيب التمام لمتجهات القيم المفردة الرائدة ($v_1$ لفضاء المدخلات، $u_1$ لفضاء المخرجات) بين الطبقات المتجاورة. كما يعرّفون مقياس محاذاة مرجح بـ $\sigma^2$ لتقييم الاستمرارية عبر كامل طيف القيم المفردة ويتتبعون تماسك التدرج التراكمي.

2. تجارب المحولات (WikiText-103 والمناذج اللغوية الكبيرة المدربة مسبقاً):

   • النطاق الصغير: محول شبيه بـ Llama (8 طبقات، 34 مليون معلمة) مدرب على WikiText-103. يقوم المؤلفون بإجراء استئصال على تنشيطات MLP لاختبار تأثيرها المحدد على مصفوفات الإسقاط المختلفة (Q, K, V, Gate, Up, O, Down).
   • النطاق الكبير: تحليل النماذج المدربة مسبقاً مثل Llama-3.1-8B والنماذج التي تصل إلى 70 مليار معلمة للتحقق مما إذا كانت الأنماط الملاحظة تظل قائمة عند هذا النطاق.

المساهمات والنتائج الرئيسية

1. شرطان ضروريان للاستمرارية الهندسية

تحدد المساهمة آليتين متمايزتين مطلوبتين لظهور واستمرار الاستمرارية الهندسية:

• الشرط 1: الاتصالات المتبقية (تماسك التدرج):
  تضمن الاتصالات المتبقية تلقي الطبقات المتجاورة لإشارات خطأ متشابهة. في الشبكات المتبقية، يحتوي التدرج بالنسبة لمدخلات الطبقة على حد الهوية ($I$)، مما يولد انتشاراً متماسكاً للتدرج عبر الطبقات. تُظهر النتائج التجريبية أنه بدون الاتصالات المتبقية، ينخفض تماسك التدرج إلى قيم عشوائية (~0.05) ولا تتطور استمرارية في الأوزان.
• الشرط 2: دوال التنشيط كاسرة التماثل (استقرار نظام الإحداثيات):
  بينما توفر الاتصالات المتبقية تدرجات متماسكة، إلا أنها غير كافية للحفاظ على استمرارية الأوزان دون كسر التماثل.
  • فشل حالة "Res+None": يؤدي إزالة دالة التنشيط (ترك شبكة متبقية خطية) إلى تدرج متماسك عالٍ (0.93) ولكن باستمرارية أوزان منخفضة (0.22). تبدأ الأوزان في تكوين بنية مستمرة ولكنها تنهار بسبب الانجراف الدوراني (rotational drift).
  • الآلية: في الشبكات الخطية، تمتلك نواتج الأوزان خاصية دوران متماثل مستمرة ($SO(d)$)، مما يخلق اتجاهات مسطحة في مشهد الخسارة حيث يمكن للأوزان أن تنحرف بشكل مستقل. تعمل التنشيطات العنصرية (ReLU, GELU, SiLU) على كسر هذا التماثل، مما يجبر الطبقات على دخول إطار إحداثي مشترك ويمنع الانجراف.
  • التنشيط مقابل كسر التماثل: من المهم ملاحظة أن التنشيط وحده ليس العامل الفعال. فالتنشيط المتماثل دورانياً (Res+Radial) - وهو غير خطي ولكنه يحافظ على تماثل $SO(d)$ - يفشل في الحفاظ على الاستمرارية (الوزن $v_1 \approx 0.22$). وهذا يعزل كسر التماثل كعامل حاسم.

2. الأدوار المتمايزة للتنشيط والتطبيع (Normalization)

• التنشيط: يركز الاستمرارية الهندسية في اتجاه القيمة المفردة الرائدة ($v_1$).
• LayerNorm: يكسر التماثل بطريقة مختلفة من خلال توزيع الاستمرارية عبر عدة اتجاهات قيم مفردة. وبالاشتراك، فإن نمط التنشيط المركز على $v_1$ هو الذي يهيمن.

3. الاستمرارية الخاصة بالإسقاط في المحولات

في بنيات المحولات، لا تكون الاستمرارية الهندسية موحدة بل هي خاصة بالإسقاط (projection-specific)، وتتحدد بناءً على قرب دالة التنشيط واتجاه تدفق المعلومات بالنسبة للمجرى المتبقي (residual stream):

• الاستمرارية في فضاء المدخلات ($v_1$): الإسقاطات التي تقرأ من المجرى المتبقي وتتبعها دالة تنشيط تطور استمرارية قوية في فضاء المدخلات. وتشمل هذه Q, K (المستقرة بواسطة Softmax)، و Gate (المستقرة بواسطة تنشيط الـ MLP)، و Up (المستقرة بواسطة عملية الضرب البوابية مع الـ Gate المنشط).
• الاستمرارية في فضاء المخرجات ($u_1$): الإسقاطات التي تكتب في المجرى المتبقي وتتلقى إشارات بعد دالة التنشيط تطور استمرارية في فضاء المخرجات. وتشمل هذه O و Down.
• الاستمرارية المنخفضة: إسقاط V (القيمة) يطور استمرارية منخفضة فقط في كلا الفضائين، لأنه يفتقر إلى دالة تنشيط مجاورة لكسر التماثل وتثبيت إطاره.

4. ديناميكيات انتقال التدرج إلى الوزن

تكشف الدراسة عن تسلسل سببي:

1. تماسك التدرج: يوجد توزيع تدرج متماسك عبر الطبقات فور التهيئة (قبل تحديثات الأوزان) بسبب الاتصالات المتبقية.
2. تكوين الوزن: مع تقدم التدريب، تتراكم تحديثات الأوزان. وبمجرد أن تهيمن مقدار التحديثات المتراكمة ($\|\Delta W\|$) على الأوزان الأولية ($\|W^{(0)}\|$)، يتماشى هيكل الوزن مع هيكل التدرج التراكمي.
3. الاستقرار: تمنع دوال التنشيط كاسرة التماثل "الانجراف الدوراني" الذي قد يؤدي بخلاف ذلك إلى فصل هيكل الوزن عن إشارة التدرج المتماسكة.

الأهمية والادعاءات

تدعي المساهمة أن الاستمرارية الهندسية هي نتاج هيكلي للتعلم في الشبكات المتبقية ذات دوال التنشيط كاسرة التماثل، وليست نتاجاً لمحسنات معينة أو حيل تدريبية.

• التفسير الميكانيكي: يوفر هذا العمل تفسيراً ميكانيكياً لسبب اشتراك الطبقات المتجاورة في هياكل متجهات قيم مفردة متشابهة، ويربط القرارات المعمارية (المتبقيات، التنشيطات) مباشرة بالهندسة الناشئة للأوزان.
• التحقق من استراتيجيات الضغط: تقدم النتائج أساساً نظرياً لتقنيات ضغط النماذج الحالية (مثل تقليم الطبقات، والمشاركة الجزئية للمعلمات عبر الطبقات). وتجادل المساهمة بأنه بما أن الاستمرارية تظهر طبيعياً من عملية التعلم، فإن النماذج المدربة جيداً تمتلك بطبيعتها أوجه التشابه عبر الطبقات التي تجعل استراتيجيات الضغط هذه قابلة للتنفيذ.
• الآثار على التصميم: يشير نمط الاستمرارية الخاص بالإسقاط إلى أن استراتيجيات الضغط أو مشاركة المعلمات يجب أن تحترم الفضاء المحدد (المدخلات مقابل المخرجات) الذي يتم فيه هيكلة كل إسقاط. على سبيل المثال، تشترك Q و K و Gate و Up في القواعد في فضاء المدخلات، بينما تشترك O و Down في قواعد فضاء المخرات، في حين أن V لا توفر فرصة واضحة للمشاركة عبر الطبقات.

يظل المؤلفون متواضعين بشأن ادعاءاتهم، مشيرين إلى أنه بينما الآلية لـ MLP وإسقاط Gate (عبر الاستئصال المباشر) واضحة، فإن الادعاءات المتعلقة بـ Q/K و V في المحولات تعتمد على أدلة غير مباشرة أو غياب دالة التنشيط. كما يقرون أنه بينما تظل الأنماط قائمة عبر مختلف المقاييس (حتى 70 مليار معلمة)، فإن ديناميكيات التدريب المحددة للانجراف الدوراني في المقاييس الأكبر لم يتم التحقق منها بالكامل بعد.