ملخص تقني: استيعاب أم خلل؟ كيف تؤدي الدقة المنخفضة إلى طفرات فقدان "المقلاع" (Slingshot)

1. بيان المشكلة

تُظهر الشبكات العصبية العميقة التي يتم تدريبها دون تنظيم صريح ظاهرة تُعرف باسم "الاستيعاب" (Grokking): حيث تحقق النماذج تعميماً مفاجئاً بعد فترة طويلة من الوصول إلى دقة تدريب مثالية. وتصاحب هذه العملية غالباً "آلية المقلاع" (Sliving Mechanism): وهي عدم استقرار دوري يتميز بنمو سريع، يقترب من النمو الأسي، في معيار (norm) معاملات الطبقة الأخيرة، يليه طفرات مفاجئة في فقد التدريب.

بينما تعزو الأدبيات الحالية هذه الطفرات إلى ديناميكيات التحسين الجوهرية — مثل "حافة الاستقرار" (Edge of Stability - EOS) أو التفاعلات بين مقاييس التدرج والمحسنات التكيفية — إلا أن آلية التحفيز الدقيقة لا تزال غير واضحة. يبحث هذا البحث فيما إذا كانت حالات عدم الاستقرار هذه متأصلة في مشهد التحسين أم أنها ناتجة عن حسابات الحسابات ذات الدقة المحدودة.

2. المنهجية والإطار النظري

يفترض المؤلفون أن "آلية المقلاع" ليست ظاهرة تحسين جوهرية، بل هي نتيجة لقصور الحسابات ذات الفاصلة العائمة أثناء حساب فقد "الاعتراض المتقاطع" (Cross-Entropy - CE).

2.1 انهيار السوفتماكس (Softmax Collapse - SC)

يكمن جوهر الآلية في خطأ الامتصاص المتأصل في الجمع باستخدام الفاصلة العائمة. أثناء التدريب، وعندما يصل النموذج إلى نظام ذو ثقة عالية (دقة تدريب مثالية)، يصبح الـ (logit) للفئة الصحيحة ($z_r$) أكبر بكثير من الـ (logits) للفئات غير الصحيحة ($z_k$).

• في حساب السوفتماكس (Softmax)، يحتوي المقام على عملية (Log-Sum-Exp): $Z = \log(\sum \exp(z_k))$.
• عندما يتجاوز الهامش $z_r - \max_{k \neq r} z_k$ عتبة محددة بواسطة دقة المانتيسا (على سبيل المثال، $\approx 16$ لـ float32)، يتم امتصاص الحدود الأصغر في الحد الأكبر بسبب الدقة المحدودة.
• نتيجة لذلك، تصبح احتمالية الفئة الصحيحة المحسوبة مساوية تماماً لـ 1، ويتم تقريب التدرج بالنسبة لـ (logit) الفئة الصحيحة، $\partial L / \partial z_r$، إلى الصفر تماماً. تُسمى هذه الظاهرة انهيار السوفتماكس (SC).

2.2 كسر شرط مجموع الصفر

في الحسابات الدقيقة، يكون مجموع التدرجات عبر جميع الفئات لعينة واحدة صفراً ($\sum_k \nabla_{W_k} L = 0$)، مما يضمن بقاء المتوسط العالمي لمعاملات المصنف ($W_G$) ثابتاً.

• تحت تأثير (SC)، يتلاشى تدرج الفئة الصحيحة، بينما تظل تدرجات الفئات غير الصحيحة غير صفرية (وإن كانت صغيرة).
• يؤدي هذا إلى كسر شرط مجموع الصفر ويؤدي إلى انحراف صافٍ في تحديث المتوسط العالمي للمصنف $W_G$. وتحديداً، ينحرف $W_G$ في اتجاه $-\mu_G$، حيث $\mu_G$ هو المتوسط العالمي لميزات الطبقة قبل الأخيرة.

2.3 تضخم الميزات الرقمي (Numerical Feature Inflation - NFI)

يحدد البحث حلقة تغذية راجعة إيجابية تسمى تضخم الميزات الرقمي (NFI):

1. يؤدي الانحراف في $W_G$ إلى تغيير تدفق التدرج عائداً إلى طبقة الميزات.
2. يكتسب متوسط الميزات $\mu_G$ انحرافاً في اتجاه $-W_G$.
3. يخلق هذا ديناميكية مقترنة حيث يصبح كل من $W_G$ و $\mu_G$ متعاكسين في الاتجاه، وتنمو معايبهما (norms) بشكل أسي.
4. مع نمو هذه المعايير، يسقط هامش بعض العينات (خاصة القيم المتطرفة) في النهاية تحت عتبة الامتصاص، مما يؤدي إلى ظهور تدرج الفئة الصحيحة فجأة.

2.4 طفرة المقلاع (The Slingshot Spike)

يؤدي ظهور تدرج الفئة الصحيحة مجدداً إلى إحداث طفرة الفقد:

• قبل الطفرة، يكون تدرج الفئة الصحيحة صفراً، وتكون تدرجات الفئات غير الصحيحة ضئيلة جداً. يتلاشى مجمع العزم الثاني ($v_t$) لمحسن "آدم" (Adam)، مما يجعل معدل التعلم الفعال ($\eta / \sqrt{v_t + \epsilon}$) كبيراً للغاية.
• عندما يظهر التدرج فجأة، يؤدي معدل التعلم الفعال الضخم هذا إلى تحديث كبير غير متناسب للمعاملات، مما يدفع الفقد للعودة إلى مستوى التخمين العشوائي (وهو ما يسمى بـ "المقلاع").

3. المساهمات الرئيسية

1. التفسير النظري للمقلاع: يقدم البحث برهاناً دقيقاً على أن "آلية المقلاع" هي أثر عددي ناتج عن حساب فقد (CE) بدقة محدودة، ويربطها تحديداً بانهيار السوفتماكس وما يتبع ذلك من كسر شرط مجموع الصفر للتدرج.
2. تحديد الـ NFI: يحدد المؤلفون تضخم الميزات الرقمي (NFI)، وهي حلقة تغذية راجعة بين المتوسط العالمي للمصنف والمتوسط العالمي للميزات، والتي تقود النمو الأسي لمعايير المعاملات الملاحظ قبل طفرات الفقد.
3. التمييز عن الديناميكيات الجوهرية: يوضح العمل أن "المقلاع" يمكن تمييزه عن "حافة الاستقرار" (EOS). فبينما تتضمن EOS تذبذبات بسبب انحناء هسيان (Hessian)، يحدث "المقلاع" في الأنظمة التي تتلاشى فيها قيم eigenvalues للهسيان (نظام الاستيفاء/interpolation regime)، ويتم القضاء عليه بزيادة الدقة.
4. التدخلات العملية: يقترح البحث ويتحقق من طرق كبح NFI، بما في ذلك:
   • استخدام float64 لحساب الفقد (لإزالة أخطاء الامتصاص).
   • فرض شرط مجموع الصفر عبر إسقاط التدرج (gradient projection).
   • تطبيق تطبيع الدفعة (Batch Normalization) مباشرة قبل المصنف النهائي لإزالة مكون المتوسط العالمي.
   • زيادة معامل $\epsilon$ في محسن Adam للحد من معدل التعلم الفعال.

4. النتائج التجريبية

يتحقق المؤلفون من نظريتهم عبر بنيات متعددة (MLP, VGG11, ResNet18, ViT, Transformer) ومجموعات بيانات (Modular Arithmetic, CIFAR-10, FineWeb للنماذج اللغوية الكبيرة).

• الحساسية للدقة: إن الانتقال إلى حساب الفقد باستخدام float64 يلغي طفرات "المقلاع" تماماً، حتى لو بقيت معاملات النموذج في float32. وهذا يؤكد أن عدم الاستقرار ينبع من حساب الفقد، وليس من ديناميكيات النموذج.
• الاعتماد على البنية: تُلاحظ هذه الظاهرة في معظم البنيات ولكنها غائبة بشكل ملحوظ في ResNet18. يعزو المؤلفون ذلك إلى قدرة ResNet18 على تقليل كتلة الاحتمال المتبقية ($\epsilon$) بسرعة كافية لمنع حلقة NFA من دخول نظام النمو الأسي قبل استقرار النموذج.
• التخفيف (Mitigation):
  • تطبيق تطبيع الطبقة (Layer Normalization - LN) قبل المصنف يفشل في تخفيف الأثر ويمكن أن يسرع الطفرات عن طريق تقييد معايير الميزات.
  • تطبيق تطبيع الدفعة (Batch Normalization - BN) مباشرة قبل الطبقة الخطية النهائية ينجح في القضاء على الطفرات من خلال توسيط الميزات وإزالة مكون الانحراف.
  • تنعيم الملصقات (Label Smoothing) يلغي الطفرات الناتجة عن الدقة ولكنه يُدخل عدم استقرار مختلف يتعلق بـ "حافة الاستقرار" (EOS) بسبب قيم eigenvalues غير المتلاشية للهسيان.
• سياق النماذج اللغبية الكبيرة (LLM): في تدريب النماذج اللغوية الكبيرة، تكون طفرات "المقلاع" نادرة في إعدادات الدفعة الكاملة (full-batch) بسبب العشوائية في الدفعات الصغيرة (mini-batches)؛ ومع ذلك، فإن آلية NFI لا تزال تقود نمواً شاذًا في الـ (logits). يشير المؤلفون إلى أنه في نمذجة اللغة، يمكن للاختلالات في تردد الرموز (قانون زيبف - Zipf's Law) أن تولد متوسطًا عالميًا $W_G$ كبيرًا حتى بدون انهيار عددي، مما يؤدي إلى ديناميكية مختلفة حيث يمكن للدقة المنخفضة أن تحد جزئياً من التباعد الناتج عن التردد.

5. الأهمية والادعاءات

يعيد هذا البحث تفسير "آلية المقلاع" ليس كverhalten تحسين غامض، بل كـ ديناميكية عددية للتدريب ذي الدقة المحدودة.

• إعادة تفسير تدفق التدرج: تسلط النتائج الضوء على الفجوة بين تحليلات تدفق التدرج النظرية (التي تفترض دقة لانهائية وتتنبأ غالباً بنمو لوغاريتمي للمعايير) وبين التدريب العملي، حيث يمكن للأخطاء العددية أن تقود نمواً أسياً.
• الاستقرار في التدريب منخفض الدقة: مع توجه المجال نحو دقة أقل (مثل BF16, FP8, FP4) للتدريب واسع النطاق، يعد فهم NFI أمراً بالغ الأهمية. يجادل المؤلفون بأن الأخطاء العددية في حسابات الاحتمال اللوغاريتمي تمثل وضع فشل متميز يمكن أن يزعزع استقرار التدريب، وهو منفصل عن أخطاء التكميم (quantization errors) في عمليات ضرب المصفوفات أو "بالوعات الانتباه" (attention sinks).
• النطاق المحدود: يقر المؤلفون بالقيود، مشيرين إلى أن تحليلهم يعتمد على افتراض "نموذج الميزات غير المقيد" (Unconstrained Feature Model) ويركز بشكل أساسي على التفاعل بين الطبقة الأخيرة والميزات في الطبقة قبل الأخيرة. هم لا يدعون تفسير جميع أشكال عدم استقرار التدريب، بل يستهدفون تحديداً طفرات الفقد الدورية الملاحظة في التدريب طويل الأمد غير المنظم.

باختصار، يزعم البحث أن "المقلاع" هو خلل (glitch) وليس ميزة (feature)، مدفوع بأخطاء امتصاص الفاصلة العائمة، ويوفر تفسيرات وتدخلات ملموسة وقابلة للتحقق للنمو الشاذ في المعاملات خلال المراحل المتأخرة من التدريب.