ملخص تقني: إزالة التطبيع المبوّب وتثبيت المقياس في نماذج المحولات ذات التنسيق القبلي (Pre-Norm Transformers)

بيان المشكلة

تُعد طبقات التطبيع (مثل LayerNorm وRMSNorm) مكونات قياسية في بنيات المحولات (Transformers)، حيث تعمل على استقرار التنشيطات وتمكين تدريب الشبكات العميقة. ومع ذلك، تفرض هذه الطبقات حسابات غير خطية تعتمد على العينة، مما يتسبب في عبء تشغيلي كبير أثناء الاستنتاج (Inference). ولا يزال من غير الواضح ما إذا كانت هذه الإحصائيات لكل رمز (per-token statistics) ضرورية تمامًا طوال مرحلة الاستنتاج بأكملها، لا سيالما في نماذج المحولات ذات التنسيق القبلي (pre-norm transformers). وبينما حاولت أعمال سابقة إزالة التطبيع عبر حيل التهيئة أو الضبط الدقيق المتسلسل، إلا أن هناك نقصًا في الفهم المتعلق بالأدوار الوظيفية المتميزة لطبقات التطبيع الداخلية مقابل النهائية، وتحديدًا فيما يتعلق بكيفية تحكمها في مقياس تمثيل ما قبل اللوجيت (pre-logit representation).

المنهجية

يقترح المؤلفون TaperNorm، وهو نهج مُبوّب لإزالة التطبيع مصمم لنماذج المحولات ذات التنسيق القبلي. تسمح هذه الطريقة للنموذج بالانتقال من التطبيع القياسي إلى خرائط خطية أو تآلفية (affine) متعلمة ومستقلة عن العينة أثناء التدريب، مما يتيح إزالة عمليات التطبيع أثناء الاستنتاج.

الآلية الجوهرية: TaperNorm

يقوم TaperNorm بالاستكمال (interpolation) ديناميكيًا بين فرع مُطَبَّع وفرع قياس ثابت باستخدام بوابة عالمية $g \in [0, 1]$. بالنسبة لمتجه الرمز $h$:
$$\text{TaperNorm}(h; g) = g \cdot \frac{h}{r(h)} D\gamma + (1 - g) \cdot c \cdot h D\tilde{\gamma}$$
حيث أن:

• $r(h)$ هو عامل قياس RMSNorm.
• $D\gamma$ و $D\tilde{\gamma}$ هما مصفوفات قياس قطرية قابلة للتعلم.
• $c$ هو ثابت لكل طبقة.
• $g$ هي بوابة عالمية تبدأ عند 1 (التطبيع القياسي) وتتناقص جيب تماميًا (cosine-decayed) إلى 0 خلال التدريب.

إجراء التدريب:

1. الإحماء (Warmup): يتم تثبيت البوابة $g$ عند 1. يتدرب النموذج كنموذج محول قياسي ذي تنسيق قبلي.
2. المعايرة (Calibration): في نهاية مرحلة الإحماء، يتم حساب الثابت $c$ لتقليل فرق المربعات الصغرى بين الفرع المُطَبَّع وفرع القياس، مما يضمن انتقالًا سلسًا دون حدوث انزياح في التوزيع.
3. التلاشي (Tapering): يتم تقليل البوابة $g$ إلى 0. تظل معاملات فرع القياس ($\tilde{\gamma}$) قابلة للتعلم.
4. طي الاستنتاج (Inference Folding): بمجرد وصول $g=0$، تصبح طبقة TaperNorm مجرد خريطة خطية/تآلفية بسيطة ($c \cdot h D\tilde{\gamma}$). يمكن رياضياً دمج (fold) هذه العملية في الإسقاطات الخطية المجاورة (مثل إسقاطات QKV أو أوزان MLP)، مما يزيل عملية التطبيع الصريحة من رسم الاستنتاج البياني.

تحليل تثبيت المقياس (Scale Anchoring Analysis)

حدد البحث تميزًا حاسمًا بين طبقات التطبيع الداخلية والنهائية:

• التطبيع النهائي كمثبت (Anchor): تعمل طبقة التطبيع النهائية كمثبت مقياس ضمني. رياضيًا، هي متجانسة من الدرجة صفر (0-homogeneous)، مما يعني أنها تزيل مكون التدرج الشعاعي عند المخرجات. وبدون هذا المثبت، يمكن لتقليل دالة الإنتروبيا المتقاطعة (cross-entropy) أن يدفع النموذج لزيادة قيم اللوجيتات بشكل غير محدود ("مطاردة اللوجيت" أو logit chasing)، مما يؤدي إلى عدم الاستقرار.
• البديل الصريح: عند إزالة التطبيع النهائي (في إعدادات "All-Taper")، يقدم المؤلفون خسارة المقياس المستهدف الثابت ($L_{aux}$). هذه الخسارة المساعدة تعاقب الانحرافات في مقاييس الرموز عن هدف ثابت $s_{tgt}$، مما يوفر قوة استعادة شعاعية صريحة تعاكس نزعة مطاردة اللوجيت.

تم اختبار إعدادين تجريبيين:

1. Internal-Taper: يتم تلاشي المُنظمات داخل الكتل إلى خرائط خطية، لكن التطبيع النهائي يظل نشطًا (مثبت ضمني).
2. All-Taper: تتلاشى جميع المنظمات، بما في ذلك النهائي (مثبت صريح). يتطلب هذا استخدام خسارة المقياس المستهدف الثابت للحفاظ على الاستقرار.

المساهمات الرئيسية

1. إزالة التطبيع المبوّب: طريقة لتلاشي وحدات RMSNorm/LayerNorm إلى عمليات إعادة قياس خطية/تآلفية ثابتة، مما يسمح بإلغاء إحصائيات كل رمز أثناء الاستنتاج عبر طي الأوزان.
2. نظرية تثبيت مقياس المخرجات: تحليل يوضح أن الدور المتميز الرئيسي لطبقة التطبيع النهائية هو إزالة التدرجات الشعاعية. يظهر البحث أنه بدون هذا المثبت، تحفز الإنتروبيا المتقاطعة نمو اللوجيتات غير المحدود، وأن خسارة المقياس المستهدف الثابت يمكن أن تحل محل هذا الدور التثبيتي بفعالية.
3. التحقق التجريبي: تُظهر التجار تجرى على تدريب مسبق لـ TinyStories وضبط دقيق لـ GPT-2 أن التطهير الداخلي يمكن إزالته مع زيادات طفيفة في خسارة التحقق. يحقق النهج زيادة تصل إلى 1.18× في إنتاجية (throughput) فك التشفيد التلقائي (autoregressive decoding) مع ذاكرة KV-cache بعد طي المقاياسات الداخلية.

النتائج

• التدريب المسبق (TinyStories):
  • Internal-Taper (+aux): حقق خسائر تحقق ضمن نطاق 0.7–1.5% من النموذج المرجعي عبر أحجام النماذج المختلفة (من 1 مليون إلى 30 مليون معلمة).
  • All-Taper (+aux): حقق خسائر ضمن نطاق 0.8–1.8% من النموذج المرجعي، مما يثبت أن النموذج الخالي تمامًا من التطبيع أمر ممكن مع التثبيت الصريح للمقياس.
  • الديناميكيات: أظهرت النماذج بدون مثبت المقياس نموًا سريعًا في قيم اللوجيتات ("مطاردة اللوجيت"). نجحت خسارة المقياس المستهدف الثابت في كبح هذا السلوك، مما جعل magnitudes التدرج تتماشى مع الخط المرجعي المثبت.
• إنتاجية الاستنتاج:
  • على وحدة NVIDIA H100، حقق إعداد Internal-Taper (fused) إنتاجية أعلى بمقدار 1.15–1.18× مقارنة بمرجع RMSNorm القياسي. حقق إعداد Internal-Taper (unfused) (عمليات القياس الصريحة) تسريعًا بمقدار 1.10–1.14×.
• الضبط الدقيق (GPT-2):
  • حققت طرق Internal-TaperLN و All-TaperLN المقترحة خسائر إنتروبيا متقاطعة تنافس نهج "FakeLN" (Baroni et al., 2025) والنماذج القياسية عبر مجموعات بيانات OpenWebText و The Pile.
  • على عكس طرق الإزالة المتسلسلة، يستخدم TaperNorm بوابة عالمية واحدة لإزالة جميع الطبقات المختارة في وقت واحد.

الأهمية والادعاءات

يدعي البحث أن طبقات التطبيع الداخلية والنهائية تلعب أدوارًا متميزة في نماذج المحولات ذات التنسيق القبلي. بينما يمكن استبدال المنظمات الداخلية بخرائط خطية متعلمة ومستقلة عن العينة مع تدهور ضئيل في الأداء، فإن طبقة التطبيع النهائية تعمل كـ مثبت لمقياس المخرجات.

تكمن أهمية هذا العمل في:

1. الكفاءة: يوفر مسارًا عمليًا لإزالة عمليات التطبيب المكلفة حسابيًا من رسم الاستنتاج، مما يحقق مكاسب ملموسة في الإنتاجية (تصل إلى 1.18×) دون الحاجة لإعادة التدريب من الصفر.
2. الرؤية النظرية: يوضح أن الاستقرار الذي توفره طبقة التطبيع النهائية يعود أساسًا إلى إزالتها للتدرجات الشعاعية. هذه الرؤية تسمح بتصميم نماذج "خالية تمامًا من التطبيع" عبر استبدال المثبت الضمني بخسارة مقياس مستهدف ثابت.
3. المتانة: يحافظ النهج على ديناميكيات التنسيق القبلي القياسية في مراحل مبكرة من التدريب، ولا ينتقل إلى الخرائط الخطية إلا لاحقًا، مما يبدو أكثر استقرارًا من الطرق التي تحاول التدريب بدون تطبيع منذ البداية.

يظل المؤلفون متواضعين بشأن نطاق البحث، مشيرين إلى أن التجارب تقتصر على نماذج تصل إلى 30 مليون معلمة وأجهزة محددة. كما يقرون بأن المتانة تجاه القيم المتطرفة للتنشيط (activation outliers) في نماذج المليارات من المعلمات، وإمكانية التطبيق على أهداف أخرى غير الإنتروبيا المتقاطعة، تظل أسئلة مفتوحة للبحث المستقبلي.