🤖 machine learning

Enjoy Your Layer Normalization with the Computational Efficiency of RMSNorm

تقترح هذه الورقة إطار عمل لتحديد وتحويل طبقات التنميط الطبقي (Layer Normalization) إلى طبقات (RMSNorm) الأكثر كفاءة في الشبكات العصبية العميقة التعسفية، وذلك عن طريق دمج عملية التمركز رياضياً في الطبقات الخطية السابقة، مما يحقق تسريعاً في الاستدلال بنسبة تتراوح بين 2% إلى 12% بدقة تامة أو شبه تامة دون المساس بأداء النموذج.

المؤلفون الأصليون: Yuxin Guo, Yihao Yue, Yunhao Ni, Yizhou Ruan, Jie Luo, Wenjun Wu, Lei Huang

نُشر 2026-05-15

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yuxin Guo, Yihao Yue, Yunhao Ni, Yizhou Ruan, Jie Luo, Wenjun Wu, Lei Huang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مطعماً مزدحماً جداً (شبكة عصبية عميقة) حيث يجب تحضير كل طبق (عينة بيانات) بإتقان تام قبل تقديمه للزبون.

في هذا المطعم، هناك خطوة محددة تسمى تطبيع الطبقة (Layer Normalization - LN). فكر في هذه الخطوة كأنها رئيس طهاة يتذوق كل طبق، ويتحقق من متوسط نكهة الدفعة بأكملها، ثم يضبط كل مكون لضمان أن يكون "متوسط النكهة" هو صفر تماماً. هذا يضمن أن الطعام متوازن ومتسق. ومع ذلك، فإن عملية "التذوق والضبط" هذه بطيئة؛ فهي تستغرق وقتاً لحساب متوسط النكهة لكل طبق، مما يبطئ المطبخ بأكم، خاصة عندما تتدفق آلاف الطلبات.

لتسريع الأمور، اخترع شخص ما طريقة أسرع تسمى RMSNorm. وهي تشبه مساعد طاهٍ يتخطى خطوة "التذوق من أجل متوسط النكهة" تماماً، بل يكتفي بالتحقق من "حجم" أو "كثافة" المكونات ثم يرفعها أو يخفضها. هذه الطريقة أسرع بكثير لأنها لا تحتاج للقيام بالعمليات الحسابية لإيجاد المتوسط. لكن هناك عقبة؛ فبسبب تخطي خطوة "تصفير المتوسط"، قد ينتهي الأمر بالطعام أحياناً مالحاً جداً أو باهتاً جداً (غير مستقر)، وقد لا تكون النكهة النهائية بجودة نكهة الطاهي الأصلي.

السؤال الكبير:
هل يمكننا الحصول على سرعة مساعد الطاهي السريع (RMSNorm) دون فقدان التوازن المثالي لرئيس الطهاة (LN)؟

حل الورقة البحثية: الوصفات "القابلة للطي" (Foldable Recipes)
يقول مؤلفو هذه الورقة: نعم، ولكن فقط إذا تم إعداد المطبخ بطريقة معينة.

لقد اقترحوا حيلة ذكية تسمى "الطي" (Folding).

المشكلة: عادةً، لا يمكنك ببساً استبدال رئيس الطهاة بمساعد الطاهي لأن رئيس الطهاة يقوم بمهمة محددة (مركزة البيانات) يعتمد عليها بقية المطبخ.
الحيلة: أدرك المؤلفون أنه إذا كانت المكونات التي تصل إلى الطاهي متوازنة بالفعل (متوسطها صفر)، فلن يحتاج الطاهي للقيام بجزء "التذوق والضبط". يمكنه ببساطة تخطي ذلك والاكتفاء بجزء ضبط الحجم (RMSNorm).
كيف فعلوا ذلك: وجدوا طريقة لـ "موازنة مسبقة" للمكونات قبل وصولها إلى الطاهي. يفعلون ذلك عبر تعديل طفيف لوصفة محطة الطهي السابقة (الطبقة الخطية). يسمون هذه العملية تمركز الأوزان القائم على الأعمدة (Column-Based Weight Centering - CBWC).
- تخيل أن المحطة السابقة هي خلاط؛ قام المؤلفون بتعديل الخلاط بحيث يخرج المكونات متوازنة تلقائياً.
- ولأن المكونات متوازنة بالفعل، يمكن استبدال رئيس الطهاة (LN) بمساعد الطاهي السريع (RMSNorm) دون تغيير النكهة النهائية للطبق.

"الخريطة" (رسم بياني بمتوسط صفري)
ليست كل المطابخ مُعدة بنفس الطريقة. بعض المطابخ لها مسارات معقدة حيث تُخلط المكونات وتُقسم وتُعاد دمجها بطرق غريبة.

أنشأ المؤلفون خريطة (خوارزمية رسم بياني) للنظر في تصميم المطبخ.
إذا أظهرت الخريطة أن المكونات التي تصل إلى الطاهي تأتي من "خط مستقيم" من الخلاطات التي يمكن تعديلها مسبقاً، فإن هذا الطاهي يُعتبر "قابلاً للطي" (Foldable).
إذا كان المسار فوضوياً للغاية (مثل المكونات التي يتم لصقها معاً بطريقة تكسر التوازن)، فلا يمكنك إجراء عملية الطي.

ما وجدوه:

السرعة: باستخدام هذه الطريقة على نماذج الذكاء الاصطناعي الشهيرة (مثل GPT-2 وBERT وغيرها)، وجدوا أن بإمكانهم جعل المطبخ يعمل أسرع بنسبة 2% إلى 12% خلال مرحلة "التقديم" (الاستدلال/Inference).
المذاق: والأهم من ذلك، أن الطعام له نفس المذاق تماماً. الزبائن (المستخدمون) لا يلاحظون أي فرق في الجودة.
التدريب: اختبروا الطريقة أيضاً أثناء تعلم المطبخ (التدريب). وعلى الرغم من أن شروط "الطي" المثالية لا تتحقق دائماً عندما يكون المطبخ فوضوياً أثناء التعلم، إلا أن طريقتهم عملت بشكل جيد جداً مقارنة برئيس الطهاة البطيء، وكانت أسرع بكثير.

باختصار:
تقدم الورقة البحثية كتاب قواعد وأداة لتحديد أي أجزاء من نموذج الذكاء الاصطناعي يمكن تسريعها عن طريق استبدال خطوة تطبيع بطيئة ودقيقة بخطوة بسيطة وسريعة. يفعلون ذلك عن طريق "إخفاء" الجزء البطيء رياضياً داخل الخطوات السابقة، مما يضمن تشغيل الذكاء الاصطناعي بشكل أسرع دون فقدان ذكائه أو دقته. الأمر يشبه العثور على طريق مختصر في متاهة يؤدي إلى نفس الوجهة ولكن يستغرق وقتاً أقل للمشي.

ملخص تقني: استمتع بتطبيع الطبقة (Layer Normalization) مع كفاءة الحوسبة لـ RMSNorm

بيان المشكلة

يُعد تطبيع الطبقة (LN) مكونًا أساسيًا في بنيات التعلم العميق الحديثة، لا سيالما في نماذج المحولات (Transformers)، حيث يعمل على استقرار التدريب وتحسين عملية الأمثلة. ومع ذلك، أثناء الاستدلال (inference)، يتطلب LN حساب المركز لكل عينة (طرح المتوسط) والقياس (scaling)، مما يؤدي إلى عبء حوسبي ملموس مقارنة بالبدائل التي لا تعتمد على التطبيع.

تم اقتراح RMSNorm كبديل أكثر كفاءة عبر إزالة عملية التمركز والاحتفاظ بعملية القياس فقط. وبينما يوفر RMSNorm تسريعًا ملحوظًا (تقارير تشير إلى انخفاض بنسبة 7% إلى 64% في وقت التشغيل في أعمال سابقة)، فإنه يتخلص من عملية التمركز. وقد يؤدي حذف هذه العملية إلى نطاقات مخرجات أقل استقرارًا وتفاوتات أكبر في التنشيط، مما قد يضيع الفوائد المرتبطة بالتمركز التي أرستها الأدبيات السابقة (LeCun et al., 1990; Schraudolph, 1998; Ba et al., 2016). كانت المحاولات السابقة لمساواة LN بـ RMSNorm (مثل Jiang et al., 2023) مقيدة بهياكل محولات محددة من نوع (pre-norm)، مما ترك تساؤلاً مفتوحًا حول ما إذا كان هناك إطار عمل عام للشبكات العصبية العميقة (DNNs) التعسفية لاستبدال LN بـ RMSNorm دون تغيير وظيفة النموذج أو ديناميكيات التدريب.

المنهجية

يقترح البحث إطار عمل عام لتحديد ما إذا كان يمكن استبدال طبقة LN في أي شبكة عصبية عميقة (DNN) بـ RMSNorm مع الحفاظ على التكافؤ الرياضي في كل من الاستدلال والتدريب. وتتمثل الاستراتيجية الجوهرية في "طي" (folding) عملية التمركز الخاصة بـ LN في الطبقات الخطية التي تسبقها.

1. قيد المركز العمودي (CCC) وتمركز الأوزان القائم على الأعمدة (CBWC)

حلل المؤلفون أولاً حالة تتبع فيها طبقة LN طبقة خطية مباشرة. ولاحظوا أنه إذا كان مخرج الطبقة الخطية له متوسط صفري عبر الخلايا العصبية، فإن خطوة التمركز في LN تصبح زائدة عن الحاجة.

قيد المركز العمودي (CCC): تحقق الطبقة الخطية شرط CCC إذا كانت عناصر كل عمود في مصفوفة أوزانها تجمع إلى الصفر. تحت هذا القيد، يُضمن أن يكون مخرج الطبقة الخطية متوسطًا صفريًا لأي مدخل.
تمركز الأوزان القائم على الأعمدة (CBWC): لفرض CCC أثناء التدريب دون تقييد قدرة النموذج، قدم المؤلفون تقنية إعادة تمثيل (reparameterization). تُستخدم مصفوفة بارامتر وسيطة $W$ ، والتي يتم تحويلها إلى مصفوفة أوزان فعالة $V$ عبر إسقاط: $V = (I - \frac{1}{m}\mathbf{1}_m\mathbf{1}_m^\top)W$ . يضمن هذا التحويل أن الأوزان الفعالة تحقق قيد مجموع الأصفان مع الحفاظ على ديناميكيات الأمثلة للنموذج الأصلي.

مُقترح: النموذج الذي يستخدم طبقة خطية مع CBWC متبوعة بـ RMSNorm يكافئ رياضيًا نموذجًا يستخدم نفس الطبقة الخطية (بدون إعادة تمثيل) متبوعة بـ LN قياسي.

2. التعميم على الشبكات العصبية العميقة التعسفية: طبقات LN القابلة للطي

تم توسيع الإطار ليشمل بنيات شبكات مختلفة باستخدام تحليل قائم على الرسم البياني (graph-based analysis).

طبقة LN القابلة للطي (Foldable LN): تُعرف طبقة LN بأنها "قابلة للطي" إذا كان يمكن ضمان أن مدخلاتها لها متوسط صفري من خلال قيود على الطبقات التي تسبقها.
رسم بياني ذو متوسط صفري (Zero-Mean Graph): أنشأ المؤلفون رسمًا بيانيًا موجهًا يمثل تدفق البيانات إلى LN. ومن خلال التتبع العكسي من LN، حددوا "العقد الورقية" (leaf nodes) (الطبقات السابقة).
- إذا كانت جميع العقد الورقية تقابل طبقات خطية عامة (بما في ذلك التلافيف/convolutions وRNNs ذات الأوزان المشتركة) أو طبقات تضمن بطبيعتها مخرجات ذات متوسط صفري، فإن LN تكون قابلة للطي.
- العمليات القياسية (مثل dropout في وضع الاستدلال، أو scaling درجة الحرارة) تحافظ على خاصية المتوسط الصفري ولا تكسر قابلية الطي.
- اتصالات المتبقي (residual connections/addition) تحافظ على قابلية الطي إذا كان كل فرع قابل للطي بشكل فردي.
- العمليات غير الخطية (مثل ReLU، Softmax) أو عمليات الدمج (concatenations) تؤدي عمومًا إلى كسر خاصية المتوسط الصفري، مما يمنع الطي ما لم يتم إدراج تمركز إضافي.

3. خوارزمية الكشف

يقدم البحث خوارزمية (Algorithm 1) تقوم بمسح أمامي لمخطط الحوسبة للكشف تلقائيًا عن طبقات LN القابلة للطي وتحديد الطبقات الخطية العامة المحددة التي تتطلب CBWC. هذه العملية خفيفة حوسبيًا ولا تتطلب سوى تمريرة أمامية واحدة.

المساهمات الرئيسية

إطار عمل عام: إطار نظري لتحديد إمكانية استبدال LN بـ RMSNorm في أي DNN، متجاوزًا حدود الأعمال السابقة التي اقتصرت على نماذج Transformer محددة.
التكافؤ الرياضي: تقديم CBWC، الذي يسمح بالطي الدقيق لعملية تمركز LN في الأوزان السابقة، مما يضمن أن مخطط CBWC+RMSNorm ينتج مخرجات وتدرجات مطابقة لنموذج LN الأصلي أثناء كل من التدريب والاستدلال.
الكشف عن LN القابلة للطي: تعريف "طبقات LN القابلة للطي" وتطوير خوارزمية كشف قائمة على الرسم البياني تحدد أي LN في بنية معينة يمكن تحويلها.
التوسيع العملي: مناقشة كيفية التعامل مع الحالات التي لا تتحقق فيها شروط الطي الدقيقة (مثل وجود dropout أثناء التدريب)، مع الإشارة إلى أن CBWC+RMSNorm يظل منافسًا لـ LN التقليدي حتى عندما ينكسر التكافؤ الدقيق جزئيًا.

النتائج التجريبية

تحقق من منهجية المؤلفين عبر بنيات متعددة (GPT-2, BERT, OPT, Phi, ViT, Swin-Tiny) ومهام متنوعة (تصنيف النصوص، الترجمة، تصنيف الصور، الضبط الدقيق).

تسريع الاستدلال:
- حققت الطريقة تسريعًا في الاستدلال النهائي (end-to-end) بنسبة 2% إلى 12% في نماذج ممثلة (مثل GPT-2, BERT, OPT) دون تغيير تنبؤات النموذج.
- يكون التسريع أكثر وضوحًا مع أطوال التسلسل الأطول (حتى 24.95% تسريع لـ BERT عند 16,384 توكن).
- زاد الإنتاجية (throughput) بشكل كبير (على سبيل المثال، +1,119 إلى +3,385 توكن/ثانية على وحدات A100 GPU).
- العبء الحوسبي لخوارزمية الطي ضئيل (موزع بعد بضع خطوات استدلال) ولا يزيد من بصمة الذاكرة.
أداء التدريب والضبط الدقيق:
- في السيناريوهات التي تتحقق فيها شروط الطي الدقيقة (مثل الاستداف)، تكون الطريقة متطابقة مع النموذج الأساسي.
- في إعدادات التدريب العملية حيث تكسر عوامل مثل dropout التكافؤ الدقيق، فإن CBWC+RMSNorm يتفوق باستمرار بين LN القياسي وRMSNorm التقليدي.
- في مهام تصنيف الصور (ImageNet-100 مع Swin-Tiny)، حققت الطريقة أفضل دقة اختبار وخسارة بين النسخ الثلاث (LN, RMSNorm, CBWC+RMS).
- في مهام توليد النصوص والضبط الدقيق (GPT-3 على Alpaca)، حققت الطريقة أفضل خسارة واختبار (perplexity) مع توفير مكاسب الكفاءة.

الأهمية والادعاءات

يدعي البحث توفير طريقة منهجية لتقليل التكلفة الحوسبية لتطبيع الطبقة (Layer Normalization) مع الحفاظ على فوائدها النظرية والعملية قدر الإمكان.

التكافؤ الدقيق: بالنسبة لطبقات LN "القابلة للطي"، توفر الطريقة استبدالًا دقيقًا رياضيًا، مما يسمح بنشر RMSNorm في نماذج تم تدريبها أصلاً باستخدام LN دون إعادة تدريب أو تدهور في الأداء.
الكفاءة: تقدم تسريعًا ملموسًا في الاستدلال النهائي (2%–12%) في البنيات واسعة الاستخدام، وهو أمر مهم للنشر واسع النطاق لنماذج اللغات الكبيرة (LLMs) ونماذج الرؤية واللغة (VLMs).
المتانة: حتى عندما لا تتحقق شروط الطي الدقيقة بالكامل (مثل أثناء التدريب مع dropout)، تظل الطريقة منافسة لـ LN القياسي، مما يوفر مقايضة مواتية بين الدقة والكفاءة.
العمومية: على عكس النهج السابق، ينطبق هذا الإطار على أي DNN، وليس فقط أنواع معينة من المحولات، ويتضمن خوارزمية كشف لأتمتة العملية.

يقر المؤلفون بأن تحليلهم يغطي بنيات ممثلة ولكنه لا يستقصي جميع النماذج الحديثة واسعة النط scale. ويشيرون إلى أن التكافؤ الدقيق قد يفشل في البنيات التي تحتوي على وحدات مثل dropout أثناء التدريب، مما يقترح أن العمل المستقبلي يمكن أن يحسن معالجة مثل هذه الوحدات.