🤖 machine learning

Bug or Feature $^2$ : Weight Drift, Activation Sparsity, and Spikes

تحدد هذه الورقة البحثية انحرافاً سلبياً جوهرياً في الأوزان ناتجاً عن التفاعل بين الخسائر القياسية والتنشيطات ذات الانحياز الإيجابي، مما يؤدي إلى تشتت عالٍ في التنشيط ومنحدرات حادة في الدقة في الشبكات العميقة، مما دفع المؤلفين لاقتراح clipped ReLU $^2$ و GELU $^2$ كحلول فعالة توازن بين التشتت والاستقرار والأداء.

المؤلفون الأصليون: Egor Shvetsov, Aleksandr Serkov, Shokorov Viacheslav, Redko Dmitry, Vladislav Goloshchapov, Evgeny Burnaev

نُشر 2026-05-19

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Egor Shvetsov, Aleksandr Serkov, Shokorov Viacheslav, Redko Dmitry, Vladislav Goloshchapov, Evgeny Burnaev

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم ببناء آلة ضخمة ومعقدة مكونة من آلاف المفاتيح الصغيرة (النيورونات/الخلايا العصبية) التي تتعلم التعرف على الأنماط. لسنوات، ظل المهندسون يقومون بتعديل هذه الآلات عن طريق التجربة والخطأ، حيث يضيفون ميزات تبدو فعالة دون فهم السبب الحقيقي وراء عملها.

هذه الورقة البحثية، بعنوان "خطأ أم ميزة؟" (Bug or Feature2)، تبحث في خلل خفي في كيفية تعلم هذه الآلات. اكتشف المؤلفون "شبحاً" داخل الآلة: نزعة تجعل الإعدادات الداخلية (الأوزان) تنزلق ببطء في اتجاه سلبي، مما يتسبب في إيقاف تشغيل العديد من المفاتب تماماً.

إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:

1. "الانجراف السلبي" (لعبة شد الحبل)

تخيل أن الآلة تبدأ بجميع إعداداتها متوازنة تماماً حول الصفر. وجد المؤلفون أنه بسبب الطريقة التي تحسب بها الآلة أخطاءها (باستخدام معادلات رياضية قياسية تسمى "دوال الخسارة") وكيفية معالجتها للمعلومات (باستخدام "دوال التنشيط" مثل ReLU)، هناك لعبة شد حبل خفية وغير مرئية.

الآلية: في الثواني الأولى من التدريب، تدفع الرياضيات الإعدادات قليلاً نحو الجانب السلبي.
النتيجة: بمجرد أن يصبح الإعداد سالباً، يظل سالباً. الأمر يشبه كرة تتدحرج من فوق تلة؛ بمجرد أن تبدأ، تستمر في الحركة حتى تصطدم بحائط. هذا يحدث حتى لو تم تغذية الآلة ببيانات عشوائية وغير منطقية. إنه خلل في عملية التدريب نفسها، وليس في البيانات.

2. "المفاتيح الصامتة" (ندرة التنشيط)

الآن، تخيل أن تلك المفاتيح هي مصابيح كهربائية.

مع ReLU (نوع شائع من المفاتيح): إذا انجرف الإعداد إلى السالب، فإن المصباح ينطفئ تماماً ويظل مطفأً. وجد المؤلفون أنه في بعض النماذج (مثل نموذج لغوي صغير يسمى GPT-nano)، تنطفئ ما يصل إلى 90% من المصابيح وتظل صامتة.
السؤال هو: هل هذا "خطأ" أم "ميزة"؟
- خطأ (Bug): إذا انطفأت الكثير من المصابيح، فقد تصاب الآلة بالعمى وتتوقف عن التعلم.
- ميزة (Feature): إذا كانت الآلة قادرة على أداء وظيفتها بعدد أقل من المصابيح المضاءة، فقد تكون أكثر كفاءة.

3. "المنحدر" (منطقة الخطر)

اختبر الباحثون مدى الصمت الذي يمكن للآلة تحمله قبل أن تتعطل. وجدوا وجود "منحدر" حاد.

المنطقة الآمنة: إذا أطفأت ما يصل إلى 70% من المفاتيح، فستظل الآلة تعمل بشكل جيد تقريباً كما كانت في السابق. إنها قوية بشكل مثير للدهشة.
المنحدر: إذا حاولت إطفاء أكثر من 70% (مثلاً 80% أو 90%)، فإن أداء الآلة ينهار. الأمر يشبه محاولة قيادة سيارة بعجلة واحدة فقط؛ ستعمل بشكل جيد حتى تصل إلى سرعة معينة، ثم تنهار تماماً.
الاستثناء: الآلات التي تحتوي على "وصلات تخطي" (مثل ResNet أو Transformers) تشبه السيارات التي تمتلك عجلات احتياطية؛ إذ يمكنها تحمل قدر أكبر بكثير من الصمت قبل الانهيار.

4. تجربة "التربيع" (ReLU2)

جرب المؤلفون نوعاً جديداً من المفاتيح يسمى ReLU2، والذي يقوم بتربيع الإشارة (يجعل الأرقام الكبيرة أكبر وأكبر).

المشكلة: خلق هذا النوع "نبضات" (Spikes). تخيل أن بعض المصابيح تومض فجأة بسطوع شديد لدرجة أنها تحترق أو تعمي النظام. في الطبقات الوسطى من الآلة، أصبحت هذه النبضات كبيرة بشكل خطير.
الحل: وجدوا أن "التقليم" (Clipping) — أي وضع سقف لمدى سطوع المصباح — حل المشكلة.
الفائز: كان "Clipped ReLU2" (ReLU2 المقلم) يعمل بشكل أفضل من ReLU الأصلي، كما أن "Clipped GELU2" (نوع آخر من المفاتيح السلسة) كان الأفضل في الأداء على النموذج اللغوي، حيث حقق أدنى معدل خطأ.

5. خدعة "التجميد" (الكفاءة الحسابية)

يحدث "الانجراف" غالباً في الخطوات القليلة الأولى من التدريب. بعد ذلك، تستقر الإعدادات.

الفكرة: عادةً، تقوم الآلة بإعادة حساب "مركز جاذبيتها" (إحصائيات التقييس) في كل مرة ترى فيها صورة أو جملة جديدة. وهذا أمر بطيء.
الحيلة: وجد المؤلفون أنه بمجرد استقرار الانجراف الأولي (بعد فترة "الإحماء" القصيرة)، يمكنك تجميد تلك الحسابات. تتوقف عن إعادة الحساب وتكتفي باستخدام الأرقام من البداية.
الفائدة: هذا يجعل الآلة تتدرب بسرعة أكبر بنسبة 25-30% دون التأثير على ذكائها النهائي. الأمر يشبه ضبط منظم الحرارة (الترموستات) بمجرد وصول الغرفة إلى درجة الحرارة المطلوبة، بدلاً من التحقق من درجة الحرارة في كل ثانية.

الملخص

تكشف الورقة البحثية أن نماذج الذكاء الاصطناعي الحديثة تطور طبيعياً "مناطق ميتة" حيث تتوقف العديد من الخلايا العصبية عن العمل بسبب خلل رياضي في كيفية تعلمها.

ليس خطأً في البيانات؛ بل هو خطأ في رياضيات التحسين.
الصمت مقبول حتى نقطة معينة (70%)، ولكن الكثير من الصمت يسبب الانهيار.
المفاتيح الجديدة (الدوال المربعة) يمكن أن تكون قوية ولكنها تحتاج إلى "تقليم" لمنع النبضات الخطيرة.
تجميد الحسابات الأولية يمكن أن يجعل التدريب أسرع بشكل كبير.

يخلص المؤلفون إلى أن ما يبدو وكأنه أثر جانبي عشوائي هو في الواقع آلية يمكن التحكم فيها، والتي إذا فُهمت، يمكن أن تساعدنا في بناء ذكاء اصطناعي أسرع وأكثر كفاءة.

ملخص تقني: خطأ أم ميزة؟: انزياح الأوزان، تخلخل التنشيط، والنبضات

بيان المشكلة

لقد تطور تصميم البنى العصبية الحديثة من خلال خيارات تجريبية تراكمية، ومع ذلك، لا تزال الآليات الجوهرية التي تحكم ديناميكيات التدريب مفهومة جزئيًا. يحدد هذا البحث انزياحًا سلبيًا في الأوزان (negative weight drift) ناتجًا عن التفاعل بين دوال الخسارة القياسية (مثل MSE وcross-entropy) ودوال التنشيط ذات الانحياز الإيجابي (مثل ReLU وGELU وSiLU) في غياب التطبيع القائم على مركزية المتوسط (mean-centering normalization).

تتمثل المشكلة الجوهرية في أنه خلال التكرارات الأولى للتدريب، يدفع الانحدار الاشتقاقي (gradient descent) الأوزان نحو القيم السالبة. يحدث هذا لأن التدرج المتوقع بالنسبة للتنشيطات المسبقة الموجبة هو غير سالب. وبناءً على ذلك، تنزاح التنشيطات المسبقة نحو الأسفل، مما يتسبب في سقوط المزيد من الخلايا العصبية تحت الصفر. وعند تمريرها عبر دوال تنشيط مثل ReLU، يتم سحق هذه التنشيطات المسبقة السالبة إلى الصفر، مما يؤدي إلى تخلخل تنشيط صلب (hard activation sparsity). يستقصي المؤلفون ما إذا كان هذا التخلخل الناشئ ميزة مفيدة للكفاءة أم خطأً ضارًا يؤدي إلى تدهور أداء النموذج. بالإضافة إلى ذلك، يبحث البحث في نبضات التنشيط (activation spikes) المرضية الملاحظة في دوال التنشيط المربعة (مثل ReLU2) ضمن بنى المحولات (transformers).

المنهجية

1. التحليل الرسمي لانزياح الأوزان

يقدم المؤلفون إثباتًا رسميًا لشبكات MLP القائمة على ReLU عند مرحلة التهيئة.

الإطار النظري: يعرّفون مصفوفة أوزان فعالة $V_{eff}$ تمثل تركيب الطبقات الخطية اللاحقة وبوابات ReLU.
النظرية الرئيسية: في ظل تهيئة أوزان مستقلة ومتماثلة التوزيع (i.i.d.) ذات متوسط صفري، تظهر صفوف $V_{eff}$ متوسطًا صفريًا ولكن مع ارتباط تبادلي غير سالب ( $E[\langle v_i, v_j \rangle] \ge 0$ ).
تحليل التدرج: بالنسبة لكل من خسائر MSE وcross-entropy، يكون التدرج المتوقع بالنسبة لأي تنشيط مسبق موجب غير سالب. وبما أن الانحدار الاشتقاقي يُحدث تحديثات للأوزان في الاتجاه المعاكس للتدرج ( $w \leftarrow w - \eta \nabla w$ )، فإن هذا التدرج الموجب باستمرار يدفع الأوزان نحو القيم السالبة.
دورة تعزيز ذاتي: مع تحول الأوزان لتصبح سالبة، تنزاح التنشيطات المسبقة أكثر نحو ما دون الصفر، مما يزيد من نسبة الخلايا العصبية "الميتة" ويعزز عملية الانزياح.

2. التحقق التجريبي

تحقق المؤلفون من هذه الديناميكيات عبر إعدادات متنوعة:

البنى (Architectures): MLP، وResNet-18، وMaxViT، وMP-SENet، وGPT-nano.
دوال التنشيط: ReLU، وGELU، وSiLU، وNoisyReLU، وSUGARBSiLU، وReLU2.
البيانات: التدريب على بيانات واقعية (CIFAR-10، وImageNet-1K، وFineWeb) وعلى مدخلات عشوائية تمامًا لعزل ديناميكيات التحسين عن توزيع البيانات.
المحسنات (Optimizers): SGD، وSGD مع الزخم (momentum)، وAdam/AdamW.

3. التحكم في التخلخل وتحليل المقايضة

لتحديد ما إذا كان التخلخل "خطأً" أم "ميزة"، يتحكم المؤلفون صراحة في مستويات التخلخل باستخدام آليتين:

تخلخل Top-K: الاحتفاظ بأعلى $k\%$ من التنشيطات (يُستخدم مع GELU).
مركزية المئوية (Percentile Centering - PC): وهي طريقة مقترحة تقوم بإزاحة التنشيطات بمئوية مستهدفة $q$ بدلاً من المتوسط قبل تطبيق ReLU، مما يتحكم مباشرة في كسر التنشيطات التي تُحول إلى صفر.
التقييم: قاموا باختبار 79 تكوينًا عبر بنيات مختلفة لرسم العلاقة بين مستويات التخلخل ودقة النموذج/الخسارة.

4. استقصاء التنشيطات المربعة والنبضات

يحلل البحث ReLU2 ( $\max(0, x)^2$ ) وGELU2 في نموذج GPT-nano.

كشف النبضات: لاحظوا نبضات تنشيط هائلة في الطبقات 2–4 من GPT-nano عند استخدام ReLU2.
التخفيف: اختبروا التقليم (clipping) لهذه التنشيطات عند عتبات (15 و50) لتحديد ما إذا كانت النبضات ضارة (أخطاء) أم معلوماتية (ميزات).

النتائج الرئيسية

1. انزياح الوزن السلبي هو أمر جوهري

الشمولية: يحدث الانزياح عبر جميع البنى ودوال التنشيط المختبرة، بما في ذلك تلك التي تفتقر إلى التطبيع الصريح (مثل RMSNorm).
أصل التحسين: تستمر الظاهرة حتى مع البيانات العشوائية، مما يؤكد أنها خاصية لديناميكيات التحسين وليست ناتجة عن توزيع البيانات.
الحجم: يكون الانزياح أكثر وضوحًا في تكرارات التدريب الأولى ويستقر مع تلاشي التدرجات. وتعمل المحسنات القائمة على الزخم على تسريع هذا الانزياح الأولي.
عاقبة التخلخل: في النماذج القائمة على ReLU، يؤدي هذا الانزياح إلى تخلخل طبيعي يصل إلى 90% في GPT-nano دون تنظيم صريح.

2. "منحدر" التخلخل والدقة (The Sparsity-Accuracy "Cliff")

منحنى المقايضة: يظل الأداء مستقرًا عبر مستويات التخلخل المتوسطة ( $s \lesssim 0.7$ ) ولكنه يتدهور بشكل حاد بعد تجاوز عتبة حرجة (المنحدر).
الاعتماد على البنية:
- MLPs: تعاني من انهيار كارثي عند تخلخل بنسبة ~85%.
- ResNet: تظهر تدهورًا رتيبًا مع التخلخل المهيكل (على مستوى القنوات) لكنها تحتفظ بالمتانة مع التخلخل غير المهيكل.
- المحولات (ViT، GPT): تظهر مرونة فائقة. يحافظ GPT-nano على أداء قريب من خط الأساس حتى تخلخل بنسبة ~91%.
استقلالية الآلية: تأثير الطريقة المستخدمة لإحداث التخلخل (Top-K مقابل مركزية المئوية) ضئيل مقارنة بمستوى التخلخل نفسه.

3. دوال التنشيط والتخلخل

GELU: تحقق أعلى دقة في معظم مهام التصنيف، لكنها تسبب تخلخلاً طبيعيًا ضئيلًا.
ReLU2: حساسة للغاية للتطبيع. تنهار في نماذج MLP التي تفتقر للتطبيع، لكنها تحقق أدنى خسارة تحقق (validation loss) في GPT-nano (3.250) مقارنة بـ GELU (3.260).
التحويل إلى ReLU (ReLUfication): تحويل النماذج المدربة بـ GELU إلى ReLU عبر جولة واحدة من الضبط الدقيق (fine-tuning) يستعيد 55–74% من التخلخل مع فقدان ضئيل جدًا في الدقة (<1%)، مما يوفر استراتيجية عملية للكفاءة.

4. النبضات المرضية والتقليم

أصل النبضات: تنشأ النبضات في GPT-nano من عملية الإسقاط العلوي (up-projection) لكتل MLP وتتضخم بواسطة عملية التربيع في ReLU2.
فوائد التقليم:
- Clipped ReLU2: يتفوق على ReLU2 غير المقلم (3.236 مقابل 3.251)، مما يشير إلى أن النبضات القصوى ضارة.
- Clipped GELU2: يحقق أفضل خسارة تحقق إجمالية (3.233) في GPT-nano.
- نتائج ViT: لا تتفوق التنشيطات المربعة على GELU في MaxViT، مما يشير إلى أن فوائد التنشيطات المربعة قد تكون خاصة بالنماذج التوليدية (autoregressive).

5. الكفاءة الحسابية عبر "إيقاف التراكم" (Accumulation Stop)

الملاحظة: بما أن انزياح الوزن يستقر بعد بضعة آلاف من الخطوات، فإن الحساب الديناميكي لإحصائيات التطبيع (المئويات، المتوسطات) ليس ضروريًا طوال مدة التدريب.
الطريقة: يقترح المؤلفون إيقاف التراكم (AS)، حيث تُحسب الإحصائيات عبر المتوسط المتحرك الأسي (EMA) خلال مرحلة الإحماء (على سبيل_مثال 50 ألف خطوة) ثم يتم تجميدها.
النتيجة: تستعيد هذه الطريقة إنتاجية التدريب لتصل إلى مستويات قريبة من خط الأساس (بإزالة عبء الـ ~25–30% الناتج عن حساب المئويات الديناميكي) دون تدهور جودة النموذج (تظل درجات FID/IS مستقرة أو تتحسن).

الأهمية والادعاءات

يعيد هذا البحث صياغة تخلخل التنشيط ليس كخاصية ناشئة عن البيانات، بل كـ نتيجة يمكن التحكم فيها للتفاعل بين دوال الخسارة، ودوال التنشيط، وطبقات التطبيع.

الفهم الآلي: يقدم العمل تفسيرًا نظريًا وتجريبيًا لسبب إظهار البنى الحديثة (التي غالبًا ما تفتقر لمركزية المتوسط، مثل استخدام RMSNorm) لانزياح وزن منتظم وتخلخل عالٍ.
إرشادات التصميم:
- التحكم في التخلخل: يمكن تحقيق تخلخل هجومي (يصل إلى ~70-80%) دون تدهور كبير في الأداء، مما يوفر مسارًا للكفاءة الحسابية في النماذج القائمة على المحولات.
- اختيار التنشيط: بينما توفر ReLU2 مكاسب في الأداء في النماذج اللغوية الكبيرة (LLMs)، إلا أنها تتطلب التقليم لتخفيف النبضات المرضية. تظل GELU قاعدة قوية وعامة الاستخدام.
- الكفاءة: توفر تقنية "إيقاف التراكم" (Accumulation Stop) طريقة عملية لتقليل عبء التدريب عن طريق تجميد إحصائيات التطبيع بعد مرحلة استقرار الانزياح الأولي.
القيود: يشير المؤلفون إلى أن البراهين النظرية تنطبق بدقة على مرحلة التهيئة وReLU، بينما تظل التوسعات على الدوال السلسة (smooth activations) تجريبية. كما تظل قابلية تطبيق هذه النتائج على النماذج اللغوية الكبيرة ذات النطاق الواسع (أكثر من 1 مليار معلمة) وعتبات التقليم المثلى لمختلف البنى أسئلة مفتوحة.

يخلص البحث إلى أن فهم هذه الخيارات التصميمية التي تبدو "عرضية" أمر بالغ الأهمية لتطوير البنى المستقبلية، خاصة مع توجه المجال نحو التطبيع غير المركزي والاستدلال المتخلخل (sparse inference).