🤖 machine learning

Half the Nonlinearity Is Wasted: Measuring and Reallocating the Transformer's MLP Budget

تُثبت هذه الورقة أن جزءًا كبيرًا من عدم الخطية في طبقات التغذية الأمامية (MLP) في نماذج المحولات (Transformer) هو أمر زائد عن الحاجة ويعتمد على السياق، مما يُظهر أن آلية بوابات خفيفة الوزن يمكنها استبدال هذه الحسابات ديناميكيًا ببدائل خطية لتقليل الهدر الحسابي أو، عند تطبيقها بشكل استراتيجي مع إعادة تدريب كاملة، تحسين أداء النموذج فعليًا من خلال القضاء على حالات عدم الخطية الضارة.

المؤلفون الأصليون: Peter Balogh

نُشر 2026-03-05

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Peter Balogh

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مصنعاً ضخماً وعالي التقنية ينتج الكلمة التالية في الجملة. هذا المصنع يسمى المحول (Transformer)، وهو المحرك الذي يقف وراء الذكاء الاصطناعي مثل الذي تتحدث إليه الآن.

داخل هذا المصنع، هناك آلاف العمال (الطبقات) الذين يعالجون المعلومات. وفي كل محطة، يوجد فريق خاص يسمى MLP (المدرك متعدد الطبقات). هؤلاء العمال مشهورون بكونهم معقدين للغاية؛ فهم يأخذون قطعة من المعلومات، يلوونها، يقلبونها، ويطبقون عليها "تعويذة سحرية" غير خطية ومعقدة قبل تمريرها للمرحلة التالية.

الافتراض الكبير في عالم الذكاء الاصطناعي كان دائماً: "نحن بحاجة إلى كل واحدة من هذه التعاويذ السحرية المعقدة. إذا توقفنا عن استخدامها، سينهار المصنع."

هذه الورقة البحثية، التي تحمل عنوان "نصف اللاخطية مهدور"، تشبه قصة بوليسية حيث يدخل المؤلف إلى المصنع، ويراقب العمال، ثم يقول: "في الواقع، أنتم تهدرون حوالي نصف ميزانيتكم. في معظم الأوقات، يقوم هؤلاء العمال بعمليات حسابية بسيطة، لكنهم يرتدون بدلات غالية الثمن."

إليك تفصيل النتائج باستخدام تشبيهات بسيطة:

1. مشكلة "واناميكر"

يبدأ المؤلف باقتباس شهير من مسؤول إعلانات قديم: "نصف الأموال التي أنفقها على الإعلانات تضيع؛ المشكلة هي أنني لا أعرف أي نصف هو المهدور."

يجادل المؤلف بأنه في الذكاء الاصطناعي، نحن نعرف بالفعل أي نصف هو المهدور. في العديد من النماذج (تحديداً عائلة GPT-2)، تكون حوالي 40% إلى 70% من الحسابات المعقدة غير ضرورية. العمال غالباً ما يقومون بمجرد ضرب وجمع بسيط، لكن المصنع يجبرهم على أداء رقصة كاملة ومعقدة في كل مرة.

2. تجربة "الحارس"

لإثبات ذلك، بنى المؤلف حارساً صغيراً ورخيصاً (صانع قرار بسيط) لكل محطة في المصنع.

المهمة: قبل أن يقوم العامل برقصته المعقدة، ينظر الحارس إلى المعلومات الواردة ويسأل: "هل تحتاج حقاً إلى الرقصة المعقدة الكاملة، أم أن عملية حسابية بسيطة تكفي؟"
النتيجة: استطاع الحارس إرسال حوالي 40% من العمل إلى "الوضع البسيط" (مجرد صيغة رياضية أساسية) دون أن يرتكب المصنع أي أخطاء. في الواقع، في بعض المحطات، أدى إجبار العمال على القيام بالرياضيات البسيطة إلى جعل المصنع أفضل، لأن ذلك منعهم من الإفراط في التفكير واختلاق أشياء لا معنى لها.

3. المفهوم الخاطئ الكبير: "الأمر لا يتعلق بالكلمة"

الجزء الأكثر إثارة للدهشة في القصة هو كيف يقرر الحارس.

التخمين الخاطئ: اعتقد المؤلف في البداة أن الحارس ينظر إلى ماهية الكلمة.
- التشبيه: "أوه، إذا كانت الكلمة هي 'الـ' (كلمة شائعة)، يمكننا استخدام رياضيات بسيطة. أما إذا كانت 'فيل' (كلمة معقدة)، فنحن بحاجة للرقصة الكاملة."
- الواقع: كان هذا خاطئاً. لقد فشل الحارس فشلاً ذريعاً عند اختباره على كتب جديدة أو مواضيع مختلفة. فكلمة "الـ" قد تحتاج أحياناً لرقصة معقدة وأحياناً لا، اعتماداً كلياً على الجملة.
الإجابة الصحيحة: كان الحارس في الواقع ينظر إلى السياق (القصة حتى الآن).
- التشبيه: تخيل أنك تقرأ رواية غموض. كلمة "مصرف" قد تعني ضفة نهر أو مصرفاً مالياً.
  - إذا كانت الجملة "جلس على ضفة النهر"، فالسياق واضح. يمكن للمصنع استخدام "الوضع الببسيط".
  - إذا كانت الجملة "لقد سرق المصرف"، فالسياق معقد. يحتاج المصنع إلى "الوضع المعقد".
- الحارس لا يفحص الكلمة نفسها؛ بل يفحص ما توصل إليه العمال السابقون بالفعل. إنه حكم سياقي، وليس مجرد بحث في القاموس.

4. "تخطيط المصنع" مهم

اختبر المؤلف تصميمين مختلفين للمصنع: GPT-2 و Pythia.

GPT-2 (المصنع الفعال): هذا التصميم "خطي" للغاية. إنه يشبه حزاماً ناقلاً حيث يقوم العمال غالباً بتمرير الأشياء فقط. يمكنك استبدال نصف العمال المعقدين بآخرين بسيطين وسيعمل المصنع بسلاسة أكبر.
Pythia (المصنع الفوضوي): هذا التصميم أكثر "توازياً". يحاول العمال القيام بعمل مستقل ومعقد أكثر. من الصعب تبسيطهم. ومع ذلك، حتى هنا، وُجد أن منتصف المصنع يقوم في الغالب بعمل بسيط، بينما يحتاج بداية ونهاية الخط إلى التعقيد الكامل.

5. تجربة "الجراحة"

لإثبات أن هذا لم يكن مجرد خدعة، أجرى المؤلف جراحة على المصنع.

أخذ نموذجاً مدرباً واستبدل بشكل دائم العمال في المنتصف بصيغ رياضية بسيطة وثابتة.
النتيجة: لم ينجُ المصنع فحسب، بل أصبح أفضل. من خلال إزالة العمال الذين "يفرطون في التفكير" في المنتصف، اضطر العمال المتبقون للتركيز بقوة أكبر، وأصبح النظام بأكره أكثر كفاءة ودقة.
مع القليل من التدريب الإضافي، تفوق النموذج "المبسط" على النموذج المعقد الأصلي بفارق كبير (أفضل بنسبة 17%).

الخلاصة

تخلص الورقة البحثية إلى أننا كنا ندفع ثمن التعقيد أكثر مما ينبغي.

الأسطورة: كل كلمة تحتاج إلى دماغ غير خطي ومعقد.
الحقيقة: معظم الكلمات، في معظم السياقات، تحتاج فقط إلى دفعة بسيطة. "الدماغ" المعقد مطلوب فقط في اللحظات النادرة والصعبة حيث يكون السياق مربكاً.

المستقبل: بدلاً من بناء كل محطة في المصنع بنفس الآلات المعقدة والمكلفة، يجب أن نبني مصانع ذكية.

ضع الآلات فائقة التعقيد والمكلفة عند المدخل (لفهم بداية الجملة) وعند المخرج (لاتخاذ القرار النهائي).
استخدم آلات رخيصة وبسيطة وخطية في المنتصف، حيث تكون الأمور عادةً مباشرة وواضحة.

هذا من شأنه أن يوفر كميات هائلة من قدرات الحوسبة (المال والطاقة) ويمكن أن يؤدي إلى ذكاء اصطناعي أسرع وأذكى في المستقبل.

إليك ملخص تقني مفصل لورقة البحث "نصف اللاخطية مُهدر: قياس وإعادة تخصيص ميزانية الـ Transformer الخاصة بـ MLP" للباحث بيتر بالوخ (Peter Balogh).

1. بيان المشكلة

تتحدى الورقة الافتراض الأساسي في تصميم بنية الـ Transformer: وهو أن اللاخطية التي توفرها طبقات الـ MLP في كل طبقة وموضع توكن (Token) هي أمر ضروري لنمذجة اللغة.

الفرضية: يُعتقد على نطاق واسع أن إزالة اللاخطية من الـ MLP سيؤدي إلى انهيار الشبكة إلى خريطة خطية غير قادرة على تعلم وظائف اللغة المعقدة.
السؤال: هل هذه اللاخطية ضرورية حقاً لكل عملية حسابية؟ هل يمكن استبدال جزء كبير من حسابات الـ MLP بتقريبات خطية دون تدهور الأداء، أو حتى بتحسينه؟
الهدف: تحديد كمية ميزانية اللاخطية "المُهدرة"، وتحديد ما إذا كان يمكن توجيهها ديناميكياً (Gating)، وفهم ما الذي يدفع الحاجة إلى اللاخطية (هوية التوكن مقابل السياق).

2. المنهجية

استخدم المؤلفون نهجاً منهجياً عبر ستة نماذج (تتراوح من 162 مليون إلى 2.8 مليار معلمة) تمتد عبر بنيتين (GPT-2 و Pythia/GPT-NeoX) وثلاث مجموعات بيانات (Corpora).

أ. التقريب الخطي والتقييم الخطي الشامل

الملاءمة البديلة (Surrogate Fitting): لكل طبقة، قاموا بملاءمة بديل خطي مغلق الصيغة ( $\hat{f}(x) = Wx + b$ ) للـ MLP الأصلي باستخدام انحدار ريج (Ridge Regression) على 10,000 متجه تنشيط.
قياس التكلفة: استبدلوا الـ MLP بهذا البديل الخطي وقاسوا الزيادة في الـ Perplexity (PPL). هذا حدد "التكلفة" المرجعية للخطية الكاملة لكل طبقة.

ب. التوجيه التكيفي (Adaptive Gating)

الآلية: بدلاً من الاستبدال الكلي، قاموا بتدريب بوابة خفيفة الوزن ( $g_\theta$ ) لتقرر لكل توكن ما إذا كان سيستخدم الـ MLP الكامل أم البديل الخطي.
بنية البوابة: كانت البوابة الأكثر فعالية عبارة عن مصنف لوجستي بسيط بـ $d+1$ من المعلمات (مستوى فائق خطي واحد في مساحة التنشيط).
التدريب: تم تدريب البوابة كمصنف ثنائي للتنبؤ بـ "الفرق" ( $\delta = L_{lin} - L_{full}$ )، مع تسمية المواضع التي كان فيها المسار الخطي كافياً بأنها "خطي مقبول" (linear OK).

ج. سبر أغوار إشارة التوجيه (Probing the Routing Signal)

لفهم لماذا تتخذ البوابة قراراتها، قام المؤلفون بتفكيك مدخلات الـ MLP إلى:

هوية التوكن ( $e_i$ ): التضمين (Embedding) الخاص بالتوكن الحالي.
المساهمة السياقية ( $c_i$ ): مساهمة التدفق المتبقي (Residual Stream) من الانتباه والطبقات السابقة ( $x_i - e_i$ ).
قاموا بتدريب بوابات منفصلة على هذه المكونات واختبار استقرارها عبر مجموعات البيانات المختلفة (مثل التدريب على WikiText والاختبار على LAMBADA) لمعرفة ما إذا كانت الحاجة إلى اللاخطية خاصية للتوكن أم للسياق.

د. الخطية التصاعدية والضبط الدقيق (Progressive Linearization & Fine-Tuning)

الاستبدال التصاعدي: قاموا باستبدال طبقات الـ MLP الوسطى تدريجياً بمصفوفات خطية مجمدة، مع إجراء ضبط دقيق للطبقات المتبقية بعد كل خطوة.
التوجيه على مرحلتين: تجربة نهائية جمعت بين الخطية والتوجيه المتعلم أثناء الضبط الدقيق لتحسين تخصيص القدرة اللاخطية.

3. المساهمات الرئيسية

تحديد درجة خطية الـ MLP: قياس منهجي يظهر أن جزءاً كبيراً من حسابات الـ MLP قريبة من الخطية. في نموذج GPT-2 Medium، يمكن خطية 70% من الطبقات بالكامل مع تكلفة تزيد عن الـ PPL بنسبة أقل من 3%.
التوجيه التكيفي الأدنى: أثبتوا أن مصنف خطي بسيط بـ $(d+1)$ من المعلمات يمكنه توجيه 25-56% من التنشيطات إلى مسار خطي بتكلفة ضئيلة. لم تقدم البوابات الأكبر أو الأكثر تعقيداً أي فائدة إضافية.
نتيجة سلبية قوية على التوجيه القائم على التوكن: أثبتوا أن الحاجة إلى اللاخطية لا يمكن التنبؤ بها من هوية التوكن. الارتباط عبر مجموعات البيانات لقوائم "عدم الطيران" (التوكنات التي تحتاج دائماً إلى لاخطية) كان صفراً تقريباً ( $r < 0.05$ ).
هيمنة السياق: أظهروا أن قرار التوجيه يعتمد كلياً على السياق. البوابة "القائمة على السياق فقط" طابقت أداء البوابة الكاملة، بينما كان أداء البوابة "القائمة على التوكن فقط" يقترب من العشوائية.
الانتظام السلبي (Negative Regularization): وثقوا أنه في 4 من أصل 23 طبقة في GPT-2 Medium، أدى التقريب الخطي إلى تحسين الـ Perplexity مقارنة بالـ MLP الكامل، مما يشير إلى أن الـ MLP الأصلي كان يعاني من الإفراط في التخصيص (Overfitting) (يعمل كمنظم سلبي).
الاعتماد على البنية: كشفوا عن انقسام صارخ: نماذج GPT-2 قابلة للخطية بشكل كبير، بينما نماذج Pythia (GPT-NeoX) لديها تكالفت خطية أعلى، رغم أن هذه الفجوة تتقلص عند المقاييس الأكبر (2.8B).

4. النتائج الرئيسية

تكاليف الخطية:
- GPT-2 Medium: يمكن خطية الطبقات من 2 إلى 15 بالكامل بتكلفة 1.6-2.5%. أربع طبقات حسنت الأداء بالفعل عند خطيتها.
- GPT-2 Large: 11 من أصل 36 طبقة تفوقت على النموذج الأساسي عند خطيتها؛ ولم تتجاوز أي طبقة تكلفة 3.7%.
- نماذج Pythia: تكاليف أعلى عموماً. ومع ذلك، عند مقي Scale 2.8B، تفوقت الطبقة الثالثة (L3) بصعوبة على النموذج الأساسي (-0.13%)، وكانت الطبقات الوسطى (L7–L15) رخيصة الخطية (أقل من 4%).
- الطبقات الحرجة: الطبقة الأولى (L0) في Pythia-2.8B كارثية عند خطيتها (+513% PPL)، بينما L0 في GPT-2 رخيصة (+1.77%).
أداء التوجيه (Gating):
- حقق توجيه خطي بنسبة 25-56% بتكلفة أقل من 1% في الـ PPL في GPT-2.
- في GPT-2 Medium، أدى التوجيه في الطبقة السادسة (Layer 6) إلى تحسين الـ PPL بنسبة 0.06%.
- التوجيه المركب: استبدال جميع الطبقات في وقت واحد بأفضل بوابة وفر حوالي 21% من عمليات الـ FLOPs الإجمالية للمرور الأمامي (Forward-pass) مع تأثير ضئيل على الـ PPL.
الخطية التصاعدية (إثبات المفهوم):
- استبدال 5 طبقات وسطى (L10–L14) بمصفوفات خطية مجمدة أدى إلى تكلفة صفرية في الـ PPL بعد ضبط دقيق بسيط.
- مع ميزانية تدريب كاملة (117.9 مليون توكن) على 4 طبقات خطية، حقق النموذج تحسناً بنسبة 10.2% في الـ PPL عن النموذج الأساسي.
- حقق النهج الموجه على مرحلتين (الخطية + التوجيه المتعلم) تحسناً بنسبة 17.3% في الـ PPL (19.00 PPL)، متفوقاً على التحكم في الضبط الدقيق التقليدي.
آلية التوجيه:
- تعمل البوابة لأن توزيع "الحاجة إلى اللاخطية" ( $\delta$ ) منحرف بشدة؛ معظم التوكنات قريبة من الخطية. تحتاج البوابة فقط للإمساك بـ "الذيل الرفيع" من القيم المتطرفة.
- القرار يعتمد على المساهمة السياقية في التدفق المتبقي، وليس على تضمين التوكن.

5. الأهمية والآثار المترتبة

إعادة تصميم البنية: تقترح الورقة أن نماذج Transformer المستقبلية لا ينبغي أن تخصص قدرة لاخطية موحدة. بدلاً من ذلك، يجب تركيز المعلمات اللاخطية عند طبقات الحدود (المدخلات/المخرجات) واستخدام طبقات خطية أو هجينة في المنتصف.
الكفاءة: التوجيه القائم على التوكن (مثل "تخطي الـ MLP لكلمات الوظيفة") هو طريق مسدود. يجب أن يعتمد التوجيه الفعال على التوجيه القائم على السياق أو تغييرات بنيوية تقلل بطبيعتها من اللاخطية في الطبقات الوسطى.
الانتظام السلبي: إن اكتشاف أن إزالة اللاخطية يمكن أن يحسن الأداء يشير إلى أن الـ MLPs القياسية في الطبقات الوسطى غالباً ما تعاني من الإفراط في التخصيص. تقليل القدرة في هذه الطبقات يعمل كمنظم (Regularizer).
البنى الهجينة: يقترح المؤلفون "طبقات خطية-لاخطية هجينة" حيث يتعامل MLP صغير غير خطي مع "الذيل" من الحالات الصعبة، بينما يتولى إسقاط خطي الجزء الأكبر من الحسابات.
التسلسلي مقابل المتوازي: الفرق في قابلية الخطية بين GPT-2 (تسلسلي) و Pythia (متوازي) يشير إلى أن البنى التسلسلية تسمح للـ MLPs بأن تكون أكثر تكراراً (خطية)، بينما تجبر البنى المتوازية الـ MLPs على القيام بعمل لاخطي مستقل أكثر.

الخلاصة: تثبت الورقة أن "ميزانية اللاخطية" في نماذج الـ Transformer مبالغ فيها بشكل كبير. من خلال قياس وتوجيه وإعادة تخصيص هذه الميزانية، يمكن إنشاء نماذج ليست فقط أكثر كفاءة، بل في بعض الحالات أكثر دقة من نظيراتها الأصلية.