ملخص تقني: إعادة النظر في اصطلاح الشكل لنماذج لغة الترانسفورمر (Transformer)

بيان المشكلة

التزمت نماذج لغة الترانسفورمر الكثيفة تاريخياً باصطلاح معماري صارم: تستخدم شبكة التغذية الأمامية (FFN) شكل "ضيق–عريض–ضيق" لشبكة بيرسيبترون متعدد الطبقات (MLP). في هذا التصميم، يتم توسيع بُعد النموذج ($d_{model}$) إلى بُعد وسيط أكثر عرضاً ($d_h$) بنسبة توسعة تتراوح عادة بين 2 و4، قبل إعادة الإسقاط. يهيمن هذا الهيكل على تخصيص المعلمات والعمليات الحسابية ذات الفاصلة العائمة، حيث يشكل غالباً غالبية معلمات النموذج وعملياته.

يتساءل المؤلفون عما إذا كان هذا الشكل المحدد ضرورياً أم أنه مجرد تجسيد ملائم فحسب. تشير الأعمال النظرية الحديثة إلى أن شبكات MLP المتبقية من نوع "عريض–ضيق–عريض" (شكل الساعة الرملية/hourglass) يمكن أن تعمل كمقدرات وظائف مثلى، مما قد يوفر تعبيراً (expressivity) متفوقاً بعدد أقل من المعلمات. علاوة على ذلك، أظهرت الأدلة التجريبية في نماذج الرؤية التوليدية ونماذج الترانسفورمر من نوع خليط الخبراء (MoE) أن هياكل الساعة الرملية يمكن أن تتفوق على التصاميم القياسية. تكمن المشكلة الجوهرية التي يعالجها البحث في ما إذا كان شكل FFN التقليدي (ضيق–عريض–ضيق) قيداً ضرورياً، أم أن FFN "ساعة رملية" أكثر عمقاً وضيقاً يمكن أن يوفر تخصيصاً أكثر كفاءة للسعة بين وحدات الانتباه (attention) ووحدات FFN.

المنهجية

يقترح البحث نسخة من الترانسفورمر تستبدل الـ FFN التقليدي بـ FFN على شكل ساعة رملية (Hourglass FFN). تتضمن المنهجية ما يلي:

1. إعادة التصميم المعماري:

   • يستبدل Hourglass FFN طبقة التوسعة الواحدة العريضة بمجموعة من $K$ من الـ sub-MLPs ذات شكل الساعة الرملية المتصلة بمسارات متبقية (residual pathways).
   • يتبع كل sub-MLP ($MLP_i$) هيكل ضغط وتوسعة: يقوم بإسقاط المدخلات من $d_{model}$ إلى بُعد عنق الزجاجة $d_h$ (حيث $d_h < d_{model}$)، ثم يطبق تفعيل غير خطي (SwiGLU)، ثم يعيد الإسقاط إلى $d_{model}$.
   • تكون مخرجات الطبقة هي نتيجة تمرير المدخلات عبر $K$ من هذه الكتل الفرعية المتبقية.

2. استراتيجية إعادة توزيع المعلمات:

   • من خلال تقليل البعد الوسيط $d_h$ (جعل الـ FFN "أضيق")، يوفر المؤلفون المعلمات التي تُخصص عادة لعرض الـ FFN.
   • يتم إعادة تخصيص هذه المعلمات إما إلى:
     • زيادة بُعد النموذج ($d_{model}$) وسعة الانتباه (attention capacity).
     • زيادة عمق مكدس الـ FFN ($K$).
     • زيادة عدد طبقات الترانسفورمر ($L$).

3. الإعداد التجريبي:

   • النماذج المرجعية (Baselines): تتم المقارنة مقابل نماذج Transformer من طراز LLaMA القياسية وهندسة OLMo-2 الأحدث.
   • المقاييس: تُجرى التجارب عبر أحجام نماذج تتراوح من 113 مليون إلى 1 مليار معلمة.
   • القيود: تُجرى التجارب تحت ميزانيات إجمالية متساوية من المعلمات (بفارق لا يتجاوز 0.001%) وحجم انتباه ثابت لعزل تأثير شكل الـ FFN.
   • نطاق البحث: يقوم المؤلفون بعملية بحث معماري لتغيير $K$ (عمق مكدس الساعة الرملية)، و$L$ (عدد طبقات الترانسفورمر)، و$d_{model}$، ونسبة $d_h/d_{model}$.

المساهمات الرئيسية

يقدم البحث أربع مساهمات رئيسية:

1. تحدي المعيار السائد: يتحدى شكل الـ FFN "ضيق–عريض–ضيق" المتعارف عليه، مقترحاً FFN "ساعة رملية" (wide–narrow–wide) أكثر كفاءة يحافظ على القدرة التعبيرية من خلال sub-MLPs مكدسة ومتصلة متبقياً.
2. إعادة تخصيص المعلمات: يوضح استراتيجية حيث يؤدي توجيه المعلمات من عرض الـ FFN إلى عرض الانتباه أو عمق الـ FFN الداخلي ($K > 1$) إلى أداء متفوق، لا سيما في المقاييس الصغيرة (113 مليون).
3. رؤى معمارية: يحدد منحنى على شكل حرف U للمقايضة بين العرض والعمق، ويجد النسب المثلى لـ $d_{model}/L$ و$d_h/d_{model}$، ويثبت أن هياكل الـ Hourglass FFN الأكثر عمقاً تتسم بالمتانة.
4. التحقق من قابلية التوسع: يتحقق من صحة Hourglass FFN من 113 مليون إلى 1 مليار معلمة، موضحاً أنه بديل تنافسي للنماذج القياسية، مع وجود تكوينات محددة تتفوق على النماذج التقليدية في المقاييس الصغيرة وتضاهيها في المقاييس الكبيرة.

النتائج

أسفر التحقق التجريبي عن النتائج التالية:

• الأداء عند ثبات الانتباه: عند مقياس 113 مليون مع ثبات معلمات الانتباه، تحقق نماذج Hourglass FFN قيم خفض في خطأ التحقق (validation loss) والارتباك (perplexity - PPL) أقل من الـ FFN التقليدية. على سبيل المثال، عند $K=8$، انخفض PPL من 36.441 (تقليدي) إلى 36.179.
• التكوينات المثلى:
  • العمق مقابل العرض: حققت نسبة $d_h/d_{model} \approx 0.4$ مع $K=4$ طبقات أدنى خطأ تحقق.
  • إزاحة المعلمات: عند مقياس 113 مليون، أدت إزاحة المعلمات لجعل وحدة الانتباه مهيمنة (مثلاً 66 مليون للانتباه مقابل 47 مليون للـ FFN) إلى أفضل أداء (PPL 35.101)، مما يشير إلى أن المعالجة السياقية أكثر قيمة من استرجاع الحقائق الثابتة للنماذج الصغيرة.
  • مقايضة العرض والعمق: لوحظ منحنى واضح على شكل حرف U لنسبة $d_{model}/L$، حيث تقع المنطقة المثالية بين 100 و250.
• قابلية التوسع:
  • المقاييس الصغيرة والمتوسطة (113 مليون – 906 مليون): تفوقت متغيرات Hourglass باستمرار على النماذج المرجعية التقليدية في خطأ التحقق، والارتباك (PPL)، ومهام الاستدلال اللاحقة (مثل Arc Easy، HellaSwag، PIQA).
  • المقياس الكبير (1 مليار): عند مقياس 1 مليار معلمة، حقق متغير Hourglass أداءً مقارباً للنموذج المرجعي القوي (Val PPL 20.082 مقابل 20.002) وتفوق على تكوين OLMo-2 (20.466).
• دراسات الاستئصال (Ablation Studies): أدى زيادة عمق الساعة الرملية $K$ باستمرار إلى تحسين الأداء، وإن كان ذلك بعوائد متناقصة بعد $K=6$. كما أدى تقليل $d_h/d_{model}$ إلى أقل من 0.4 إلى تدهور كبير في الأداء، مما يشير إلى وجود حد أدنى لضغط الـ FFN.

الأهمية والادعاءات

يزعم البحث أن شكل الـ MLP "ضيق–عريض–ضيق" طويل الأمد في نماذج الترانسفورمر ليس ضرورياً وقد يكون زائداً عن الحاجة. ومن خلال اعتماد Hourglass FFN، يثبت المؤلفون أن:

1. الكفاءة: يمكن للنماذج تحقيق أداء تنافسي أو متفوق بتوزيع أكثر كفاءة للمعلمات.
2. إعادة تخصيص الموارد: يسمح هيكل الساعة الرملية بتحول جوهري حيث تصبح آلية الانتباه هي المستهلك المهيمن للمعلمات، مما يتحدى الميزانية التقليدية التي يسيطر عليها الـ FFN.
3. إعادة تقييم التصميم: تدفع هذه النتيات إلى إعادة التفكير في التوازن بين الانتباه والـ FFN، مما يشير إلى أن هياكل الـ FFN الأكثر عمقاً وضيقاً، جنباً إلى جنب مع آليات انتباه أعرض، قد تكون استراتيجية تصميم متفوقة لنماذج اللغة الحديثة الفعالة والمعبرة.

يظل المؤلفون متواضعين بشأن التوسع إلى نماذج بعشرات أو مئات المليارات من المعلمات، مشيرين إلى أن نتائجهم تم استقراؤها من مقياس 113 مليون، وأن "لعنة العمق" (مشكلات انتشار الإشارة) تتطلب مزيداً من الاستقصاء في البنى الأكثر عمقاً. كما أشاروا إلى أن التفاعل بين Hourglass FFN وآليات الانتباه المتقدمة (مثل Group-Query Attention) لا يزال غير مستكشف.