Nexusformer: Nonlinear Attention Expansion for Stable and Inheritable Transformer Scaling

إليك ملخص تقني مفصل لورقة البحث بعنوان "Nexusformer: التوسع غير الخطي لآلية الانتباه من أجل توسع مستقر وقابل للتوريث في نماذج Transformer."

1. بيان المشكلة

تعالج الورقة بحثياً عقبتين حرجتين في توسيع نطاق النماذج اللغوية الكبيرة (LLMs):

• العقبة الخطية: تعتمد بنيات Transformer القياسية على عمليات إسقاط خطية ($Q, K, V$) ضمن آلية الانتباه متعددة الرؤوس (Multi-Head Attention). هذه العمليات تحصر استخراج الميزات بدقة داخل فضاءات فرعية خطية ذات أبعاد ثابتة، مما يحد من قدرة النموذج التعبيرية وقدرته على فك تشابك الأنماط الدلالية المعقدة دون زيادة مفرطة في العمق أو العرض.
• فجوة التوريث: تتطلب نماذج التوسع الحالية عادةً تدريب نماذج أكبر من الصفر، مما يؤدي إلى التخلي عن التمثيلات المتعلمة من المقاييس الأصغر. وبينما يوجد "التوسع التدريجي" (توسيع نموذج مدرب مسبقاً)، تفتقر بنيات Transformer القياسية إلى القابلية الطبيعية للتوسع. إن توسيع مصفوفات الإسقاط الخطي الثابتة يسبب انزياحات كبيرة في التوزيع، مما يؤدي إلى تدهور الأداء ويستلزم إعادة تدريب هائلة. وتظل الطرق الحالية مثل LoRA أو Net2Net خطية في جوهرها أو تفشل في دعم النمو غير المدمر.

2. المنهجية: بنية Nexusformer

يقترح المؤلفون Nexusformer، وهي بنية مبتكرة تستبدل عمليات الإسقاط الخطي القياسية لـ $Q/K/V$ بطبقة Nexus-Rank. تُدخل هذه الطبقة عملية إسقاط غير خطي ثلاثية المراحل مدفوعة بتنشيطات مزدوجة في فضاءات ذات أبعاد أعلى تدريجياً.

الآلية الجوهرية: طبقة Nexus-Rank

بدلاً من الإسقاط الخطي المباشر $D \to D$، تقوم طبقة Nexus-Rank بعملية رسم خرائط $D \to M \to A \to D$ حيث $D < M < A$.

1. المرحلة الأولى (الرفع - Uplift): يتم إسقاط المدخل $X$ إلى فضاء وسيط $M$ ($M > D$) عبر المصفوفة $W_M$، يليه تنشيط GeLU. يعمل هذا كطبقة فك ارتباط دلالي.
   $$Z_M = \sigma(X W_M)$$
2. المرحلة الثانية (التوسع - Expansion): يتم إسقاط الميزات إلى مَناف (Manifold) ذي سعة فائقة $A$ ($A > M$) عبر المصفوفة $W_A$، يليه تنشيط ثانٍ. تعمل هذه المرحلة على نمذجة التفاعلات عالية الرتبة للميزات والعلاقات التركيبية المعقدة.
   $$Z_A = \sigma(Z_M W_A)$$
3. المرحلة الثالثة (الاختزال - Reduction): يتم إسقاط الميزات مرة أخرى إلى البعد الأصلي $D$ عبر المصفوفة $W_D$.
   $$\tilde{Q} = Z_A W_D$$

تستخدم آلية الانتباه النهائية هذه التنسورات المتحولة ($\tilde{Q}, \tilde{K}, \tilde{V}$) لحساب درجات الانتباه، مما يسمح بالتقاط تبعيات الرموز (Tokens) الأكثر دقة من خلال المعلومات غير الخطية عالية الرتبة.

استراتيجية النمو: التوسع ثنائي المحور مع التهيئة الصفرية

لتمكين التوسع المستقر والقابل للتوريث، يستخدم Nexusformer آلية نمو ثنائية المحور:

• التوسع ثنائي المحور: يتوسع النموذج في آن واحد على طول البعد الوسيط ($M$) والبعد التوسعي ($A$).
• التهيئة الصفرية (Zero Initialization): عند التوسع، يتم تهيئة كتل المعلمات الجديدة ($W^{new}_M, W^{new}_A, W^{new}_D$) لتكون صفرية.
  • يضمن ذلك أنه في لحظة التوسع، لا تساهم الكتل الجديدة بأي شيء في المخرجات، مما يحافظ على السلوك الدقيق للنموذج المدرب مسبقاً.
  • يمنع هذا الانزياحات في التوزيع ويسمح للنموذج باستئناف التدريب بسلاسة، مستوعباً السعة الجديدة دون نسيان كارثي.

3. المساهمات الرئيسية

1. بنية Nexusformer: استبدال هيكلي لإسقاطات الانتباه الخطية بطبقات Nexus-Rank عميقة وغير خطية، مما يكسر حاجز التعبير الخطي.
2. آلية نمو غير مدمرة: استراتيجية توسع ثنائية المحور باستخدام التهيئة الصفرية تتيح توسيع المعلمات دون فقدان للمعلومات وتدريباً مستمراً فعالاً.
3. قانون التوسع الهندسي: اكتشاف نمط تطور "من الطرد المركزي إلى المركزية". عرّف المؤلفون مقياس طاقة شعاعي $R$ (بناءً على انزياح اتجاه المعلمات وتداخل التوزيع) يرتبط بالأداء. وقد اشتقوا قانون توسع تجريبي:
   $$\ln(\text{PPL}) = -0.0991 \cdot |\ln(R)| + 2.4804$$
   يسمح هذا القانون بالتنبؤ الدقيق بالأداء عبر مقاييس التوسع المختلفة.
4. تحليل الكفاءة: إثبات أن عدم الخطية الهيكلية توفر وراثة معرفية متفوقة مقارنة باستراتيجيات إعادة التنظيم الخطية.

4. النتائج التجريبية

أُجريت التجارب على اختبارات نمذجة اللغة والاستدلال (PIQA, OBQA, HellaSwag, ARC-E, ARC-C) عبر مقاييس تتراوح من 170 مليون إلى 640 مليون معلمة.

• الأداء: يتفوق Nexusformer باستمرار على النماذج المرجعية (Qwen3, Tokenformer, Transformer++) عبر جميع المقاييس. عند 640 مليون معلمة، يحقق تحسناً بنسبة 15.8% عن Tokenformer و33.4% عن Qwen3 في اختبار ARC-Easy.
• كفاءة التدريب:
  • عند التوسع تدريجياً من قاعدة 240 مليون، يطابق Nexusformer مستوى Perplexity الخاص بـ Tokenformer باستخدام 41.5% أقل من حوسبة التدريب.
  • يحقق Perplexity أفضل من Qwen3-440M باستخدام 240 مليون معلمة فقط.
• ديناميكيات التوسع:
  • نقطة النمو المثلى: حدد التحليل أن 380 مليون هي نقطة النمو المثلى في إعدادهم، حيث تصل المكاسب الهامشية إلى ذروتها قبل أن تنخفض قليلاً.
  • الاستقرار: تسبب التهيئة الصفرية مساراً مستقراً من نوع "التباعد ثم التقارب". أظهرت دراسات الاستئصال (Ablation studies) أن إدخال حتى 10% من الضوضاء الغاوسية أثناء التهيئة يقطع هذا التطور المنظم، مما يؤكد أن التهيئة الصفرية هي ضرورة إحصائية للتقارب المركزي.
• التكلفة الحسابية: رغم عملية الإسقاط ثلاثية المراحل، يحافظ Nexusformer على عمليات حسابية (FLOPs) مماثلة أو أقل من نماذج Transformer القياسية (انخفاض بنسبة 6.5% عند 300 مليون)، وذلك عبر تقليل البعد الخفي ونقل الحوسبة إلى تحويلات خطية أكثر كفاءة.

5. الأهمية والأثر

• تحول في النموذج الفكري: تتحدى الورقة الاعتماد على "التدريب من الصفر" من أجل التوسع، مقدمةً مساراً قابلاً للتطبيق لـ التوسع التدريجي والقابل للتوريث للسعة.
• رؤية نظرية: توفر فهماً هندسياً لنمو النموذج، حيث تظهر أن التهيئة الصفرية تخلق "جاذباً هندسياً" على مَناف المعلمات، مما يوجه النموذج نحو منطقة مستقرة وعالية الجودة.
• التطبيق العملي: من خلال فصل حجم النموذج عن الأداء عبر قانون التوسع، يوفر Nexusformer إطار عمل لبناء نماذج أساسية أكثر كفاءة يمكنها النمو عضوياً مع البيانات والحوسبة، مما يقلل بشكل كبير من تكلفة تطوير النماذج اللغوية الكبيرة.
• القدرة التعبيرية: تثبت أن زيادة "عمق" مرحلة الإسقاط (عبر المَناف غير الخطية) أكثر فعالية لنمذجة الميزات من مجرد توسيع الطبقات الخطية.

باختصار، يحل Nexusformer المشكلتين المزدوجتين المتمثلتين في حدود التعبير الخطي وعدم استقرار توسع النماذج من خلال تقديم آلية توسع غير خطية ذات تهيئة صفرية، مما ينتج بنية أكثر كفاءة واستقراراً وأداءً لنمذجة اللغات واسعة النطاق.