Can an MLP Absorb Its Own Skip Connection?

ملخص تقني: "هل يمكن لشبكة MLP استيعاب وصلة التخطي الخاصة بها؟"

المؤلفون: أنتونيو ميتجوسكي وماركو كاربفسكي
سؤال البحث الجوهري: هل تؤدي إضافة وصلة تخطي (اتصال متبقي/residual connection) إلى شبكة MLP إلى توسيع قدرتها التمثيلية، أم أنها مجرد إعادة صياغة للمعاملات (reparameterization) يمكن "استيعابها" داخل شبكة MLP قياسية خالية من الوصلات المتبقية وبنفس العرض؟

1. المشكلة

في البنى الحديثة للتعلم العميق (مثل Transformers وLLaMA)، يتم تغليف كل طبقة MLP تقريبًا بوصلة متبقية: $f(x) = x + \text{MLP}(x)$. وبينما من المعروف جيدًا أن وصلات التخطي تحسن عملية التحسين (تدفق التدرج وتنعيم مشهد الخسارة)، يبحث المؤلفون في الفائض الجبري (algebraic redundancy) لهذا الهيكل.

تحديدًا، يتساءلون: إذا كانت لدينا شبكة MLP ذات وصلة تخطي $\text{MLP}_{\text{skip}}(x) = x + W_{\text{down}}\sigma(W_{\text{up}}x)$، فهل توجد شبكة $\text{MLP}_{\text{ff}}(x) = V_{\text{down}}\sigma(V_{\text{up}}x)$ خالية من الوصلات المتبقية ولها نفس العرض بحيث يكون $\text{MLP}_{\text{skip}}(x) = \text{MLP}_{\text{ff}}(x)$ لكل قيم $x$؟

2. المنهجية

يستخدم المؤلفون نهجًا رياضيًا صارمًا يجمع بين التحليل الدالي، وتحليل التكافؤ (parity decomposition)، ونظرية القياس. لقد صنفوا دوال التنشيط إلى ثلاث مجموعات متميزة لاختبار حدود الاستيعاب:

• التنشيطات المتجانسة (Homogeneous activations): الدوال التي تحقق $\sigma(\lambda z) = \lambda^k \sigma(z)$ (مثل $\text{ReLU}^2$ و$\text{ReGLU}$).
• التنشيطات المبوّبة (Gated activations): البنى الحديثة حيث يكون التنشيط عبارة عن حاصل ضرب بوابة وقيمة (مثل $\text{SwiGLU}$ و$\text{GeGLU}$).
• التنشيطات غير المبوّبة (Ungated activations): دوال التنشيط القياسية مثل $\text{ReLU}$ و$\text{GELU}$.

استخدموا تحليل التكافؤ (تقسيم الدالة إلى مكوناتها الزوجية والفردية) لتحليل كيفية تفاعل الحد الخطي $x$ (وصلة التخطي) مع المكونات غير الخطية لـ MLP.

3. المساهمات والنتائج الرئيسية

أ. استحالة الاستيعاب بالنسبة لتنشيطات الحالة الراهنة (SOTA)
أثبتت الورقة أنه بالنسبة لتنشيطات الدوال المستخدمة في معظم نماذج اللغات الكبيرة (LLMs) الحالية، فإن الاستيعاب مستحيل بشكل مطلق.

• التنشيطات المتجانسة (الخاصية 5): بالنسبة للتنشيطات من الدرجة $k \neq 1$ (مثل $\text{ReLU}^2$)، تظهر حجة الدرجة أن الخريطة الخطية وMLP من الدرجة $k$ ينتميان إلى فئات تجانس غير متوافقة.
• التنشيطات المبوّبة (الخاصية 6 والنتيجة 7): بالنسبة للتنشيطات المبوّبة مثل $\text{SwiGLU}$ و$\text{GeGLU}$، تظهر حجة الخطية أن مخرجات الـ MLP المبوّب هي $O(\|x\|^2)$ بالقرب من الأصل. وبما أن وصلة التخطي هي $O(\|x\|)$، فإنه لا يمكن لهما التساوي أبدًا. تمتد هذه النتيجة إلى أي عمق، مما يعني أن الشبكات المتبقية العميقة التي تستخدم هذه التنشيطات لا يمكن محاكاتها بواسطة شبكات عميقة خالية من الوصلات المتبقية وبنفس العرض.

ب. "الحالة الخاصة" لـ ReLU وGELU غير المبوّبة
بالنسبة لـ $\text{ReLU}$ و$\text{GELU}$ القياسيتين، يكون الاستيعاب ممكنًا رياضيًا ولكنه غير عام (non-generic).

• شرط المصفوفة الفرعية (النظرية 8 و10): يحدث الاستيعاب فقط إذا وجدت مجموعة فرعية من الخلايا العصبية $S$ (حيث $|S| \geq d$) بحيث يحقق حاصل ضرب أوزان الإسقاط السفلي والإسقاط العلوي لتلك الخلايا: $W_{\text{down}}[:, S] W_{\text{up}}[S, :] = -\text{Id}$.
• الانفصال العام (النتيجة 11): نظرًا لأن هذا الشرط يتطلب محاذاة جبرية محددة للغاية، فإنه يحدث بـ قياس ليبيج (Lebesgue measure) يساوي صفرًا. بعبارة أخرى، لأي مصفوفة أوزان يتم تهيئتها عشوائيًا تقريبًا، تمثل شبكة MLP ذات وصلة تخطي وشبكة MLP خالية من الوصلات المتبقية فئات دالية مختلفة تمامًا.

ج. التعميم على الوصلات القابلة للتعلم
أثبت المؤلفون (التمهيد 4) أنه إذا كانت وصلة التخطي عبارة عن خريطة خطية قابلة للعكس وقابلة للتعلم (كما في "Hyper-Connections")، فإن المشكلة تختزل إلى حالة وصلة الهوية، مما يعني أن نتائج الاستحالة الخاصة بهم لا تزال قائمة.

4. الأهمية

توفر هذه الورقة أساسًا نظريًا رسميًا لسبب كون وصلات التخطي ليست مجرد حيلة للتحسين، بل هي ضرورة هيكلية للقدرة التمثيلية.

• التوسع التمثيلي: تثبت الورقة أن وصلات التخطي تمنح الوصول إلى منطقة في الفضاء الدالي لا يمكن لشبكة MLP قياسية بنفس العرض الوصول إليها.
• التصميم المعماري: تبرر النتائج الانتشار الواسع للوصلات المتبقية في نماذج Transformers. فلو قمنا بإزالتها، لن نتمكن ببساطة من "إعادة وزن" طبقات الـ MLP الموجودة لتعويض النقص؛ بل سنغير بشكل جذري القدرة التمثيلية للنموذج.
• الحد النظري: تحدد الورقة فاصلاً حادًا: بينما تسمح $\text{ReLU}$ و$\text{GELU}$ بحالات نادرة ومحددة للغاية من الاستيعاب، فإن التنشيطات المبوّبة التي تدعم ثورة الذكاء الاصطناعي الحالية ($\text{SwiGLU}$، إلخ) تجعل وصلات التخطي ضرورية جبريًا ولا غنى عنها.