🤖 machine learning

Multi-Gate Residuals

تقترح الورقة البحثية بنية "البواقي متعددة البوابات" (MGR)، وهي بنية مبتكرة تعمل على تثبيت مقاييس التنشيط في الشبكات المتبقية العميقة باستخدام آلية تسجيل وبوابة مع تجميع الانتباه، مما يحقق تحسينات في الأداء دون عبء الاتصال المرتبط ببواقي الانتباه.

المؤلفون الأصليون: Zhizhan Zheng, Feiyun Zhang, Shuchun Liu, Tian Xia, Xi Liu, Dasheng Hu, Hongquan Zhou

نُشر 2026-05-25

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Zhizhan Zheng, Feiyun Zhang, Shuchun Liu, Tian Xia, Xi Liu, Dasheng Hu, Hongquan Zhou

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم مبنى شاهق الارتفاع ومتعدد الطوابب (شبكة عصبية) فهم قصص معقدة. في المباني التقليدية، تتدفق المعلومات من الطابق الأرضي صعوداً إلى السطح. وبينما تنتقل المعلومات عبر الطوابق، يتم تمريرها من غرفة إلى أخرى. المشكلة هي أنه بحلول الوقت الذي تصل فيه الرسالة إلى الطابق العلوي، غالباً ما تصبح مخففة أو مشوهة، أو يبدأ المبنى بالاهتزاز بشدة (عدم الاستقرار العددي) لدرجة أن الطابق العلوي لا يعود قادراً على سماع الطابق الأرضي.

تقدم هذه الورقة طريقة جديدة لبناء هذه "المباني العصبية" تسمى المخلفات متعددة البوابات (Multi-Gate Residuals - MGR). وإليك كيف تعمل باستخدام تشبيهات بسيطة:

المشكلة: مشكلة "الممر الطويل الواحد"

في نماذج التعلم العميق التقليدية (مثل بنية "PreNorm" القياسية)، يوجد في الأساس ممر طويل واحد. كل غرفة تضيف شيئاً بسيطاً من المعلومات الجديدة إلى الرسالة أثناء مرورها.

المشكلة: بينما تسافر الرسالة عبر مئات الطوابق، يزداد "صوت" الرسالة عالياً أكثر فأكثر حتى يصبح زئيراً يصم الآذان (نمو التنشيط غير المحدود). وهذا يجعل المبنى غير مستقر.
الحل القديم: حاول بعض الباحثين إصلاح ذلك بجعل كل غرفة في كل طابق تصرخ مباشرة إلى الطابق العلوي (Attention Residuals). ورغم أن هذا ينجح، إلا أنه يشبه تركيب نظام اتصال داخلي ضخم ومكلف يربط كل غرفة بكل غرفة أخرى. إنه ثقيل جداً، وبطيء، ويتطلب الكثير من الأسلاك (تكلفة الاتصال).

الحل: "المصاعد متعددة المسارات" (MGR)

يقترح المؤلفون تصميماً أذكى. بدلاً من ممر طويل واحد أو نظام اتصال داخلي فوضوي، يقومون ببناء مصاعد متوازية متعددة (مسارات) تعمل جنباً إلى جنب صعوداً في المبنى.

إليك العملية خطوة بخطوة لكيفية عمل MGR:

1. المصاعد متعددة المسارات
تخيل أن المعلومات تنقسم إلى عدة مسارات متوازية (مثل 4 أو 8 مصاعد مختلفة). يحمل كل مصعد نسخة من القصة صعوداً في المبنى. هذا يمنع مشكلة "الزئير الصاخب" لأن المعلومات موزعة.

2. "البوابة الذكية" (آلية البوابة)
بينما تصعد المصاعد، لا تقوم فقط بإضافة معلومات جديدة بشكل أعمى. عند كل طابق، يوجد حارس بوابة ذكي.

ينظر هذا الحارس إلى المعلومات الجديدة في الطابق الحالي والمعلومات القادمة من المصاعد.
يتساءل: "كم من هذه المعلومات الجديدة يجب أن أخلطها؟"
يستخدم درجة بسيطة (بوابة) ليقرر. إذا كانت المعلومات الجديدة رائعة، فإنه يسمح بدخول الكثير منها. وإذا لم تكن مطلوبة، فإنه يبقي البوابة مغلقة معظم الوقت.
التشبيه: فكر في الأمر كطباخ يتذوق الحساء. بدلاً من سكب دلو كامل من المكونات (مما يفسد الحساء)، يضيف الطباخ ملعقة صغيرة مدروسة بناءً على مذاق الحساء الآن. هذا يحافظ على توازن النكهة (البيانات) ويمنع القدر من الفيضان.

3. "الدردشة الجماعية" (تجميع الانتباه - Attention Pooling)
قبل أن تنتقل المعلومات إلى الطابق التالي، تتوقف المصاعد في ردهة مركزية. هنا، يعمل وحدة "تجميع الانتباه" كمدير لدردشة جماعية. يستمع إلى جميع مسارات المصاعد المختلفة، ويحدد أي منها يحتوي على التحديثات الأكثر أهمية، ثم يدمجها في ملخص واحد مقتضب للطابق التالي.

لماذا يعد هذا أفضل؟

تزعم الورقة أن هذا التصميم يحل ثلاثة مشاكل كبيرة:

لا مزيد من الاهتزاز: نظرًا لأن البوابات تتحكم في مقدار المعلومات الجديدة التي تُضاف، فإن "صوت" البيانات لا يخرج عن السيطرة أبداً. يظل المبنى مستقراً، حتى لو كان شاهق الارتفاع.
لا أسلاك مكلفة: على عكس طريقة "الصراخ للجميع" (Attention Residuals)، لا يحتاج MGR إلى ربط كل طابق بكل الطوابق الأخرى. إنه يحافظ على الاتصالات محلية وفعالة. إنه يشبه استخدام عدد قليل من المصاعد الفعالة بدلاً من تركيب هاتف في كل غرفة.
ذاكرة أفضل: النظام ذكي في كيفية تخزين البيانات. يمكنه "نسيان" بعض الخطوات المتوسطة وإعادة حسابها لاحقاً إذا لزم الأمر، مما يوفر مساحة في ذاكرة الكمبيوتر.

النتائج

اختبر المؤلفون تصميم "المصاعد متعددة المسارات" الجديد هذا على نماذج لغوية (أجهزة كمبيوتر تتعلم القراءة والكتابة).

الأداء: تعلمت بشكل أفضل وأسرع من تصميم "الممر الواحد" القديم، بل وتفوقت حتى على تصميم "الصراخ للجميع" المعقد.
الاستقرار: ظلت البيانات داخل النموذج هادئة ولم تنفجر في الحجم.
الكفاءة: لم يتطلب الأمر قدرات حوسبة إضافية هائلة أو اتصالات بين أجهزة كمبيوتر مختلفة.

الخلاصة

تجادل الورقة بأننا بدلاً من بناء أنظمة معقدة ومبالغ في هندستها لحل مشاكل التعلم العميق، يمكننا استخدام نهج بسيط وأنيق: قسم البيانات إلى مسارات متوازية، واستخدم بوابات ذكية للتحكم في التدفق، واترك خلاطاً بسيطاً يدمجها. إنها طريقة لبناء نماذج ذكاء اصطناعي أعلى وأذكى دون أن تنهار أو تصبح مكلفة للغاية للتشغيل.

ملخص تقني: البقايا متعددة البوابات (MGR)

1. بيان المشكلة

تعتمد الشبكات العصبية العميقة، وخاصة بنيات المحولات (Transformer)، على اتصالات البقايا (residual connections) للتخفيف من تلاشي التدرجات وتمكين التدريب المستقر للطبقات العميقة. ومع ذلك، فإن تحديث البقايا الجمعي القياسي ( $x_{l+1} = x_l + F(LN(x_l))$ ) في ظل نموذج PreNorm يعاني من قصورين حرجين مع زيادة العمق:

تخفيف المعلومات (Information Dilution): تعامل آلية التجميع الثابتة العمق كمسار تراكمي موحد، مما يؤدي إلى تخفيف المعلومات من الطبقات السابقة تدريجياً، ويجعل من الصعب على الوحدات الأعمق الانتباه انتقائياً للتمثيلات السابقة.
نمو التنشيط غير المحدود (Unbounded Activation Growth): تؤدي الطبيعة التراكمية لمجرى البقايا إلى ظاهرة "التنشيط الهائل" (massive activation)، حيث تنحرف ضخامة التنشيطات بشكل غير محدود. يتسبب هذا في عدم استقرار عددي ويجبر الطبقات الأعمقة على توليد مخرجات ضخمة بشكل غير متناسب للحفاظ على التأثير، وهي ظاهرة تُعرف بمشكلة تخفيف PreNorm.

بينما عالجت الحلول الحديثة مثل بقايا الانتباه (AttnRes) والوصلات الفائقة (HC) هذه المشكلات، إلا أنها تفرض اختناقات عملية كبيرة. تتطلب AttnRes تجميع مخرجات من جميع الطبقات السابقة، مما يخلق أعباء اتصال وذاكرة شديدة. أما HC فتوسع الحالات الخفية إلى مسارات متوازية، لكنها تقدم عمليات معقدة وأنماط وصول للذاكرة تعيق القابلية للتوسع في التدريب الموزع واسع النطاق.

2. المنهجية: البقايا متعددة البوابات (MGR)

يقترح المؤلفون بنية البقايا متعددة البوابات (MGR)، وهي بنية مبتكرة تعمل على تثبيت مقاييس التنشيط دون عبء الاتصال المرتبط بالانتباه الكامل أو تعقيد الطوبولوجيا متعددة المسارات الكثيفة. تدمج MGR نقاط القوة في AttnRes وHC من خلال تصميم مبسط يتضمن AttnPool (المجمع) وآليات البوابات (الخلاطات).

2.1 مكونات البنية

البقايا متعددة المسارات: بدلاً من مجرى بقايا واحد، تحتفظ MGR بـ $n$ من المتجهات الخفية المتوازية (المسارات).
AttnPool (المجمع): مستوحى من AttnRes، يقوم هذا النموذج بتجميع الميزات الكامنة من المسارات الـ $n$ لإنتاج تمثيل مدمج لمعالجة الطبقة الحالية. يستخدم متجه استعلام قابل للتعلم خاص بالطبقة $w^{(\alpha)}_l$ وRMSNorm لحساب توزيع مرجح بـ Softmax يسمى $\alpha_{i \to l}$ ، مما يختار بفعالية حالات المسارات ذات الصلة.
آليات البوابات (الخلاطات): لتحديث المسارات، تستخدم MGR آلية بوابات خفيفة الوزن تقوم باستيفاء (interpolation) حالة المسار الحالي $s_i$ $s_{i}$ مع مخرج الطبقة $F_l(h_l)$ $F_{l} (h_{l})$ . تم اقتراح نسختين:
1. البوابة المستقلة (Independent Gating): تستخدم دالة تنشيط Sigmoid لتوليد معامل استيفاء $\beta_{i \leftarrow l}$ لكل مسار بشكل مستقل.
2. البوابة التنافسية (Competitive Gating): تستخدم Softmax عبر المسارات (بالإضافة إلى انحياز بوابة النسيان) لضمان توزيع وزن طبيعي، مما يفرض تركيباً محدباً صارماً.
  قاعدة التحديث هي: $s'_i = (1 - \beta_i) \odot s_i + \beta_i \odot F_l(h_l)$ .

2.2 تحليل الاستقرار

تقدم الورقة تبريراً نظرياً لاستقرار MGR. على عكس ResNet القياسية، التي تسمح بالتراكم غير المحدود، تفرض آلية البوابة تركيباً محدباً.

القيم المعيارية المحدودة (Bounded Norms): من خلال قصر التحديثات على مجموع محدب، يظل المعيار العملياتي (operator norm) محدوداً: $\|x_{l+1}\| \leq \max(\|x_l\|, \|F_l(x_l)\|)$ .
الضمان العالمي: بالنسبة لتكديس مكون من $L$ طبقة، يتم وضع حد لمقدار التنشيط عند الطبقة الأكثر تطرفاً واحدة بدلاً من التأثير التراكمي لجميع الطبقات. هذا يحول عدم الاستقرار الناتج عن العمق من مشكلة تراكم ضربي إلى مشكلة اختيار محدودة، مما يمنع رياضياً "التنشيط الهائل".

2.3 تهيئة انحياز البوابة

لمنع انفجار تباين الإشارة خطياً مع العمق ( $O(L)$ )، اشتق المؤلفون استراتيجية تهيئة لانحياز البوابة $b_l$ . بناءً على شرط أن يظل إجمالي المساهمة التدريجية $O(1)$ ، يجب أن يتدرج تنشيط البوابة $g_{init}$ كـ $1/\sqrt{L}$ . وبناءً على ذلك، يتم تهيئة الانحياز كـ:
$b^{(L)}_{init} \approx \ln \left( \sqrt{\frac{L}{L_{base}}} \left( e^{-b^{(base)}_{init}} + 1 \right) - n \right)$
يضمن هذا أنه في بداية التدريب، تسهل سلوكيات البوابة حالة "الحمل" (تمرير المعلومات عبر الطبقات) مع السماح للنموذج بتعلم تحديث المسارات عند الحاجة.

2.4 الكفاءة الهندسية

لمعالجة عبء الذاكرة الناتج عن المسارات المتعددة، تستخدم MGR ما يلي:

دمج النواة (Kernel Fusion): دمج عمليات lerp (الاستيفاء) وattnpool في نواة مخصصة واحدة لتقليل حركة البيانات في الذاكرة (تقليل الإدخال/الإخراج إلى حوالي $3nC$ قراءة و $1nC$ كتابة).
الانعكاس الاحتياطي (Fallback Inversion/Recomputation): بدلاً من تخزين جميع حالات المسار المتوسطة لعملية الانتشار الخلفي، تستغل الطريقة قابلية الاسترجاع للعلاقة الخطية (عندما تكون $\beta$ صغيرة). خلال تمرير الخلف، يتم إعادة حساب المسارات المدخلة من المخرجات. للتعامل مع القيم المتطرفة حيث تكون $\beta$ كبيرة، تستخدم استراتيجية "الانعكاس الاحتياطي" التي تحفظ فقط أعلى $p$ من قيم البوابة، مما يضمن إعادة بناء دقيقة بأقل بصمة ذاكرة.

3. المساهمات الرئيسية

بنية مبتكرة: تقديم MGR، التي تجمع بين بقايا المسارات المتعددة وتجميع الانتباه والبوابات لتثبيت الشبكات العميقة دون عبء الاتصال الخاص بالانتباه كامل العمق.
الاستقرار النظري: برهان رسمي على أن آلية البوابة ذات التركيب المحدب تحد من مقادير التنشيط، مما يعالج مباشرة مشكلة "التنشيط الهائل" المتأصلة في بنيات PreNorm.
تنفيذ قابل للتوسع: تطوير استراتيجيات هندسية (دمج النواة وإعادة الحساب الانتقائي) تسمح لـ MGR بالتوسع إلى نماذج كبيرة دون اختناقات الاتصال الخاصة بـ AttnRes أو عدم كفاءة الذاكرة في التصميمات متعددة المسارات الكثيفة.
استراتيجية التهيئة: مخطط مهيأ لانحياز البوابة يتدرج مع عمق النموذج لضمان ديناميكيات تدريب مستقرة.

4. النتائج التجريبية

قيم المؤلفون MGR على نماذج لغوية تم تدريبها من الصفر باستخدام مجموعة بيانات FineWeb-10BT عبر ثلاثة مقاييس (S: 0.12B، M: 0.35B، L: 0.77B بارامتر) وعدد مسارات متغير ( $n=4, 8$ ).

الأداء: تفوقت MGR باستمرار على النماذج المرجعية بما في ذلك PreNorm وmHC-lite وBlock AttnRes.
- عند $n=4$ ، تفوقت كلتا نسختي MGR (المستقلة والتنافسية) قليلاً على أفضل نسخة من Full AttnRes.
- عند $n=8$ ، اتسعت فجوة الأداء، حيث حققت MGF التنافسية أدنى خسائر تدريب وتحقق عبر جميع المقاييس.
استقرار التنشيط: أظهرت التشخيصات أنه بينما أظهر PreNorm نمواً هائلاً في التنشيط بدءاً من الطبقات المبكرة، حافظت MGR على مقادير تنشيط مستقرة مقاربة لـ Full AttnRes، مما قضى فعلياً على ظاهرة "التنشيط الهائل".
تنوع الميزات: كشف تحليل المسافات الزاوية أن مسارات MGR تطور حدوداً دلالية متباينة، متجنبة التجانس التمثيلي المشاهد في PreNorm.
القدرة على التكرار (Redundancy): أظهرت تجارب تقليم الكتل (Block pruning) أن MGR توزع المشاركة الوظيفية بشكل موحد عبر الأعماق، على عكس PreNorm حيث تكون الكتل المبكرة حرجة والكتل العميقة زائدة عن الحاجة.

5. الأهمية والادعاءات

تدعي الورقة أن MGR تمثل تحولاً فلسفياً من البنيات المعاصرة التي تعتمد على مؤثرات إسقاط معقدة ومصممة يدوياً. بدلاً من ذلك، تتماشى MGR مع مبدأ Slot Attention، حيث تعامل حالات المسارات المتوازية كذكريات متساوية يتم تحديثها بواسطة تسجيل وبوابات بسيطة.

الواقعية: يؤكد المؤلفون أن MGR عملية للغاية للتدريب والنشر واسع النطاق. فهي تتجنب عبء الاتصال في AttnRes وتعقيد التنفيذ في Hyper-Connections.
الكفاءة: من خلال تحقيق مكاسب في الأداء على البنيات الموجودة مع تحمل تكلفة تدريب طفيفة جداً وتكلفة استدلال دنيا، تقدم MGR تحسيناً ملموساً للقابلية للتوسع الهندسية.
القيود والعمل المستقبلي: يشير المؤلفون بتواضع إلى أنه بينما تتفوق MGR على Full AttnRes، فإن قدرة الأخيرة على الوصول إلى طبقات تاريخية عشوائية قد تظل توفر مزايا في مهام بروز الميزات المحددة. وقد تركوا التحقق الصارم من هذه الفرضية وتأكيد المزايا في مقاييس أكبر للعمل المستقبلي.

باختصار، تقدم MGR بديلاً قوياً وفعالاً ومبنياً على أسس نظرية لاتصالات البقايا القياسية، حيث تحل المشكلتين المزدوجتين المتمثلتين في تخفيف المعلومات وانفجار التنشيط في الشبكات العميقة من خلال آلية بوابات بسيطة وفعالة.