ملخص تقني: طبقة واحدة لتفسير كل شيء: فهم التنشيطات الضخمة في النماذج اللغوية الكبيرة

1. بيان المشكلة

تُظهر النماذج اللغوية الكبيرة (LLMs) ظاهرة تُعرف باسم التنشيطات الضخمة (massive activations)، حيث تصل قيم التضمينات (embeddings) لعدد قليل من الرموز (tokens) المحددة إلى قيم أكبر بعدة مراتب عشرية من بقية الرموز في التمثيلات الوسيطة. وبينما تشير الدراسات الحديثة إلى أن هذه التنشيطات تعمل مثل حدود الانحياز المهيمنة (dominant bias terms)، وتؤثر على المعالجة السياقية، وتغير ديناميكيات الانتباه، إلا أن الأدبيات الحالية تفتقر إلى تفسير موحد وشامل لـ:

1. أين وكيف تنشأ هذه التنشيطات الضخمة داخل بنية النموذج.
2. ما هو الدور الوظيفي الذي تلعبه في السلوكيات اللاحقة، لا سيما ارتباطها بظاهرة "بالوعة الانتباه" (attention sink) (حيث توجه النماذج انتباهها بشكل غير متناسب إلى مجموعة فرعية صغيرة من الرموز، عادة ما يكون الرمز الأول).
3. كيفية التخفيف من الآثار السلبية المحتملة (مثل تقليل تنوع التمثيل) دون القضاء على التنشيطات تماماً، وهو ما تشير الأعمال السابقة إلى أنه قد يؤدي أدواراً وظيفية.

2. المنهجية والتحليل

2.1. تحديد طبقة الـ ME

أجرى المؤلفون تحليلاً منهجياً عبر عائلات نماذج متعددة (بما في ذلك Qwen وLlama وMistral وDeepSeek) لتتبع أصل التنشيطات الضخمة. وقد حددوا طبقة محددة، تُسمى طبقة الظهور الضخم (ME Layer)، حيث تظهر التنشيطات الضخمة لأول مرة.

• الملاحظة: على عكس التراكم التدريجي، تظهر التنشيطات الضخمة فجأة عند طبقة واحدة (على سبيل المثال، الطبقة 7 في Qwen3-4B) وتنتقل لاحقاً إلى الطبقات الأعمق عبر اتصالات متبقية (residual connections).
• الآلية: ينجم هذا الظهور بشكل مشترك عن مكونين داخل طبقة الـ ME:
  1. RMSNorm: يقوم RMSNorm السابق للـ FFN بتضخيم الرمز المحدد (غالباً الرمز الأول) بشكل غير متناسب من خلال تركيز تأثيرات القياس على الأبعاد ذات الأوزان الكبيرة.
  2. FFN (شبكة التغذية الأمامية): تقوم طبقة FFN بتضخيم هذه الإشارة بشكل أكبر، حيث تعمل كمحرك رئيسي لتوليد واستدامة مقدار التنشيط الضخم.
• الاستقرار: بمجرد تشكلها، تُظهر الحالة الخفية لرمز التنشيط الضخم ثباتاً اتجاهياً عالياً. يظل اتجاهها مستقراً عبر المدخلات المختلفة والطبقات اللاحقة، مما يقلل من تنوع التمثيلات الخفية الممررة إلى وحدة الانتباه.

2.2. التدخل المقترح: WeMask

مدفوعاً بالنتيجة التي مفادها أن التنشيطات الضخمة تسبب "صلابة اتجاهية" (مما يحد من قدرة آلية الانتباه على التكيف مع المدخلات المتنوعة)، اقترح المؤلفون WeMask (القناع الموجه بالأوزان - Weight-guided Masking).

• الآلية: بدءاً من طبقة الـ ME، تقوم الطريقة باختيار أبعاد في مدخلات الانتباه المرتبطة بأكبر أوزان RMSNorm لعمل قناع لها. تم تحديد هذه الأوزان كأدوات تضخيم أساسية للاتجاهات المهيمنة.
• العملية:
  1. تحديد أفضل $k$ من الأبعاد بناءً على مقدار أوزان RMSNorm ($S(l) = \text{TopK}(|w^{(l)}|)$).
  2. إنشاء قناع ثنائي $m^{(l)}$ لهذه الأبعاد.
  3. تطبيق القناع على الحالة الخفية لمدخل وحدة الانتباه: $\tilde{h}^{(l)}_0 = h^{(l)}_0 \odot (1 - m^{(l)})$.
• الهدف: تهدف هذه العملية إلى تخفيف الصلابة الاتجاهية لرمز التنشيط الضخم مع الحفاظ على هيكل التمثيل العام، مما يعيد التنوع الاتجاهي لحسابات الانتباه. يتم تطبيق ذلك إما كتدخل وقت الاستنلال (inference-time) بدون تدريب أو أثناء الضبط الدقيق (fine-tuning).

2.3. الارتباط ببالوعات الانتباه (Attention Sinks)

أعاد المؤلفون تقييم ظاهرة بالوعة الانتباه. وهم يفترضون أن بالوعات الانتباه ليست مجرد نواتج لعملية الـ softmax، بل هي نتيجة لاحقة لانهيار التمثيل الناجم عن التنشيط الضخم في طبقة الـ ME.

• يخلق التنشيط الضخم تمثيلاً منخفض الرتبة (low-rank) وصلب الاتجاه يعمل كنقطة مرجعية ثابتة في مساحة تشابه الانتباه.
• لا تقضي الطريقة المقترحة على بالوعات الانتباه تماماً، بل تضعف تأثيرها بشكل انتقائي، مما يشير إلى أن وجوداً معتدلاً للبالوعات يعد أمراً وظيفياً، بينما الهيمنة المفرطة تكون ضارة.

3. المساهمات الرئيسية

1. تحديد السبب الجذري: تتبع البحث التنشيطات الضخمة إلى طبقة واحدة متسقة (طبقة ME) عبر عائلات نماذج متنوعة، مع تحديد الدور المشترك لمعلمات RMSNorm وFFN في ظهورها.
2. توصيف الثبات: أثبت البحث أن رموز التنشيط الضخم تُظهر اتجاهية عالية ثابتة تجاه المدخلات بعد طبقة الـ ME، مما يقيد مرونة آليات الانتباه الذاتي.
3. استراتيجية التخفيف (WeMask): تم اقتراح طريقة بسية وفعالة لتخفيف الصلابة الاتجاهية عبر القناع الموجه بالأوزان. يحسن هذا النهج الأداء دون تغيير بنية النموذج أو تحمل تكاليف حوسبة إضافية.
4. منظور جديد لبالوعات الانتباه: تقدم الورقة رؤية على مستوى الحالة الخفية لبالوعات الانتباه، بربطها بالتنشيطات الضخمة واقتراح أن التوهين الجزئي (بدلاً من الإزالة الكاملة) يحقق الأداء الأمثل.

4. النتائج التجريبية

تم تقييم الطريقة على Qwen3-4B وLlama-3.1-8B-Instruct وQwen3-8B عبر مهام وإعدادات متعددة (الاستنلال بدون تدريب والضبط الدقيق الخاضع للإشراف).

• اتباع التعليمات: في اختبارات مثل MMLU وPIQA وARC-C وStrategyQA، حسنت WeMask الأداء باستمرار مقارنة بأساليب SFT القياسية في كل من إعدادات الاستنلال بدون تدريب والضبط الدقيق. على سبيل المثال، في Qwen3-4B، تحسن متوسط الدرجات من 64.43 (SFT) إلى 64.91 (SFT + WeMask TF).
• الاستدلال الرياضي: في GSM8K وAIME22-24 وMath500، أظهرت الط طريقة مكاسب ثابتة، خاصة في سيناريوهات الضبط الدقيق.
• محاذاة السلامة: في مهام السلامة (XSTest, AdvBench)، غالباً ما تؤدي عمليات SFT القياسية إلى سلوكيات رفض متحفظة للغاية. خففت WeMask من ذلك، محققة توازناً بين السلامة والمساعدة. على سبيل المثال، في XSTest، تحسن الأداء من 72.30 (DPO) إلى 74.96 (DPO + WeMask TF).
• التعلم التعزيزي: تعمم الطريقة على النماذج المدربة بالتعلم التعزيزي (باستخدام DPO وGRPO)، مما يُظهر متانة عبر نماذج تدريب مختلفة.
• دراسات الاستئصال (Ablation Studies): أكدت المقارنات مع القناع العشوائي والقناع المعتمد على المقدار أن الطبيعة الموجهة بالأوزان للقناع أمر بالغ الأهمية؛ حيث أدى القناع العشوائي إلى تدهور الأداء، بينما أدت WeMask إلى تحسينه.

5. الأهمية والادعاءات

يدعي المؤلفون أن عملهم يوفر تدخلاً مبدئياً على مستوى التمثيل يعالج قصوراً بنيوياً جوهرياً في النماذج اللغوية الكبيرة.

• تفسير موحد: من خلال ربط التنشيطات الضخمة، وطبقة ME، وبالوعات الانتباه، تقدم الورقة رؤية متماسكة لكيفية تشكيل الديناميكيات الداخلية لسلوك النموذج.
• الفائدة العملية: الطريقة خفيفة الوزن، وغير مرتبطة ببنية محددة، وفعالة في كل من إعدادات التدخل بدون تدريب والإعدادات التي تتطلب تدريباً، مما يوفر مكاسب فورية في الأداء.
• رؤية نظرية: تتحدى الورقة الرأي القائل بأن بالوعات الانتباه هي مجرد عيوب مرضية، مشيرة إلى أنها تشفر إشارات مفيدة تصبح ضارة فقط عندما تخرج صلابتها التمثيلية عن السيطرة. وتوازن استراتيجية التخفيف المقترحة بين التنظيم الهيكلي والمرونة التمثيلية.

يشير المؤلفون إلى وجود قيود، وتحديداً أن تحليلهم يركز على الظهور في الطبقات الوسطى ولا يقدم بعد تفسيراً ميكانيكياً للتنشيطات الضخمة الملاحظة في الطبقات النهائية، كما أنه لم يبحث في آثار دمج الطريقة في مرحلة ما قبل التدريب (pre-training).