💬 NLP

Measuring Maximum Activations in Open Large Language Models

تقدم هذه الورقة قياساً شاملاً لشدة أقصى قيم التنشيط عبر ٢٧ من نقاط تفتيش النماذج اللغوية الكبيرة المفتوحة والحديثة، كاشفةً أن القيم الذروية تتباين بما يقرب من أربعة مراتب عشرية اعتماداً على عائلة النموذج وبنيته بدلاً من عدد المعلمات، مع إظهار نماذج خليط الخبراء (MoE) لقمم أقل بكثير من نظيراتها الكثيفة، مما يثبت أن أقصى تنشيط هو خاصية حرجة غير رتيبة يجب الإبلاغ عنها لضمان استقرار التكميم منخفض البت.

المؤلفون الأصليون: Luxuan Chen, Han Tian, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Dawei Yin

نُشر 2026-05-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Luxuan Chen, Han Tian, Xinran Chen, Rui Kong, Fang Wang, Jiamin Chen, Yuchen Li, Jiashu Zhao, Shuaiqiang Wang, Haoyi Xiong, Dawei Yin

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تبني مكتبة رقمية عملاقة، حيث يقرأ الكتب روبوت سريع جدًا، ولكنه هش نوعًا ما. هذا الروبوت (نموذج الذكاء الاصطناعي) يقرأ الكلمات واحدة تلو الأخرى ويمررها عبر سلسلة من الغرف (الطبقات) لفهم القصة. داخل هذه الغرف، يولّد الروبوت "مستويات إثارة" (التنشيطات) لكل كلمة يعالجها.

في معظم الأوقات، تكون مستويات الإثارة هذه هادئة ويمكن السيطرة عليها. ولكن في بعض الأحيان، ولجزء من الثانية، يصبح الروبوت متحمسًا للغاية تجاه كلمة معينة، مما يخلق طفرة هائلة في الطاقة.

هذه الورقة البحثية تشبه تقرير فحص سلامة لـ 27 نسخة مختلفة من هذه الروبوتات، تتراوح من الصغيرة إلى الضخمة، ومن مصنعين مختلفين (مثل Qwen وGemma وGPT-OSS). أراد الباحثون الإجابة على سؤال بسيط ولكنه حاسم: إلى أي مدى يمكن أن تصل هذه الطفرات في الطاقة، وهل يحدد حجم الروبوت ارتفاع الطفرة؟

إليك ما وجدوه، باستخدام تشبيهات بسيطة:

1. مشكلة "مقبض التحكم في الصوت"

تخيل أن طاقة الروبوت الداخلية هي مقبض تحكم في مستوى الصوت. لتقليل المساحة وجعل الروبوت يعمل بشكل أسرع على أجهزة رخيصة، يحاول المهندسون غالبًا خفض مستوى الصوت إلى إعداد منخفض (الكمّنة/Quantization).

المشكلة: إذا صرخ الروبوت فجأة بمستوى صوت يصل إلى 1,000,000، بينما قمت أنت بضبط مقبض الصوت ليتعامل مع 10,000 فقط، فإن هذه الصرخة ستتعرض لـ "القص" أو التشويه. سيفقد الروبوت دقة فهم تلك الكلمة، وتصبح القصة بأكملها مشوشة.
النتيجة: قاس الباحثون أعلى صرخة (الحد الأقصى للتنشيط) عبر كل هذه الروبوتات. ووجدوا أن "الجهارة" تختلف اختلافًا هائلاً. بعض الروبوتات (مثل Qwen3.5) تشبه الهمس، بينما البعض الآخر (مثل Gemma3) يشبه محرك نفاث عند الإقلاع.

2. الحجم الأكبر لا يعني دائمًا ضجيجًا أكبر

قد تعتقد أن الروبوت الأكبر (الأكثر معلمات) سيكون بطبيعة الحال أكثر ضجيجًا.

التشبيه: الأمر يشبه افتراض أن السيارة الأكبر تمتلك دائمًا محركًا أعلى صوتًا.
الواقع: وجد الباحثون أن هذا ليس صحيحًا. فقد يصرخ روبوت صغير من عائلة معينة بصوت أعلى بكثير من روبوت عملاق من عائلة أخرى. تعتمد "الجهارة" على من صنع الروبوت (البنية الهيكلية) وكيف تم تدريبه (الوصفة) أكثر من مجرد حجمه.
- مثال: وُجد أن روبوت Gemma3 أعلى صراخًا بنحو 700,000 مرة من روبوت Qwen3.5 من نفس الحجم تقريبًا.

3. اختصار "خليط الخبراء" (MoE)

تستخدم بعض الروبوتات خدعة خاصة تسمى "خليط الخبراء" (Mixture of Experts). تخيل مكتبة حيث، بدلًا من وجود أمين مكتبة واحد ضخم يقرأ كل الكتب، هناك 100 متخصص صغير، ويتم استدعاء المتخصصين المناسبين فقط (2 أو 3 منهم) لكل كتاب.

النتيجة: وُجد أن روبوتات "MoE" هذه كانت أكثر هدوءًا بكثير. فكانت أعلى صرخاتها أقل بمقدار 14 إلى 23 مرة من أقربائها من النوع "الكثيف" (غير المتخصص) من نفس الحجم. يبدو أن استخدام المتخصصين يحافظ على الطاقة داخل حدود معينة.

4. أين يحدث الصراخ؟

تتبع الباحثون بدقة أين حدثت هذه الطفرات في دماغ الروبوت.

النتيجة: في كل الحالات تقريبًا (22 من أصل 24 روبوتًا)، حدثت أعلى صرخة في الممر الرئيسي (المجرى المتبقي/residual stream) حيث تتدفق المعلومات من غرفة إلى أخرى. لم تكن عادةً في الغرف الجانبية (مثل غرف الانتباه أو الغرف الرياضية).
النمط: بعض الروبوتات تطلق صرختها مبكرًا وتظل مرتفعة (مثل القفز ثم الثبات)، بينما يبني البعض الآخر صوته ببطء ويصل لذروته في النهاية (مثل الصعود التدريجي).

5. التدريب يغير مستوى الصوت

نظروا أيضًا إلى الروبوتات في مراحل مختلفة من التدريب، مثل طالب يتعلم مهارة جديدة.

النتيجة: مع تدريب الروبوت لفترة أطول (رؤية المزيد من الكتب)، يميل إلى أن يصبح أعلى صوتًا قليلاً. ليست قفزة ضخمة، لكن "مستوى الصوت" يرتفع تدريجيًا مع ازدياد ذكاء الروبوت.

الخلاصة للمطورين

تخلص الورقة إلى أنه لا يمكنك تخمين مدى جهارة صوت الروبوت بمجرد النظر إلى حجمه.

الدرس المستفاد: قبل أن تحاول تصغير حجم هذه الروبوتات لتشغيلها على أجهزة صغيرة (مثل الهواتف)، يجب عليك قياس أعلى صرخة لها أولًا. إذا لم تفعل ذلك، فقد تضبط مقبض الصوت على مستوى منخفض جدًا، وسيبدأ الروبوت في الهلوسة أو ارتكاب الأخطاء لأنه لا يستطيع التعامل مع طفرات الطاقة المفاجئة.

لقد نشر المؤلفون أدوات القياس الخاصة بهم حتى يتمكن أي شخص يبني هذه الروبوتات من فحص هذه "الجهارة" قبل محاولة ضغطها، مما يضمن بقاء الروبوت مستقرًا ودقيقًا.

ملخص تقني: قياس الحد الأقصى للتنشيطات في النماذج اللغوية الكبيرة المفتوحة

بيان المشكلة

يعد النطاق الديناميكي للتنشيطات (activations) في النماذج اللغوية الكبيرة (LLMs) قيدًا حاسمًا لعمليات التكميم منخفض البت (low-bit quantization)، وتوسيع نطاق التنشيط، واستقرار الاستدلال. لقد وصفت الأبحاث السابقة "الميزات الشاذة" (outlier features) و"التنشيطات الضخمة" (massive activations) بشكل أساسي في نماذج LLaMA-style ما قبل عام 2024 (مثل OPT وBLOOM). ومع ذلك، تغير مشهد النشر بشكل كبير مع صدور نماذج مفتوحة متنوعة ما بعد LLaMA (مثل Qwen3.5 وGemma3 وGPT-OSS) والتي تختلف في بنيات التطبيع (normalization stacks)، وبوابات الـ MLP (gated MLPs)، وتوجيه Mixture-of-Experts (MoE)، والتكيف متعدد الوسائط، ومراحل التدريب.

تعامل الأدبيات الحالية التنشيطات الضخمة إما كظاهرة فئوية ثنائية (وجود قيم شاذة) أو كعائق محدد لتقنيات تخفيف التكميم (مثل SmoothQuant وAWQ). وهناك نقص في القياس المنهجي الموحد فيما يتعلق بـ:

مدى ضخامة التنشيطات في النماذج اللغوية الكبيرة الحديثة المفتوحة.
كيفية تباين حجم التنشيط عبر مختلف العائلات، والأجيال، والبنيات (كثيفة vs MoE)، ومراحل التدريب.
ما إذا كان عدد المعلمات وحده يعمل كوكيل موثوق لنطاق التنشيط.

المنهجية

يقترح المؤلفون مسحًا تجريبيًا موحدًا لقياس الحد الأقصى العالمي لحجم التنشيط، والمعرّف بـ $M = \max |a|$ ، عبر مجموعة متنوعة من النماذج.

1. البيانات والمتن (Corpus):

متن تقييم مشترك يتكون من 5,000 عينة نصية متعددة المجالات (الرياضيات، البرمجة، الويب باللغة الإنجليزية، المعرفة/الأسئلة والأجوبة، الصينية، اللغات ذات الموارد المنخفضة، والويب المختلط).
يتم تقسيم أطوال التسلسل إلى مجموعات (من 256 إلى 4096 توكن)، مع ميل شديد نحو السياقات الطويلة (93% عند 4096 توكن).
الترميز (Tokenization): يتم إعادة ترميز النص الخام نفسه لكل عائلة نماذج لتجنب آثار عدم تطابق المرمز (tokenizer mismatch).

2. مجموعة النماذج:

27 نقطة تفتيش (Checkpoints) من 8 عائلات مفتوحة: Qwen2.5، وQwen2.5-VL، وQwen3، وQwen3.5، وGemma2، وGemma3، وLing، وGPT-OSS.
تشمل متغيرات كثيفة (dense)، وMoE، ونماذج رؤية-لغة (vision-language)، ونماذج مرحلة تدريب متوسطة، ونماذج مضبوطة للتعليمات (instruction-tuned).
تُجرى مقارنات محددة للأحجام المتطابقة (على سبيل المثال: MoE مقابل Dense، وBase مقابل Instruct).

3. بروتوكول القياس:

استدلال يعتمد على التمرير الأمامي فقط (Forward-Only Inference): أوزان مجمدة؛ لا توجد تحديثات للمعلمات.
أدوات القياس (Instrumentation): تقوم خطافات التمرير الأمامي (forward hooks) في PyTorch بجمع إحصائيات التنشيط من ست فئات مكونات:
- مخرجات التضمين (Embedding outputs).
- الحالات الخفية عبر الطبقات (Layerwise hidden states) (ما بعد المتبقي/post-residual).
- مخرجات الانتباه (Attention outputs).
- مخرجات MLP أو MoE.
- ما قبل تنشيط بوابة SwiGLU.
الإحصاءات: لكل مكون، يسجل خط المعالجة المتوسط، والانحراف المعياري (std)، والجذر التربيعي لمتوسط المربعات (RMS)، ومتوسط القيمة المطلقة، والحد الأقصى/الأدنى، والكميات المئوية للقيمة المطلقة.
فحص الاستقرار: تؤكد تجارب أخذ العينات الفرعية (1k و2k عينة مكررة 5 مرات) أن القيم القصوى العالمية المسجلة قوية إحصائيًا وليست نتاج عينات فردية.

4. إطار التحليل:

ينتقل البحث من معيار "التنشيط الضخم" الثنائي (بناءً على Sun et al. [29]: $|x_i| > 100$ ونسبة محلية $> 1000\times$ ) إلى مقياس مستمر $M$ .
تُجرى المقارنات عبر: التدرج داخل العائلة الواحدة، الحجم عبر العائلات، التطور الجيلي، MoE مقابل Dense، الرؤية-اللغة مقابل النص فقط، Base مقابل Instruct، وتطور مرحلة التدريب.
إجراء فحص سلامة بسيط بنظام INT-8 لربط القيم القصوى المقاسة بخطأ إعادة البناء (SQNR) تحت استراتيجيات توسيع مختلفة.

المساهمات الرئيسية

أكبر مسح شامل عبر العائلات: أول قياس ببروتوكول موحد للحد الأقصى العالمي لتنشيطات عبر 24 نقطة تفتيش لما بعد LLaMA من 8 عائلات، متجاوزًا أحادية نموذج LLaMA-derivative في الأعمال السابقة.
إعادة صياغة الحجم المستمر: استبدال علامة التنشيط الشاذ الثنائية بإحصائية مستمرة $M = \max |a|$ . يوضح المؤلفون أن المعيار الثنائي والحجم المستمر يمكن أن يختلفا؛ فبعض النماذج التي تفشل في المعيار الثنائي أسهل في التكميم، بينما بعض النماذج التي تجتازه أصعب.
مقارنات التصميم المتطابقة: تقديم تفكيك ملاحظاتي لكيفية تأثير الحجم، والعائلة، والجيل، والبنية (MoE/Dense)، والنمط (VL/Text)، وتقدم التدريب (Base/Instruct/Stage) على ذروات التنشيط.
خط معالجة مفتوح: إصدار كود القياس القائم على الخطافات (hook-based) وإحصائيات كل نقطة تفتيش لدعم قابلية التكرار.

النتائج الرئيسية

1. تباين الحجم والتدرج

رتب المقادير: تمتد القيم القصوى العالمية عبر ما يقرب من أربع رتب مقدارية ( $10^2$ $1 0^{2}$ إلى $10^5$ $1 0^{5}$ ) عند أعداد معلمات متقاربة.
- النطاق المنخفض: غالبًا ما تقع نماذج Qwen3.5 وMoE في نطاق $10^2$ – $10^3$ .
- النطاق العالي: تصل Gemma3-27B-it إلى $\sim 7 \times 10^5$ .
التدرج غير الرتيب: تكسر المقارنات عبر العائلات والأجيال التدرج الرتيب البسيط. على سبيل المثال، تنشيطات Qwen3.5 أقل انضغاطًا بشكل ملحوظ مقارنة بـ Qwen3، بينما تظهر Gemma3 زيادة حادة فوق Gemma2. عدد المعلمات وحده ليس وكيلًا موثوقًا لنطاق التنشيط.

2. التأثيرات الهيكلية والتدريبية

MoE مقابل Dense: تظهر نقاط تفتيش MoE أحجام ذروة أقل بمقدار 14.0–23.4 ضعفًا من نظيراتها الكثيفة ذات الحجم المتطابق (مثل Qwen3-30B-A3B مقابل Qwen3-32B).
هيمنة المجرى المتبقي (Residual Stream): يحمل المجرى المتبقي (الحالات الخفية عبر الطبقات) الحد الأقصى العالمي في 22 من أصل 24 نقطة تفتيش رئيسية. GPT-OSS-20B هو استثناء حيث يحمل مخرج MLP الذروة؛ بينما تبلغ ذروة Qwen3.5-0.8B عند طبقة LayerNorm النهائية.
ضبط التعليمات (SFT): يعمل SFT بشكل أساسي على ضغط ذروات الطبقات المتأخرة (على سبيل المثال، يظهر Qwen2.5-32B Instruct انخفاضًا بمقدار 1.4× في الذروة العالمية مقارنة بـ Base) دون إعادة تنظيم هياكل الطبقات الوسطى.
تقدم التدريب: في سلسلة Ling-mini، يؤدي زيادة توكنات التدريب (5T إلى 20T) إلى زيادة رتيبة في الحد الأقصى العالمي للتنشيط (زيادة قدرها 1.34×).

3. الأنماط عبر الطبقات

لوحظ مساران متميزان عبر الطبقات:

القفزة والاستقرار (Jump-and-Plateau): يرتفع حجم التنشيط بشكل حاد في الطبقات المبكرة/الوسطى ويظل مرتفعًا (مثل Qwen2.5، GPT-OSS).
التراكم التدريجي (Gradual-Accumulation): يزداد الحجم بسلاسة مع العمق، ليصل إلى ذروته في الطبقات المتأخرة (مثل Qwen3.5، Gemma).

4. الآثار على التكميم

يكشف فحص سلامة بسيط بنظام INT-8 أن القيم القصوى المقاسة الأعلى ( $M$ ) ترتبط بشكل كبير بانخفاض نسبة الإشارة إلى ضوضاء التكميم (SQNR) عند استخدام توسيع لكل تينسور (per-tensor scaling) قياسي (max-abs أو قص 99.9%).
النماذج ذات $M$ المنخفض (مثل Qwen3.5-0.8B) تحافظ على SQNR مرتفع (~29 dB)، بينما تنخفض النماذج ذات $M$ العالي إلى ~10–14 dB أو أقل تحت عملية القص.

الأهمية والادعاءات

يخلص البحث إلى أن الحد الأقصى لحجم التنشيط هو خاصية للنموذج مرتبطة بالعائلة، والبنية، ومرحلة التدريب، وليس مجرد نتاج ثانوي للحجم.

الصلة بالنشر: يجب قياس $M$ والإبلاغ عنه بجانب أي إصدار للأوزان المفتوحة كجزء من بطاقة النموذج الموجهة للنشر. فهو يحدد مباشرة اختيار مقاييس التنشيط واستراتيجيات التكميم.
التكامل: هذا العمل مكمل للدراسات الميكانيكية (التي تفسر لماذا توجد القيم الشاذة) وأوراق تخفيف التكميم (التي تغير الحد العلوي). يوفر هذا البحث الخط المرجعي التجريبي لمدى ضخامة هذه الحدود عبر النظام البيئي الحالي.
القيود: يذكر المؤلفون صراحة أنهم لا يدعون وجود آليات سببية للاختلافات الملحوظة. الدراسة وصفية، ومقتصرة على النماذج المفتوحة، وتستخدم متنًا ثابتًا (حتى 4 آلاف توكن). فحص INT-8 هو فحص سلامة، وليس تقييمًا كاملاً لعملية التكميم من البداية إلى النهاية.

يوصي المؤلفون بأن تعامل خطوط النشر المستقبلية $M$ كمعلومة سابقة حرجة لمخاطر التكميم، مع الإقرار بأن هوية العائلة والجيل لا يقلان أهمية عن عدد المعلمات في تحديد النطاق الديناميكي للتنشيط.