ملخص تقني: إطار عمل "ويبل" ذو المعلمتين لتشخيص توزيع أوزان المحولات (Transformers)

المشكلة والدوافع

تعمل أدوات التشخيص الحالية لديناميكيات تدريب المحولات في فضاءات متعامدة تفشل في التقاط البنية الدقيقة للأوزان المتعلمة. تحلل طرق مثل WeightWatcher وHT-SR أطياف القيم الذاتية (eigenvalue spectra)، حيث تضغط عناصر المصفوفة في توزيعات القيم المفردة، بينما يتتبع AlphaDecay انحراف أكبر قيمة مفردة. ويقيس تحليل التنشيط الضخم (Massive activation analysis) أحجام التنشيط. لا تقوم أي من هذه المنهجيات بتوصيف توزيع قيم الأوزان لكل عنصر على حدة ($|W_{ij}|$) بشكل مباشر، وهو ما يرى المؤلفون أنه التمثيل الأكثر دقة لما تعلمه النموذج.

يفترض المؤلفون أن الإحصائيات الطيفية الكلية تحجب الاختلافات المنهجية بين المكونات الوظيفية داخل نفس النموذج (مثل طبقات FFN مقابل إسقاطات الانتباه). ولمعالجة ذلك، يقترح البحث تطبيق توزيع ويبل (Weibull distribution) — وهو عائلة من توزيعات القيم القصوى ذات المعلمتين — كعدسة تشخيصية لقيم الأوزان لكل عنصر.

المنهجية

إطار عمل ويبل التشخيصي

يعتمد إطار العمل على مطابقة القيم المطلقة لعناصر الأوزان، $|w|$، مع توزيع ويبل المحدد بمعلمة الشكل $k$ ومعلمة المقياس $\lambda$:
$$f(x; k, \lambda) = \frac{k}{\lambda} \left(\frac{x}{\lambda}\right)^{k-1} \exp\left(-\left(\frac{x}{\lambda}\right)^k\right)$$

1. مرساة التهيئة (The Initialization Anchor):
عند التهيئة، تكون أوزان المحولات موزعة طبيعيًا ومستقلة ومتماثلة التوزيع (i.i.d. Gaussian) ($w \sim \mathcal{N}(0, \sigma_{init}^2)$)، مما يعني أن $|w|$ يتبع توزيع "نصف طبيعي" (Half-Normal). ومن خلال مطابقة توزيع "نصف الطبيعي" هذا مع نموذج ويبل باستخدام بروتوكول محدد، يضع المؤلفون مرساة عالمية:

• الشكل ($k_0$): حوالي 1.20. هذه القيمة مستقلة عن مقياس التهيئة $\sigma_{init}$ وتعمل كمسطرة قياس لا أبعاد لها. وأي انحراف عن $k_0 \approx 1.20$ في نموذج مدرب يعزى إلى ديناميكيات التدريب.
• المقياس ($\lambda_0$): حوالي $0.8875 \cdot \sigma_{init}$.

2. بروتوكول المطابقة (تقليم الـ 80% الوسطى):
لضمان المتانة ضد القيم المتطرفة وعيوب الدقة العددية، يستخدم المؤلفون بروتوكول "تقليم الـ 80% الوسطى". قبل عملية المطابقة، يتم استبعاد أقل وأعلى 10% من قيم $|W_{ij}|$.

• التبرير النظري: في إحداثيات احتمالية ويبل، يتباعد تباين ضوضاء العينات عند الأطراف ($p \to 0$ و $p \to 1$) ويصل إلى الحد الأدنى بالقرب من $p \approx 0.80$. الـ 10% الدنيا تحمل ضوضاء تزيد بمقدار ~6.5 ضعف مقارنة بالمنطقة المركزية المثلى.
• الأثر: المطابقة باستخدام البيانات الكاملة تقلل من قيمة $k$ بشكل منهجي بنسبة 3-7%، مما يدفع النماذج غالبًا خارج نطاق "النقل" (Transmission) المتوقع. يعمل تقليم الـ 80% على عزل "جسم" التوزيع، مما يجعل المقياس متينًا ضد القيم المتطرفة ذات الذيول الثقيلة (الأوزان الفائقة).

3. التصنيف الوظيفي:
يقسم إطار العمل مكونات المحول إلى فئتين متميزتين بناءً على مسارات $k$ الخاصة بهما:

• فئة النقل (Transmission Class): وحدات FFN ($W_{gate}, W_{up}, W_{down}$ أو $W_{FFN\_in}, W_{FFN\_out}$) وإسقاطات مخرجات الانتباه ($W_o$).
• فئة الاختيار (Selection Class): إسقاطات مدخلات الانتباه ($W_q, W_k$).

النتائج الرئيسية

طُبق إطار العمل على 12 مدخلًا لنموذج تغطي 7 عائلات معمارية (Pythia, OLMo-1/2, LLaMA-3, Mistral, Qwen2.5/3) مع عدد بارامترات يتراوح من 70 مليون إلى 14 مليار.

1. نطاق النقل (الاستقرار)

تظهر المكونات في فئة النقل استقرارًا ملحوظًا في معلمة الشكل $k$.

• عبر جميع البنيات، ودوال التنشيط (SwiGLU, GeLU)، وأماكن التطبيع (Pre-LN, QK-Norm)، وأحجام النماذج، يقع الوسيط النهائي لـ $k$ لهذه المكونات في الفترة الضيقة $[1.186, 1.204]$.
• معامل الاختلاف (CV) عبر المدخلات الـ 12 هو 0.51% فقط.
• يشير هذا الاستقرار إلى أن هذه المكونات تحافظ على التوزيع الأصلي للتهيئة، حيث تعمل كممرات للمعلومات بدلاً من كونها مرشحات انتقائية.

2. فئة الاختيار (الابتعاد)

تتباعد مكونات فئة الاختيار ($W_q, W_k$) بشكل منهجي عن مرساة التهيئة ($k_0 \approx 1.20$)، حيث تطور ذيولاً أثقل (قيم $k$ أقل). وتعتمد شدة هذا الابتعاد على البنية المعمارية:

• الانتباه متعدد الرؤوس المخزن بشكل منفصل (OLMo-1, OLMo-2): يظهر أعمق انحراف، بوسط $k$ نهائي يتراوح بين $[0.76, 0.99]$.
• الانتباه متعدد الرؤوس المجموع (GQA) (LLaMA-3, Mistral, Qwen2.5/3): يظهر انحرافًا أخف، بوسط $k$ نهائي يتراوح بين $[1.10, 1.16]$.
• الـ $W_{qkv}$ المدمجة (Pythia): تحتل منطقة انتقالية $k \in [1.05, 1.18]$، وتتتبع ميزانية التدريب عديمة الأبعاد $T/\tau$ بشكل رتيب.
• الآلية: يعزو المؤلفون هذا الانحراف إلى الضرورة الوظيفية (الانتباه المتناثر)، وديناميكيات نزول الإشارة في AdamW، وتشبع Softmax. ويبدو أن القيد المعماري لمشاركة رؤوس K في GQA يحد ميكانيكيًا من حرية التخصص المتاحة لكل إسقاط، مما يؤدي إلى انحراف أقل حدة مقارلة بـ MHA.

3. معلمة المقياس ($\lambda$) وتقدم التدريب

بينما تحدد $k$ الفئة الوظيفية، فإن معلمة المقياس $\lambda$ تحدد تقدم التدريب.

• تنمو $\lambda$ بشكل كبير أثناء التدريب (بمعاملات تتراوح من 1.4× إلى 7.8×).
• ضمن عائلة Pythia، ينمو متوسط $\lambda$ النهائي لمكونات النقل مع $\sqrt{\eta / \lambda_{wd}}$ (معامل ارتباط Pearson $r = 0.94$)، مما يظهر اتساقًا اتجاهيًا مع تحليل استقرار AdamW لـ Fan et al. [2025].
• تنمو $\lambda$ بشكل موحد عبر أنواع المكونات (على سبيل المثال، $\lambda_O$ و $\lambda_{FFN\_out}$ مرتبطان بقوة، $r=0.9967$)، مما يعكس الديناميكيات المقترنة في تيار المتبقي (residual stream).

4. الأوزان الفائقة وسلوك الذيول

بينما يظل جسم التوزيع (الذي تم ضبطه عبر تقليم الـ 80%) متوافقًا مع توزيع ويبل، يلاحظ المؤلفون ظهور "أوزان فائقة" معزولة (القيم المتطرفة من نوع Dragon-king) في الذيول القصوى للنماذج المدربة.

• تظهر هذه القيم المتطرفة في كل عائلة معمارية، حيث تتراوح نسبة الحد الأقصى إلى الـ q99 من ~7× إلى أكثر من 100×.
• صُمم بروتوكول الـ 80% الوسطى خصيصًا ليكون متينًا تجاه هذه القيم المتطرفة، مما يضمن أن $k$ التشخيصي يعكس الجسم الرئيسي للتوزيع بدلاً من التأثر بالقيم المتطرفة.

المساهمات

1. إطار عمل تشخيصي: وضع المؤلفون طريقة رسمية باستخدام توزيع ويبل مع مرساة تهيئة مبدئية ($k_0 \approx 1.20$) وبروتوكول مطابقة أمثل للضوضاء (تقليم الـ 80% الوسطى). يحدد هذا الإطار أن $W_q$ و $W_k$ تبتعد بشكل منهجي عن مرساة التهيئة، وأن مقدار هذا الابتعاد يتشكل بواسطة بنية التخزين.
2. أدلة تجريبية عبر العائلات: يوثق البحث تقسيم "النقل/الاختيار" المتين عبر 12 نموذجًا. وقد نجح في إعادة إنتاج نطاق نقل FFN الضيق وانحراف الاختيار المعتمد على البنية (MHA مقابل GQA) دون الحاجة لمعلمات قابلة للضبط.
3. أدوات مفتوحة المصدر: أطلق المؤلفون مكتبة npm-weibull-py v0.4، وهي مكتبة بايثون تتضمن ثماني وظائف تشخيصية (F1–F8) للمطابقة والمقارنة المرجعية، إلى جانب DATABASE_v9_1، وهي قاعدة بيانات مرجعية تضم 12 مدخلًا للنماذج.

الأهمية والقيود

الأهمية:
يزعم البحث أن الإحصائيات لكل عنصر تكشف عن بنية لا تستطيع الطرق الطيفية الوصول إليها. ومن خلال فصل المكونات إلى فئات "النقل" و"الاختيار"، يوفر الإطار رؤية دقيقة لديناميكيات التدريب حيث تتطور الطبقات ومصفوفات الإسقاط المختلفة عبر مسارات متميزة. تحمل معلمتا ويبل معلومات مستقلة: $k$ تحدد الدور الوظيفي (النقل مقابل الاختيار)، بينما $\lambda$ تتبع حجم تقدم التدريب.

القيود (كما ذكرها المؤلفون):

• الآليات السببية: بينما يحدد البحث خمس قوى مرشحة لانحراف الاختيار (الضرورة الوظيفية، نزول الإشارة، تشبع Softmax، الاقتران المتبقي، ميزانية التدريب)، إلا أنه لا يقدم تجارب استبعاد (ablation) محكومة لعزل مساهمة كل منها. الارتباط بين بنية MHA/GQA وشدة الانحراف هو ارتباط ملاحظ وليس سببيًا.
• التوسع عبر العائلات: قانون القياس $\lambda \propto \sqrt{\eta / \lambda_{wd}}$ تم التحقق منه ضمن عائلة Pythia فقط، ولكنه يظل ملاحظًا فقط عبر العائلات المختلفة بسبب عوامل مربكة مثل وصفات التهيئة المختلفة وأماكن التطبيع.
• الأداء اللاحق: يصف البحث البنية الإحصائية للأوزان، لكنه لا يثبت وجود علاقة مباشرة بين توقيع $(k, \lambda)$ والأداء في المهام اللاحقة.
• تغطية البيانات: بالنسبة لنموذج Qwen2.5-14B، اقتصرت إحصائيات كل كتلة (block) على أول 27 طبقة من أصل 48 بسبب قيود ذاكرة وحدة معالجة الرسومات (GPU)، ومع ذلك يُتوقع أن تظل الادعاءات النوعية قائمة.

يخلص المؤلفون إلى أن هذا الإطار يقدم مقياسًا جديدًا ومستقلاً عن البنية لتشخيص تدريب المحولات، كاشفًا أن مكونات "الاختيار" ($W_q, W_k$) هي المواقع الأساسية للتغيير الهيكلي، بينما تظل مكونات "النقل" مستقرة إحصائيًا.