🤖 machine learning

A Geometric Analysis of Sign-Magnitude Asymmetry in a ReLU + RMSNorm Block under Ternary Quantization

تقدم هذه الورقة تفسيراً هندسياً لمتانة نماذج "ترانسفورمر" من نوع (pre-norm) تجاه التكميم الثلاثي للأوزان، حيث تُبين أن عدم التماثل الاتجاهي الناجم عن دالة (ReLU) مقترناً بخصائص الإسقاط في (RMSNorm) يتسبب في جعل اضطرابات قلب الإشارة تولد طاقة مخرجات أكبر بكثير من اضطرابات المقدار، بينما تفسر الميزات الشاذة في النماذج الحقيقية الانحرافات عن هذا الحد النظري.

المؤلفون الأصليون: Lei Dong

نُشر 2026-05-20

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Lei Dong

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: لماذا "الإشارة" أهم من "الحجم"

تخيل أنك تحاول فهم أغنية معقدة. يمكنك الاستماع إلى حجم (volume) كل آلة موسيقية (المقدار/Magnitude) أو مجرد التركال على الاتجاه (الإشارة/Sign: موجب أو سالب).

لفترة طويلة، اعتقد الباحثون أنك بحاجة إلى معرفة الحجم لفهم الموسيقى. لكن التجارب الأخيرة أظهرت شيئاً مفاجئاً: إذا أخذت نموذج ذكاء اصطناعي ضخم (Transformer) وتخلصت من كل معلومات الحجم، محتفظاً فقط بالاتجاه (ما إذا كانت الأوزان +1 أو -1 أو 0)، فإن النموذج سيظل يعمل بشكل مثالي تقريباً.

هذا البحث يسأل: لماذا يهم الاتجاه أكثر بكثير من الحجم؟

يقدم المؤلفون تفسيراً هندسياً يتضمن ثلاث شخصيات رئيسية: الإشارة (Sign)، وReLU (حارس البوابة)، وRMSNorm (المُرشح/الفلتر).

الشخصيات الثلاث وأدوارها

1. متجه الأوزان (السهم)

فكر في أوزان الذكاء الاصطناعي كأنها سهم ضخم يشير إلى اتجاه معين في فضاء متعدد الأبعاد.

الاكتشاف: يثبت البحث أن الإشارة (الاتجاه الذي يشير إليه السهم) تحتوي على حوالي 64% من المعلومات المفيدة للسهم.
التشبيه: تخيل بوصلة. معرفة أن البوصلة تشير إلى "الشمال" تخبرك بالكثير. أما معرفة أن البوصلة تشير إلى "الشمال" ولكنها أيضاً "أثقل قليلاً" فلا تخبرك بشيء جديد تقريباً. يوضح البحث أن التغييرات العشوائية في "الثقل" (المقدار) هي مجرد ضجيج في الغالب، بينما التغييرات في "الاتجاه" (الإشارة) هي الإشارة الحقيقية.

2. ReLU (البوابة أحادية الاتجاه)

دالة التنشيط ReLU تعمل كبوابة. إذا كانت الإشارة موجبة، تسمح بمرورها. وإذا كانت سالبة، فإنها تحجبها (تحولها إلى صفر).

الأثر: هذه البوابة تخلق عالماً "غير متماثل". فهي تعامل الإشارات الموجبة والسالبة بشكل مختلف.
التشبيه: تخيل نهراً به سد لا يسمح بتدفق المياه لأسفل إلا إذا كانت تتحرك بسرعة كافية. إذا دفعت الماء قليلاً للخلف (عكس الإشارة)، فإن السد يوقفه تماماً. أما إذا غيرت فقط مدى قوة دفع الماء للأمام (المقدار)، فإن السد سيسمح بمروره. هذا يخلق عدم توازن خفي.

3. RMSNorm (مرشح الاتجاه)

خطوة RMSNorm هي عملية تطبيع تجبر جميع الإشارات على امتلاك نفس "الطول" (المقدار) ولكنها تحافظ على اتجاهها.

الأثر: تعمل مثل المنخل الذي يفلتر أي شيء يشير في نفس اتجاه التدفق الرئيسي، لكنها تحتفظ بأي شيء يشير بشكل جانبي (عرضي/transverse).
التشبيه: تخيل نفق رياح. إذا رميت كرة مباشرة داخل النفق (شعاعي/radial)، فإن نفق الرياح يمتص تأثيرها. أما إذا رميت كرة بشكل جانبي (عرضي/transverse)، فإن نفق الرياح يسمح لها بالمرور لتصيب الهدف.

الاكتشاف الجوهري: مفاجأة الـ "2.75x"

النتيجة الرياضية الرئيسية للبحث هي رقم محدد: $\pi / (\pi - 2) \approx 2.75$ .

إليك ما يعنيه هذا باللغة البسيطة:
إذا ارتكبت خطأً في أوزان الذكاء الاصطناعي، فهناك طريقتان للقيام بذلك:

قلب الإشارة: تغيير +1 إلى -1.
تغيير المقدار: تغيير +1 إلى +0.5 (مع الحفاظ على الإشارة نفسها).

إذا ارتكبت هذه الأخطاء بنفس مقدار "الطاقة" (رياضياً، نفس قيمة Frobenius norm)، فإن قلب الإشارة يسبب ضرراً أكبر بمقدار 2.75 مرة من تغيير المقدار.

لماذا؟

قلب الإشارة: بسبب بوابة ReLU، يؤدي قلب الإشارة غالباً إلى تغيير اتجاه الإشارة بشكل جذري. وعندما يصطدم هذا بمرشح RMSNorm، فإن المرشح يسمح بمرور معظم هذا الضرر (لأنه يشير باتجاه جانبي).
تغيير المقدار: بما أن الإشارة تظل كما هي، فإن بوابة ReLU لا تحجب الإشارة. ويرى مرشح RMSNorm هذا التغيير كأنه "يشير في الاتجاه الصحيح"، فيقوم بامتصاص معظم هذا التغيير وإلغاء الضرر.

الحكم النهائي: الذكاء الاصطناعي حساس جداً للخطأ في الاتجاه أكثر من الخطأ في الحجم. وهذا هو سبب نجاح "التكميم الثلاثي" (Ternary Quantization) (الاحتفاظ بالإشارات والأصفار فقط) بشكل جيد.

التواء "القيم المتطرفة": لماذا النماذج الحقيقية أكثر حساسية

الرياضيات أعلاه تتنبأ باختلاف قدره 2.75x. ومع ذلك، عندما اختبر المؤلفون ذلك على نموذج ذكاء اصطناعي ضخم وحقيقي (TinyLlama)، وجدوا أن الضرر كان أعلى بكثير (يصل إلى 1,000 ضعف في بعض الحالات).

لماذا هذه الفجوة؟
الرياضيات افترضت أن الإشارات الداخلية للذكاء الاصطناعي موزعة بالتساوي (مثل ضباب ناعم). لكن في النماذج الحقيقية، الإشارات "مدببة" (spiky). هناك عدد قليل من الخلايا العصبية المحددة (تسمى القيم المتطرفة/outliers) التي تكون صاخبة ونشطة للغاية، بينما معظم الخلايا الأخرى هادئة.

التشبيه: تخيل جوقة موسيقية حيث يغني الجميع بنفس مستوى الصوت. إذا غير شخص واحد طبقة صوته (قلب الإشارة)، فسيكون الأمر ملحوظاً. لكن في الذكال الاصطناعي الحقيقي، تخيل شخصاً واحداً يصرخ بقوة 100 ديسيبل بينما يهمس الآخرون. إذا قلبت إشارة هذا الشخص الصارخ، فإن صوت الجوقة بأكملها سيتغير تماماً.
النتيجة: يوضح البحث أن هذه القيم المتطرفة "الصارخة" تضاعف ضرر قلب الإشارة بعامل مرتبط بمربع شدة صراخها ( $n\alpha^2$ ). وهذا يفسر لماذا النماذج الحقيقية حساسة جداً لأخطاء الإشارة، بما يتجاوز بكثير توقع الـ 2.75x البسيط.

ماذا عن التكميم الثلاثي (Ternary Quantization)؟ (الأخبار "الجيدة")

يشرح البحث أيضاً لماذا يعمل "التكميم الثلاثي" (استخدام -1، 0، +1 فقط) بشكل جيد.

عندما تقوم بتكميم الأوزان إلى -1 أو 0 أو +1، فأنت تقوم أساساً بعمل "تغيير في المقدار" (أنت تعدل الحجم ولكن تحافظ على الإشارة).
ولأن الذكاء الاصطناعي "أعمى" طبيعياً تجاه تغييرات المقدار (بفضل مرشح RMSNorm الذي يمتصها)، فإن هذا النوع من الخطأ يكون غير ضار.
يحسب البحث أنه حتى مع قيام بوابة ReLU بقلب بعض الإشارات، يظل الخطأ "شعاعياً" (radial) في الغالب (أي يتم امتصاصه من قبل المرشح)، مما يجعل الذكاء الاصطناعي متسامحاً جداً مع هذا النوع من الضغط.

ملخص النقاط الرئيسية

الاتجاه هو الملك: في بنية الذكاء الاصطناعي الحديثة، تحمل إشارة الوزن المعلومات الأكثر أهمية، بينما يعتبر الحجم مجرد ضجيج في الغالب.
قاعدة الـ 2.75x: في نموذج مبسط، يسبب قلب الإشارة ضرراً أكبر بـ 2.75 مرة تقريباً من تغيير الحجم.
تأثير المرشح: يعمل RMSNorm كمرشح يلغي أخطاء الحجم، ولكنه يسمح بمرور أخطاء الإشارة.
تأثير القيم المتطرفة: نماذج الذكاء الاصطناعي الحقيقية تحتوي على خلايا عصبية "صاخبة". قلب إشارة هذه الخلايا الصاخبة يسبب ضرراً هائلاً، مما يفسر سبب كون النماذج الحقيقية أكثر حساسية مما تتنبأ به الرياضيات البسيطة.
لا يوجد مضاعف سحري: اختبر المؤلفون ما إذا كان هذا الضرر يتراكم (يتضاعف) مع مرور الإشارة عبر العديد من الطبقات. الإجابة هي: لا. الضرر لا ينمو بشكل أسي مع العمق؛ بل إن "صخب" القيم المتطرفة هو السبب الحقيقي للحساسية العالية.

باختاًصر: يثبت البحث أن نماذج الذكاء الاصطناعي مبنية مثل بيت من ورق، حيث يهم اتجاه قطع الورق، لكن سمكها لا يهم. طالما حافظت على الاتجاه صحيحاً، يمكنك جعل قطع الورق رقيقة جداً (أو مجرد إشارات)، وسيظل البيت قائماً.

ملخص تقني: تحليل هندسي لعدم التماثل بين الإشارة والمقدار في كتلة (ReLU + RMSNorm) تحت التكميم الثلاثي

1. بيان المشكلة

تُظهر التطورات الأخيرة في النماذج اللغوية الكبيرة (LLMs) ذات البتات المنخفضة للغاية، وتحديدًا BitNet b1.58، أن بنى الـ Transformer من نوع (pre-norm) يمكنها العمل بأوزان مقيدة بالمجموعة الثلاثية $\{-1, 0, +1\}$ مع الاحتفاظ بقدرة لغوية كبيرة. هذه الظاهرة مثيرة للإعجاب لأن التكميم الثلاثي يتخلص من جميع معلومات المقدار، محافظًا فقط على أنماط الإشارة والتناثر (sparsity). وبينما تشير الأدلة التجريبية (مثل فرضية اليانصيب - Lottery Ticket Hypothesis) إلى أن إشارات الأوزان أكثر أهمية من مقاديرها، إلا أن التفسير النظري الصارم لسبب حمل الإشارة لمعلومات وظيفية غير متناسبة تحديدًا في بنى (pre-norm/RMSNorm) كان مفقودًا. تسعى هذه الورقة إلى تقديم تفسير هندسي لهذا عدم التماثل بين الإشارة والمقدار.

2. المنهجية

يستخدم المؤلفون مزيجًا من التحليل الهندسي التقاربي، ونظرية الاضطراب، والتحقق التجريبي على كل من النماذج الاصطناعية والنماذج الواقعية (TinyLlama-1.1B, Qwen2.5).

الإطار النظري: يركز التحليل الجوهري على نموذج مكون من طبقتين: طبقة خطية، تليها دالة تنشيط ReLU، ثم طبقة RMSNorm ( $\hat{y} = \text{RMSNorm}(W_2 \cdot \text{ReLU}(W_1 \hat{x}))$ ). تُفترض الأوزان هنا أنها موزعة طبيعيًا (i.i.d. Gaussian)، والمدخلات غير متمركزة (uniform on the sphere).
تحليل الاضطراب: تقارن الدراسة بين نوعين من اضطرابات الأوزان بمتوسط "نورم فروبينيوس" (Frobenius norm) متساوٍ:
1. قلب الإشارة (Sign-flip): قلب عشوائي لإشارات المدخلات (مما يؤدي إلى خطأ يغير الإشارة).
2. المقدار (الحفاظ على الإشارة): إضافة ضجيج يحافظ على الإشارة الأصلية للأوزان (مما يؤدي إلى خطأ يحافظ على الإشارة).
الأدوات الهندسية: يستخدم التحليل مشتقة فريه (Fréchet derivative) لـ RMSNorm (التي تم تحديدها كمسقط مستعرض)، وثابت بوسغانغ (Bussgang constant) للتكميم الإشاري، ونظرية برايس (Price's theorem) لارتباطات ReLU.
التحقق التجريبي: تتحقق التجارب من الحدود النظرية على البيانات الاصطناعية، وتختبر تراكم التأثيرات عبر الطبقات وتأثير "الميزات الشاذة" (outlier features) (التي تنتهك فرضية عدم التمركز) على النماذج الحقيقية.

3. المساهمات والنتائج الرئيسية

3.1 ثابت عدم التماثل $\pi/(\pi-2)$

النتيجة النظرية الأساسية للورقة (النظرية 3) تثبت أنه في نموذج (ReLU + RMSNorm) ذي طبقتين مع أوزان موزعة طبيعيًا، تنتج اضطرابات "قلب الإشارة" طاقة مستعرضة (transverse output energy) تبلغ تقريبًا 2.75 مرة ( $\pi/(\pi-2)$ ) أكثر من اضطرابات "المقدار المحافظ على الإشارة" ذات النورم المتساوي، وذلك عندما يقترب معدل القلب $p$ من الصفر.

الآلية: ينشأ عدم التماثل من عملية هندسية مكونة من خطوتين:
1. الـ ReLU تخلق عدم تماثل اتجاهي: هيكل اضطراب الحفاظ على الإشارة يتوافق مع متجه الوزن عبر ثابت بوسغانغ ( $\cos^2 \to 2/\pi$ ). تقوم ReLU بنشر هذا التوافق، مما ينتج عنه "كسر شعاعي" (radial fraction) مرتفع (طاقة متوافقة مع اتجاه المخرج) لاضطرابات المقدار ( $R_{mag} \approx 2/\pi$ ). في المقابل، تنتج عمليات قلب الإشارة كسرًا شعاعيًا يقترب من الصفر ( $R_{sign} \approx p$ ).
2. الـ RMSNorm يكشف عدم التماثل: تعمل RMSNorm كمرشح شعاعي (النظرية 2)، حيث تستبعد المكونات المتوافقة مع متجه المخرج. هي تمتص $\approx 63.7\%$ ( $2/\pi$ ) من طاقة اضطراب المقدار، لكنها تحفظ $\approx 99\%$ من طاقة قلب الإشارة (عندما يكون $p$ صغيرًا). نسبة الطاقة المستعرضة الناجية هي $\frac{1-p}{1-2/\pi} \approx \frac{\pi}{\pi-2}$ .

3.2 توصيف خطأ التكميم الثلاثي

تُوصّف الورقة خطأ التكميم الثلاثي (النظرية 4) باعتباره اضطرابًا محافظًا على الإشارة.

التوافق الزاوي بين المخرج الأصلي والمخرج المكمم يتقارب نحو $\cos^2 \theta \to 2/\pi$ .
والأهم من ذلك، فإن الكسر الشعاعي لما بعد الـ ReLU لخطأ التكميم الثلاثي يُحسب بـ $\approx 0.365$ ، وهو ما يقع ضمن نطاق 0.4% من قيمة ما قبل الـ ReLU ( $1 - 2/\pi$ ). هذا يعني أن الـ ReLU شفافة تقريبًا بالنسبة للتحلل الشعاعي/المستعرض، مما يعني أن الخطأ يسلك سلوكًا مشابهًا لنموذج اضطراب المقدار المثالي فيما يتعلق بفلترة RMSNorm.

3.3 دحض التراكم متعدد الطبقات

هناك فرضية طبيعية مفادها أن عامل الـ 2.75× في الطبقة الواحدة يتراكم ضربيًا عبر الشبكات العميقة، مما يفسر الحساسية الشديدة للنماذج الحقيقية. تفند الورقة هذا الطرح (القسم 7.1، الجدول 3).

تُظهر التجارب على البيانات الاصطناعية والنماذج المدربة (TinyLlama) أن نسبة الطاقة المستعرضة تنخفض أو تستقر مع زيادة العمق، بدلًا من النمو بشكل أسي.
حساسية الإشارة الكبيرة الملاحظة في النماذج الحقيقية ليست بسبب التراكم عبر العمق.

3.4 دور الميزات الشاذة (Outlier Features)

تحدد الورقة الميزات الشاذة (توزيعات التنشيط ذات الذيول الثقيلة التي تنتهك فرضية عدم التمركز) كمصدر حقيقي للفجوة بين خط الأساس النظري (2.75×) والحساسية الهائلة المشاهدة في النماذج الحقيقية.

نظرية الرافعة (Leverage Theory): لأي بُعد مدخل بسعة $\alpha$ ، ينتج قلب إشارة واحد طاقة (بعد الـ ReLU) مضاعفة بعامل $R \approx n\alpha^2$ مقارنة بمدخل غير شاذ (الملحق E).
التحقق التجريبي: في TinyLlama-1.1B، يؤدي قلب الإشارات في "الأعمدة الشاذة" (أعلى 5% من حيث مقدار التنشيط) إلى ضرر في الـ Perplexity بمقدار $\sim 1,265\times$ أكثر من الأعمدة غير الشاذة. ومع ذلك، عند حساب عدد عمليات القلب وعدم خطية العلاقة بين الـ Perplexity (PPL) والـ Negative Log-Likelihood (NLL)، فإن الرافعة تستقر عند $\sim 10\times$ في نظام الاستجابة الخطي ( $p \le 0.5\%$ )، وهو ما يطابق التنبؤ النظري $n \cdot E[\alpha^2]$ .

4. الأهمية والادعاءات

تدعي الورقة تقديم تفسير هندسي لمتانة نماذج الـ Transformer (pre-norm) تجاه التكميم الثلاثي:

هيمنة الإشارة: تلتقط أنماط الإشارة $\approx 63.7\%$ من الطاقة الاتجاهية لمتجهات الأوزان (الحقيقة 1)، بينما لا تحمل المقادرات ذات الإشارات العشوائية أي معلومات اتجاهية تذكر.
التآزر المعماري: الجمع المحدد بين الهيكل المحافظ على الإشارة + ReLU + RMSNorm يخلق آلية يتم فيها تضخيم الأخطاء المغيرة للإشارة انتقائيًا في الاتجاه المستعرض (الوظيفي)، بينما يتم امتصاص الأخطاء المحافظة على الإشارة (مثل التكميم الثلاثي) إلى حد كبير بواسطة الفلترة الشعاعية لـ RMSNorm.
الانحراف عن الواقع: الحساسية الشديدة لهذه النماذج لقلب الإشارة ليست خاصية جوهرية للعمق، بل هي نتيجة للميزات الشاذة التي تنتهك فرضيات عدم التمركز المطلوبة للأساس النظري.

5. القيود والمشكلات المفتوحة

يشير المؤلفون صراحةً إلى عدة قيود:

النظرية أحادية الطبقة: الثابت $\pi/(\pi-2)$ مُشتق لنموذج بسيط ذي طبقتين؛ وسلوك كامل مكدس الـ Transformer لا يتم استيعابه بالكامل.
الافتراض الغاوسي: الأوزان المدربة حقيقيةً ليست موزعة طبيعيًا (i.i.d. Gaussian)، مما يؤدي إلى انحرافات عن حد $2/\pi$ في القياسات التجريبية.
دوال التنشيط: تعتمد النتائج ذات الصيغة المغلقة على بنية نصف الفضاء لـ ReLU. يظل التوسع ليشمل الدوال ذات البوابات (مثل SwiGLU/GeGLU) المستخدمة في النماذج الحديثة مسألة مفتوحة، رغم أن التجارب تشير إلى سلوك مشابه نوعيًا.
انتشار تعدد الطبقات: القانون الدقيق الذي يحكم كيفية تطور الكسر الشعاعي $R$ عبر العمق في مسارات المتبقي (residual streams) يظل مسألة مفتوحة.
رسم الخرائط من الطاقة إلى الخسارة: لا يزال الربط الصارم من اضطراب الطاقة إلى الـ Perplexity/NLL في الأنظمة غير الخطية غير مكتمل تمامًا، رغم أن الورقة تقدم ارتباطات تجريبية قوية.

باختالامًا، تجادل الورقة بأن نجاح التكميم الثلاثي في نماذج pre-norm هو نتيجة هندسية حتمية لتفاعل مرشح RMSNorm مع الاضطرابات المحافظة على الإشارة في فضاء منشط بـ ReLU، بينما إن الهشاشة الشديدة لهذه النماذج تجاه قلب الإشارة مدفوعة بالميزات الشاذة ذات الذيول الثقيلة وليس بالعمق المعماري.