🤖 machine learning

Numerical Fragility in Transformers: A Layer-wise Theory for Risk Estimation and Selective Stabilization

تقترح هذه الورقة إطاراً نظرياً قائماً على الطبقات لتفكيك وتقدير الهشاشة العددية في نماذج المحولات (Transformers)، مما أدى إلى تطوير "الاستقرار الانتقائي الموجه بالحدود" (BGSS)، وهو متحكم يعمل بفعالية على تخفيف أخطاء التنفيذ منخفضة الدقة عن طريق تثبيت الطبقات عالية المخاطر بشكل انتقائي.

المؤلفون الأصليون: Jinwoo Baek

نُشر 2026-07-27

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jinwoo Baek

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تبني برجاً ضخماً ومعقداً من آلاف الكتل الزجاجية الصغيرة. هذا البرج هو "ترانسفورمر" (Transformer)، وهو نوع من الأدمغة الحاسوبية التي تقرأ وتكتب مثل البشر. ولجعل بناء هذا البرج أسرع ويستهلك كهرباء أقل، يقوم المهندسون غالباً باستبدال الكتل الزجاجية الثقيلة والدقيقة بأخرى أخف وأرخص قليلاً. وهذا ما يسمى بـ "التنفيذ منخفض الدقة" (low-precision execution). عادةً، يعمل هذا بشكل رائع، ولكن في بعض الأحيان، حتى لو استخدمت نفس المخططات ونفس المواد الأولية تماماً، ينتهي الأمر بالبرج بشكل مختلف قليلاً عن النسخة المثالية؛ قد يتأرجح أو قد توضع بعض الطوب في أماكن خاطئة.

لفترة طويلة، عندما كان يحدث هذا التأرجح، كان المهندسون يكتفون بالنظر إلى قمة البرج فقط. فإذا بدت القمة مائلة، عرفوا أن هناك خطأ ما، لكنهم لم يعرفوا أي طوبة هي المسببة لذلك. هل كانت كتلة في المنتصف؟ أم كانت وصلة معينة بالقرب من القمة؟ لقد تعاملوا مع التأرجح كأنه خلل عالمي غامض. يسأل هذا البحث سؤالاً مختلفاً: بدلاً من مجرد النظر إلى القمة، هل يمكننا التلصص داخل البرج، طبقة تلو الأخرى، لنعرف بالضبط أين يتشقق الزجاج؟ يريد المؤلفون تحويل هذا الغموض إلى خريطة، حتى يتمكنوا من إصلاح الأجزاء المكسورة فقط دون الحاجة إلى إعادة بناء البرج بأكمله.

الفكرة الكبرى للورقة: قصة تحقيق طبقة تلو الأخرى

قرر مؤلفو هذه الورقة، جينوو بايك (Jinwoo Baek)، التعامل مع تأرجح البرج ليس كحادث عشوائي، بل كتفاعل متسلسل منظم. لقد طوروا طريقة جديدة للنظر إلى الرياضيات التي تفكك "الخطأ" إلى ثلاثة أسباب محددة تحدث داخل كل طبقة من طبقات "الترانسفورمر":

جانب الانتباه (Attention): كيف يركز النموذج على أجزاء مختلفة من الجملة (مثل تسليط الضوء).
طبقة التقييس (LayerNorm): صمام أمان يحافظ على الأرقام من أن تصبح جامحة جداً (مثل ممتص الصدمات).
النقل المتبقي (Residual Transport): كيف ينتقل خطأ صغير من طبقة واحدة ليُحمل إلى الطبقة التالية (مثل تموج في بركة ماء).

لقد أدركوا أنه بينما قد يبدأ خطأ ضئيل في طبقة واحدة، فإنه لا يبقى هناك فحسب، بل يتم "نقله" عبر البرج، حيث يتم تضخيمه أحياناً، أو تخفيفه أحياناً أخرى. ومن خلال كتابة نظرية من الدرجة الأولى (قاعدة رياضية مبسطة ولكن دقيقة) لكيفية انتقال هذه الأخطاء، أنشأوا "درجة مخاطرة" لكل طبقة على حدات. تخبرهم هذه الدرجة: "مهلاً، الطبقة 5 على وشك ارتكاب خطأ كبير، والسبب الرئيسي هو أن صمام الأمان الخاص بها مشدود للغاية".

الحل: "المثبت الانتقائي"

بناءً على هذه النظرية، بنى المؤلفون متحكماً ذكياً يسمى BGSS (التثبيت الانتقائي الموجه بالحدود). فكر في BGSS كفريق إصلاح حذر جداً لا يقوم بمجرد رش الغراء على البرج بأكمله، بل يتجول عبر البرج، ويفحص درجة المخاطرة لكل طبقة، ولا يتدخل إلا إذا تحقق شرطان:

الطبقة على وشك ارتكاب خطأ كبير (مخاطرة عالية).
الخطأ ناتج تحديداً عن كون صمام الأمان الخاص بتلك الطبقة (LayerNorm) حساساً للغاية.

عندما يجد BGSS مثل هذه الطبقة، فإنه يقوم بلطف بتخفيف صمام الأمان (عن طريق زيادة رقم صغير يسمى $\epsilon$ ) بقدر كافٍ لإيقاف التأرجح، ثم يمضي قدماً. وهو يفعل ذلك مع الالتزام بـ "ميزانية" صارمة لعدد المرات المسموح له فيها بلمس البرج.

ما وجدوه: الدليل في النتيجة

اختبر الفريق أفكارهم على نموذج شهير يسمى GPT-2. وإليك ما أظهرته تجاربهم:

النظرية صامدة: أجروا اختبارات محكومة حيث قاموا بتعديل الرياضيات بشكل منعزل. تطابقت النتائج مع توقعاتهم تماماً. فقد تصرفت أخطاء "الانتباه"، وأخطاء "صمام الأمان"، وآثار "التموج" تماماً كما قالت معادلاتهم.
الخريطة دقيقة: عندما استخدموا درجة المخاطرة الخاصة بهم للتنبيد أين سيتأرجح البرج، كانت النتيجة جيدة بشكل مدهش. في 17 من أصل 18 تجربة مختلفة، كانت خريطتهم "المدركة للنقل" (التي تأخذ في الاعتبار التموجات المتحركة لأسفل البرج) أفضل في التنبؤ بالفوضى النهائية من الخريطة التي تجاهلت التموجات.
الإصلاح يعمل: عندما تركوا BGSS يحاول إصلاح البرج أثناء التدريب، كان أداؤه أفضل من التخمين العشوائي.
- مقارنة بمتحكم يختار الطبقات عشوائياً (ولكن باستخدام نفس "ميزانية الإصلاح")، نجح BGSS في تقليل أسوأ حالات التأرجح من 8.49 × 10⁻³ إلى 3.14 × 10⁻³. وهذا تحسن هائل في الاستقرار.
- وحتى مقارنة بمتحكم ينظر فقط إلى المخاطر دون التحقق من سبب وجود تلك المخاطر، كان BGSS أفضل في منع أسوأ السيناريوهات، حيث قلل أسوأ تأرجح من 5.71 × 10⁻³ إلى 3.14 × 10⁻³.

ما يعنيه هذا (وما لا يعنيه)

تشير الورقة إلى أن "التأرجح" في نماذج الذكاء الاصطنا-ي ليس مجرد خطأ فوضوي وغير قابل للإصلاح، بل هو ظاهرة منظمة يمكن تحليلها والتنبؤ بها وإصلاحها بدقة جراحية. يشير المؤلفون بحذر إلى أن نظريتهم هي تقريب من "الدرجة الأولى"، مما يعني أنها تلتقط التأثيرات الرئيسية ولكنها قد تغفل بعض التفاصيل المعقدة والصغيرة. كما اعترفوا بأن إصلاحهم المحدد (تعديل صمام الأمان) هو مجرد طريقة واحدة لحل المشكلة، وقد يحتاج إلى تعديل لأنواع مختلفة من بنيات الذكاء الاصطناعي.

ومع ذلك، فإن الرسالة الجوهرية واضحة: من خلال فهم كيفية انتقال الأخطاء عبر طبقات "الترانسفورمر"، يمكننا التوقف عن معاملة عدم الاستقرار العددي كغموض عالمي، والبدء في معاملته كمشكلة محلية يمكن حلها. نحن لا نحتاج إلى إعادة بناء البرج بأكمله؛ نحتاج فقط إلى معرفة أي طوبة يجب النقر عليها، وبأي قوة.

ملخص تقني: الهشاشة الرقمية في نماذج المحولات (Transformers)

صياغة المشكلة

تُنفذ أنظمة المحولات الحديثة بشكل متزايد بدقة منخفضة (مثل BF16 وFP16) لتحسين معدل الإنتاجية وتقليل تكاليف الذاكرة. ومع ذلك، يمكن أن يؤدي التنفيذ بدقة منخفضة إلى حدوث تباينات كبيرة في عملية التمرير الأمامي (forward-pass) حتى مع ثبات الأوزان والمدخلات. حالياً، يتم مراقبة هذه التباينات عادةً عند مستوى المخرجات فقط، مما يعامل عدم الاستقرار الرقمي كأثر تنفيذي عالمي بدلاً من كونه ظاهرة داخلية مهيكلة. وبناءً على ذلك، يظل من غير الواضح أي الطبقات تحديداً هي المسؤولة عن عدم الاستقرار، وما هي الآليات (الانتباه، أو التطبيع، أو المتبقيات) التي تهيمن على الخطأ، وأين يجب تخصيص ميزانية محدودة للاستقرار.

تعالج هذه الورقة مشكلة تقدير المخاطر السببية على مستوى الطبقات تحت تنفيذ ذي دقة محدودة. الهدف ليس تحليل خطأ التحسين أو التعميم، بل قياس التباين الناتج عن التمرير الأمامي الناجم بحتًا عن الحسابات ذات الدقة المحدودة داخل نموذج ثابت، وتطوير آلية للاستقرار الانتقائي.

المنهجية: مسار من النظرية إلى الخوارزمية

تقترح الورقة إطار عمل موحداً يفكك الهشاشة الرقمية إلى مكونات أولية على مستوى الطبقات، ويشتق مقدراً عملياً للمخاطر، وينفذ متحكماً بميزانية محددة.

1. التفكيك الموحد من الدرجة الأولى

قام المؤلفون بتطوير تفكيك نظري لعدم التطابق الرقمي على مستوى المخرجات ( $m_t$ ) إلى ثلاثة مكونات رئيسية:

حساسية جانب الانتباه (Attention-Side Sensitivity): الخطأ الناتج عن آلية الانتباه الذاتي، وتحديداً فصل حساسية "softmax" المباشرة، وخطأ تشكيل الدرجات (score-formation)، وتضخيم القيم (value amplification).
عدم الاستقرار المدفوع بـ LayerNorm: الخطأ الناجم عن مسار التطبيع، والذي تم نمذجته صراحةً بالاعتماد على معامل التثبيت $\epsilon$ . تثبت النظرية أن مقدار مسار التطبيع يتناقص بشكل صارم بالنسبة لـ $\epsilon$ في النظام الذي يهيمن عليه $\epsilon$ .
النقل المتبقي (Residual Transport): التراكم اللاحق للأخطاء عبر اتصالات المتبقيات (residual connections). تشتق الورقة عامل نقل "مخفف" بناءً على جاكوبي (Jacobian) دالة المتبقي، مما يوضح كيف يمكن للاتصالات المتبقية أن تضعف (أو في بعض الحالات، تنقل) تراكم الخطأ عبر العمق.

يؤدي هذا إلى النظرية 3 (الاستقرار الأمامي الموحد)، والتي تضع حداً لعدم التطابق النسبي للمخرجات كمجموع للمقادير المحلية لكل طبقة ( $M_\ell$ )، والتي يتم نقل كل منها بواسطة عوامل المتبقيات اللاحقة.

2. مقدر المخاطر السببي

من الحد الموحد، اشتق المؤلفون مقدراً عملياً وسببياً للمخاطر. لكل طبقة $\ell$ عند الخطوة $t$ ، يقومون بحساب:

المقدار المحلي ( $\hat{M}_{\ell,t}$ ): مجموع بديل لحساسية جانب الانتباه، ومقدار مسار تطبيع LayerNorm، وأخطاء النواة المتبقية.
نسبة هيمنة LayerNorm ( $\hat{\phi}_{\ell,t}$ ): نسبة المقدار المحلي المدفوع تحديداً بترم LayerNorm.
النقل اللاحق (Downstream Transport): عامل يأخذ في الاعتبار كيفية انتشار الأخطاء من الطبقة $\ell$ وصولاً إلى المخرج النهائي.

يجمع درجة المخاطر لكل طبقة ( $\hat{G}_{\ell,t}$ ) بين هذه العناصر، متنبئاً بمساهمة كل طبقة في الهشاشة الشاملة (end-to-end).

3. الاستقرار الانتقائي الموجه بالحدود (BGSS)

باستخدام مقدر المخاطر، تقترح الورقة BGSS، وهو متحكم عبر الإنترنت (online controller) يزيد معامل التثبيت $\epsilon$ لـ LayerNorm بشكل انتقائي حيثما لزم الأمر.

قاعدة الاختيار: تكون الطبقة مؤهلة للتدخل إذا تجاوزت درجة المخاطر المتوقعة ( $\hat{G}_{\ell,t}$ ) عتبة معينة، وكانت نسبة هيمنة LayerNorm ( $\hat{\phi}_{\ell,t}$ ) عالية، وكانت الطبقة حالياً في النظام الذي يهيمن عليه $\epsilon$ .
قاعدة التحديث: بالنسبة للطبقات المختارة، يحسب BGSS قيمة $\epsilon$ مرشحة تفرض نسبة مستهدفة من التباين إلى $\epsilon$ ، مع تطبيق تحديث أحادي الاتجاه (زيادة $\epsilon$ فقط) لضمان الاستقرار.
القيود: يعمل المتحكم تحت ميزانية صارمة (على سبيل المثال، أفضل $B$ من الطبقات في كل خطوة) ويتضمن آليات تبريد (cooldown) لمنع التذبذب.

المساهمات الرئيسية

نظرية موحدة: نظرية من الدرجة الأولى على مستوى الطبقات توحد حساسية الانتباه، وتخفيف المتبقيات، واعتماد $\epsilon$ لـ LayerNorm في تفكيك واحد للهشاشة الأمامية.
المقدر والمتحكم السببي: اشتقاق مقدر مخاطر سببي عملي وخوارزمية BGSS مباشرة من التفكيك النظري، مما يتجاوز النهج الهندسي القائم على الحدس.
التحقق التجريبي: مسار تحقق شامل يتضمن:
- عمليات مسح محلية محكومة تتحقق من الإشارات المتوقعة، والرتابة، وهيكل النقل مع ارتباط (Pearson) يقترب من 1.0.
- تقييم شامل على نموذج GPT-2 يظهر أن المتنبئ المدرك للنقل يرتبط بعدم التطابق المرجعي لـ FP32.
- اختبارات دقة الإسناد (attribution fidelity) تؤكد أن الدرجة تحافظ على معلومات ترتيب الطبقات المفيدة.
- تجارب التدخل المتوافقة مع الميزانية التي تظهر تفوقاً في المتانة مقارنة بالنماذج العشوائية أو النماذج القائمة على المخاطر فقط.

النتائج التجريبية

قيم المؤلفون الإطار على نموذج GPT-2 باستخدام مجموعات بيانات WikiText مع تنفيذ BF16/FP16.

التحقق المحلي (E1): أكدت عمليات المسح المحكومة أن وكيل الانتباه يتتبع الاضطرابات المقاسة بارتباط شبه مثالي (Pearson $\approx$ 1.0) وأن خطأ LayerNorm يتناقص رتيباً مع $\epsilon$ ، مما يؤكد صحة الافتراضات النظرية.
التحقق من المتنبئ (E2): في 18 تشغيلاً لنموذج GPT-2، أظهر المتنبئ المدمج المدرك للنقل ارتباطاً إيجابياً مع عدم التطابق المرجعي لـ FP32 في جميع التشغيلات. وقد تفوق على نسخة "بدون نقل" (no-transport) في 17 من أصل 18 تشغيلاً، محققاً متوسط ارتباط بيرسون قدره 0.370 مقابل 0.206 للنسخة المستبعدة.
دقة الإسناد (E3): أظهر إسناد الرقعة المرجعية (استبدال كتل الدقة المنخفضة بـ FP32) أن ترتيب الطبقات المتوقع يحافظ على معلومات الترتيب المفيدة (متوسط ارتباط سبيرمان قدره 0.362).
منفعة التخفيف (E5): في التجارب المتوافقة مع الميزانية (24 إجراءً لكل تشغيل)، تفوق BGSS بشكل كبير على المتحكم العشوائي ذي الميزانية المماثلة والمتحكم القائم على المخاطر فقط:
- أسوأ حالة عدم تطابق: انخفضت من $8.49 \times 10^{-3}$ (عشوائي) و $5.71 \times 10^{-3}$ (مخاطر فقط) إلى $3.14 \times 10^{-3}$ .
- أحداث البداية (Onset events): انخفضت من 11.67 (عشوائي) إلى 10.67.
- طابق BGSS المتحكم القائم على المخاطر في كبح البدايات بينما قلل بشكل حاد من أسوأ حالات عدم التطابق، مما يثبت فعاليته في التعامل مع أحداث عدم الاستقرار القصوى.

الأهمية والادعاءات

تجادل الورقة بأن الهشاشة الرقمية في المحولات ليست مجرد أثر عالمي، بل هي ظاهرة مهيكلة على مستوى الطبقات. ومن خلال تحليل وتقدير وتحديد موقع هذه الهشاشة باستخدام معلومات سببية متاحة أثناء التنفيذ، يمكن استقرار النماذج انتقائياً دون زيادة عالمية في الدقة.

يدعي المؤلفون بتواضع أن عملهم يوفر تفسيراً من النظرية إلى الخوارزمية للهشاشة الرقمية في المحولات. وهم يؤكدون على ما يلي:

التحليل مصمم عمداً ليكون من الدرجة الأولى، لعزل الآليات المهيمنة.
يعتمد المقدر العملي على بدائل سببية بدلاً من الشهادات الدقيقة عبر الإنترنت.
فئة التدخل ضيقة (تحديثات $\epsilon$ لـ LayerNorm بشكل انتقائي) والنتائج تم إثباتها على GPT-2؛ ولا يتم الادعاء بانتقال كمي مباشر إلى بنيات ذات تطبيع أو توجيه مختلف.

ومع ذلك، تدعم النتائج الاستنتاج الأوسع بأن مخاطر الدقة المحدودة يمكن إدارتها بفعالية من خلال نهج موحد على مستوى الطبقات يجمع بين التفكيك النظري والتدخل الانتقائي المعتمد على الميزانية.