🤖 machine learning

Training ML Models with Predictable Failures

تحلل هذه الورقة البحثية الانحياز في استقراء معدلات فشل نماذج تعلم الآلة من مجموعات تقييم محدودة، وتحدد الظروف التي تندرج تحتها مثل هذه التوقعات لتقلل من تقدير المخاطر، وتقترح هدف ضبط دقيق يعتمد على "خسارة القدرة على التوقع" يقلل بشكل كبير من خطأ التوقع مع الحفاظ على أداء المهمة والسلامة.

المؤلفون الأصليون: Will Schwarzer, Scott Niekum

نُشر 2026-05-15

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Will Schwarzer, Scott Niekum

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مفتش سلامة لسيارة جديدة ذاتية القيادة. لديك مضمار اختبار صغير يحتوي على 100 سيارة لفحص الحوادث. لكن السيارة ستُطلق فعلياً على طريق سريع يضم 10 ملايين سيارة.

المشكلة هي أن "الحالة الأسوأ" التي تخشى وقوعها هي نادرة جداً لدرجة أنها قد لا تحدث ولو لمرة واحدة في اختبار الـ 100 سيارة الخاص بك. إذا لم تشهد حادثاً في اختبارك الصغير، فقد تفترض خطأً أن السيارة آمنة تماماً للطريق السريع.

تقترح هذه الورقة البحثية طريقة ذكية لإصلاح ذلك. وهي تقترح شيئين:

تخمين أفضل: يمكننا استخدام الرياضيات (تحديداً فرعاً يسمى "نظرية القيم القصوى" - Extreme Value Theory) للنظر في "الوقائع الوشيكة" (near-misses) في اختبارنا الصغير، والتنبؤ رياضياً بمدى سوء "أسوأ حادث" قد يحدث على الطريق السريع الضخم.
تدريب أفضل: يمكننا بالفعل تعليم نموذج الذكاء الاصطناي أن يتصرف بطريقة تجعل هذا التنبؤ الرياضي دقيقاً، دون جعل السيارة أسوأ في وظيفتها الفعلية (وهي القيادة).

إليك تفصيل لأفكار الورقة باستخدام تشبيهات بسيطة:

1. المشكلة: "الوحش الخفي"

تخيل أنك تحاول التنبؤ بأعلى موجة سيركبها راكب أمواج. تراقبهم وهم يركبون الأمواج لمدة ساعة واحدة (مجموعة التقييم الخاصة بك). ترى بعض الأمواج الكبيرة، لكن لا شيء كارثياً.

الواقع: راكب الأمواج سيستمر في ركوب الأمواج لمدة 10 سنوات (مجموعة النشر/التشغيل). وفي مكان ما خلال هذه السنوات العشر، ستظهر "موجة وحشية" بارتفاع 100 قدم.
الفشل: لأنك شاهدت لمدة ساعة واحدة فقط، لم ترَ الموجة الوحشية. إذا خمنت بناءً على ما رأيته، فقد تتوقع أن أقصى ارتفاع للأمواج هو 10 أقدام. وعندما تضرب الموجة ذات الـ 100 قدم، ستكون في مشكلة كبيرة.

2. الحل القديم: "استقراء الذيل" (Extrapolating the Tail)

قام باحثون سابقون بتطوير طريقة (بواسطة جونز وآخرون) لإصلاح هذا الأمر. هم ينظرون إلى أكبر الأمواج التي شاهدتها بالفعل في اختبار الساعة الواحدة. يفترضون أن الأمواج تتبع شكلاً رياضياً محدداً (مثل منحنى سلس) ويرسمون خطاً لتخمين مدى ارتفاع الأمواج إذا شاهدتهم لمدة 10 سنوات.

العائق: هذه الحيلة الرياضية لا تعمل إلا إذا كانت الأمواج تتبع بالفعل ذلك الشكل السلس. إذا واجه راكب الأمواج فجأة نوعاً مختلفاً تماماً من الأمواج (نمط نادر)، فإن الخط الرياضي سيشير إلى رقم أقل بكثير مما ينبغي. سيؤدي ذلك إلى التقليل من تقدير الخطر.

3. رؤية الورقة: "تعليم النموذج أن يكون قابلاً للتنبؤ"

أدرك المؤلفون أن المشكلة ليست في الرياضيات فحسب؛ بل في النموذج نفسه. قد يكون نموذج الذكاء الاصطناعي "فوضوياً" أو "غير قابل للتنبؤ" في طريقة فشله.

التشبيه: تخيل أن الذكاء الاصطناعي هو طالب يؤدي اختباراً. أحياناً يرتكب أخطاء صغيرة، وأحياناً يرتكب خطأً كبيراً وغريباً لم يتوقعه المعلم. يحاول المعلم (مفتش السلامة) تخمين أسوأ خطأ سيرتكبه الطالب في الامتحان النهائي.
الابتكار: ابتكر المؤلفون طريقة جديدة لتدريب الطالب. لم يكتفوا بقول "لا ترتكب أخطاء"، بل قالوا له: "اجعل أخطاءك تتبع نمطاً سلساً وقابلاً للتنبؤ حتى أتمكن من تخمين أسوأ سيناريو لك بدقة."

أطلقوا على هدف التدريب الجديد هذا اسم "خسارة القابلية للتنبؤ" (Forecastability Loss).

4. كيف يعمل الأمر (الخدعة السحرية)

توضح الورقة أنه يمكنك تعديل تدريب الذكاء الاصطناعي بحيث:

يظل جيداً في وظيفته: لا يصبح الذكاء الاصطناعي أسوأ في حل المهمة الفعلية (مثل القيادة أو الإجابة على الأسئلة).
يصبح "مهذباً" (حسن السلوك): تبدأ أسوأ حالات فشل الذكاء الاصطناعي في الظهور كمنحنى سلس بدلاً من كونها فوضى متعرجة وغير متوقعة.
تعمل الرياضيات: لأن حالات الفشل أصبحت الآن سلسة وقابلة للتنبؤ، يمكن لـ "رياضيات الاستقراء" أن تتنبأ بدقة بأسوأ سيناريو، حتى لو لم يحدث هذا السيناريو بعد.

5. النتائج: تجربتان

اختبر المؤلفون هذه الفكرة في عالمين مختلفين تماماً:

لعبة كلمة المرور (نموذج لغوي):
- الإعداد: يُعطى ذكاء اصطناعي كلمة مرور سرية ويُطلب منه عدم قولها أبداً. الاختبار هو معرفة ما إذا كان سيسرب كلمة المرور بالخطأ.
- المشكلة: معظم المطالبات (prompts) آمنة، لكن بعض المطالبات "العدائية" مصممة لخداع الذكاء الاصطناعي لجعله يسرب كلمة المرور. هذه المطالبات السيئة نادرة جداً لدرجة أنها قد لا تظهر في اختبار صغير.
- الحل: قاموا بتدريب الذكاء الاصطناعي باستخدام طريقتهم الجديدة. أصبح الذكاء الاصطناعي أفضل بكثير في التنبؤ متى قد يسرب كلمة المرور، وفي الواقع سرب كلمة المرور في حالات أقل بكثير مما كان عليه قبل ذلك، مع بقائه جيداً في المحادثات العادية.
عالم الشبكة (Gridworld) (الروبوتات/التعلم التعزيزي):
- الإعداد: يتحرك روبوت داخل شبكة. معظم الشبكات آمنة، لكن بعضها يحتوي على فخاخ مخفية.
- المشكلة: قد يقع الروبوت في فخ لم يره من قبل.
- الحل: دربوا الروبوت ليكون له "فشل قابل للتنبؤ". تعلم الروبوت تجنب الفخاخ بشكل أفضل، واستطاع مفتش السلامة التنبؤ بدقة بأسوأ سيناريو لأداء الروبوت في المستقبل.

6. الخلاصة الرئيسية

تجادل الورقة بأننا لا ينبغي فقط أن نأمل أن تكون اختبارات السلامة لدينا كبيرة بما يكفي للإمساك بكل كارثة. بدلاً من ذلك، يجب علينا تدريب نماذج الذكاء الاصطناعي الخاصة بنا لتكون "متوافقة مع السلامة" بطريقة محددة: يجب أن تفشل بطريقة يسهل علينا قياسها والتنبؤ بها.

من خلال القيام بذلك، يمكننا استخدام مجموعة اختبار صغيرة للتنبؤ بدقة بسلامة النشر الهائل في العالم الحقيقي. إنه يشبه تعليم راكب الأمواج ركوب الأمواج بطريقة تسمح للعالم بالتنبؤ بدقة بحجم الموجة الوحشية التالية، حتى لو كان العالم قد شاهد لدقائق معدودة فقط.

ما لا تدعيه الورقة:

هي لا تدعي أن هذا يحل جميع مشاكل السلامة.
هي لا تدعي أن هذا يعمل لكل نوع من أنواع فشل الذكاء الاصطناعي (رغم أنه نجح في تجربتيه المختلفتين).
هي لا تدعي أن هذا جاهز للاستخدام الفوري في الأنظمة الطبية أو العسكرية التي تتعلق بحياة أو موت؛ إنها مجرد "إثبات مفهوم" يوضح أن الرياضيات والمنهج يعملان في تجارب محكومة.

ملخص تقني: تدريب نماذج تعلم الآلة ذات الفشل القابل للتنبؤ

بيان المشكلة

يعتمد تقييم السلامة قبل النشر لأنظمة تعلم الآلة على تقدير معدلات الفشل عند مقياس النشر. ومع ذلك، فإن حالات الفشل الكارثي غالبًا ما تكون نادرة جدًا بحيث لا تحتوي أي مجموعة تقييم عملية على مثال واحد، مما يخلق فجوة بين الأداء الملحوظ والمخاطر المستقبلية. وبينما اقترح جونز وآخرون [21] استخدام نظرية القيم القصوى (EVT) لاستقراء معدلات الفشل من أكبر $k$ من الدرجات المرصودة في مجموعة التقييم إلى مقياس النشر، تعتمد هذه الطريقة على فرضيتين حرجتين: (A1) أن ذيل الفشل خطي-لوغاريتمي تقاربي (نطاق غامبل)، و(A2) أن مجموعة التقييم ممثلة لتوزيع النشر.

تحدد الورقة نظام فشل محدد تُنتهك فيه هذه الافتراضات: عندما يحتوي طقم النشر على نمط فشل نادر وعالي الخطورة (مثل المطالبات العدائية أو التخطيطات الخطرة) يكون غائبًا عن مجموعة التقييم الأصغر. في هذا السيناريو، يقوم المتنبئ القائم على نظرية القيم القصوى (EVটি) بالتقليل من تقدير أسوأ المخاطر بشكل منهجي. علاوة على ذلك، توضح الورقة أنه حتى عندما تتحقق الافتراضات، فإن المقدر القياسي يمتلك انحيازًا مدمجًا نحو الإفراط في التقدير، وهو أمر مفيد للسلامة، ولكن يمكن تعويضه بواسطة نمط فشل "الإشغال" (occupancy) الموصوف أعلاه.

المنهجية

يقترح المؤلفون الضبط الدقيق للقابلية للتنبؤ (forecastability fine-tuning)، وهي طريقة لتعديل نموذج مدرب مسبقًا بحيث يتوافق ذيل الفشل لديه مع الافتراضات الهيكلية المطلوبة لاستقراء دقيق باستخدام نظرية القيم القصوى.

1. التفكيك النظري

المساهمة النظرية الجوهرية هي تفكيك الخطأ في التنبؤ لـ $k$ محدودة لمقدر ذيل غامبل. يتم تفكيك الخطأ $\Delta$ إلى:

حد الرتبة ( $T_\theta$ ): انحياز متأصل في المقدر بناءً على عدد الـ top- $k$ ونسبة النشر. هذا الحد موجب بشكل عام (إفراط في التقدير) ومستقل عن بارامترات النموذج المحددة، باستثناء عامل قياس.
حد الانحناء ( $C_\theta$ ): يتناسب مع المشتق الثاني لمنحنى كمية الذيل. يعتمد هذا الحد على النموذج ويمكن تدريبه، ويعكس ما إذا كان الذيل "سلوكُه جيد" (خطي-لوغاريتمي) أم منحنيًا.
حد الإشغال ( $G_\theta$ ): حد غير صفري يظهر عندما يتواجد مكون نادر عالي الخطورة في مجموعة النشر ولكنه غائب في مجموعة التقييم. يتسبب هذا الحد في نقص التقدير.
الباقي من الرتب العليا: حدود تتعلق بانتهاكات السلاسة (مثل الدعم المحدود أو الذيول الثقيلة).

يوضح المؤلفون أن خطأ التنبؤ قابل للاشتقاق بالنسبة لبارامترات النموذج عندما تكون درجة الخطورة قابلة للاشتقاق. وهذا يسمح للخطأ نفسه بأن يعمل كدالة خسارة.

2. خسارة القابلية للتنبؤ

الهدف المقترح، خسارة القابلية للتنبؤ، يقلل من الفرق المربع بين درجة الحالة الأسوأ المتوقعة (بواسطة المربعات الصغرى العادية OLS) وأسوأ درجة محققة عبر الرتب المستقرأة.
$\mathcal{L}_{\text{forecast}} = \sum_{j \in \mathcal{J}} w_j \left( \hat{Q}_\theta(y_j) - Y^{(j)}_\theta \right)^2$
حيث تمثل $\mathcal{J}$ الرتب الأعمق من مجموعة الملاءمة، وتتبع الأوزان $w_j$ توزيعًا لوغاريتميًا منتظمًا على أحجام النشر.

3. تحسينات التدريب

لمنع النموذج من مجرد تدهور أدائه لجعل الذيل "قابلاً للتنبؤ" (على سبيل المثال، عن طريق زيادة درجات الخطورة لتتطابق مع خط مفرط في التقدير)، قدم المؤلفون قناع تدرج التحسين فقط (improving-only gradient mask). يضمن هذا القناع أن تحديثات التدرج تحدث فقط إذا كانت تقلل من درجة الخطورة في المهمة المحددة، مما يربط هدف التنبؤ بهدف السلامة الأساسي فعليًا.

بالإضافة إلى ذلك، لتجنب الإفراط في التخصيص (overfitting) لتقسيمات محددة من البيانات، تستخدم الطريقة الضبط الدقيق متعدد المهام الميتا (meta-multi-task fine-tuning). في كل خطوة تدريب، يتم تقسيم مجموعة المهام عشوائيًا إلى مجموعة ملاءمة ومجموعة نشر. كما يتم الحفاظ على ذاكرة تخزين مؤقت ثابتة التقسيم للمهام ذات الدرجات الأعلى لجعل إعادة التقسيم هذه قابلة للتنفيذ حسابيًا دون الحاجة لإعادة تسجيل الدرجات لكامل مجموعة البيانات في كل خطوة.

المساهمات الرئيسية

التفكيك لخطأ $k$ المحدودة: تفكيك نظري لخطأ تنبؤ ذيل غامبل يعزل المكونات المعتمدة على النموذج (الانحناء، الإشغال) عن المكونات المعتمدة على المقدر (انحياز الرتبة). وهذا يحدد بدقة الأجزاء القابلة للتدريب من الخطأ.
خسارة القابلية للتنبؤ: دالة هدف قابلة للاشتقاق تقلل مباشرة من خطأ التنبؤ عن طريق تشكيل ذيل الخطورة للنموذج ليكون "سلوكُه جيد" (خطي-لوغاريتمي) وممثلًا لتوزيع النشر.
التحقق التجريبي: إثبات أن الضبط الدقيق للقابلية للتنبؤ يقلل بشكل كبير من خطأ التنبؤ في البيانات المحجوزة مع الحفاظ على (أو تحسين) أداء المهمة الأساسية وتحقيق سلامة مقاربة للنماذج القائمة على التعلم الخاضع للإشراف.

النتائج التجريبية

تم تقييم الطريقة في إعدادين:

النموذج اللغوي (لعبة كلمة المرور - Password Game): يتم توجيه نموذج للحفاظ على كلمة مرور سرية، ولكن يتم اختباره ضد مطالبات عدائية مصممة لاستخراجها.
- النتيجة: قلل الضبط الدقيق للقابلية للتنبؤ من احتمالية تسريب الحالة الأسوأ بنحو 40 مرتبة عشرية مقارنة بالنموذج الأساسي، مما يطابق سلامة التعلم الخاضع للإشراف (SFT). والأهم من ذلك، أنه حافظ على قدرة النموذج (مقاسة بـ WildChat KL drift) بشكل أفضل بكثير من SFT (بفارق رتبتين عشريتين أقل في الانحراف). كما حسن دقة التنبؤ بنحو 60 ضعفًا عن النموذج الأساسي، بينما استقرت طرق SFT والمعايرة البعدية تحت 20 ضعفًا.
التعلم المعزز (Gridworld): سياسة تتنقل في عالم شبكي يحتوي على تخطيطات نادرة وشديدة الخطورة.
- النتيجة: حسن تدريب القابلية للتنبؤ القدرة (العائد/return) بمقدار $1.27\times$ وقلل من الندم في الحالة الأسوأ بمقدار $3.5\times$ ، متفوقًا على SFT. ومن حيث دقة التنبؤ، حققت الطريقة تحسنًا قدره $52\times$ مع المعايرة البعدية، متفوقة بشكل ملحوظ على SFT ( $26\times$ ) والمعايرة وحدها ( $6\times$ ).

في كلتا الحالتين، ضمن قناع "التحسين فقط" أن تقليل خطأ التنبؤ يرتبط بتقليل حقيقي للمخاطر القصوى (احتمالية التسريب أو الندم).

الأهمية والادعاءات

تدعي الورقة أنها تعالج "طبقة مفقودة" في تقييم السلامة قبل النشر: القدرة ليس فقط على استقراء درجات الخطورة من التقييم إلى مقياس النشر، بل أيضًا تدريب النماذج بحيث يكون هذا الاستقراء موثوقًا.

الانحياز المفضل للسلامة: يشير المؤلفون إلى أن المقدر القياسي لديه انحياز مدمج نحو الإفراط في التقدير، وهو أمر مرغوب فيه للسلامة. ومع ذلك، يتم إلغاء هذا الانحياز عندما تغفل مجموعة التقييم نمط فشل نادر. يهدف تدريب القابلية للتنبؤ إلى القضاء على نمط الفشل المحدد هذا.
مكمل للمعايرة: تشير النتائج إلى أنه بينما يمكن للمعايرة الخطية (affine calibration) البعدية تصحيح الانحيازات المنهجية، إلا أنها لا تستطيع إصلاح عدم التطابق الهيكلي في شكل الذيل أو فجوات الإشغال. يعمل تدريب القابلية للتنبؤ على تشكيل الذيل الأساسي، مما يجعل المعايرة اللاحقة أكثر فعالية.
القابلية للتوسع: يقر المؤلفون بأن تجاربهم صغيرة النطاق (نماذج 0.6B و 8B، ومزيج اصطناعي). ويؤكدون أن الطريقة هي إثبات مفهوم يمكن أن يعمم على توزيعات أخرى، لكن الانتقال إلى النماذج الرائدة (frontier models) وأنماط الطبيعة النادرة هو الخطوة التالية الضرورية.
التمييز عن الطرق الموجودة: تميز الورقة نهجها عن التدريب المتين توزيعيًا (الذي يقلل من أسوأ خسارة) وأخذ العينات الهامة (الذي يتطلب أخذ عينات من حالات الفشل). يستهدف فقدان القابلية للتنبؤ تحديدًا شكل توزيع الخطورة لجعله مهيأً لاستقراء نظرية القيم القصوى (EVT)، بدلاً من مجرد تقليل الخطورة نفسها.

يخلص المؤلفون إلى أن تقييم السلامة قبل النشر يعتمد بشكل متزايد على استقراء سلوك الذيل، وتظهر نتائجهم أن النموذج نفسه ليس بالضرورة مدخلًا ثابتًا لهذه العملية؛ إذ يمكن لعملية ضبط دقيق بسيطة أن تنتج نموذجًا توصف ذيوله بدقة أكبر بكثير بواسطة طرق التنبؤ القياسية.