A General Framework for Stability Assessment of Non-Deterministic Prediction Models

ملخص تقني: إطار عام لتقييم الاستقرار لنماذج التنبؤ غير الحتمية

بيان المشكلة
تعد نماذج التنبؤ الحديثة، بما في ذلك الغابات العشوائية (Random Forests)، والشبكات العصبية الاصطناعية، والنماذج البايزية (Bayesian models)، غير حتمية بطبيعتها. فالعناصر العشوائية في إجراءات الملاءمة الخاصة بها (مثل أخذ العينات بالبواط/bootstrap، أو التهيئة العشوائية للأوزان، أو أخذ عينات ماركوف تشين مونتي كارلو) تعني أن تكرار التدريب على بيانات متطابقة يمكن أن يؤدي إلى نماذج وتنبؤات مختلفة. هذا التباين قد يؤدي إلى قرارات غير متسقة، ومع ذلك فإن الطرق الموجودة لقياس هذا "الاستقرار التنبئي" غير كافية.

تعتمد النهج الحالية على معامل الارتباط داخل الفئة (ICC) للتنبؤات المترية، وعلى معامل فليسس كابا (Fleiss' $\kappa$) للتنبؤات الفئوية. وتعاني هذه الطرق من ثلاث قيود حرجة:

1. عدم القابلية للتطبيق على الكائنات الفردية: يتطلب كل من ICC و Fleiss' $\kappa$ وجود عدة كائنات في مجموعة الاختبار لتقدير مكونات التباين أو توقع الاتفاق العرضي. ولا يمكنهما قياس الاستقرار لمهام التنبؤ ذات الكائن الواحد (مثل التنبؤ بـ GDP مستقبلي واحد أو معدل وباء معين).
2. أنواع تنبؤ مقيدة: لا تمتد هذه الطرق بشكل طبيعي لتشمل التنبؤات الترتيبية (ordinal)، التي تمتلك ترتيباً طبيعياً ولكنها ليست اسمية بحتة ولا مترية.
3. الحساسية لهيكل البيانات: تتأثر هذه المقاييس بشدة بتكوين بيانات الاختبار. فمعامل Fleiss' $\kappa$ عرضة لـ "مشكلة الانتشار" (مفارقة $\kappa$)، حيث تؤدي توزيعات الفئات غير المتوازنة إلى خفض درجات الاستقرار اصطناعياً حتى عندما تكون التنبؤات متسقة. وبالمثل، تكون تقديرات ICC غير موثوقة مع مجموعات الاختبار الصغيرة أو المتجانسة.

المنهجية
يقترح المؤلفون إطاراً عاماً لقياس الاستقرار التنبئي بناءً على معامل كريبرندوف ألفا (Krippendorff's $\alpha$)، والمكيف للتمييز بين عدم الاستقرار الملحوظ وعدم الاستقرار المتوقع. التعريف الجوهري للاستقرار التنبئي ($S$) هو:
$$S = 1 - \frac{D_o}{D_e}$$
حيث $D_o$ هو عدم الاتفاق الملحوظ (عدم الاستقرار) عبر عمليات ملاءمة النموذج المتكررة، و $D_e$ هو عدم الاتفاق المتوقع تحت نموذج مرجعي لعدم الاستقرار.

يقدم الإطار تعريفين متميزين لعدم الاستقرار المتوقع، مما يؤدي إلى مقياسين متكاملين للاستقرار:

1. الاستقرار التنبئي القائم على البيانات ($\phi$):

   • المفهوم: يفترض أن عدم الاستقرار الأقصى محدود بتوزيع متغير الاستجابة في بيانات التدريب.
   • الحساب: يتم اشتقاق $D_e$ من التوزيع التجريبي لاستجابات التدريب. بالنسبة للبيانات الفئوية، يستخدم نسب الفئات؛ وللبيانات الترتيبية، يستخدم دالة مسافة ترتيبية موزونة بتكرارات الفئات؛ وللبيانات المترية، يستخدم تباين استجابات التدريب.
   • القابلية للتطبيق: مناسب عندما تكون تنبؤات النموذج مقيدة بالنطاق المرصود لبيانات التدريب (مثل انحدار الغابة العشوائية القياسي).

2. الاستقرار التنبئي القائم على النموذج ($\psi$):

   • المفهوم: يفترض أن عدم الاستقرار الأقصى يتحدد من خلال توزيع التنبؤات التي يمكن للنموذج نفسه إنتاجها.
   • الحساب: يتم اشتقاق $D_e$ من تقريب تجريبي للتوزيع التنبئي للنموذج. ويتم تحقيق ذلك باستخدام تنبؤات خارج العينة (مثل تنبؤات Out-of-Bag للغابات العشوائية أو التحقق المتقاطع K-fold) لتجنب التحيز المتفائل.
   • القابلية للتطبيق: ضروري عندما يحد السلوك التنبئي للنموذج من نطاق التنبؤات مقارنة ببيانات التدريب الخام (مثل متوسط العقد النهائية في الغابات العشوائية).

المساهمات الرئيسية

• التعميم على الكائنات الفردية: على عكس ICC و Fleiss' $\kappa$، يتم تعريف المقاييس المقترحة ($\phi$ و $\psi$) على مستوى الكائن، مما يسمح بتقييم الاستقرار لكائن اختبار واحد.
• التوسع في البيانات الترتيبية: يدمج الإطار دوال المسافة الترتيبية، مما يتيح تقييم الاستقرار للاستجابات الفئوية المرتبة.
• المتانة تجاه هيكل البيانات: من خلال فصل عدم الاستقرار المتوقع عن تكوين بيانات الاختبار المحددة (باستخدام بيانات التدريب أو سلوك النموذج كمرجع)، تكون المقاييس أقل حساسية لعدم توازن الفئات وحجم العينات الصغيرة.
• التنفيذ: تم تنفيذ الإطار في حزمة R المسماة APS (الإصدار 1.0.1)، والمتاحة على CRAN.

النتائج
أسفرت الدراسات المحاكاتية باستخدام الغابات العشوائية (مع تغيير عدد الأشجار) وثلاثة أنواع من الاستجابة (مترية، عدد صحيح/ترتيبي، وفئوية) عما يلي:

• العلاقة غير الخطية: يظهر كل من $\phi$ و $\psi$ علاقة غير خطية مع عدد المتعلمين (الأشجار)، والتي يمكن نمذجتها بدقة باستخدام نموذج لوجستي ثنائي المعلمات (2PL). وهذا يسمح بتحسين عدد الأشجار للوصول إلى عتبة الاستقرار المطلوبة.
• مشكلة الانتشار: في سيناريوهات توزيع الفئات غير المتوازنة للغاية:
  • فشل Fleiss' $\kappa$ في عكس الاستقرار، حيث ظل غالباً قريباً من الصفر أو أصبح غير محدد عندما تجمعت جميع التنبؤات عند فئة واحدة.
  • حدد كل من $\phi$ و $\psi$ الاستقرار العالي بشكل صحيح (يقترب من 1) عندما كانت التنبؤات متسقة، حتى في ظل الانتشار الشديد.
• أحجام العينات الصغيرة: عند الاختبار على عينات فرعية صغيرة من بيانات الاختبار (2–30 كائناً):
  • أظهر ICC تبايناً عالياً وتحيزاً نحو الانخفاض مع وجود أقل من 15 كائناً.
  • حافظ $\psi$ (القائم على النموذج) و $\phi$ (القائم على البيانات) على قيم متوسطة مستقرة وقللوا التباين بشكل كبير (على سبيل المثال، أظهر $\psi$ انخفاضاً في الانحراف المعياري بمقدار سبعة أضعاف مقارنة بـ ICC مع كائنين فقط).
• اختلاف التحسين: بينما تبعت جميع المقاييس اتجاه 2PL، إلا أنها اقترحت أعداداً مختلفة مثالية من الأشجار. على سبيل المثال، في سيناريو الانتشار، اقترح $\phi$ حوالي 3,000 شجرة، بينما اقترح Fleiss' $\kappa$ حوالي 68,000 (أو كان غير محدد)، مما يبرز أن اختيار المقياس يؤثر على نتائج التحسين.

الأهمية والادعاءات
يزعم البحث أنه يقدم "نهجاً مبدئياً" لقياس مدى قابلية تكرار نماذج التنبؤ غير الحتمية، وهو جانب غالباً ما يتم إهماله لصالح دقة التنبؤ. ويؤكد المؤلفون على أن:

• تقييم الاستقرار أمر بالغ الأهمية لموثوقية اتخاذ القرار، خاصة في سيناريوهات التنبؤ بالكائن الواحد حيث تفشل المقاييس التقلية.
• المقاييس المقترحة تخفف من "مشكلة الانتشار" والحساسية لحجم مجموعة الاختبار التي تعاني منها معاملات الاتفاق الموجودة.
• التمييز بين الاستقرار القائم على البيانات والاستقرار القائم على النموذج يسمح للباحثين باختيار توزيع مرجعي يتوافق مع سياق النمذجة الخاص بهم (التباين المتأصل في البيانات مقابل التباين الناجم عن النموذج).
• الإطار مستقل عن النموذج وقابل للتطبيق على أي نموذج غير حتمي، رغم أن المحاكاة ركزت على الغابات العشوائية.

يخلص المؤلفون إلى أن تقييم النماذج غير الحتمية لا ينبغي أن يعتمد فقط على الدقة، بل يجب أن يتضمن تقييماً رسمياً للاستقرار التنبئي لضمان اتساق القرار.