Measures of predictive accuracy, miscalibration and discrimination

ملخص تقني: مقاييس الدقة التنبؤية، وعدم المعايرة، والتمييز

بيان المشكلة
تتناول الورقة البحثية تقييم المتنبئات النقطية ذات القيم الحقيقية لمتوسط متغير استجابة $Y$. وضمن الإطار النظري للقرار الذي وضعه جنيتينغ (Gneiting, 2011)، يعتمد تقييم التنبؤات النقطية على دوال خسارة متسقة، وتحديداً تباعدات بريجمان (Bregman divergences)، حيث يكون التنبؤ الأمثل هو المتوسط الشرطي. وبينما يعد التوقع المفقود (الدقة) هو المعيار الأساسي للتقييم، يجب أن تُظهر التنبؤات الجيدة أيضاً معايرة متوسطة (أي أن المتنبئ يساوي المتوسط الشرطي) وتمييزاً عالياً (أي أن المتنبئ يتفاوت بشكل كبير عن المتوسط غير الشرطي).

حدد المؤلفون فجوة في الأدبيات المتعلقة بالمقاييس العملية واسعة الاستخدام: المساحة بين منحنيي التركيز ولورينز (ABC) لقياس عدم المعايرة، ومؤشر جيني (Gini index) للتمييز، ومتغيراتها المربعة. وعلى الرغم من شعبية هذه المقاييس في العلوم الاكتوارية وتعلم الآلة، إلا أن توافقها النظري مع متطلبات قواعد التسجيل المتسقة في نظرية القرار غير واضح. وبشكل محدد، من غير المعروف ما إذا كانت هذه المقاييس توفر تقييمات "صادقة" لا تعتمد على المتنبئ المحدد الذي يتم تقييمه.

المنهجية
تعمل الدراسة ضمن إطار نظري للقرار حيث $(Y, X)$ زوج عشوائي، و$X$ هو متنبئ يقاس بـ $\mathcal{A}$، و$L$ هي دالة خسارة متسقة للمتوسط. يستخدم المؤلفون:

1. تباعدات بريجمان: والتي تتميز بدوال محدبة $\phi$ أو كتكامل لتباعدات بريجمان أولية $L_\theta$ بالنسبة لمقياس $H$.
2. تحلل ميرفي (Murphy's Decomposition): وهو تحليل لتوقع الخسارة إلى مكونات: عدم اليقين، والتمييز، وعدم المعايرة.
3. منحنيات لورينز والتركيز: وهي أدوات قياسية لقياس عدم المساواة والمعايرة في السياقات الاكتوارية.
4. الهيمنة العشوائية (Stochastic Dominance): باستخدام الهيمنة العشوائية من الدرجة الثالثة وخصائص منحنيات ميرفي لتحليل هيمنة التنبؤ عند تقاطع المنحنيات.

المساهمات والنتائج الرئيسية

1. نسخة جديدة من تحليل ميرفي
اشتق المؤلفون تمثيلاً جديداً لتحلل ميرفي حيث تعتمد مصطلحات عدم المعايرة والتمييز فقط على المتنبئ وتوقعه الشرطي، وليس على الاستجابة $Y$ بشكل مباشر.

• عدم المعايرة ($MCB$): تُعرف بأنها $S_L(E[Y|X], X)$، وتقيس التفاوت بين المتنبئ ونسخته المعايرة.
• التمييز ($DSC$): يُعرف بأنه $S_L(E[Y|X], E[Y])$، ويقيس التفاوت بين المتنبئ المعاير والمتوسط غير الشرطي.
• الأهمية: يوفر هذا الصياغة تفسيراً هندسياً أكثر حدسية ومتانة تجاه خصائص ذيل الاستجابة، حيث لا تظهر الاستجابة $Y$ صراحة في الإحصائيات بمجرد تحديد المتوسط الشرطي.

2. نقد ABC و ABC2 (مقاييس عدم المعايرة)
تبحث الورقة في إحصائية ABC (المساحة بين منحنيي لورينز والتركيز) وتقدم نسخة جديدة مربعة المتوسط، ABC2.

• محددات ABC: يثبت المؤلفون أن $ABC=0$ هو شرط ضروري ولكنه ليس كافياً للمعايرة المتوسطة. يمكن أن يكون للمتنبئ $ABC=0$ بينما يكون غير معاير (على سبيل المثال، عندما يتقاطع منحنى لورينز ومنحنى التركيز).
• خصائص ABC2: ثبت أن $ABC2=0$ هو شرط ضروري وكافٍ للمعايرة المتوسطة.
• عدم التوافق النظري: من المهم ملاحظة أن كلاً من ABC و ABC2 يعتمدان على أوزان تعتمد على المتنبئ. لا يمكن تمثيل هذين المقياسين كخسارة متوقعة لتباعد بريجمان واحد ثابت. وبالتالي، فإنهما يفشلان في التوافق مع الإطار النظري لقواعد التسجيل المتسقة. وتوضح الورقة أن تقليل تباعدات بريجمان الموزونة بأوزان تعتمد على المتنبئ يمكن أن يؤدي إلى تنبؤات "غير صادقة"، حيث يُفضل متنبئ متحيز على آخر غير متحيز.

3. نقد مؤشر جيني (مقياس التمييز)
يربط المؤلفون مؤشر جيني بمصطلح التمييز من تحليل ميرفي.

• التحلل: تبين أن مؤشر جيني هو مجموع مصطلح تمييز ميرفي (القائم على تباعد بريجمان خاص بالمتنبئ) بالإضافة إلى مصطلح متوسط الانحراف المطلق.
• عدم التوافق النظري: وبالمثل بالنسبة لـ ABC، فإن مؤشر جيني يتضمن دالة خسارة تعتمد على توزيع المتنبئ نفسه ($H(\theta) = F_X(\theta)$). وكما أشار هاند (Hand, 2009) فيما يتعلق بالتصنيف، فإن هذا يعني أن مؤشر جيني يقيم المصنفات المختلفة باستخدام مقاييس مختلفة، مما ينتهك مبدأ قواعد التسجيل المتسقة.
• تضارب التصنيف: تقدم الورقة أمثلة حيث يختلف ترتيب المتنبئات بواسطة مؤشر جيني عن ترتيبها بواسطة مصطلح تمييز ميرفي، لا سيما عندما تتقاطع منحنيات لورينز.

4. هيمنة التنبؤ مع المنحنيات المتقاطعة
إدراكاً منها بأن منحنيات لورينز غير المتقاطعة (الهيمنة الصارمة) نادرة في الممارسة العملية، وسع المؤلفون النظرية لتشمل الحالات التي تتقاطع فيها المنحنيات.

• تكافؤ التقاطعات: ثبت أنه بالنسبة للمتنبئات ذات المعايرة المتوسطة، فإن عدد نقاط التقاطع بين منحنيات لورينز هو نفسه عدد نقاط التقاطع بين منحنيات ميرفي.
• هيمنة التقاطع الواحد: في حالة التقاطع الواحد، وضع المؤلفون معايير هيمنة أضعف لفئات فرعية من تباعدات بريجمان باستخدام الهيمنة العشوائية من الدرجة الثالثة.
• دور التباين: على عكس مؤشر جيني، الذي يفشل في توفير تصنيف متسق في حالة التقاطع الواحد، يتم تحديد التصنيف بواسطة تباين المتنبئات وفئة تباعد بريجمان المحددة (المتميزة بخصائص التحدب للدالة المولدة $\phi$). وتحديداً، بالنسبة لفئات معينة من دوال الخسارة (مثل خسائر تودي (Tweedie) مع معاملات محددة)، قد يهيمن المتنبئ ذو التباين الأعلى على المتنبئ ذي التباين الأقل، أو العكس، اعتماداً على انحناء دالة الخسارة.

الأهمية والادعاءات
تجادل الورقة بأنه على الرغم من أن مقاييس مثل ABC و ABC2 ومؤشر جيني هي مقاييس معلوماتية وشعبية في الممارسة العملية، إلا أنها معيبة نظرياً للنمذجة والتقييم تحت الإطار النظري لقرار جنيتينغ (2011).

• التقييم غير الصادق: نظرًا لأن هذه المقاييس تعتمد على أوزان تعتمد على المتنبئ، فهي لا تشكل قواعد تسجيل متسقة، وقد تؤدي إلى اختيار متنبئات دون المستوى أو "غير صادقة".
• التوصية: يدعو المؤلفون إلى استخدام إحصائيات عدم المعايرة والتمييز المستمدة من تحليل ميرفي (القائمة على تباعدات بريجمان ثابتة) كأدوات مفضلة لتقييم التنبؤات النقطية. تتوافق هذه المقاييس مع المتطلب النظري للقرار بأن دالة الخسارة يجب أن تكون مستقلة عن المتنبئ المحدد الذي يتم تقييمه.
• الآثار العملية: عندما تتقاطع منحنيات لورينز، يكون مؤشر جيني غير كافٍ للتصنيف؛ وبدلاً من ذلك، يجب مراعاة فئة تباعد بريجمان ذات الصلة بالتطبيق وخصائص التباين للمتنبئات.

تخلص الورقة إلى أن التمثيل الجديد لتحلل ميرفي يقدم أساساً قوياً وقابلاً للتفسير وسليماً نظرياً لتقييم التنبؤ، وهو يتفوق على المقاييس التقليدية القائمة على المنحنيات في سياق التسجيل المتسق.