Why Empirical p-Values Are Not Uniform: Reference Samples, Dependence, and PIT Backtesting

ملخص تقني: لماذا لا تتبع القيم الاحتمالية التجريبية (p-Values) توزيعاً منتظماً

بيان المشكلة
تتناول الورقة البحثية تعارضاً جوهرياً بين الخصائص النظرية لتحويل التكامل الاحتمالي (PIT) وتطبيقاته العملية في التحقق من صحة النماذج واختبارات العودة (Backtesting). نظرياً، إذا كان $X$ متغيراً عشوائياً مستمراً بدالة توزيع تراكمي (CDF) هي $F_X$، فإن المتغير المتحول $F_X(X)$ يتبع توزيعاً منتظماً على الفترة $[0, 1]$. هذه الخاصية هي ما يستند إليه استخدام تحويلات الـ PIT والقيم الاحتمالية التجريبية لتقييم معايرة التوزيعات التنبؤية، وهو ممارسة متبعة على نطاق واسع في مجالات تتراوح من التنبؤ بالمجموعات (Ensemble Forecasting) إلى إدارة المخاطر المالية (مثل توجيهات البنك المركزي الأوروبي).

ومع ذلك، في الممارسة العملية، تكون الدالة $F_X$ الحقيقية غير معروفة. وبناءً على ذلك، يضطر الممارسون إلى تقدير المئويات باستخدام عينات مرجعية محدودة. وتجادل الورقة بأن خطوة التقدير هذه تغير بشكل جذري البنية الإحصائية للمسألة. وتحديداً، فإن معاملة المئويات التجريبية كعينات مستقلة من توزيع منتظم هو أمر غير صحيح؛ إذ لا تتبع الإحصاءات الناتلة التوزيع المنتظم المتوقع حتى في ظل المواصفات الصحيحة للنموذج، مما يبطل صلاحية اختبارات جودة المطابقة أحادية العينة الكلاسيكية (مثل اختبار كولموغوروف-سميرنوف) عند تطبيقها مباشرة على هذه القيم التجريبية.

المنهجية
يستخدم المؤلف مزيجاً من التفكيك النظري ومحاكاة مونت كارلو لتحليل الخصائص التوزيعية للقيم الاحتمالية التجريبية تحت ثلاثة أطر تنفيذ متميزة:

1. عينة شرطية واحدة (مرجع ثابت): يتم تقييم جميع الملاحظات مقابل عينة مرجعية واحدة ثابتة بحجم $n$. ويتم بناء المئوية التجريبية $\hat{p}(x)$ عبر الاستيفاء (Interpolation) للإحصاءات الرتبية لهذه العينة المرجعية.
2. العينات المرجعية المستقلة: يتم تقييم كل ملاحظة مقابل عينة مرجعية متميزة ومستقلة. يحاكي هذا الإطار نهج "مخطط التكرار الرتبي" (Rank Histogram) المستخدم في التنبؤ بالمجموعات.
3. إطار النافذة المتدحرجة (Rolling Window): يتم حساب القيم الاحتمالية التجريبية باستخدام نافذة متحركة من الملاحظات السابقة، حيث تدخل كل ملاحظة جديدة إلى المجموعة المرجعية للتقييمات اللاحقة.

يعتمد التحليل على تفكيك دالة التوزيع التجريبي للقيم المتحولة، $F_m$، بالنسبة للتوزيع المنتظم $F_U$. وتستخدم الورقة نظرية دونسر (Donsker's theorem) لتوصيف السلوك التقاربي للعمليات التجريبية، وتقارن إحصاءات كولموغوروف-سميرنوف (KS) والنتائج المترتبة عليها بالقيم المقابلة لها نظرياً.

المساهمات والنتائج الرئيسية

• تفكيك التباين (المرجع الثابت):
  توضح الورقة أنه عند استخدام عينة مرجعية واحدة، يكون التوزيع التجريبي للقيم المتحولة عبارة عن تراكب لمصدرين من مصادر العشوائية:
  1. التباين في أخذ العينات من الملاحظات التي يتم تقييمها (بترتيب $O_p(m^{-1/2})$).
  2. خطأ التقدير الناتج عن العينة المرجعية المحدودة (بترتيب $O_p(n^{-1/2})$).

يتم التعبير عن التفكيك بالمعادلة $F_m - F_U = (F_m - \tilde{F}) + (\tilde{F} - F_U)$، حيث $\tilde{F}$ هو التوزيع العشوائي الناجم عن العينة المرجعية. وتظهر النتائج أن إحصائية KS الناتجة تتصرف تقاربياً مثل إحصائية KS لعينة ثنائية بدلاً من كونها إحصائية لعينة واحدة. وتؤكد التجارب العددية أن تشتت القيم الاحتمالية التجريبية وإحصاءات KS الناتجة عنها لا يمكن تمييزها تقريباً عن تلك الناتجة عن مقارنة عينتين مستقلتين. وبناءً على ذلك، فإن تطبيق اختبارات التوحيد أحادية العينة القياسية يؤدي إلى استدلال مشوه ومعدلات رفض منتظمة.

• التخفيف عبر العينات المستقلة:
  في الإطار الذي تمتلك فيه كل ملاحظة عينتها المرجعية المستقلة الخاصة بها، يتلاشى ضجيج التقدير المرتبط بالعينات المرجعية عبر الملاحظات. وتظهر الورقة أنه في هذا الإعداد، يتبع تشتت المئويات التجريبية بدقة تشتت المئويات الدقيقة. ورغم وجود الضجيج، إلا أن القيم المتحولة تحتفظ بالخصائص الإحصائية للعينة الأساسية، ويظل الارتباط بين إحصاءات KS الدقيقة والتجريبية واضحاً.

• الاعتماد في النوافذ المتدحرجة:
  يؤدي تنفيذ النافذة المتدحرجة إلى إدخال الارتباط الذاتي وتقليص التباين. ولأن كل ملاحظة تحدد قيمتها الاحتمالية الخاصة ومن ثم تدخل في المجموعة المرجعية للتقييمات المستقبلية، فإن تسلسل القيم الاحتمالية التجريبية لا يعود مستقلاً. وتشير المحاكاة إلى أنه عندما يكون عدد الملاحظات التي يتم تقييمها ($m$) مقارباً لحجم النافذة ($n$)، فإن الارتباط بين إحصاءات KS للقيم الدقيقة والتجريبية ينقطع. وتظهر القيم الاحتمالية التجريبية تقلباً منخفضاً بشكل منهجي مقارنة بالقيم الاحتمالية الحقيقية، مما يجعل إجراءات اختبار العودة القياسية مضللة.

الأهمية والادعاءات
تدعي الورقة أن عدم التطابق الهيكلي بين تحويلات PIT النظرية وتقديراتها التجريبية يبطل إمكانية التطبيق المباشر لإجراءات جودة المطابقة الكلاسيكية في سياقات اختبار العودة القياسية. تكمن الأهمية الأساسية لهذا العمل في تحديد أن القيم الاحتمالية التجريبية ليست سحبات منتظمة مستقلة، بل هي محكومة بـ بنية أخذ عينات ذات مرحلتين.

وتخلص الورقة إلى أن:

1. تطبيقات العينة المشتركة تحول المشكلة فعلياً إلى مقارنة بين عينتين، مما يتطلب طرق معايرة منقحة تأخذ في الاعتبار حجم العينة المرجعية وتباينها.
2. تطبيقات النافذة المتدحرجة تُدخل هياكل اعتماد معقدة (ارتباط ذاتي) تزيد من تشويه الاستدلال الإحصائي.
3. إجراءات اختبار العودة التنظيمية والعملية الحالية القائمة على الـ PIT تتطلب مراجعة لتأخذ في الاعتبار هذه التشوهات الناتجة عن التقدير، لا سيما عندما تكون العينات المرجعية محدودة ومشتركة عبر الملاحظات.

لا تقترح الورقة إحصائية اختبار جديدة محددة، بل تدعو بدلاً من ذلك إلى إعادة تقييم توزيع الفرضية الصفرية في الأطر الحالية ليعكس الطبيعة ثنائية العينة أو التابعة لعملية توليد البيانات.