Post-Selection Distributional Model Evaluation

إليك ملخص تقني مفصل لورقة البحث "Post-Selection Distributional Model Evaluation" (تقييم النماذج التوزيعي بعد الاختيار) من إعداد أمير محمد فرزانة وأوسبالدو سيميون.

1. بيان المشكلة

تعالج الورقة فجوة حرجة في التقييم الرسمي للنماذج: عدم القدرة على تقدير التوزيع الكامل لمؤشرات الأداء الرئيسية (KPIs) بشكل موثوق بعد أن يتم اختيار النموذج مسبقاً بناءً على نفس البيانات.

• السياق: في العديد من التطبيقات (مثل نشر النماذج اللغوية الكبيرة LLMs، أو تقسيم شبكات الاتصالات)، لا يحتاج المستخدمون فقط لمعرفة ما إذا كان النموذج يحقق هدفاً ثابتاً واحداً (مثل "زمن الاستجابة < 100 مللي ثانية")، بل يحتاجون بدلاً من ذلك إلى استكشاف المقايضة بين الأداء والموثوقية عبر التوزيع بأكمله (مثل "ما هو زمن الاستجابة عند المئوية 99؟").
• التحدي:
  1. الأهداف غير المعروفة: مستوى الموثوقية الأمثل (مثل احتمال الفشل المقبول $\gamma$) غالباً ما يكون غير معروف مسبقاً.
  2. تحيز ما بعد الاختيار (Post-Selection Bias): لاختيار أفضل النماذج المرشحة من مجموعة كبيرة، يلجأ الممارسون غالباً إلى استخدام نفس مجموعة البيانات لعمليتي الاختيار (فحص النماذج) والتقييم (تقدير توزيع مؤشر الأداء الرئيسي).
  3. فشل الطرق الساذجة: تطبيق فترات الثقة القياسية (مثل تلك القائمة على متباينة Dvoretzky–Kiefer–Wolfowitz) على بيانات استُخدمت في عملية الاختيار يؤدي إلى تقديرات متفائلة للغاية وضمانات إحصائية غير صالحة (حيث يقع التوزيع الحقيقي خارج نطاق الثقة بشكل أكثر تكراراً مما هو متوقع).
  4. عدم كفاءة تقسيم العينات (Splitting): العلاج القياسي، وهو تقسيم العينات (استخدام جزء من البيانات للاختيار وجزء آخر للتقييم)، يضمن الصلاحية الإحصائية ولكنه يقلل بشكل كبير من حجم العينة المتاحة للتقدير، مما يؤدي إلى نطاقات ثقة واسعة وغير مفيدة.

2. المنهجية: PS-DME

يقترح المؤلفون إطار عمل "تقييم النماذج التوزيعي بعد الاختيار" (PS-DME)، وهو إطار يتيح إعادة استخدام البيانات بالكامل مع الحفاظ على الصلاحية الإحصائية الصارمة.

المفهوم الجوهري

يقوم PS-DME ببناء نطاقات ثقة لدالة التوزيع التراكمي (CDF) لمؤشر الأداء الرئيسي للنماذج المختارة مسبقاً، مع ضمان التحكم في معدل التغطية الخاطئة (FCR).

• تعريف FCR: هو الجزء المتوقع من النماذج المختارة التي يفشل نطاق الثقة في تغطية دالة التوزيع التراكمي (CDF) الحقيقية لها. الهدف هو ضمان أن $FCR \leq \delta$.
• الآلية (قيم E-Values):
  • على عكس قيم p-values التقليدية، فإن قيم e-values هي إحصائيات تسمح بالاستدلال الصحيح حتى عندما يتم اختيار مستوى المعنوية بعد رؤية البيانات (الاختيار اللاحق).
  • يستخدم PS-DME دالة معايرة e-calibrator $f(\cdot)$ لتحويل قيم p-values المستمدة من إحصائية Kolmogorov-Smirnov إلى قيم e-values.
  • من خلال عكس اختبار قيمة e-value، تقوم الطريقة ببناء نطاقات ثقة $[L_k(x), U_k(x)]$ لدالة التوزيع التراكمي $F_k(x)$ لكل نموذج مختار $k$.

الخوارزمية

1. ما قبل الاختيار: قاعدة تعتمد على البيانات $S(\cdot)$ تختار مجموعة فرعية من النماذج $\mathcal{K}$ من أصل $K$ من المرشحين باستخدام مجموعة البيانات الكاملة $D$.
2. الاستدلال داخل العينة: باستخدام مجموعة البيانات بأكملها $D$ (وليس تقسيمها)، يحسب PS-DME دالة التوزيع التراكمي التجريبية $\hat{F}_k(x)$.
3. بناء النطاق: يقوم ببناء نطاقات ثقة موحدة:
   $$L_k(x) = \max\{0, \hat{F}_k(x) - \varepsilon_k\}$$
   $$U_k(x) = \min\{1, \hat{F}_k(x) + \varepsilon_k\}$$
   حيث يتم حساب عرض النطاق $\varepsilon_k$ باستخدام المعاير $f^{-1}$ لأخذ تحيز الاختيار في الاعتبار:
   $$\varepsilon_k = \sqrt{\frac{1}{2n_k} \log\left( \frac{2}{f^{-1}\left(\frac{K}{\delta|\mathcal{K}|}\right)} \right)}$$
   حيث $f^{-1}$ هو المعكوس العام للمعير، و $|\mathcal{K}|$ هو عدد النماذج المختارة.

تنفيذ بديل

تناقش الورقة أيضاً نسخة تستخدم إحصائيات Berk-Jones (BJ) بدلاً من متباينة DKW. نطاقات BJ تعتمد على المدخلات (أضيق في الذيول، وأوسع في المركز) ويمكن أن توفر قدرة أكبر على التكيف مع أشكال التوزيع المحددة، رغم أنها تتطلب حسابات أكثر تعقيداً.

3. المساهمات الرئيسية

1. إطار عمل مبتكر: تقديم PS-DME، وهو أول إطار عام للتقييم التوزيعي الصالح إحصائياً بعد أي عملية اختيار نماذج تعتمد على البيانات.
2. إعادة استخدام البيانات بالكامل: يثبت أن استخدام مجموعة البيانات بأكملها لكل من الاختيار والاستدلال أمر ممكن دون التضحية بالصلاحية، بشرما تم استخدام قيم e-values.
3. ضمانات نظرية: يثبت أن PS-DME يتحكم في FCR عند المستوى $\delta$ لأي قاعدة اختيار.
4. تحليل الكفاءة: يقدم مقارنة نظرية تظهر أن PS-DME ينتج نطاقات ثقة أضيق من طريقة تقسيم العينات (SS-DME) عندما يكون حجم العينة محدوداً أو مجموعة الاختيار صغيرة، حيث تفوق الفائدة من استخدام العينة الكاملة تكلفة تصحيح ما بعد الاختيار.
5. التحقق العملي: تجارب مكثفة عبر البيانات الاصطناعية، وفك ترميز النماذج اللغوية الكبيرة (LLM decoding)، وشبكات الاتصالات.

4. النتال التجريبية

قام المؤلفون بالتحقق من صحة PS-DME عبر ثلاث مجالات متميزة:

• البيانات الاصطناعية (الانحدار الخطي):

  • الإعداد: 2,000 نموذج انحدار ridge تم اختيارها مسبقاً بناءً على متوسط مربع الخطأ (MSE).
  • النتيجة: نجح PS-DME في التحكم في FCR (على عكس الطريقة الساذجة داخل العينة). والأهم من ذلك، أنتج PS-DME نطاقات ثقة أضيق بكثير من تقسيم العينات (SS-DME)، خاصة في ظروف العينات الصغيرة ($n=20$)، مما سمح باختيار نماذج ذات أداء مضمون أفضل.

• فك ترميز النماذج اللغوية الكبيرة (Text-to-SQL):

  • الإعداد: 43 تكويناً لنموذج Qwen2.5-7B (تتنوع فيها معاملات درجة الحرارة، و top-p، واستراتيجيات فك الترميز مثل Best-of-N و Iterative Refinement) تم تقييمها على معيار Spider.
  • النتيجة: قدم PS-DME باستمرار "مؤشر أداء مضمون" (خسارة/loss) أقل (أفضل) عبر مختلف مستويات الموثوقية مقارنة بـ SS-DME. وهذا يثبت القدرة على اختيار استراتيجيات فك ترميز عالية الجودة بشكل موثوق دون الإفراط في التخصيص (overfitting) لمجموعة التحقق.

• شبكة الاتصالات (O-RAN):

  • الإعداد: تقييم 18 تكويناً للشبكة فيما يتعلق بإشغال الذاكرة المؤقتة (buffer occupancy) في بيئة تشبه شبكات 5G.
  • النتيجة: قدم PS-DME حدوداً أضيق على دالة التوزيع التراكمي لإشغال الذاكرة المؤقتة. في ظروف البيانات القليلة، فشلت SS-DME في تقديم ضمانات مفيدة بسبب ندرة البيانات، بينما حافظ PS-DME على حدود ضيقة وصالحة.

• زمن استجابة الخادم (سجلات HTTP):

  • الإعداد: تحليل توزيعات وقت الاستجابة لمسارات طلب مختلفة.
  • النتيجة: أظهر حساسية عرض نطاق الثقة لاختيار معامل المعاير $\tau$، حيث أظهرت القيم المتوسطة غالباً أضيق نطاقات ممكنة.

5. الأهمية والأثر

• تحول في النموذج الفكري: ينقل تقييم النماذج من مجرد "نجاح/فشل" مقابل عتبة ثابتة إلى استكشاف توزيعي للمقايضات بين الأداء والموثوقية.
• كفاءة الموارد: يحل مشكلة "ندرة البيانات" في اختيار النماذج. في السيناريوهات التي تكون فيها البيانات مكلفة أو محدودة (مثل سجلات الاتصالات في العالم الحقيقي، أو استدعاء LLM)، يستخرج PS-DME قيمة أكبر من كل نقطة بيانات مقارنة بتقسيم العينات.
• الموثوقية: يُمكّن المهندسين من اتخاذ قرارات النشر بـ يقين إحصائي فيما يتعلق بمخاطر الذيول (مثل القيم المتطرفة في زمن الاستجابة)، وهو أمر بالغ الأهمية للأنظمة الحساسة للسلامة واتفاقيات مستوى الخدمة (SLAs).
• العمومية: إطار العمل محايد تجاه قاعدة الاختيار المحددة أو طبيعة مؤشر الأداء الرئيسي، مما يجعله قابلاً للتطبيق على نطاق واسًع من أنظمة تعلم الآلة والأنظمة الهندسية.

باختصار، يقدم PS-DME حلاً رياضياً صارماً لمشكلة "الاستخدام المزدوج" (double-dipping) في تقييم النماذج، مما يسمح للممارسين باستكشاف مشهد أداء النماذج وموثوقيتها بالكامل بأمان وكفاءة.