Weighted Bayesian Conformal Prediction

إليك ملخص تقني مفصل لورقة "Weighted Bayesian Conformal Prediction" (التنبؤ التوافقي البايزي الموزون) للباحثين شياين لو وبينغ لو.

1. بيان المشكلة

تعالج الورقة فجوة حرجة في التنبؤ التوافقي (Conformal Prediction - CP)، وهو إطار عمل لتوليد فترات تنبؤية خالية من التوزيع مع ضمانات تغطية لعينة محدودة. بينما يضمن التنبؤ التوافقي القياسي أن النتيجة الحقيقية تقع ضمن الفترة المتوقعة باحتمالية $1-\alpha$، إلا أنه يعاني من قصورين رئيسيين في السيناريوهات الواقعية:

1. انزياح التوزيع (Distribution Shift): يفترض التنبؤ التوافقي القياسي أن بيانات التدريب (المعايرة) وبيانات الاختبار مستقلة ومتماثلة التوزيع (i.i.d). وعندما يفشل هذا الافتراض (على سبيل المثال، بسبب انزياح المتغيرات التفسيرية، أو عدم التجانس المكاني، أو تكييف النطاق)، يفقد التنبؤ التوافقي القياسي صلاحيته. يحل التنبؤ التوافقي الموزون (Weighted Conformal Prediction - WCP) هذه المشكلة باستخدام أوزان الأهمية للحفاظ على التغطية، لكنه يظل نهجاً تكرارياً (Frequentist) بحتاً، حيث يخرج عتبة حتمية واحدة فقط.
2. عدم اليقين الميتافيزيقي (Meta-Uncertainty): ينتج كل من التنبؤ التوافقي القياسي وWCP تقديراً نقطياً واحداً لعرض فترة التنبؤ (العتبة $\hat{q}$). وهي لا توفر أي معلومات حول موثوقية هذه العتبة. على سبيل المثال، العتبة المستمدة من 200 نقطة معايرة ذات صلة وثيقة هي أكثر موثوقية بكثير من تلك المستمدة من 5 نقاط بعيدة، ومع ذلك تعاملها الطرق القياسية بشكل متماثل.
3. قصور النهج البايزية الحالية: العمل الأخير من Snell & Griffiths أعاد صياغة التنبؤ التوافقي كـ تربيع بايزي (Bayesian Quadrature - BQ-CP)، مما يوفر توزيعاً خلفياً (Posterior Distribution) فوق العتبة (لقياس عدم اليقين الميتافيزيقي). ومع ذلك، يعتمد BQ-CP بشكل صارم على افتراض الـ i.i.d ولا يمكنه التعامل مع الإعدادات الموزونة بالأهمية.

المشكلة الجوهرية: لا توجد طريقة حالية تقدم في آن واحد متانة تجاه انزياح التوزيع (عبر الأوزان) وتكميم عدم اليقين الميتافيزيقي (عبر التوزيع الخلفي البايزي للعتبة).

2. المنهجية: التنبؤ التوافقي البايزي الموزون (WBCP)

يقترح المؤلفون إطار عمل WBCP، الذي يعمم BQ-CP على إعدادات الأهمية الموزونة التعسفية.

الرؤية الجوهرية

تستبدل هذه الطريقة توزيع "ديريكليه" المنتظم المستخدم في BQ-CP بـ توزيع ديريكليه موزون.

• BQ-CP (i.i.d): ينمذج المسافات الكمية كـ $V \sim \text{Dir}(1, \dots, 1)$.
• WBCP (الموزون): ينمذج المسافات الكمية كـ $V \sim \text{Dir}(n_{\text{eff}} \cdot \tilde{w}_1, \dots, \text{n}_{\text{eff}} \cdot \tilde{w}_n)$.

هنا:

• $\tilde{w}_i$ هي أوزان الأهمية المعيرة (مثل نسب الاحتمالية لانزياح المتغيرات أو أوزان النواة للبيانات المكانية).
• $n_{\text{eff}}$ هو حجم العينة الفعال لكيش (Kish's effective sample size)، ويُحسب كالتالي:
  $$n_{\text{eff}} = \frac{(\sum w_i)^2}{\sum w_i^2}$$
  يعمل هذا المعامل كـ معلم تركيز (Concentration Parameter) لتوزيع ديريكليه.

التبرير النظري

1. البوتستراب البايزي الموزون (Weighted Bayesian Bootstrap): يتم تبرير البناء عبر البوتستراب البايزي الموزون (Newton & Raftery, 1994). عندما تكون الأوزان موحدة، يكون $n_{\text{eff}} = n$، ويستعيد WBCP نموذج BQ-CP القياسي.
2. مطابقة التباين (Variance Matching): يثبت المؤلفون أن $n_{\text{eff}}$ هو معلم التركيز الفريد الذي يضمن مطابقة التباين الخلفي البايزي لـ تباين العينات التكراري للمقدر الموزون.
   • $n_{\text{eff}}$ مرتفع (عينات فعالة كثيرة) $\leftarrow$ توزيع خلفي مركز (عدم يقين ميتافيزيقي منخفض).
   • $n_{\text{eff}}$ منخفض (عينات فعالة قليلة) $\leftarrow$ توزيع خلفي منتشر (عدم يقين ميتافيزيقي مرتفع).

الخوارزمية

1. المدخلات: درجات المعايرة $\{\rho_i\}$ والأوزان $\{w_i\}$.
2. الحساب: حساب $n_{\text{eff}}$ والأوزان المعيرة.
3. أخذ العينات: أخذ $M$ من المتجهات $u^{(m)}$ من $\text{Dir}(n_{\text{eff}} \cdot \tilde{w}_1, \dots, n_{\text{eff}} \cdot \tilde{w}_n)$.
4. وضع العتبة: لكل عينة، حساب العتبة $\lambda^{(m)}$ المقابلة للكمي $(1-\alpha)$ للمسافات الموزونة.
5. المخرجات:
   • $\lambda_{\text{HPD}}$: عتبة أعلى كثافة خلفية (HPD)، توفر ضماناً مشروطاً بالبيانات.
   • $\sigma_{\text{post}}$: الانحراف المعياري الخلفي، لتكميم عدم اليقين الميتافيزيقي.
   • $n_{\text{eff}}$: عدد عينات المعايرة الفعالة التي تدعم التقدير.

3. المساهمات الرئيسية

تقدم الورقة أربع مساهمات نظرية رئيسية وتطبيقاً عملياً واحداً:

1. تعميم BQ-CP: يوسع WBCP إطار التربيع البايزي ليشمل الإعدادات غير المتماثلة التوزيع (non-i.i.d) عن طريق ربط أوزان الأهمية بمعلمات تركيز ديريكليه.
2. الإثباتات النظرية:
   • اتساق المعايرة: يثبت أن $n_{\text{eff}}$ هو عامل القياس الوحيد الذي يطابق التباينات التكرارية والبايزية.
   • تركيز التوزيع الخلفي: يثبت أن الانحراف المعياري الخلفي يتلاشى بمعدل $O(1/\sqrt{n_{\text{eff}}})$. وهذا يؤسس رابطاً مباشراً بين جودة البيانات وموثوقية تقدير عدم اليقين.
   • الهيمنة العشوائية الموزونة: يوسع ضمان الهيمنة العشوائية لـ BQ-CP إلى إعدادات ملفات الأوزان لكل حالة، مما يضمن صحة الضمانات المشروطة لملفات أوزان محددة.
   • حد التغطية الشرطية: يوضح أن عتبة HPD تحسن التغطية الشرطية بمقدار $O(1/\sqrt{n_{\text{eff}}})$ عن المعدل الهامشي، ويكون التحسن أكثر أهمية حيث يكون $n_{\text{eff}}$ منخفضاً (أي حيث تكون الطرق القياسية أقل موثوقية).
3. التربيع البايزي الجغرافي (GeoBCP): يطبق المؤلفون WBCP في التنبؤ المكاني. باستخدام أوزان مكانية قائمة على النواة (kernel-based)، يولد GeoBCP:
   • خرائط $n_{\text{eff}}$: لتصور المناطق التي تكون فيها بيانات المعايرة كثيفة مقابل المناطق الشحيحة.
   • خرائط $\sigma_{\text{post}}$: لتصور المناطق التي تكون فيها فترات التنبؤ "ضيقة بثقة" مقابل "ضيقة مع عدم يقين".
4. التحقق التجريبي: أظهرت التجارينات الواسعة على مجموعات البيانات الاصطناعية والواقعية (أسعار المنازل في سياتل) أن WBCP يحافظ على ضمانات التغطية مع توفير معلومات عدم يقين أغنى بكثير من CP القياسي، أو CP الموزون، أو BQ-CP.

4. النتائج

• البيانات الاصطناعية: حافظت متغيرات WBCP على تغطية أعلى من الهدف (90%) مع توفير تشخيصات خلفية. ارتبط الانحراف المعياري الخلفي ($\sigma_{\text{post}}$) بقوة مع هياكل الضوضاء المعروفة (معامل بيرسون $r < -0.9$)، مما يؤكد أنه يعكس جودة البيانات بأمانة.
• البيانات الواقعية (أسعار المنازل في سياتل):
  • التغطية: حقق GeoBCP تغطية تقارب 95% (متجاوزاً الهدف 90%) مع زيادة طفيفة في عرض الفترة مقارنة بـ GeoCP القياسي.
  • التشخيصات: نجحت الطريقة في التمييز بين المراكز الحضرية (high $n_{\text{eff}}$, low $\sigma_{\text{post}}$) والمناطق الطرفية (low $n_{\text{eff}}$, high $\sigma_{\text{post}}$).
  • المقارنة: على عكس CP القياسي أو CP الموزون، قدم WBCP توزيعاً خلفياً كاملاً، مما يسمح للمستخدمين برؤية أن الفترة الضيقة في منطقة شحيحة البيانات هي في الواقع عالية عدم اليقين.

5. الأهمية

يسد هذا العمل فجوة نظرية أساسية بين المتانة التكرارية (التعامل مع انزياح التوزيع) وتكميم عدم اليقين البايزي (عدم اليقين الميتافيزيقي).

• الأثر العملي: في التطبيقات عالية المخاطر (مثل التشخيص الطبي، القيادة الذاتية، العقارات)، فإن معرفة مدى موثوقية فترة التنبؤ لا تقل أهمية عن الفترة نفسها. يسمح WBCP للممارسين بتحديد المناطق التي تكون فيها التنبؤات غير مدعومة إحصائياً (low $n_{\text{eff}}$) وتفعيل جمع بيانات مستهدف أو اتخاذ قرارات أكثر تحفظاً.
• التقدم النظري: يحل مشكلة القيد المفروض على BQ-CP بإزالة شرط الـ i.i.d، مما يجعل التنبؤ التوافقي البايزي قابلاً للتطبيق في مجموعة واسعة من المشكلات الواقعية التي تتضمن انزياح المتغيرات التفسيرية وعدم التجانس المكاني.
• القابلية للتفسير: إن تقديم $n_{\text{eff}}$ و $\sigma_{\text{post}}$ كأدوات تشخيصية يحول التنبؤ التوافقي من مولد فترات "صندوق أسود" إلى نظام قابل للتفسير يتواصل بشأن جودة معايرته الخاصة.