Robust Conditional Conformal Prediction via Branched Normalizing Flow

ملخص تقني: التنبؤ التوافقي المتين عبر التدفق الطبيعي المتفرع

1. بيان المشكلة

يوفر التنبؤ التوافقي (Conformal Prediction - CP) مجموعات تنبؤية مع ضمانات تغطية هامشية تحت فرضية أن بيانات المعايرة والاختبار مستقلة وموزعة بشكل متماثل (i.i.d.). ومع ذلك، في ظل وجود تحولات في التوزيع (حيث يختلف توزيع الاختبار $Q_{XY}$ عن توزيع المعايرة $P_{XY}$)، تفشل الطرق الحالية عادةً في ضبط التوزيعات الشرطية، حيث تكتفي بمحاذاة توزيعات الدرجات التوافقية الهامشية فقط. وبينما يحافظ هذا على التغطية الهامشية، فإنه يفشل في التحكم في خطأ التغطية الشرطية عند مدخلات اختبار فردية. ونتيجة لذلك، قد تصبح مجموعات CP غير موثوقة في مناطق محددة حيث تكون توزيعات الدرجات الشرطية غير متطابقة، مما يؤدي إما إلى نقص في التغطية أو تغطية مفرطة في حالات معينة. التحدي الجوهري هو ضمان ضمانات تغطية شرطية متينة ($Pr(Y \in C(X) | X=x) \ge 1-\alpha$) تحت تحولات التوزيع المشترك دون الحاجة إلى معرفة تسميات الاختبار الحقيقية أثناء الاستدلال.

2. المنهجية

يقدم الحل المقترح إطاراً نظرياً يربط بين تحول التوزيع وتدهور التغطية الشرطية، وهيكلية مبتكرة للتخفيف من حدة ذلك.

الإطار النظري:

• فجوة التغطية الشرطية (CCG): يعرّف المؤلفون CCG لقياس التباين بين التغطية الشرطية لمدخل اختبار تحت $Q_{XY}$ مقابل الضمان تحت $P_{XY}$.
• فجوة التغطية المتكاملة (ICG): تُعرّف بأنها القيمة المتوقعة لـ CCG عبر توزيع ميزات الاختبار $Q_X$، وهي تعمل كمقياس متانة شامل.
• حد وايسرستاين (Wasserstein Bound): يستنتج البحث حداً أعلى لـ ICG باستخدام مسافة وايسرستاين ($W$) بين توزيعات المعايرة والاختبار المشتركة ($P_{XY}$ و $Q_{XY}$). وتحديداً، $ICG(P, Q) \le \sqrt{2\kappa L} (\eta \cdot W(P_{XY}, Q_{XY}) + 1/4)$. يشير هذا الحد إلى أن تقليل مسافة وايسرستاين بين التوزيعات يمكن أن يعزز نظرياً التغطية الشرطية المتينة.

الخوارزمية: التدفق الطبيعي المتفرع (Branched Normalizing Flow - BNF)
لتطبيق حد وايسرستاين عملياً، يقترح المؤلفون التدفق الطبيعي المتفرع (BNF)، وهو رسم خرائط عكسي $f_\theta(x, y) = (f_{\theta_X}(x), f_{\theta_Y}(y))$ مصمم لتحويل توزيع الاختبار إلى توزيع يطابق توزيع المعايرة $P_{XY}$.

• الهيكلية: يستخدم BNF فرعين مستقلين. يقوم فرع $X$ ($f_{\theta_X}$) بتطبيع مدخلات الاختبار، بينما يقوم فرع $Y$ ($f_{\theta_Y}$) بتحويل التسميات. ومن الأهمية بمكان أن الفروع لا تشترك في المعلمات، مما يضمن أن تحويل $X$ لا يعتمد على تسمية الاختبار غير المرصودة $Y$.
• عملية الاستدلال:
  1. تحويل مدخل الاختبار $X_{n+1}$ إلى مدخل مُطبّع $\bar{X}_{n+1} = f_{\theta_X}(X_{n+1})$.
  2. إنشاء مجموعة تنبؤ شرطية $CC(\bar{X}_{n+1})$ باستخدام توزيع المعايرة $P_{XY}$ (على سبيل المثال، عبر انحدار الكميات التوافقي - CQR).
  3. تحويل المجموعة عكسياً إلى فضاء الاختبار باستخدام $f_{\theta_Y}^{-1}$ للحصول على مجموعة التنبؤ المتينة النهائية $C_{BNF}(X_{n+1})$.
• BNF المعزز (Augmented BNF): للتعامل مع التوزيعات المعقدة حيث لا تكفي التحويلات أحادية المتغير الرتيبة (المطلوبة للتحويل العكسي البسيط)، يقدم المؤلفون BNF المعزز. يضيف هذا المتغير مكون ضوضاء عشوائي $\epsilon \sim \mathcal{N}(0,1)$ إلى تحويل فرع $Y$ ($f_{\theta_Y}^{aug}(y; \epsilon)$). هذا يزيد من القدرة التعبيرية ولكنه يتطلب حل مشكلة البحث عن الجذور (أو البحث الشبكي) أثناء الاستدلال لبناء مجموعة التنبؤ، نظراً لأن التحويل لم يعد رتيباً بشكل صارم.
• التعميم عبر المجالات متعددة المصادر (MSDG): في السيناريوهات التي يكون فيها توزيع الاختبار خليطاً من $K$ من توزيعات المصدر، تقوم الطريقة بتقليل متوسط مسافة وايسرستاين بين مجموعة المعايرة ومجموعات المصدر المحولة، بافتراض أوزان خلط منتظمة.

3. المساهمات الرئيسية

1. تكميم المتانة: يوفر تعريف فجوة التغطية الشرطية (CCG) وفجوة التغطية المتكاملة (ICG) مقياساً نظرياً لتقييم متانة التغطية الشرطية تحت تحول التوزيع.
2. الحد النظري: استنتاج حد أعلى لـ ICG بدلالة مسافة وايسرستاين بين التوزيعات المشتركة، مما يؤسس رابطاً نظرياً بين تقليل النقل والحفاظ على التغطية الشرطية.
3. التدفق الطبيعي المتفرع (BNF): تقديم هيكلية عكسية ذات فرعين تتيح تحويل مدخلات الاختبار إلى توزيع يشبه المعايرة دون الحاجة إلى تسميات الاختبار، مما يحافظ على الضمانات الشرطية عند التحويل العكسي.
4. BNF المعزز: امتداد باستخدام التعزيز العشوائي لتحسين قدرة الملاءمة للتوزيعات المعقدة، مقترناً بطريقة لاستعادة الضمانات الشرطية رغم فقدان الرتابة.

4. النتائج التجريبية

تم تقييم الطريقة على تسعة مجموعات بيانات تغطي التحولات الاصطناعية والتحديات الواقعية (توقعات المبيعات، التنبؤ بحركة المرور، اتخاذ القرار الطبي، ونمذجة الأوبئة) ضمن إعدادات التعميم عبر المجالات متعددة المصادر (MSDG).

• المقاييس: تم قياس الأداء باستخدام التغطية الهامشية، وتغطية أسوأ شريحة (WSC)، وفجوة تغطية أسوأ شريحة (WSCG) المقترحة، والتي تعاقب كلاً من نقص وتجاوز التغطية.
• النتائج:
  • المتانة: حقق BNF المعزز مع انحدار الكميات التوافقي (CQR) باستمرار أدنى قيم لـ WSCG عبر جميع مجموعات البيانات ومستويات الثقة، متفوقاً على النماذج المرجعية بما في ذلك Split CP و Importance-Weighted CP و Worst-Case CP و Wasserstein-Regularized CP.
  • التغطية: حافظت الطريقة على التغطية الهامشية و WSC بالقرب من مستوى الثقة المستهدف ($1-\alpha = 0.9$) مع تقليل الانحراف عن الهدف بشكل كبير في الشرائح الشرطية.
  • الكفاءة: بينما أنتج BNF المعزز القياسي مجموعات تنبؤ أكبر لمراعاة عدم اليقين في المصدر، فإن نسخة "المعززة بالشرط" (التي تشترط على المصدر المعروف أثناء الاستدلال) قللت بشكل كبير من حجم المجموعات مع الحفاظ على التغطية.
  • التعميم: أظهرت الطة متانة عبر أحجام العينات المتفاوتة، وأعداد مصادر المجالات ($K$) المختلفة، ومستويات الثقة المختلفة.

5. الأهمية والادعاءات

يدعي البحث أن أهميته الأساسية تكمن في معالجة تدهور التغطية الشرطية للتنبؤ التوافقي تحت تحول التوزيع، وهي مشكلة لم تعالجها الطرق الحالية التي تركز على الجوانب الهامشية. من خلال وضع حد لعدم الصلاحية الشرطية عبر مسافة وايسرستاين وتنفيذ ذلك عبر تدفق متفرع عكسي، يوفر العمل آلية قائمة على أسس نظرية وفعالة تجريبياً لضمان بقاء التقييم الكمي لعدم اليقين موثوقاً للمدخلات الاختبارية الفردية، حتى عندما تتحول توزيعات البيانات. يضع المؤلفون هذا كخطوة نحو تطبيقات الذكاء الاصطناعي الأكثر أماناً في المجالات الحرجة (مثل الرعاية الصحية، وحركة المرور، ونمذجة الأوبئة) حيث تكون تحولات التوزيع حتمية وتكون الموثوقية الشرطية أمراً بالغ الأهمية.

يقر البحث بوجود قيود، بما في ذلك التكلفة الحسابية للبحث عن الجذور في BNF المعزز، والطبيعة العشوائية لمجموعات التنبؤ، والقيود الهيكلية التي تتطلب مدخلات متعددة المتغيرات. كما يشير إلى أنه بينما يتم إعادة استخدام بيانات المعايرة لتدريب التدفق (وهو ما قد يسبب تحيزاً في الضبط)، إلا أن دراسات الاستئصال تشير إلى أن تأثير ذلك ضئيل في الممارسة العملية.