Cost-Sensitive Conformal Prediction and Human-in-the-Loop Abstention for Imbalanced High-Stakes Decision Support: A Multi-Domain Benchmark

ملخص تقني: التنبؤ بالتوافق الحساس للتكلفة والامتناع بوجود الإنسان في الحلقة لدعم القرار عالي المخاطر غير المتوازن

بيان المشكلة
تعمل أنظمة اتخاذ القرار عالية المخاطر في مجالات مثل التقييم الائتماني، وكشف الاحتيال، والرعاية الصحية، والسلامة الصناعية تحت ظروف عدم توازن شديد في الفئات وتكاليف خطأ غير متماثلة. في هذه السياقات، غالبًا ما تتجاوز تكلفة الخطأ من النوع الثاني (مثل تفويت معاملة احتيالية أو مرض خطير) تكلفة الخطأ من النوع الأول (مثل إنذار كاذب) بمراحل. وبينما توفر نماذج التصنيف القياسية تنبؤات نقطية أو درجات ثقة، إلا أنها غالبًا ما تفشل في قياس عدم اليقين الحقيقي للتنبؤ، مما يؤدي إلى قرارات مؤتمتة محفوفة بالمخاطر.

يوفر "التنبؤ بالتوافق" (Conformal Prediction - CP) إطار عمل خالي من التوزيع لتقدير عدم اليقين، مما يضمن أن التسمية الحقيقية تقع ضمن مجموعة التنبؤ باحتمالية لا تقل عن $1-\alpha$. ومع ذلك، فإن التنبؤ بالتوافق الهامشي (Marginal CP) يوفر الصلاحية فقط عند المتوسط عبر توزيع البيانات بأكمله. وفي حالات عدم التوازن، يؤدي هذا إلى نمط فشل حرج: حيث يحقق المتنبئ هدف التغطية العالمي عبر المبالغة في تغطية الفئة الأكثر شيوعًا، بينما يعاني بشدة من نقص التغطية للفئة الأقل شيوعًا وعالية التكلفة. تُظهر الأدلة التجريبية في هذه الدراسة أن التنبؤ بالتوافق الهامشي يمكن أن يخفض تغطية الفئة الأقل شيوعًا إلى أقل من 1% في حالات عدم التوازن الشديد، مما يترك الحالات النادرة ولكن الحرجة دون حماية.

المنهجية
يقترح المؤلفون إطار عمل شامل يدمج بين التنبؤ بالتوافق الشرطي للفئة (Mondrian Conformal Prediction) والامتناع المتحكم فيه بالتكلفة.

1. التنبؤ بالتوافق من نوع موندريان (Mondrian Conforal Prediction): لمعالجة عجز تغطية الفئة الأقل شيوعًا، تقوم هذه الطريقة بتقسيم مجموعة المعايرة إلى مجموعات فرعية خاصة بكل فئة ($D^{(0)}_{cal}$ و $D^{(1)}_{cal}$). ويتم حساب كميات عدم التطابق المستقلة ($q_0$ و $q_1$) لكل فئة على حدة. يضمن هذا أن ضمان التغطية $P(Y \in \hat{C}(X) \mid Y=y) \geq 1-\alpha$ يتحقق لكل فئة بشكل فردي، وليس فقط بشكل هامشي.
2. آلية الامتناع المتحكم فيها بالتكلفة: يقوم النظام بربط مخرجات مجموعة التنبؤ بإجراءات بناءً على مصفوفة تكلفة غير متماثلة ($C_{FN}, C_{FP}$):
   • إذا كانت مجموعة التنبؤ مكونة من عنصر واحد (مثل $\{0\}$ أو $\{1\}$)، ينفذ النظام القرار المؤتمت.
   • إذا كانت مجموعة التنبؤ غامضة (متعددة التسميات $\{0, 1\}$) أو فارغة ($\emptyset$)، يمتنع النظام ويحيل الحالة إلى خبير بشري.
   • ينمذج الإطار التكلفة المتوقعة للإحالة، مع مراعاة التكلفة التشغيلية للمراجعة ومعدلات الخطأ البشري المحتملة ($\epsilon_{hum}$).
3. تحليل نقطة التعادل: يشتق المؤلفون عتبة مغلقة الصيغة ($C^*_{rev}$) تمثل الحد الأقصى لتكلفة المراجعة التي يكون عندها إحالة الحالات الغامضة إلى البشر عملية ذات جدوى اقتصادية مقارنة بالمتنبئات النقطية القياسية أو ضبط عتبة "بايز" الأمثل للتكلفة.

المعيار التجريبي
تجري الدراسة تقييمًا تجريبيًا صارمًا عبر:

• 15 مجموعة بيانات من العالم الحقيقي: مستمدة من OpenML، تغطي مجالات التمويل، والرعاية الصحية، والسلامة الصناعية، والمراقبة البيئية، مع نسب عدم توازن تتراوح من 2.3:1 إلى 580:1.
• 7 مصنفات أساسية: تشمل HistGradientBoosting، وLogistic Regression، وRandom Forest، وExtra Trees، وGradient Boosting، وAdaBoost، وGaussian Naive Bayes.
• 3 تقنيات معايرة: غير معايرة (Uncalibrated)، وPlatt Scaling، وIsotonic Regression.
• النطاق: 3,150 تجربة إجمالية (10 بذور عشوائية لكل تكوين).

النتائج الرئيسية

1. استعادة تغطية الفئة الأقل شيوعًا: حقق التنبؤ بالتوافق الهامسي متوسط تغطية للفئة الأقل شيوعًا بنسبة 30.5% فقط، وغالبًا ما انخفضت إلى أقل من 1% في مجموعات البيانات شديدة الاختلال (مثل aps_failure). في المقابل، قام التنبؤ بالتوافق من نوع موندريان باستعادة التغطية بشكل منهجي، محققًا متوسط تغطية للفئة الأقل شيوعًا بنسبة 92.2%. ويمثل هذا تحسنًا متوسطًا قدره 61.7 نقطة مئوية مقارنة بالتنبؤ بالتوافق الهامسي ($p < 10^{-80}$).
2. خفض التكلفة: أدى ربط التنبؤ بالتوافق من نوع موندريان مع الامتناع المتحكم فيه بالتكلفة إلى تقليل تكلفة القرار المتوقعة لكل حالة بشكل كبير. عند تكلفة مراجعة بشرية متوسطة ($C_{rev} = 0.5$)، حققت الطريقة المقترحة متوسط تكلفة قدره 0.313، وهو ما يمثل انخفاضًا بنسبة 54.1% مقارنة بالتصنيف النقطي الافتراضي، وانخفاضًا بنسبة 38.6% مقارنة بعتبات التكلفة المضبوطة وفقًا لـ "بايز".
3. عتبات نقطة التعادل: قامت الدراسة بقياس عتبات نقطة التعادل الخاصة بكل مجموعة بيانات للمراجعة البشرية. وأظهرت أنه حتى مع وجود مراجعة بشرية بها ضجيج ($\epsilon_{hum} > 0$)، تظل الإحالة مفيدة اقتصاديًا طالما ظل معدل الخطأ البشري أقل من 18% تقريبًا في ظل معايير التشغيل القياسية.
4. المتانة: كانت استعادة التغطية وفوائد التكلفة متسقة عبر جميع المصنفات السبعة وطرق المعايرة الثلاث، مما يؤكد الطبيعة المستقلة عن النموذج (Model-agnostic) لهذا النهج.

الأهمية والادعاءات
يزعم البحث تقديم مبادئ قابلة للتطبيق لنشر التقييم الكمي لعدم اليقين القائم على التكلفة والخالي من التوزيع في أنظمة دعم القرار القائمة على المعرفة. وتتمثل مساهماته الرئيسية في:

• القياس الكمي التجريبي: إثبات أن التنبؤ بالتوافق الهامسي غير كافٍ جوهريًا للمهام عالية المخاطر غير المتوازنة بسبب النقص الشديد في تغطية الفئة الأقل شيوعًا.
• الحل المنهجي: إثبات أن التنبؤ بالتوافق من نوع موندريان يستعيد صلاحية التغطية للفئات النادرة دون الحاجة إلى إعادة تدريب معقدة للنماذج.
• الإطار الاقتصادي: إنشاء رابط رسمي بين مخرجات مجموعات التنبؤ (Set-valued outputs) وتكاليف القرار المالي/السريري، واستخلاص عتبات محددة يكون فيها الإحالة للبشر (Human-in-the-loop) أفضل اقتصاديًا من الضبط الآلي.
• إرشادات النشر: تقديم بنية نظام من أربعة مستويات لدمج هذه الأساليب في بيئات المؤسسات، بما في ذلك اعتبارات حدود القدرة البشرية (نظرية الطوابير) وتحولات التوزيع.

يخلص المؤلفون إلى أنه بينما تعتمد الطريقة على البيانات الجدولية وتفترض التبادلية (Exchangeability)، إلا أنها توفر نهجًا قويًا ومؤسسًا نظريًا لإدارة عدم اليقين والتكلفة في سيناريوهات صنع القرار الحرجة حيث تحمل الأخطاء النادرة عواقب غير متناسبة. كما يُقترح العمل المستقبلي في الاستنتاج التكيفي عبر الإنترنت، وتوجيه النماذج اللغوية الكبيرة (LLM) المساعد، والتوسعات الواعية للعدالة، والتعميم متعدد الفئات.