Density-Ratio Losses for Post-Hoc Learning to Defer

بيان المشكلة
يعالج "التعلم من أجل التأجيل" (Learning to Defer - L2D) التحدي المتمثل في نشر نماذج تعلم الآلة (ML) في المجالات عالية المخاطر (مثل الرعاية الصحية، والتمويل) حيث تكون الموثوقية أمراً بالغ الأهمية. الهدف هو تمكين النموذج من الامتناع عن تقديم تنبؤ، وبدلاً من ذلك، التأجيل إلى خبير (بشري محتمل) عندما يُعتبر مخرج النموذج غير موثوق. وبينما يسمح "التعلم من أجل الرفض" (Learning to Reject - L2R) للنماذج بالامتناع بناءً على ثقتها الخاصة، فإن L2D يدمج الخبير صراحةً في عملية التدريب لتعلم متى من المرجح أن يتفوق الخبير على النموذج.

هناك قيد حاسم في تعلم الآلة الحديث وهو وضع "ما بعد التدريب" (post-hoc)، حيث يكون النموذج الأساسي $h$ ثابتاً ومُدرباً مسبقاً، ويتم تعلم آلية التأجيل (الرافض $r$) فقط. إن إعادة تدريب النماذج الكبيرة غالباً ما تكون مكلفة للغاية. تعتمد الأساليب الحالية لما بعد التدريب غالباً على قواعد استدلالية بسيطة (مثل عتبات الثقة) أو تحاول تقدير أهداف مقارنة الخبير النقطية (التنبؤ بمتى يكون الخبير صحيحاً والنموذج غير صحيح). ومع ذلك، يمكن لهذه الطرق أن تفشل في ظل تغير التوزيعات أو عندما يكون الخبراء متخصصين. علاوة على ذلك، تتطلب العديد من الطرق الحالية إعادة التدريب لتعديل معدل التأجيل، مما يحد من قدرتها على التكيف.

المنهجية
يقترح البحث إطار عمل جديد لـ L2D في مرحلة ما بعد التدريب يعتمد على التوزيعات المثالية وتقدير نسبة الكثافة.

1. التوزيعات المثالية: يعرّف المؤلفون "التوزيع المثالي" بأنه إعادة وزن للتوزيع الحقيقي للبيانات $P$ منظمة بالتباعد (divergence-regularized) والتي يحقق تحتها زوج من المصنف وخسارة معينة خسارة منخفضة. وقد قدموا نوعين:

   • المثالي الهامشي ($Q_m$): يتم تحسينه عبر فضاء الملاحظات $X$.
   • المثالي المشترك ($Q_j$): يتم تحسينه عبر الفضاء المشترك $X \times Y$.
     بالنسبة لتباعد كولباك - ليبلر (KL)، تظهر هذه المثليات كإعادة وزن ضربي لتوزيع البيانات، حيث تعتمد الأوزان على الخسارة المتوقعة للمصنف (أو الخبير) تحت التوزيع البايزي للفئة (Bayes class-posterior).

2. قاعدة التأجيل بنسبة الكثافة: بدلاً من تعلم رافض ثنائي بشكل مباشر، يعرّف المؤلفون التأجيل من خلال مقارنة التوزيعات المثالية للنموذج $h$ والخبير $h^{(e)}$. يتم اتخاذ قرار التأجيل عن طريق وضع عتبة لـ نسبة الكثافة $\rho(x) = \frac{dQ_i(x)}{dQ^{(e)}_i(x)}$.

   • إذا كان من الأفضل تفسير الملاحظة $x$ بواسطة التوزيع المثالي للخبير (أي أن النسبة منخفضة)، فإن النموذج يؤجل.
   • يضمن هذا النهج فصل المُقيّم (مقَدِّر نسبة الكثافة) عن عتبة التأجيل، مما يسمح بتعديل معدل التأجيل بعد التدريب دون الحاجة لإعادة تدريب المُقيّم.

3. الروابط النظرية:

   • قاعدة تشو (Chow's Rule): بالنسبة للمثليات الهامشية لتباعد KL، تستعيد القاعدة المستمدة قاعدة "تشو" الكلاسيكية تحت توزيع البيانات الأصلي.
   • البعد الخلفي المائل للخبير (Expert-Tilted Posterior): بالنسبة لمثليات KL المشتركة، تقابل القاعدة قراراً بأسلوب "تشو" تحت توزيع "مائل للخبير". هذا التوزيع يعيد وزن الملصقات بناءً على خسارة الخبير، مما يدمج فعلياً الميزة النسبية للخبير في قرار التأجيل.
   • اختبار الفرضيات: يتم تأطير قاعدة التأجيل كاختبار فرضية "نايمان - بيرسون" للتمييز بين التوزيع المثالي للنموذ و التوزيع المثالي للخبير.

4. خسائر DR CPE: بما أن التوزيعات المثالية تعتمد على التوزيع البايزي المجهول وتتطلب الوصول إلى الخبير عند كل نقطة (وهو أمر غير متاح وقت الاختبار)، فلا يمكن للمؤلفين استخدام الحلول ذات الصيغة المغلقة. بدلاً من ذلك، قاموا باختزال تقدير نسبة الكثافة (DRE) إلى تقدير احتمالية الفئة (CPE).

   • اشتقوا عائلة من خسائر DR CPE ($L_m$ و $L_j$) تسمح بتعلم نسبة الكثافة بين التوزيعات المثالية للنموذج والخبير عبر مهمة تصنيف ثنائي.
   • ثبت أن خسارة DR CPE المشتركة ($L_j$) قابلة للتقدير عملياً وتعمل كحد علوي للخسارة الهامشية ($L_m$).
   • يوضح البحث روابط بين هذا النهج وطرق تقدير مقارنة الخبير الأخرى (مثل الانحدار على الفرق في دقة الخطأ والصواب "zero-one") وكشف الشذوذ.

المساهمات الرئيسية

• الصياغة التوزيعية: يقدم البحث إطار عمل لـ L2D في مرحلة ما بعد التدريب يعتمد على مقارنة التوزيعات المثالية للنموذج والخبير، بدلاً من التقدير المباشر للأداء عند كل نقطة.
• المثليات الهامشية مقابل المشتركة: يحلل البحث التمييز بين التوزيعات المثالية الهامشية والمشتركة، موضحاً أن القاعدة المشتركة تقابل التأجيل تحت توزيع مائل للخبير، وهو أمر ذو معنى عملي لأنه يأخذ في الاعتبار نقاط القوة المحددة للخبير.
• خسائر DR CPE: اشتق المؤلفون عائلة جديدة من دالات الخسارة (DR CPE) تتيح تعلم قواعد التأجيل عبر تقدير احتمالية الفئة القياسي، مما يسد الفجوة بين التوزيعات المثالية النظرية والتعلم العملي.
• القابلية للتكيف: يفصل المنهج بين المُقيّم والعتبة، مما يسمح بتعديل معدلات التأجيل دون الحاجة لإعادة التدريب.

النتائج التجريبية
قيم المؤلفون نهج DR CPE الخاص بهم على مجموعات بيانات CIFAR-100 و MedMNIST تحت إعدادات فساد مختلفة (ضجيج الملصقات، توزيعات الذيل الطويل، والمجموعات الفرعية المتخصصة).

• التنافسية: يؤدي نهج DR CPE أداءً تنافسياً ضد القواعد المرجعية الشائعة، بما في ذلك الاستدلالات القائمة على الثقة، وطرق خسارة البديل ذات المرحلتين، ومقدرات مقارنة الخبير.
• المتانة: أظهر المنهج متانة فائقة عبر تركيبات فساد البيانات المختلفة مقارنة بالقواعد المرجعية. على سبيل المثال، بينما تعاني الطرق الأخرى بشكل كبير في المجموعات الفرعية المتخصصة (مثل DermaMNIST specialist)، يحافظ DR CPE على أداء مستقر.
• الدراسة الاستقصائية (Ablation): تظهر التجارب أن اختيار دالة الخسية (مثل Generalized Cross-Entropy أو Probabilistic Zero-One) ومعلم درجة الحرارة $\gamma$ يؤثر على الأداء، لكن نهج DR CPE المشترك يظل متيناً.

الأهمية والادعاءات
يدعي البحث أنه يصيغ L2D في مرحلة ما بعد التدريب كمسألة تعلم نسبة الكثافة بين التوزيعات المثالية. هذا المنظور:

• يجسد الفجوة بين قواعد "تشو" الكلاسيكية وطرق مقارنة الخبير الحديثة.
• يوضح الروابط مع مجالات التعلم ذات الصلة مثل كشف الشذوذ.
• يوفر منهجاً راسخاً نظرياً ومتيناً من الناحية العملية وقابلاً للتكيف، مما يعالج قيود إعادة تدريب النماذج الكبيرة وعدم استقرار الاستدلالات البسيطة في البيئات ذات التحولات العالية.

يشير المؤلفون إلى أنه على الرغم من أن نهجهم لا يوفر حالياً ضمانات الاتساق (consistency guarantees) للخسائر البديلة (وهو قصور نظري مقارنة ببعض الطرق التي تعمل من البداية للنهاية)، إلا أنه يقدم حلاً عملياً ومتيناً للتأجيل في مرحلة ما بعد التدريب، والذي يستفيد بفعالية من معلومات الخبير دون الحاجة إلى إعادة تدريب كامل للنموذج.