Courtroom Analogy: New Perspective on Uncertainty-Aware Classification

ملخص تقني: تشبيه قاعة المحكمة: منظور جديد لليقين في التصنيف

بيان المشكلة
غالبًا ما تنتج نماذج تعلم الآلة الحديثة تنبؤات مفرطة في الثقة تفشل في عكس اليقين التنبئي، مما يشكل مخاطر كبيرة في المجالات عالية الخطورة. وبينما برزت طرق التكميم أحادي المسار (single-pass) لتقدير اليقين (Uncertainty Quantification - UQ)، ولا سيما التعلم العميق الدليل (Evidential Deep Learning - EDL)، كبدائل فعالة للأسالين المعتمدة على أخذ العينات، إلا أنها تواجه قيدًا حاسمًا: فهي تركز أساسًا على تعزيز القدرة التعبيرية لتوزيع المخرجات (عادةً توزيع ديريكليه - Dirichlet distribution) دون تقديم رؤية واضية حول كيفية هيكلة وتجميع اليقين. وبناءً على ذلك، غالبًا ما تسفر الطرق الحالية عن تقديرات يقين ذات قدرة تفسيرية ضعيفة، مما يجعل من الصعب التمييز بين المصادر المختلفة لليقين (مثل نقص الأدلة مقابل التفسيرات المتضاربة).

المنهجية: تشبيه قاعة المحكمة وMoDEX
يقترح المؤلفون إطارًا مفاهيميًا جديدًا للتصنيف الواعي باليقين يعتمد على "تشبيه قاعة المحكمة". من هذا المنظور، يتم نمذجة التصنيف كجدل مهيكل بين $K$ من المحامين (المدافعين)، حيث يمثل كل محامٍ تسمية فئة محتملة.

1. العملية التوليدية:

   • آراء المحامين: يشكل كل محامٍ $k$ رأيًا احتماليًا حول متجه احتمال الفئة $\pi$. ويتم نمذجة هذا الرأي كتوزيع ديريكليه، $Dir(\pi | \alpha_k)$.
   • التفكيك المهيكل: لضمان القابلية للتوسع والتفسير، يتم تفكيك معامل التركيز $\alpha_k$ لكل محامي إلى مكونين:
     • الأدلة المشتركة ($\alpha$): إيمان أساسي يعكس حقائق القضية الموضوعية التي يلاحظها جميع المحامين.
     • المرافعة الخاصة بالفئة ($\tau_k$): كتلة تركيز إضافية يخصصها المحامي $k$ لفئته الخاصة، وهي تمثل الحجج التفسيرية أو التأطير الانتقائي الفريد لتلك الفئة.
   • التجميع: الحكم النهائي هو مزيج من هذه الآراء، الموزونة بأوزان معقولية تعتمد على المدخلات $\omega(x)$. رياضياً، التوزيع التنبئي هو مزيج مهيكل من توزيعات ديريكليه:
     $$p(\pi | x) = \sum_{k=1}^K \omega_k(x) \text{Dir}(\pi | \alpha(x) + \tau_k(x)e_k)$$

2. بنية MoDEX:
   لتحويل هذا الإطار إلى واقع، قدم المؤلفون Mixture of Dirichlet Experts (MoDEX)، وهي بنية عصبية أحادية المسار. عند إعطاء مدخل $x$، يتنبأ MoDEX بثلاث مجموعات من المعلمات عبر رؤوس عصبية خفيفة الوزن:

   • رأس التركيز (Concentration Head): يتنبأ بالأدلة الأساسية المشتركة $\alpha(x)$.
   • رأس البوابة (Gating Head): يتنبأ بأوزان المعقولية للمزيج $\omega(x)$.
   • رأس قوة المرافعة (Advocacy-Strength Head): يتنبأ بقوة المرافعة الخاصة بالفئة $\tau(x)$.
     تحدد هذه المعلمات نموذجًا احتماليًا متماسكًا يكافئ توزيع (Extended Flexible Dirichlet - EFD).

3. التدريب ومقاييس اليقين:

   • دالة الهدف: يتم تدريب MoDEX باستخدام دالة خسارة مركبة تتكون من: (i) متوسط مربع الخطأ (MSE) على المتوسط التنبئي، (ii) تنظيم يعتمد على مقياس براير (Brier-score) على $\omega(x)$ لمنع الأوزان المتدهورة، و (iii) تنظيم التباعد (KL-divergence) على $\tau(x)$ لتوجيه المرافعة الخاصة بالفئة.
   • تفكيك اليقين: يقوم الإطار بفصل اليقين صراحةً إلى:
     • اليقين العرضي (Aleatoric Uncertainty): إنتروبيا التوزيع التنبئي من الدرجة الأولى المستحث (الغموض المتبقي في الحكم النهائي).
     • اليقين الإبستمي (Epistemic Uncertainty): إجمالي تباين التوزيع من الدرجة الثانية، والذي يمكن تفكيكه أيضًا إلى اليقين بين الخبراء (الاختلاف بين المحامين) واليقين داخل الخبير (عدم الدقة داخل الأفراد بسبب ضعف الأدلة).

المساهمات الرئيسية

• الإطار المفاهيمي: تقديم تشبيه قاعة المحكمة الذي يوفر آلية متجذرة دلاليًا لنمذجة تجميع اليقين، مما ينقل التركيز من مجرد عائلات التوزيع ذات القدرة التعبيرية إلى اليقين المستحث بنيويًا.
• بنية MoDEX: شبكة عصبية مبتكرة أحادية المسار تحقق تشبيه قاعة المحكمة، وتوفر بديلًا فعالًا من حيث المعلمات ($O(K)$) وقابلًا للتفسير لنموذج EDL القياسي.
• التقدم النظري:
  • التعميم: إثبات أن MoDEX يتقلص إلى EDL و F-EDL القياسيين تحت إعدادات معينة، مما يجعله تعميمًا مبدئيًا للنماذج الحالية.
  • التفسيرات المزدوجة: إثبات أن MoDEX يقبل رؤيتين متكافئتين: (i) مجموعة موزونة من $K$ من خبراء EDL، و (ii) مزيج من متنبئ EDL أساسي ومتنبئ softmax.
  • تفكيك اليقين: إثبات أن اليقين الإبستمي يتفكك طبيعيًا إلى مكونات "بين الخبراء" و"داخل الخبراء"، مما يلتقط مصادر متعددة لليقين.
• الأداء: أظهر أداءً متفوقًا في مختلف الاختبارات، بما في ذلك الإعدادات القياسية، والبيانات طويلة الذيل (long-tailed)، والبيانات المشوشة (noisy).

النتائج التجريبية
أُجريت تجارب مكثفة على CIFAR-10، وCIFAR-100، وCIFAR-10-LT (طويلة الذيل)، وDMNIST-LT (مشوشة وطويلة الذيل).

• الإعدادات القياسية وطويلة الذيل: حقق MoDEX دقة تصنيف متفوقة وتفوق على متغيرات EDL الحديثة (مثل I-EDL، R-EDL، F-EDL) في مهام كشف الخطأ في التصنيف وكشف البيانات خارج التوزيع (OOD). ومن الملاحظ أنه في الإعدادات شديدة طول الذيل ($\rho=0.01$)، خفف MoDEX بشكل كبير من انحياز الفئات الرائدة (head-class bias)، محافظًا على كشف قوي للبيانات خارج التوزيع (OOD) حيث فشلت الطرق الأخرى.
• انزياح التوزيع: أظهر MoDEX قدرة قوية على كشف انزياح التوزيع (CIFAR-10-C)، حيث يزدะد اليقين الإبستمي باستمرار مع زيادة شدة الفساد/التشويه.
• الكفاءة: كطريقة أحادية المسار، يحافظ MoDEX على أوقات استنتاج مقاربة لـ EDL و F-EDL، متفوقًا بشكل كبير على الطرق المعتمدة على أخذ العينات مثل Deep Ensembles و MC Dropout من حيث الكفاءة الحسابية مع تحقيق أداء تنافسي أو متفوق في UQ.
• التحليل النوعي: أظهرت عمليات التصور لمدخلات الفئات الذيلية الغامضة أن MoDंखला يمكنه فصل الأدلة المشتركة عن المرافعة الخاصة بالفئة، مما يمنع انحياز الفئات الرائدة من تشويه الأدلة الأساسية ويوفر تقديرات يقين قابلة للتفسير تتوافق مع توزيعات التسميات البشرية.

الأهمية والادعاءات
يزعم البحث أن MoDEX يقدم إطارًا مبدئيًا للتصنيف الواعي باليقين يوازن بين الكفاءة الحسابية والقدرة العميقة على التفسير. من خلال هيكلة تجميع اليقين عبر تشبيه قاعة المحكمة، يُمكّن MoDEX الممارسين من تشخيص مصدر اليقين (مثل التمييز بين آراء الخبراء المتضاربة ونقص الأدلة). يضع المؤلفون MoDEX ليس كوسيلة لاستعادة توزيع فريد من الدرجة الثانية من الإشراف بنمط (one-hot) وحده، بل كنموذج يستحث إشارات يقين مهيكلة وذات مغزى من خلال انحيازاته البنيوية. يعالج هذا النهج الطبيعة "الصندوق الأسود" لمتغيرات EDL السابقة، مما يوفر آلية شفافة لكيفية تشكيل وتجميع اليقين التنبئي، وهو أمر بالغ الأهمية للنشر الموثوق في التطبيقات الحرجة للسلامة.