Not Just How Much, But Where: Decomposing Epistemic Uncertainty into Per-Class Contributions

إليك ملخص تقني مفصل للورقة البحثية بعنوان "ليس فقط مقدار الشك، بل مكانه: تفكيك عدم اليقين المعرفي إلى مساهمات لكل فئة".

١. بيان المشكلة

في مهام التصنيف ذات الأهمية الحرجة للسلامة (مثل التشخيص الطبي، أو القيادة الذاتية)، غالبًا ما تكون تكلفة الفشل غير متماثلة. إن تفويت حالة نادرة وحرجة (مثل اعتلال الشبكية المهدد للبصر) هو أمر أكثر خطورة بك הרבה من الخطأ في تحديد فئة إيجابية كاذبة أو الخلط بين فئتين حميدتين.

تستخدم طرق التعلم العميق البايزي الحالية عدم اليقين المعرفي (جهل النموذج) باستخدام مقياس عددي واحد: المعلومات المتبادلة (MI). وبينما تنجح المعلومات المتبادلة في تحديد مقدار عدم اليقين، إلا أنها تفشل في الإجابة على سؤال أين يكمن هذا عدم اليقين. فالمقياس العددي للمعلومات المتبادلة لا يمكنه التمييز بين:

• الخلط بين فئتين حميدتين (خطر منخفض).
• الخلط بين فئة حميدة وفئة حرجة للسلامة (خطر مرتفع).

تعاني المحاولات الحالية لتفكيك عدم اليقين لكل فئة من مشكلة كبت الحدود (boundary suppression): حيث أن التباين الخام ($\text{Var}[p_k]$) مقيد رياضيًا بحيث يتلاشى عندما يقترب المتوسط الحسابي $\mu_k$ من 0 أو 1. وهذا يجعل التباين الخام غير موثوق للفئات النادرة (ذات $\mu_k$ المنخفضة)، وهو بالضبط المكان الذي تبرز فيه الحاجة لاتخاذ قرارات تتعلق بالسلامة.

٢. المنهجية

يقترح المؤلفون مقياسًا جديدًا، $C_k(x)$، يقوم بتفكيك إجمالي عدم اليقين المعرفي (المعلومات المتبادلة) إلى متجه من المساهمات لكل فئة.

أ. الاشتقاق النظري

تعتمد الطريقة على توسيع تايلور من الدرجة الثانية لإنتروبيا شانون $H(p)$ حول التنبؤ المتوسط $\mu$.
١. توسيع الإنتروبيا: يتم تقريب الإنتروبيا المتوقعة $E[H(p)]$ كالتالي:
$$E[H(p)] \approx H(\mu) - \frac{1}{2} \sum_{k=1}^K \frac{\text{Var}[p_k]}{\mu_k}$$
٢. تفكيك المعلومات المتبادلة: بما أن المعلومات المتبادلة تُعرف بـ $I(y; \omega | x) = H(\mu) - E[H(p)]$، فإن التوسيع يؤدي إلى:
$$I(y; \omega | x) \approx \sum_{k=1}^K C_k(x)$$
حيث يُعرَّف عدم اليقين المعرفي لكل فئة بـ:
$$C_k(x) = \frac{1}{2} \frac{\text{Var}[p_k](x)}{\mu_k(x)}$$

ب. الآليات الرئيسية

• تصحيح الحدود: يعمل الحد $1/\mu_k$ كوزن انحناء مستمد من مصفوفة هسيان (Hessian) دالة الإنتروبيا. وهو يعمل على معالجة "كبت الحدود". فعندما تقترب $\mu_k$ من الصفر، يجبر التباين المقيد $\text{Var}[p_k] \le \mu_k(1-\mu_k)$ التباين الخام على الصفر. ومع ذلك، فإن النسبة $\text{Var}[p_k]/\mu_k$ تقترب من ثابت غير صفري ($\approx 1/2$)، مما يسمح للمقياس بالحفاظ على الحساسية تجاه الفئات النادرة والحرجة.
• القابلية للإضافة: من خلال البناء، فإن مجموع كل $C_k$ يقرب إجمالي المعلومات المتبادلة العددية، مما يضمن اتساق التفكيك مع نظرية عدم اليقين الراسخة.

ج. تشخيص الموثوقية (الالتواء)

يقر المؤلفون بأن توسيع تايلور يعتمد على كون التوزيع اللاحق (posterior) متماثلًا تقريبًا. لذا قدموا تشخيصًا للالتواء (skewness diagnostic) $\rho_k$:
$$\rho_k(x) = \frac{|m_{3,k}|}{3 \mu_k \cdot \text{Var}[p_k]}$$
حيث $m_{3,k}$ هو العزم المركزي الثالث. إذا كانت قيمة $\rho_k$ عالية (على سبيل المثال، $>0.3$)، فإن تقريب الدرجة الثانية يتدهور. في هذه الحالات، يقترح المؤلفون مقياسًا بديلًا يسمى CBEC (الارتباك المعرفي عبر الحدود)، والذي يستخدم الارتباطات التجريبية بين الفئات الآمنة والفئات الحرجة بدلاً من تقريب تايلور.

٣. المساهمات الرئيسية

١. التفكيك لكل فئة ($C_k$): متجه جديد لعدم اليقين المعرفي لكل فئة، وهو قابل للجمع مع المعلومات المتبادلة ويصحح مشكلة كبت الحدود في الفئات النادرة.
٢. التحليل البديهي (Axiomatic Analysis): يثبت المؤلفون أنه بينما ينتهك $C_k$ بديهية "ثبات إزاحة الموقع" (A5)، فإن هذا الانتهاك هو ميزة ضرورية لمنع كبت الحدود، مما يجعله متفوقًا في الإعدادات الحرجة للسلامة حيث تختلف معدلات الفئات الأساسية.
٣. إطار تشخيصي: تقديم تشخيص الالتواء ($\rho_k$) لتحديد الحالات التي يكون فيها التقريب غير موثوق، بالإضافة إلى مقياس بديل قوي (CBEC) لتلك السيناريوهات.
٤. التحقق التجريبي: تقييم شامل عبر ثلاثة مجالات متميزة: التنبؤ الانتقائي، كشف القيم خارج التوزيع (OoD)، وفك الارتباط بين عدم اليقين.

٤. النتائج التجريبية

أ. التنبؤ الانتقائي (اعتلال الشبكية السكري)

• المهمة: تصنيف صور الشبكية حيث يعد تفويت الدرجة الشديدة (الدرجة ٣) أمرًا كارثيًا.
• النتيجة: استخدام $C_{crit\_max}$ (الحد الأقصى لـ $C_k$ بين الفئات الحرجة) كسياسة تأجيل (deferral policy) قلل من المخاطر الانتقائية (AUSC) بنسبة ٣٤.٧٪ مقارنة بالمعلومات المتبادلة القياسية، وبنسبة ٥٦.٢٪ مقارنة بأساليب التباين الخام.
• الاستنتاج: نجحت الطريقة في تحديد "الإخفاقات الكارثية" (التنبؤ بالدرجة ٣ على أنها درجة ٠) عن طريق تركيز الكتلة المعرفية على الفئة المتوسطة (الدرجة ٢)، وهو نمط لا يمكن رؤيته عبر المعلومات المتبادلة العددية.

ب. كشف القيم خارج التوزيع (OoD)

• المهام: FashionMNIST $\to$ KMNIST (صور) و MIMIC-III ICU $\to$ Newborn (بيانات جدولية).
• النتيجة: حقق إجمالي $\sum C_k$ أعلى قيمة AUROC في كلا المجموعتين، متفوقًا على المعلومات المتبادلة والتباين الخام.
• الاستنتاج: كشفت الرؤية لكل فئة عن تحولات توزيعية غير متماثلة. على سبيل المثال، في المهمة الطبية، كان التحول مدفوعًا بشكل أساس رئيسي بفئة "البقاء" بدلاً من فئة "الوفاة"، وهو تفصيل ضاع في المقاييس العددية.

ج. فك ارتباط عدم اليقين (ضجيج العلامات)

• المهمة: قياس مدى قدرة تقديرات عدم اليقين المعرفي على البقاء غير حساسة لضجيج البيانات (ضجيج العلامات/Labels).
• النتيجة: تحت ظروف التدريب البايزي الشامل (end-to-end)، أظهر $\sum C_k$ حساسية أقل للضجيج مقارنة بالمعلومات المتبادلة (فك ارتباط أفضل). ومع ذلك، تحت ظروف التعلم بنقل الخبرة (transfer learning) (العمود الفقري المجمد)، تدهورت كلتا الطريقتين بشكل كبير، مع زيادة فك الارتباط بمقدار عشرة أضعاف.
• الاستنتاج: جودة تقريب التوزيع اللاحق (التدريب الشامل مقابل نقل الخبرة) تؤثر على مقاييس عدم اليقين بقدر ما يؤثر اختيار المقياس نفسه.

٥. الأهمية والآثار المترتبة

• صنع القرار الحرج للسلامة: توضح الورقة أن معرفة أي فئة هي غير مؤكدة لا يقل أهمية عن معرفة مقدار عدم اليقين. وهذا يسمح باستراتيجيات تأجيل مستهدفة (مثل التأجيل فقط عندما يتم الخلط بين فئة حرجة وفئة آمنة).
• الصرامة النظرية: تقدم حلاً رياضياً لمشكلة "كبت الحدود" التي تعيق تقديرات التباين في التعلم العميق.
• الإرشاد العملي: تسلط الدراسة الضوء على أن كيفية انتشار عدم اليقين عبر الشبكة (مثل التدريب الشامل مقابل نقل الخبرة) هو عامل حاسم غالبًا ما يتم تجاهله. وهي تشير إلى أن الطرق البايزية اللاحقة (post-hoc) على الأعمدة الفقارية المجمدة قد تنتج تقديرات غير موثوقة لعدم اليقين بغض النظر عن المقياس المستخدم.
• القابلية للتفسير: يوفر التفكيك "بصمة" جديدة لأخطاء النموذج، مما يمكن المطورين من تشخيص أنماط خلط محددة (مثل "النموذج غير متأكد ما إذا كان هذا هو الدرجة ٢ أم الدرجة ٣") بدلاً من مجرد رؤية علامة عامة لـ "عدم اليقين المرتفع".

باختصار، ينتقل هذا العمل بالتعلم العميق البايزي من تقدير عددي لعدم اليقين يشبه "الصندوق الأسود" إلى إطار عمل دقيق وقابل للتفسير وواعٍ بالسلامة، ليثبت أن مكان عدم اليقين هو بُعد حيوي لضمان موثوقية الذكاء الاصطناعي في البيئات عالية المخاطر.