Neyman-Pearson multiclass classification under label noise via empirical likelihood

إليك ملخص تقني مفصل لورقة البحث "تصنيف نيمان-بيرسون متعدد الفئات تحت ضجيج التسميات عبر الاحتمالية التجريبية" (Neyman-Pearson multiclass classification under label noise via empirical likelihood) من تأليف تشانغ، وتيان، ولي.

1. بيان المشكلة

تتناول الورقة مشكلة تصنيف نيمان-بيرسون متعدد الفئات (NPMC) في ظل وجود ضجيج في التسميات (Label Noise).

• إطار عمل NPMC: على عكس التصنيف القياسي الذي يقلل الخطأ الإجمالي، يسعى تصنيف NPMC إلى إيجاد مصنف $\phi$ يقلل من مخاطر التصنيف الخاطئ الموزونة مع فرض حدود عليا صارمة ($\alpha_k$) على معدلات الخطأ لفئات محددة $k \in S$. وهذا أمر بالغ الأهمية في المجالات عالية المخاطر (مثل التشخيص الطبي) حيث تكون الأخطاء من النوع الثاني (السلبيات الكاذبة) لفئات معينة كارثية.
• التحدي: تفترض طرق NPMC الحالية أن تسميات التدريب نظيفة. ولكن في الواقع، غالبًا ما تكون التسمات ملوثة بأخطاء القياس، أو عدم اتساق المدونين، أو الضجيج العدائي.
• الفجوة: يؤدي تجاهل ضجيج التسميات في NPMC إلى انتهاك قيود السلامة (على سبيل المثال، يتجاوز معدل الخطأ الفعلي المستوى المستهدف $\alpha_k$) أو إنتاج مصنفات مفرطة التحفظ ذات أخطاء من النوع الثاني متضخمة. علاوة على ذلك، فإن الطرق الحالية القوية ضد الضجيج تتطلب غالبًا معرفة مسبقة بـ مصفوفة انتقال الضجيج (احتمالية خطأ تسمية العلامة الحقيقية إلى علامة أخرى)، وهو أمر نادر التوفر في الممارسة العملية.
• الهدف: تطوير طريقة لتعلم مصنف من تسميات مشوبة بالضجيج يحقق قيود خطأ NPMC فيما يتعلق بـ العلامات الحقيقية غير المرصودة، دون الحاجة إلى معرفة مسبقة بآلية الضجيج.

2. المنهجية

يقترح المؤلفون إطار عمل جديد يجمع بين الاحتمالية التجريبية (Empirical Likelihood - EL) و نمذجة نسبة الكثافة (Density Ratio Modeling - DRM) لاستعادة إحصائيات العلامات النظيفة اللازمة من البيانات المشوبة بالضجيج.

أ. إعداد المشكلة والافتراضات

• الضجيج المستقل عن العينات: تفترض الورقة أن الضجيج مستقل عن الميزات $X$ بشرط العلامة الحقيقية $Y$ (أي أن $P(\tilde{Y}|X, Y) = P(\tilde{Y}|Y)$). هذا افتراض قياسي حيث تكون مصفوفة الارتباك ثابتة عبر فضاء الميزات.
• المتغيرات الكامنة: العلامات الحقيقية $Y$ غير مرصودة؛ المتوفر فقط هو العلامات المشوبة بالضجيج $\tilde{Y}$.

ب. نموذج نسبة الكثافة (DRM) والإمالة الأسية (Exponential Tilting)

يعمل جوهر الطريقة على نمذجة العلاقة بين توزيعات الفئات الحقيقية $P_k$ والتوزيعات المشوبة بالضجيج $\tilde{P}_l$ باستخدام علاقة الإمالة الأسية.

• يتم نمذجة الاحتمالات البعدية للعلامات الحقيقية عبر شكل الانحدار اللوجستي متعدد الحدود:
  $$\pi_k(x) = P(Y=k|X=x) \propto \exp(\gamma_k + \langle \beta_k, g(x) \rangle)$$
• وهذا يعني وجود نسبة كثافة بين الفئات: $dP_k/dP_0 = \exp(\gamma_k + \langle \beta_k, g(x) \rangle)$.
• تحت افتراض الضجيج، يكون توزيع البيانات المشوب بالضجيج $\tilde{P}_l$ عبارة عن خليط من التوزيعات الحقيقية. وقد استنتج المؤلفون أن كثافة البيانات المشوبة بالضجيج بالنسبة لتوزيع أساسي يمكن التعبير عنها أيضًا عبر شكل بارامتري يتضمن مصفوفة الانتقال $T^*$ والمعلمات الحقيقية.

ج. تقدير الاحتمالية التجريبية (EL)

بدلاً من افتراض شكل بارامتري للتوزيع الأساسي $P_0$ (والذي قد يكون مقيدًا)، يستخدم المؤلفون الاحتمالية التجريبية لتقدير المعلمات بشكل غير بارامتري.

• قاموا ببناء دالة احتمالية تجريبية لوغاريتمية ملفّة (profile log-empirical likelihood) بناءً على البيانات المشوبة بالضجيج المرصودة.
• المعلمات المراد تقديرها هي نسب الفئات الحقيقية ($w^*$)، ومصفوفة انتقال الضجيج ($T^*$)، ومعلمات الإمالة الأسية ($\gamma, \beta$).
• قابلية التحديد (Identifiability): تثبت الورقة بصرامة أنه تحت ظروف معينة (معاملات ميزات متميزة، فضاء ميزات غني، ومصفوفة ارتباك كاملة الرتبة)، تكون المعلمات قابلة للتحديد تمامًا، مما يحل الغموض الذي يوجد عادة في نماذج الخليط.

د. التحسين عبر خوارزمية EM

بما أن العلامات الحقيقية هي متغيرات كامنة، فإن تعظيم الاحتمالية التجريبية الملفّة ليس بالأمر السهل. لذا طور المؤلفون خوارزمية توقع-تعظيم (EM):

1. خطوة التوقع (E-step): حساب الاحتمال البعدي للعلامة الحقيقية $Y_i=k$ بمعلومية العلامة المشوبة بالضجيج $\tilde{Y}_i$ وتقديرات المعلمات الحالية.
2. خطوة التعظيم (M-step): تحديث المعلمات ($w, T, \gamma, \beta$) عن طريق تعظيم لوغاريتم الاحتمالية الكاملة المتوقعة. يتضمن ذلك تحديث مصفوفة الانتقال وحل انحدار لوجستي متعدد الحدود موزون لمعلمات الإمالة.
3. التقارب: ثبت أن الخوارزمية تزيد من الاحتمالية التجريبية الملفّة بشكل رتيب.

هـ. بناء المصنف

بمجرد تقدير المعلمات، تستعيد الطريقة ما يلي:

1. نسب الفئات الحقيقية $\hat{w}_k$.
2. الاحتمالات البعدية الحقيقية $\hat{\pi}_k(x)$.
   يتم بعد ذلك دمج هذه القيم في محلل NPMC-CX (Tian & Feng, 2025) لحساب مضاعفات لاغرانج المثلى والمصنف النهائي المتحكم في الخطأ.

3. المساهمات الرئيسية

1. أول طريقة NPMC للعلامات المشوبة بالضجيج: هذا هو العمل الأول الذي يوسع إطار عمل NPMC للتعامل مع ضجيج التسميات في الإعداد متعدد الفئات دون الحاجة إلى معرفة مسبقة بمصفوفة انتقال الضجيج كمدخل.
2. الضمانات النظرية:
   • الاتساق والاعتدالية: تم إثبات أن مقدرات الاحتمالية التجريبية القصوى (MELE) لمعلمات الضجيج والاحتمالات البعدية الحقيقية هي مقدرات متسقة وتتبع التوزيع الطبيعي تقاربيًا بمعدلات تقارب مثالية ($O(n^{-1/2})$).
   • متراجحات الأوراكل (Oracle Inequalities): يحقق المصنف الناتج متراجحات أوراكل لـ NP. وتحديدًا، تتقارب معدلات الخطأ الخاصة بكل فئة نحو المستويات المستهدفة $\alpha_k$ تقاربيًا، مما يطابق أداء مصنف "الأوراكل" الذي يتم تدريبه على بيانات نظيفة.
3. لا تتطلب معرفة مسبقة: على عكس النهج السابقة (مثل Yao et al., 2023) التي تتطلب حدودًا أو قيمًا دقيقة لمصفوفة الضجيج، تتعلم هذه الطريقة هيكل الضجيج مباشرة من البيانات.
4. إطار عمل موحد: يتعامل النهج بشكل طبيعي مع كل من التصنيف الثنائي وتصنيف الفئات العامة.

4. النتائج التجريبية

أجرى المؤلفون محاكاة واسعة النطاق وتجارب على بيانات حقيقية.

• المحاكاة:

  • الحالة الثنائية: بالمقارنة مع طريقة "Vanilla" (التي تتجاهل الضجيج) وطريقة "NPC" (خوارزمية المظلة المعدلة للضجيج التي تتطلب حدودًا)، حققت الطريقة المقترحة معدلات خطأ من النوع الأول قريبة من الهدف $\alpha$ مع خطأ من النوع الثاني (قدرة تمييز أعلى) أقل بكثير من طريقتي Vanilla و NPC الأكثر تحفظًا. كما كان أداؤها قريبًا جدًا من أداء "الأوراكل" (الذي يعرف مصفوفة الضجيح الحقيقية).
  • الحالة متعددة الفئات: تم اختبار الطريقة على بيانات غاوسية مستقلة، وتابعة، وذات تغاير غير متساوٍ. حافظت الطريقة على التحكم في الخطأ بالقرب من المستويات المستهدفة مع زيادة حجم العينة، بينما أصبحت طريقة Vanilla أكثر تحفظًا بشكل متزايد (مما ينتهك تقليل دالة الهدف) أو فشلت في التحكم في الأخطاء.
  • القوة (Robustness): ظلت الطريقة فعالة حتى عندما كان نموذج نسبة الكثافة غير دقيق تمامًا (على سبيل المثال، بيانات غير غاوسية)، متفوقة على النماذج المرجعية بشكل كبير.

• البيانات الحقيقية:

  • تم تطبيق الطريقة على مجموعات بيانات Landsat Satellite و Dry Bean.
  • أكدت النتائج أن الطريقة تتحكم في معدلات الخطأ بالقرب من المستويات المستهدفة مع تقليل المخاطر الإجمالية، محاكية بشكل وثيق أداء المصنفات المدربة على علامات نظيفة.

5. الأهمية

توفر هذه الورقة حلاً حاسمًا لـ التعلم الآلي في المجالات الحرجة للسلامة. في مجالات مثل الرعاية الصحية أو التمويل، حيث يجب تقييد أنواع معينة من الأخطاء بدقة، يمكن أن يؤدي التدريب على بيانات مشوبة بالضجيج إلى انتهاكات خطيرة لقيود السلامة.

• الأثر العملي: تتيح للممارسين استخدام أطر عمل NPMC على مجموعات البيانات الحقيقية (التي تكون بطبيعتها مشوبة بالضجيج) دون الحاجة إلى تقدير مصفوفة انتقال الضجيج أو وضع حدود لها يدويًا.
• التقدم النظري: تسد الفجوة بين نمذجة نسبة الكثافة، والاحتمالية التجريبية، والتصنيف المقيد، مما يوفر ضمانات إحصائية صارمة لمشكلة كانت تعتبر سابقًا مستعصية دون افتراضات قوية.
• الاتجاهات المستقبلية: يقترح المؤلفون توسيع إطار العمل ليشمل الضجيج المعتمد على العينات (حيث يعتمد الضجيج على $X$) ودمج الشبكات العصبية العميقة لاستخراج الميزات.