ملخص تقني: التعلم من البيانات الموجبة غير المصنفة (PU) المركزة في ظل عدم توازن الفئات

1. بيان المشكلة

تتناول الورقة البحثية تحدي التعلم من البيانات الموجبة غير المصنفة (PU learning) في السيناريوهات التي تتميز بـ عدم توازن شديد في الفئات وصعوبة اكتشاف الأمثلة الموجبة. في العديد من التطبيقات الواقعية (مثل كشف الاحتيال، وتحديد جينات الأمراض، وكشف الأخطاء المالية)، تتكون بيانات التدريب من مجموعة صغيرة من الأمثلة الموجبة المصنفة ومجموعة كبيرة من الأمثلة غير المصنفة. تهيمن الأمثلة السالبة على المجموعة غير المصنفة، ولكنها تحتوي أيضاً على أمثلة موجبة مخفية.

تعتمد طرق تعلم PU الحالية غالباً على افتراضات تبسيطية تفشل في البيئات العملية:

• عدم توازن الفئات: تعتمد العديد من الطرق على توزيعات متوازنة أو تعتمد على وجود أمثلة موجبة مصنفة كافية، وهو أمر نادر الحدوث عندما تكون الفئة الموجبة ممثلة تمثيلاً ناقصاً.
• آليات التصنيف: تفترض معظم الطرق افتراض الاختيار العشوائي الكامل (SCAR)، حيث تكون الموجبات المصنفة عينة عشوائية من جميع الموجبات. ومع ذلك، فإن البيانات الواقعية غالباً ما تتبع افتراض الاختيار العشوائي (SAR) أو افتراض الفجوة الاحتمالية (PG)، حيث تكون الأمثلة الموجبة التي تشبه الأمثلة السالبة أقل عرضة للتصنيف.
• الموجبات الصعبة: عندما تتداخل الأمثلة الموجبة بشكل كبير مع التوزيع السالب (سيناريو PG)، تجد مقدرات المخاطر القياسية صعوبة في التمييز بينهما، مما يؤدي إلى أداء ضعيف.

يرى المؤلفون أن الطرق الحالية المتطورة (مثل nnPU و PUHDT) إما تفشل تحت افتراضات SAR/PG أو تعتمد على معالجة البيانات (إعادة أخذ العينات، أو التصفية ذات الخطوتين) والتي قد لا تكون قوية في حالات عدم التوازن الشديد.

2. المنهجية

تُقدم الطريقة المقترحة، والتي تسمى iFPU (التعلم من البيانات الموجبة غير المصنفة المركزة وغير المتوازنة)، مقدّر مخاطر غير سالب جديد يدمج خسارة التركيز (Focal Loss) في إطار تعلم PU.

2.1 الأساس النظري

يبني هذا النهج على مقدرات المخاطر غير المنحازة لتعلم PU (uPU) ومقدرات المخاطر غير السالبة (nnPU). في تعلم PU القياسي، يتم تقريب المخاطر $R(g)$ باستخدام الموجبات المصنفة ($P$) والبيانات غير المصنفة ($U$) عن طريق استبدال حد المخاطر السالب $R_N^-(g)$ بتعبير يتضمن $U$ و $P$:
$$\tilde{R}_{PU}(g) = \pi_P \tilde{R}_P^+(g) - \pi_P \tilde{R}_P^-(g) + \tilde{R}_U^-(g)$$
حيث $\pi_P$ هو الأولو السابق للفئة (class prior). ولمنع المخاطر التجريبية السالبة (التي تسبب فرط التخصيص في الشبكات العصبية)، تطبق طريقة nnPU قيداً غير سالب: $\max\{0, \tilde{R}_U^-(g) - \pi_P \tilde{R}_P^-(g)\}$.

2.2 مقدّر المخاطر المركّز

يلاحظ المؤلفون أنه في الإعدادات غير المتوازنة، تهيمن البيانات غير المصنفة على المخاطر القياسية، مما يجعل النموذج يهمل الأمثلة الموجبة الصعبة التي يصعب تمييزها. ولمعالجة ذلك، قاموا باستبدال خسارة الإنتروبيا المتقاطعة القياسية بـ خسارة التركيز (Focal Loss) [50].

تعمل خسارة التركيز على تقليل وزن الأمثلة السهلة (تلك التي لديها احتمال عالٍ للتصنيف الصحيح) وزيادة وزن الأمثلة الصعبة. تُعرف خسارة التركيز للاحتمال $p_t$ كالتالي:
$$FL(p_t) = -(1-p_t)^\gamma \log(p_t)$$
حيث يتحكم $\gamma$ في معامل التركيز.

استنتج المؤلفون مقدر مخاطر iFPU عن طريق استبدال حدود الخسارة القياسية في معادلة مخاطر PU بصيغة خسارة التركيز:
$$\tilde{R}_{iFPU}(g) = \frac{1}{n_P} \sum_{i=1}^{n_P} -\pi_P (1-g(x_i))^\gamma \log(g(x_i)) + \max\left\{0, \frac{1}{n_U} \sum_{i=1}^{n_U} -(g(x_i))^\gamma \log(1-g(x_i)) - \frac{1}{n_P} \sum_{i=1}^{n_P} -\pi_P (g(x_i))^\gamma \log(1-g(x_i)) \right\}$$

2.3 إجراء التدريب

تستخدم عملية التدريب التحسين العشوائي (SGD). وتتمثل الميزة الرئيسية للخوارزمية في التعامل مع القيد غير السالب:

• إذا كان الحد $(\tilde{R}_U^-(g) - \pi_P \tilde{R}_P^-(g))$ غير سالب، يقوم النموذج بتحديث المعلمات باستخدام تدرج المخاطر الكامل.
• إذا كان الحد سالباً (مما يشير إلى احتمال حدوث فرط تخصيص أو انتهاك للقيد غير السالب)، يقوم النموذج بخطوة صعود التدرج (gradient ascent) على حد الفرق لدفعه مرة أخرى نحو عدم السالبية، بدلاً من مجرد تجاهل التدرج.

تم تصميم الطريقة لتكون متكاملة (end-to-end)، ومتوافقة مع أي مصنف يعتمد على تقليل التكلفة (مثل MLPs و XGBoost)، دون الحاجة إلى معالجة مسبقة للبيانات أو إعادة أخذ العينات.

3. المساهمات الرئيسية

1. مقدر مخاطر مبتكر: اشتقاق مقدر مخاطر غير سالب مصمم خصيصاً لبيانات PU غير المتوازنة باستخدام خسارة التركيز، والتي تستهدف صراحةً الأمثلة الموجبة الصعبة التصنيف.
2. تخفيف الافتراضات: تم تقييم الطريقة تحت كل من افتراضات SCAR و SAR، مما أظهر متانة في السيناريوهات التي يوجد فيها تحيز في التصنيف (أي أن الأمثلة الموجبة التي تشبه الأمثلة السالبة هي أقل عرضة للتصنيف).
3. التكامل المتكامل (End-to-End): على عكس الطرق ذات الخطوتين التي تتطلب تحديد السوالب الموثوقة أولاً، يندمج iFPU مباشرة في حلقة التدريب للمصنفات القياسية (MLP و XGBoost).
4. التحقق الواقعي: تم تطبيق الطريقة على مشكلة واقعية صعبة: كشف الأخطاء المالية، حيث تنشأ بيانات PU بشكل طبيعي بسبب التأخر في اكتشاف الأخطاء.

4. النتائج التجريبية

قيم المؤلفون iFPU على 14 مجموعة بيانات عامة غير متوازنة ومجموعة بيانات مالية واقعية.

4.1 مجموعات البيانات المرجعية

• الإعداد: 14 مجموعة بيانات بنسب عدم توازن متفاوتة. أُجريت التجارب تحت افتراضات SCAR و SAR مع تصنيف 25% و 50% و 75% من الأمثلة الموجبة.
• المقارنات: تمت المقارنة مع uPU، و nnPU، و i-nnPU، و NNIF (طريقة الخطوتين)، و PUHDT، و PUHRF، و LBE، و SAREM.
• الأداء:
  • تحت افتراض SCAR، حققت iFPU (باستخدام XGBoost) نتائج مماثلة للطريقة المتطورة PUHRF (غابة عشوائية هيلينجر لـ PU)، مع عدم وجود فرق ذو دلالة إحصائية في معظم الحالات.
  • تحت افتراض SAR الأكثر صعوبة، تفوقت iFPU بشكل كبير على معظم المنافسين. وفي السيناريو الأكثر صعوبة (تصنيف 25% فقط من الموجبات)، تفوقت iFPU على PUHRF بمقدار 5 نقاط مئوية في مقياس PR-AUC.
  • أظهرت الطريقة متانة تجاه التقديرات غير الصحيحة للأولو السابق للفئة، حيث حافظت على أدائها حتى عندما تم تقدير الأولو بشكل أقل بكثير من الواقع.

4.2 التطبيق الواقعي: كشف الأخطاء المالية

• السياق: اكتشاف الأخطاء المالية في التقارير السنوية (2003–2014) حيث تكون الأخطاء نادرة وغالباً ما تظل غير مكتشفة لسنوات (سيناريو SAR/PG).
• الإعداد: تمت المقارنة ضد النماذج الخاضعة للإشراف (TabTransformer مع خسارة تركيز معايرة، و Fin-SVM، و RUSBoost) وضد طرق PU (مثل PUHRF).
• النتائج:
  • حقق نموذج iFPUXGB المقترح أعلى دقة R (R-precision) بلغت 19.95%، متفوقاً على نموذج TabTransformer المتطور السابق (17.63%) و PUHRF (18.22%).
  • تشير النتائج إلى أن نمذجة المشكلة كتعلم PU (الاعتراف بالموجبات المخفية) يعطي أداءً أفضل بكثير من معاملة البيانات غير المصنفة كأمثلة سالبة.

5. الأهمية والادعاءات

تدعي الورقة أن iFPU يمثل حلاً متطوراً لتعلم PU في الإعدادات غير المتوازنة، خاصة عندما يسود افتراض الفجوة الاحتمالية (Probabilistic Gap).

• المتانة: تم تسليط الضوء على قدرة الطريقة على الأداء الجيد تحت افتراضات SAR دون الحاجة إلى معالجة معقدة للبيانات أو إعادة أخذ العينات كميزة رئيسية مقارنة بالطرق الشجرية أو طرق الخطوتين الحالية.
• العملية: يوضح التطبيق الناجح في كشف الأخطاء المالية فائدة الطريقة في المجالات الواقعية عالية المخاطر حيث تكون البيانات المصنفة شحيحة ومنحازة.
• المرونة: من خلال الاعتماد على إطار تقليل المخاطر المتوافق مع مصنفات متنوعة (MLP، XGBoost)، يقدم النهج بديلاً مرناً لخوارزميات PU المتخصية.

أشار المؤلفون بتواضع إلى أنه بينما تجنبوا ضبط المعلمات الفائقة (hyperparameter tuning) لضمان مقارنة عادلة، فإن المزيد من التحسين لمعلمات XGBoost وخسارة التركيز قد يؤدي إلى نتائج أقوى. كما حددوا مقاييس درجة الحرارة (temperature scaling) للمعايرة وتوسيع النطاق إلى الحالات متعددة الفئات كاتجاهات بحثية مستقبلية.