A proposal for PU classification under Non-SCAR using clustering and logistic model

إليك ملخص تقني مفصل لورقة البحث بعنوان "مقترح لتصنيف الـ PU تحت ظروف Non-SCAR باستخدام التجميع والنموذج اللوجستي" من قبل Furmańczyk و Paczutkowski.

1. بيان المشكلة

تتناول الورقة تحدي تعلم الموجب-غير المحدد (Positive-Unlabeled - PU Learning)، وهو سيناريو تعلم شبه موجه تتكون فيه بيانات التدريب من:

• أمثلة موجبة ($S=1$): حالات مؤكدة الإيجابية ($Y=1$).
• أمثلة غير محددة ($S=0$): خليط من الحالات السالبة الحقيقية ($Y=0$) والحالات الموجبة غير الملحوظة ($Y=1$).

التحدي الجوهري: تعتمد معظم طرق تعلم الـ PU الحالية على افتراض SCAR (الاختيار العشوائي الكامل - Selected Completely At Random). يفترض هذا الافتراض أن احتمال أن يكون المثال مصنفاً ($P(S=1|Y=1)$) ثابت ومستقل عن متجه الميزات $X$. ومع ذلك، في العديد من التطبيقات الواقعية (مثل التشخيص الطبي، وبيانات الاستطلاع)، يتم انتهاك هذا الافتراض (سيناريو Non-SCAR)، حيث يعتمد احتمال الاختيار على الميزات ($P(S=1|Y=1, X) = e(x)$).

يهدف المؤلفون إلى:

1. تطوير خوارزمية فعالة حاسوبياً لحل تصنيف الـ PU عندما لا يتحقق شرط SCAR.
2. تقييم متانة طريقة LassoJoint (المصممة أصلاً لـ SCAR) عند تطبيقها على بيانات Non-SCAR.

2. المنهجية

يقترح المؤلفون إجراء "تنظيف التجميع بالنقير" (Pecking Cluster Cleaning Procedure) المبتكر، مدمجاً مع الانحدار اللوجستي وتنظيم Lasso. تتكون المنهجية من الخطوات التالية:

أ. خوارزمية "تنظيف التجميع بالنقير" (Pecking)

هذا هو المساهمة الجوهرية المصممة للتعامل مع بيانات Non-SCAR من خلال توليد تسميات وهمية (pseudo-labels) للمجموعة غير المحددة.

1. خلط البيانات: يتم سحب نسبة $q$ (على سبيل المثال 25%، أو 50%، أو 100%) من العينات الموجبة المعروفة ($S=1$) وإضافتها إلى مجموعة العينات غير المحددة ($S=0$) لتشكيل مجموعة مؤقتة $C^q_0$.
2. التجميع (Clustering): يتم تطبيق خوارزمية 2-means clustering على $C^q_0$ لتقسيمها إلى مجموعتين: $C_{0,0}$ و $C_{0,1}$.
3. تعيين التسميات:
   • يتم تحديد المجموعة التي تحتوي على كثافة أعلى من العينات الموجبة المحقونة ($S=1$) كـ "مجموعة موجبة" ($C_{0,1}$).
   • يتم تحديد المجموعة المتبقية كـ "مجموعة سالبة" ($C_{0,0}$).
   • التنظيف: يتم تعيين التسمية المنظفة $\hat{Y}=1$ لجميع عينات $S=1$ الأصلية والعينات الموجودة في $C_{0,1}$. أما العينات في $C_{0,0}$ فيتم تعيين التسمية $\hat{Y}=0$ لها.
4. التكرار والمتوسط: تُكرر هذه العملية $R$ من المرات (تكرارات مونت كارلو). ويتم اشتقاق معاملات النموذج النهائي عن طريق متوسط النتائج عبر التكرارات.

ب. نماذج التصنيف

يتم تطبيق استراتيجيتين للنمذجة على البيانات المنظفة:

1. الانحدار اللوجستي (Logistic Regression): انحدار لوجستي قياسي يتم تطبيقه على التسميات المنظفة $(\hat{Y}, X)$.
2. LassoJoint: طريقة هجينة تجمع بين:
   • اختيار Lasso: تحديد المتنبئات الهامة.
   • Lasso ذو العتبة (Thresholded Lasso): تصفية الميزات بناءً على حجم المعاملات.
   • النموذج اللوجستي المشترك (Joint Logistic Model): ملاءمة نموذج مشترك لدرجة الميل (propensity score) واحتمالية الفئة.
   • الأنواع: يختبر المؤلفون متغيرات "الصارمة" (Strict - حيث يتم حساب متوسط المعاملات فقط للميزات المختارة في جميع التكرارات) و"غير الصارمة" (Non-Strict - حيث يتم حساب متوسط الميزات المختارة في أي تكرار).

ج. الإعداد التجريبي

• مجموعات البيانات: 11 مجموعة بيانات من عالم الواقع من مستودع UCI (مثل Adult، وBreast Cancer، وSpambase) بالإضافة إلى مجموعة بيانات اصطناعية واحدة.
• توليد Non-SCAR: تم تطوير دالة محددة لتوليد التسمية البديلة $S$ بناءً على ميزات ذات تباين عالٍ، مما يضمن اعتماد احتمال الاختيار على $X$ (انتهاك شرط SCAR).
• المعلمات (Parameters): تم اختبار تكرار التسمية $c$ (نسبة الموجبات المصنفة) عند 0.3، و0.5، و0.8. كما تم اختبار نسبة الخلط $q$ عند 0.25، و0.5، و1.0.
• المقاييس: الدقة (Accuracy)، ومقياس F1-score، والمساحة تحت المنحنى (AUC).

3. المساهمات الرئيسية

1. خوارزمية تنظيف مبتكرة: تقديم إجراء "النقير" (Pecking)، الذي يستخدم تجميع 2-means لتنظيف البيانات غير المحددة بشكل متكرر دون الاعتماد على افتراض SCAR. وهي أكثر بساطة من الناحية الحسابية من طرق التجميع الهرمي المستخدمة في الأدبيات السابقة.
2. تحليل المتانة: تقييم شامل يوضح كيف أن طريقة LassoJoint، التي عادة ما تكون حساسة لانتهاكات SCAR، تعمل تحت ظروف Non-SCAR عند دمجها مع خطوة التنظيف المقترحة.
3. الكفاءة: أظهرت الطريقة المقترحة كفاءة حاسوبية، حيث أنها أسر كثيراً من الطرق التي تتطلب تقاطعاً (cross-validation) معقداً لضبط Lasso في كل تكرار، مع الحفاظ على دقة تنافسية.

4. النتائج

• الأداء في سيناريوهات Non-SCAR:

  • أظهرت طريقة التجميع (Clust) دقة عالية عبر معظم مجموعات البيانات، متفوقة على النهج الساذج (الذي يعامل $S$ كـ $Y$).
  • حققت طرق LassoJoint (بنسختيها الصارمة وغير الصارمة) أداءً مقارباً لطريقة Clust.
  • تحسينات AUC: أظهرت الطرق القائمة على Lasso تحسينات طفيفة ولكن ثابتة في AUC لمجموعات بيانات محددة (مثل breastc، وcredit_a، وwdbc) مقارم بطريقة Clust القياسية.
  • تأثير $c$: مع زيادة تكرار التسمية $c$ (بالاقتراب من 1.0)، تحسنت جميع الطرق، حيث اكتسب النهج الساذج (Naive) ميزة في النهاية مع اقتراب المشكلة من التصنيف الكامل للتسميات.
  • المعلمة $q$: لم يتم العثور على قيمة مثالية واحدة لـ $q$؛ ومع ذلك، فإن القيم الأكبر ($q \approx 1$) أعطت عموماً إحصاءات متوسطة أفضل، رغم أن مجموعات بيانات معينة استفادت من قيم $q$ أصغر.

• الأداء في سيناريوهات SCAR (التحكم):

  • كما هو متوقع، عملت طريقة LassoJoint بشكل مثالي تقريباً عندما تحقق افتراض SCAR، مما يؤكد صحتها النظرية.
  • أدت طريقة Clust المقترحة أيضاً أداءً جيداً في سيناريوهات SCAR، مما يشير إلى تعدد استخداماتها.

• الوقت الحسابي:

  • كانت الطرق الساذجة (Naive) و Clust هي الأسرع.
  • كانت الطرق التي تتضمن Lasso مع التقاطع (LassoJoint) أبطأ بكثير، وإن كان استراتيجية تكرار "النقير" قد ساعدت في استقرار النتائج دون عبء حسابي مفرط مقارنة بالأساليب الأخرى المعقدة القائمة على خوارزمية EM.

5. الأهمية والخاتمة

• القابلية للتطبيق العملي: توفر الدراسة حلاً قابلاً للتطبيق لتعلم الـ PU في السيناريوهات الواقعية حيث غالباً ما يتم انتهاك افتراض SCAR (مثل نقص الإبلاغ في الاستطلاعات أو التشخيص المتحيز في الطب).
• المتانة: تشير النتائج إلى أن طريقة LassoJoint متينة بدرجة متوسطة تجاه انتهاكات SCAR إذا سبقتها خطوة تنظيف قائمة على التجميع.
• التعميم: يشير المؤلفون إلى أن خطوة تجميع 2-means لا تقتصر على سيناريوهات PU ذات العينة الواحدة، بل يمكن تطبيقها أيضاً على تعلم الحالة والضابط (case-control PU learning).
• العمل المستقبلي: تضع هذه الورقة أساساً لاستخدام تقنيات التجميع البسيطة والفعالة حاسوبياً لمعالجة البيانات للنماذج اللوجستية المعقدة في بيئات PU، مما يوذج بديلاً عملياً للنماذج التوليدية الأكثر تعقيداً (مثل GANs) أو خوارزميات EM.

باختاقصار، أثبتت الورقة بنجاح أن إجراء تنظيف التجميع 2-means (النقير) البسيط، المدمج مع الانحدار اللوجستي أو LassoJoint، يوفر إطاراً قوياً وفعالاً وفعالاً لتصنيف الـ PU عندما لا يمكن ضمان شرط SCAR الصارم.