Reliable AUC Evaluation for Positive-Unlabeled Classifiers: Calibrated Confidence Intervals under an Unknown Class Prior

في عالم تعلم الآلة، غالباً ما يتم تعليم الحواسيب التعرف على الأنماط من خلال عرض أمثلة لما تبحث عنه وأمثلة لما لا تبحث عنه. تخيل طبيبًا يحاول تعليم خوارزمية رصد نوع معين من الأورام؛ فالحاسوب بحاجة لرؤية صور واضحة للأورم وصور واضحة للأنسجة السليمة ليتعلم الفرق بينهما. ولكن في كثير من مواقف العالم الحقيقي، يكون الحصول على تلك الأمثلة الواضحة لـ "الأنسجة السليمة" أمرًا صعبًا. غالبًا ما يمتلك الباحثون فقط قائمة بالحالات الإيجابية المؤكدة، وتلة كبيرة وفوضوية من البيانات غير المصنفة التي تحتوي على مزيج من كل من الحالات الإيجابية والسلبية معاً، دون أي وسيلة للتمييز بينهما. يُعرف هذا بـ "التعلم من العينات الموجبة وغير المصنفة" (positive-unlabeled learning). والهدف هو بناء نظام يمكنه رغم ذلك ترتيب الحالات الجيدة في مرتبة أعلى من السيئة، حتى عندما تكون الحالات السيئة مخفية داخل الزحام. الطريقة القياسية لقياس مدى جودة قيام النظام بذلك هي حساب درجة تمثل قدرته على التمييز بين المجموعتين. ومع ذلك، عندما تكون المجموعة السلبية مخفية ومختلطة، تصبح الدرجة القياسية مضللة؛ فهي تخبرك بمدى جودة ترتيب النظام مقابل الكومة الفوضوية، وليس مقابل الحالات السلبية الحقيقية، وعادةً ما تقدم هذا الرقم كنقطة واحدة محددة دون أي إشارة إلى مقدار الخطأ الذي قد يشوبه نتيجة الصدفة.

لقد عالج باحث يدعى فينست لوتين هذه المشكلة عبر تطوير طريقة جديدة لقياس الأداء تأخذ في الاعتبار الخليط المخفي وتوفر نطاق موثوقية ثابتًا. جوهر العمل هو تصحيح رياضي ينزع تلوث البيانات غير المصنفة ليكشف عن الأداء الحقيقي مقابل الحالات السلبية. وجد الباحث أنك لا تستطيع ببساطة النظر إلى الكومة الفوضوية وتخمين الإجابة؛ بل يجب عليك أولاً تقدير مقدار ما يحتويه ذلك الخليط فعليًا من الحالة الإيجابية التي تبحث عنها. وبمجرد حصولك على هذا التقدير، يمكنك استخدام صيغة محددة لتعديل درجة الأداء. لكن الباحث ذهب إلى أبعد من ذلك، مدركًا أن مجرد تعديل الرقم ليس كافيًا؛ نظرًا لأن التقدير الخاص بالخليط نفسه يتسم بعدم اليقين، فإن عدم اليقين هذا يجب أن ينتقل عبر عملية الحساب. تُظهر الدراسة أنه إذا تجاهلت حالة عدم اليقين هذه، ستكون درجتك النهائية خاطئة. ومن خلال التتبع الدقيق لكيفية تأثير عدم اليقين في تقدير الخليط على النتيجة النهائية، استنتج الباحث طريقة لإنتاج فاصل زمني مُعاير. يعمل هذا الفاصل مثل شبكة أمان، حيث يخبر المستخدم بالنطاق الذي يقع ضمنه الأداء الحقيقي بشكل شبه مؤكد، بدلاً من تقديم رقم واحد قد يكون مضللًا.

تُظهر الدراسة أن هذه الطريقة تعمل بشكل ممتاز عندما تكون الحالات الإيجابية والسلبية متمايزة بما يكفي للانفصال. في هذه المواقف الواضحة، تنتج الطريقة الجديدة نطاقًا ثنائي الاتجاه يلتقط الأداء الحقيقي تمامًا كما تتوقع القواعد الإحصائية القياسية. ومع ذلك، اكتشف الباحث أيضًا حدًا قاطعًا لهذا النهج؛ فعندما تكون الحالات الإيجابية والسلبية متشابهة جدًا بحيث تمتزجان معًا، يصبح تحديد الخليط مستحيلاً بيقين. وفي هذا السيناريو المحدد، ينهار النطاق ثنائي الاتجاه لأن الرياضيات ببساطة لا تدعم ذلك. بدلًا من فرض نطاق زائف، تتحول الطريقة إلى حدود أحادية الاتجاه. يوفر هذا الحد حداً أدنى مضمونًا لأداء النظام، مقرة بأنه بينما تظل الدرجة الدقيقة غير معروفة، إلا أن النظام جيد بمستوى معين على الأقل. إن هذا التحول ليس فشلًا للطريقة ولكنه سمة منها، مما يضمن بقاء التقرير صادقًا حتى عندما تكون البيانات غامضة للغاية بحيث لا تدعم تقديراً دقيقاً.

لاختبار هذه الأفكية، طبق الباحث الطريقة على بيانات واقعية، وبالتحديد باستخدام سجلات طبية لسرطان الثدي حيث كانت التصنيفات الحقيقية معروفة ولكن عوملت كبيانات مخفية لمحاكاة المشكلة. وكانت النتال صادمة؛ فالنهج التقليدي الذي يتجاهل الخليط المخفي ويقدم رقمًا واحدًا فشل تمامًا ولم يستطع قط التقاط الأداء الحقيقي في الاختبارات. أما النهج الآخر الذي حاول تصحيح الرقم ولكنه استخدم تقديرًا بسيطًا للخليط فقد عانى أيضاً، خاصة عندما لم تكن البيانات تتبع منحنى الجرس المثالي. وحده النهج الجديد، الذي جمع بين التصحيح وطريقة قوية لتقدير الخليط وحساب دقيق لعدم اليقين، نجح في المهمة. لقد أنتج باستمرار فواصل زمنية احتوت على الأداء الحقيقي، بشرط ألا تكون الحالات الإيجابية والسلبية متشابهة للغاية. تؤكد الدراسة أن المفتاح للحصول على إجابة موثوقة ليس فقط الخوارزمية التي تقوم بالترتيب، بل جودة التقدير المستخدم لوصف الخليط المخفي. وإذا كان هذا التقدير متحيزًا أو غير دقيق، فسيكون درجات الأداء النهائي خطأ مهما كانت منظومة الترتيب المتطورة.

كما توضح الدراسة متى ينبغي للباحث الوثوق بنطاق ثنائي الاتجاه ومتى ينبغي له الاكتفاء بحد سفلي أحادي الاتجاه. يعتمد نقطة الانتقال على مدى تمايز المجموعتين بالنسبة لكمية البيانات المتاحة. إذا كانت المجموعتان منفصلتين جيدًا، فإن النطاق الكامل سيكون صالحًا. وإذا كانتا قريبتين جدًا، تحدد الطة بشكل صحيح أن النطاق ثنائي الاتجاه الدقيق مستحيل وتقدم الضمان الأحادي الأكثر أمانًا بدلاً من ذلك. وهذا التمييز ضروري للممارسين الذين يحتاجون لمعرفة ليس فقط كيفية عمل النظام، بل مدى قدرتهم على التأكد من ذلك الرقم. وقد قام الباحث بتعبئة هذه العملية برمتها في أداة يمكن وضعها حول أي نظام تسجيل موجود، مما يسمح للمستخدمين بإدخال بياناتهم واستلام درجة منزوعة التلوث مع فاصل زمني للثقة أو حد أمان سفلي. ولا تتطلب هذه الأداة اتباع شكل رياضي محدد، مما يجعلها مفيدة لمجموعات البيانات الواقعية الفوضوية التي غالبًا ما تتحدى النماذج البسيطة.

في الختام، ينقل هذا البحث التركيز من مجرد بناء مصنفات أفضل إلى فهم كيفية قياسها بشكل صحيح عندما تكون البيانات ناقصة. إنه يوضح أنه في ظل غياب الأمثلة السلبية الواضحة، فإن أهم معلومة هي تقدير عدد الحالات الإيجابية المختبئة في كومة البيانات غير المصنفة. تثبت الدراسة أنه مع وجود التعديلات الرياضية الصحيحة، من الممكن استعادة مقياس حقيقي للأداء وإلحاق هامش خطأ موثوق به به. ومع ذلك، فإنها تضع أيضًا حدودًا واضحة: عندما تكون الإشارة ضعيفة جداً لفصل المجموعتين، ترفض الطريقة التخمين، مقدمة عوضاً عن ذلك حداً أدنى محافظاً. وهذه الأمانة بشأن حدود ما يمكن معرفته هي ربما أكثر النتائج قيمة على الإطلاق، مما يضمن اتخاذ القرارات بناءً على هذه الدرجات بفهم واضح لعدم اليقين الأساسي.