When Single-Dataset Conclusions Fail: A 45-Task Study of Threshold Tuning and Resampling for Imbalanced Classification
تُظهر هذه الدراسة أن الاعتماد على تقييمات مجموعة بيانات واحدة في التصنيف غير المتوازن هو أمر مضلل، حيث يكشف تحليل شامل لـ 45 مهمة أن ضبط العتبة وتقنيات إعادة أخذ العينات مثل SMOTE تُحسن الأداء بشكل كبير عبر نسب عدم توازن متنوعة، خلافاً للنتائج الصفرية التي لوحظت في مجموعة بيانات الاحتيال في بطاقات الائتمان الشهيرة ولكن غير الممثلة.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في عالم تعلم الآلة، غالباً ما تُطالب الحواسيب باتخاذ خيارات ثنائية: هل هذا البريد الإلكتروني رسالة مزعجة أم لا، هل هذه المعاملة احتيالية أم مشروعة، هل تظهر هذه الأشعة الطبية حالة مرضية أم حالة صحية. تصبح هذه المهام صعبة عندما يكون أحد النتائج أكثر شيوعاً بشكل هائل من الآخر. إذا كانت مؤسسة مصرفية تعالج مليون معاملة يومياً وكان بضع مئات منها فقط هي عمليات احتيال، فإن الحاسوب يرى جبلاً من النشاط الطبيعي وقمة ضئيلة تكاد تكون غير مرئية للاحتيال. يُعرف هذا بـ "عدم توازن الفئات" (class imbalance). ولمساعدة الحاسوب على رؤية الحدث النادر، طور الباحثون أدوات قياسية؛ فقد يقومون بإنشاء المزيد من الأمثلة للحدث النادر اصطناعياً لموازنة بيانات التدريب، أو قد يقومون بتعديل خط القرار الداخلي للحاسوب. افتراضياً، يقرر الحاسوب عادةً أن الحدث إيجابي فقط إذا كان متأكداً منه بنسبة تزيد عن خمسين بالمائة. وفي عالم غير متوازن، قد يكون خط الخمسين بالمائة هذا مرتفعاً جداً، مما يتسبب في تفويت الحاسوب للأحداث النادرة تماماً. لذا، فإن الممارسة القياسية هي خفض ذلك الخط، مما يجعل الحاسوب أكثر استعداداً لإطلاق جرس الإنذار.
لسنوات، اعتمد المجتمع العلمي على مجموعة بيانات واحدة شهيرة لمعاملات البطاقات الائتمانية لاختبار هذه الأدوات. وهي أكثر المعايير استخداماً في هذا المجال، حيث تحتوي على مئات الآلاف من المعاملات الحقيقية مع جزء ضئيل جداً من الاحتيال. وعندما اختبر الباحثون أساليبهم على مجموعة البيانات المحددة هذه، غالباً ما توصلوا إلى استنتاج واثق: الأدوات القياسية كانت غير ضرورية. فقد وجدوا أن نموذجاً حاسوبياً بسيطاً ومعايرًا جيداً يمكنه اكتشاف الاحتيال بشكل مثالي دون أي تعديلات خاصة، وأن محاولة ضبط خط القرار أو موازنة البيانات أدت في الواقع إلى جعل الأمور أسوأ. أصبح هذا الاكتشاف قاعدة عامة مقبولة على نطاق واسع، مما يشير إلى أنه بالنسبة للنماذج جيدة السلوك، فإن كامل جهاز التعامل مع عدم التوازن هو أمر فائض عن الحاجة.
تتحدى دراسة جديدة سلامة هذه القاعدة. فقد طرح الباحثون، الذين يعملون في جامعة كوينزلاند للتكنولوجيا، سؤالاً بسيطاً ولكنه عميق: هل الاستنتاج المستخلص من مجموعة بيانات واحدة ينطبق على بقية العالم؟ بدأوا بإعادة اختبار مجموعة بيانات الاحتيال في البطاقات الائتمانية الشهيرة بصرامة، باستخدام بروتوكول خالٍ من "التسرب" (leakage-free) يضمن عدم تأثير أي معلومات من نتائج الاختبار بالخطأ على التدريب. أكدت نتائجهم القصة القديمة؛ ففي مجموعة البيانات هذه، قدم نموذج "الغابة العشوائية" (Random Forest) -وهو نموذج قياسي- أفضل أداء له عند الإعداد الافتراضي، وأي محاولة لتعديل عتبة القرار أو إضافة بيانات اصطناعية إلى مجموعة التدريب لم تقدم أي فائدة. في الواقع، على مجموعة البيانات هذه، جعلت التعديلات النموذج أسوأ قليلاً.
ومع ذلك، لم يتوقف الباحثون عند هذا الحد. فقد أخذوا نفس بروتوكول الاختبار وطبقوه على مجموعة أوسع بكثير مكونة من خمس وأربعين مهمة مختلفة من مهام التصنيف الثنائي. تراوحت هذه المهام من تحديد الأرقام المكتوبة بخط اليد إلى تشخيص سرطان الثدي، وشملت بيانات من العالم الحقيقي وسيناريوهات اصطناعية تم إنشاؤها بعناية. وتفاوتت نسب عدم التوازن في هذه المجموعة الجديدة بشكل كبير، من فرق طفيف قدره واحد إلى واحد ونصف، وصولاً إلى فرق شديد قدره واحد إلى مئة وثمانية وسبعين. وعندما قاموا بتشغيل نماذجهم عبر هذه المجموعة المتنوعة، انقلبت القصة تماماً.
تبين أن الاستنتاج الذي نجح في مجموعة بيانات البطاقات الائتمانية كان استثناءً، خاصاً بتلك المجموعة من البيانات وذلك النموذج فقط. ففي المهام الخمس والأربعين، كان نموذج "الغابة العشوائية" نفسه، الذي لم يكن بحاجة إلى مساعدة في بيانات الاحتيال، هو الأكثر استفادة من ضبط عتبة القرار الخاصة به. والتعديلات التي كانت ضارة في مجموعة بيانات الاحتيال أصبحت مفيدة عبر المجموعة الأوسع. وبالمثل، وُجد أن تقنية تسمى "SMOTE"، والتي تولد أمثلة للفئة النادرة اصطناعياً، كانت ضارة في مجموعة بيانات الاحتيال ولكنها وفرت دفعة كبيرة في الأداء في غالبية المهام الأخرى. وجد الباحثون أن فائدة تعديل عتبة القرار ليست خطاً مستقيماً يتحسن كلما زاد عدم التوازن، بل إن الفائدة تتبع شكلاً يشبه حرف (U) المقلوب؛ فهي ضئيلة عندما يكون عدم التوازن طفيفاً، وتصل لذروتها في نطاق عدم التوازن المتوسط، ثم تنخفض مرة أخرى عندما يصبح عدم التوازن شديداً للغاية.
يشرح هذا الاكتشاف لماذا تعتبر مجموعة بيانات الاحتيال في البطاقات الائتمانية، بنسبة عدم توازن شديدة تبلغ واحداً إلى خمسمئة وسبعة وسبعين، مكاناً سيئاً لدراسة هذه الأسئلة؛ فهي تقع في المنطقة التي تكون فيها فائدة الضبط في أدنى مستوياتها ويصعب قياسها بشكل موثوق. كما اختبرت الدراسة حدساً شائعاً، وهو أن الباحث يمكنه النظر في مدى سوء معايرة النموذج ليقرر ما إذا كان سيقوم بضبط العتبة بناءً على ذلك. ووجدوا أن هذا الحدس خاطئ؛ فلم يكن هناك رابط موثوق بين خطأ معايرة النموذج ومقدار المساعدة التي حصل عليها من الضبط. فقد يكون النموذج ضعيف المعايرة ولا يستفيد شيئاً من الضبط، وقد يكون جيد المعايرة ويستفيد كثيراً.
إن الآثار المترتبة على أي شخص يبني هذه الأنظمة واضحة. فكرة أن مجموعة بيانات واحدة يمكن أن توفر قاعدة عالمية لكيفية التعامل مع الأحداث النادرة هي فكرة غير آمنة. فالطريقة التي تعمل بشكل مثالي على مجموعة بيانات واحدة يمكن أن تفشل أو حتى تأتي بنتائج عكسية على أخرى. ويوصي الباحثون الممارسين بضرورة اختبار عتبات القرار المختلفة بشكل روتيني على مجموعة تحقق (validation set) لكل مهمة جديدة، بدلاً من افتراض أن الإعداد الافتراضي كافٍ أو أن تعديلاً معيناً مطلوب دائماً. كما ينصحون بعدم الاعتماد على تشخيصات المعايرة لاتخاذ هذا القرار، لأن تلك المقاييس لا تتنبأ بالنتيجة. وتخلص الدراسة إلى أنه بينما تعتبر الصلاحية الداخلية -أي ضمان خلو التجربة الواحدة من الأخطاء- أمراً مهماً، فإن الصلاحية الخارجية -أي ضمان صمود النتائج عبر بيانات مختلفة- لا تقل أهمية عنها. فالتجربة المثالية منهجياً على مجموعة بيانات واحدة يمكن أن تؤدي إلى استنتاج عام خاطئ، والطريقة الوحيدة لمعرفة ما ينجح هي اختباره عبر مجموعة واسعة من المواقف.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.