An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification

ملخص تقني: دراسة تجريبية حول تأثير راشومون لطرق الموازنة في التصنيف غير المتوازن

بيان المشكلة
في مجال الذكاء الاصطناعي المتمحور حول البيانات، يبرز عدم توازن الفئات كتحدٍ سائد حيث تميل النماذج إلى تفضيل الفئة الأكثر انتشاراً، مما يؤدي إلى ضعف الأداء في الفئة الأقل انتشاراً. وبينما تُعد طرق الموازنة (مثل الإفراط في أخذ العينات أو تقليل أخذ العينات) نهجاً معيارياً متمحوراً حول البيانات للتخفيف من حدة هذه المشكلة، إلا أن تأثيرها على سلوك النموذج لا يزال غير مستكشف بشكل كافٍ. وتحديداً، هناك نقص في الفهم المتعلق بكيفية تأثير هذه الطرق على تأثير راشومون (Rashomon effect) — وهي ظاهرة حيث تحقق نماذج متعددة دقة تنبؤية متساوية تقريباً ولكنها قد تعطي تنبؤات متضاربة لنفس الملاحظات. يؤدي هذا إلى تعدد التنبؤات (predictive multiplicity)، حيث يمكن أن يؤدي الاختيار الأعمى للنماذج من بين مجموعة من النماذج ذات الدقة المتساوية إلى نتائج متضاربة، مما يشكل مخاطر على التحقق من صحة النموذج، والتفسير، والعدالة. تبحث هذه الورقة فيما إذا كانت طرق الموازنة تضخم تعدد التنبؤات هذا وتغير ترتيب أهمية المتغيرات.

المنهجية
أجرى المؤلفون تجارب باستخدام مجموعة بيانات تتكون من 21 مجموعة بيانات مرجعية غير متوازنة، تتراوح نسب عدم التوازن فيها من 1.54 إلى 129.53. واستخدمت الدراسة الإطار المنهجي التالي:

1. طرق الموازنة: تم تقييم أربع تقنيات هي: الإفراط العشوائي في أخذ العينات (Random Oversampling)، وتقنية سموت (SMOTE - تقنية الإفراط في أخذ عينات الأقلية الاصطناعية)، وتقليل أخذ العينات العشوائي (Random Undersampling)، و"نير ميس" (Near Miss).
2. بناء مجموعة راشومون: تم استخدام Forester (أداة AutoML قائمة على الأشجار) لإنشاء مجموعة راشومون. يسمح هذا النهج بالتحكم في حجم المجموعة عبر معاملات التحسين البايزي (Bayesian optimization)، مما يخلق فضاء فرضية تجريبي لنماذج ذات قيم خسارة ضمن عتبة محددة ($\epsilon = 0.05$) من النموذج المرجعي.
3. مقاييس تعدد التنبؤات:
   • المقاييس الموجودة: الغموض (Ambiguity) (نسبة الملاحظات ذات التنبؤات المتضاربة) والتباين (Discrepancy) (أقصى نسبة للملاحظات المتضاربة بين النموذج المرجعي وأي نموذج منافس).
   • المقياس المقترح: العتامة (Obscurity)، وتُعرف بأنها متوسط نسبة التنبؤات المتضاربة للملاحظات عبر جميع النماذج في مجموعة راشومون. يهدف هذا المقياس إلى التقاط وفرة صراعات الملاحظات بشكل أكثر دقة من الغموض الثنائي.
   • تباين ترتيب أهمية المتغير (VIOD): مقياس جديد مقترح لقياس عدم التشابه في ترتيب أهمية المتغيرات بين النموذج المرجعي والنماذج الأخرى في المجموعة، بناءً على معامل ارتباط كيندال ($\tau$).
4. المتغيرات التجريبية: قامت الدراسة بتغيير نسب إعادة أخذ العينات (التي تؤدي إلى نسب عدم توازن تتراوح من 1.0 إلى 1.25) لاختبار إعادة أخذ العينات الجزئية كاستراتيجية تخفيف محتملة.
5. التحليل الإحصائي: تم تلخيص النتائج باستخدام الرسوم البيانية الإحصائية وتقييمها عبر اختبارات كروسكال-واليس، وفريدمان، ودونيتس للاختبارات الزوجية.

النتائج الرئيسية
تناولت التجارب أربعة أسئلة بحثية (RQs) محددة:

• س1 (التأثير على تعدد التنبؤات): وُجد أن طرق الموازنة تضخم تعدد التنبؤات. أظهر التحليل البصري والاختبار الإحصائي (كروسكال-واليس، $p < 0.05$) أن النماذج المدربة على مجموعات بيانات متوازنة أظهرت مستويات أعلى بكثير من العتامة والتباين مقارنة بتلك المدربة على البيانات الأصلية غير المتوازنة. ولم تتداخل مناطق طرق الموازنة على محور العتامة مع مناطق البيانات الأصلية، مما يشير إلى زيادة واضحة في التنبؤات المتضاربة.
• س2 (التأثير على أهمية المتغير): فيما يتعلق بـ تباين ترتيب أهمية المتغير (VIOD)، وجدت الدراسة عدم وجود فرق ذي دلالة إحصائية في قيم وسيط الـ VIOD بين النماذج المدربة على مجموعات بيانات متوازنة مقابل الأصلية. وهذا يتناقض مع بعض النتائج السابقة على مجموعات بيانات أصغر، مما يشير إلى أنه بينما تزداء صراعات التنبؤ، فإن الترتيب الأساسي لأهمية المتغير يظل مستقراً نسبياً عبر مجموعة راشومون الواسعة هذه.
• س3 (إعادة أخذ العينات الجزئية): تم رفض الفرضية القائلة بأن إعادة أخذ العينات الجزئية (مثل استهداف نسبة عدم توازن قدرها 1.25) يمكن أن تخفف من تغيرات سلوك النموذج. أظهرت الاختبارات الإحصائية (اختبار فريدمان) عدم وجود فرق معنوي في مقاييس راشومون عبر نسب إعادة أخذ العينات المتغيرة، مما يشير إلى أن إعادة أخذ العينات الجزئية لا تحل مشكلة التعدد التي تسببها الموازنة.
• س4 (مراقبة المقايضات): تحققت الدراسة من فائدة مخطط مكاسب الأداء الموسع. يقوم هذا التصور برسم المقايضة بين مكسب الأداء (المقاس بتحسن المساحة تحت المنحنى AUC) وتعدد التنبؤات (العتامة/التباين). سلطت النتائج الضوء على أنه بينما أدت طرق الإفراط في أخذ العينات (الإفراط في أخذ العينات، وSMOTE) عموماً إلى تحسين الأداء، إلا أنها زادت أيضاً من تعدد التنبؤات. وعلى العكس من ذلك، فشلت طرق تقليل أخذ العينات أحياناً في تحسين الأداء رغم زيادة تعدد التنبؤات.

الأهمية والادعاءات
تدعي الورقة أنها الدراسة الأولى التي تفحص تأثير راشومون تحديداً في سياق طرق الموازنة للتصنيف غير المتوازن. وتتمثل مساهماتها الرئيسية في:

1. الدليل التجريبي على التضخم: توفر دليلاً على أن طرق الموازنة، رغم أنها تهدف لتحسين الدقة، تزيد عن غير قصد من تعدد التنبؤات (التنبؤات المتضاربة) داخل مجموعة راشومون.
2. مقياس جديد (العتامة): يقدم تقديم مقياس العتامة رؤية أكثر دقة لتعدد التنبؤات من خلال قياس متوسط نسبة الصراعات بدلاً من مجرد وجود الصراع.
3. دحض إعادة أخذ العينات الجزئية: تتحدى الورقة الاعتقاد بأن إعادة أخذ العينات الجزئية تعد حلاً كافياً لتغيرات سلوك النماذج الناجمة عن الموازنة.
4. إطار النمذجة المسؤولة: يقترح المؤلفون استخدام مخطط مكاسب الأداء الموسع كأداة عملية لممارسي الذكاء الاصطناعي المتمحور حول البيانات. تسمح هذه الأداة بمراقبة المقايضة بين مكاسب الأداء والمخاطر المرتبطة بتعدد التنبؤات، مما يدعو إلى عملية اختيار نماذج أكثر مسؤولية تأخذ في الاعتبار ليس فقط الدقة، بل أيضاً استقرار واتساق تنبؤات النموذج.

تخلص الورقة إلى أنه بينما تُعد طرق الموازنة "ملاذاً" للتصنيف غير المتوازن، يجب على الباحثين مراعاة خطر تعدد التنبؤات المتزايد. إن الاختيار الأعمى من مجموعة راشومون الناتجة يعد أمراً خطيراً؛ لذا فإن مخطط مكاسب الأداء الموسع ضروري لإجراء عمليات النمذجة بمسؤولية.