Ablation Study of Class Imbalance Techniques for Credit Default Prediction with SHAP-based Explainability Analysis

تخيل أنك محقق يحاول العثور على لص واحد يختبئ وسط حشد من 100 شخص. اثنان وتسعون منهم أبرياء، وثمانية فقط مذنبون. إذا خمنت ببساطة أن "الجميع أبرياء"، فستكون محقاً بنسبة 92% من المرات! لكنك ستضبط صفر لصوص. في عالم علوم الحاسوب، يُسمى هذا "مشكلة عدم توازن الفئات" (class imbalance). يحدث هذا عندما يتم تدريب نموذج حاسوبي على بيانات يكون فيها أحد النتائج (مثل سداد القرض) يتكرر بشكل أكبر بكثير من النتيجة الأخرى (مثل التعثر في السداد). ولأن الحاسوب يرى الكثير من الأمثلة "الجيدة"، فإنه يصبح كسولاً ويكتفي بالتنبؤ بأن الجميع "جيدون"، مما يؤدي إلى الفشل في رصد الحالات "السيئة" النادرة.

لسنوات، كان الحل القياسي لهذا الأمر هو تقنية تسمى SMOTE. فكر في SMOTE كآلة تصوير لنسخ الحالات النادرة. إذا كان لديك ثماني صور فقط للصوص، فإن SMOTE ينشئ صوراً اصطناعية جديدة للصوص عبر دمج وتنسيق التفاصيل من الصور الحقيقية، على أمل منح الحاسوب ما يكفي من التدريب لتعلم النمط. ولكن هناك طريقة أخرى. بعض النماذج الحاسوبية، وتحديداً نوع قوي يسمى XGBoost، لديها "مقبض تحكم" مدمج للأخطاء. بدلاً من اختلاق بيانات وهمية، يمكنك فقط إخبار الحاسوب: "مهلاً، إذا فاتك لص، فهذا خطأ جسيم! وإذا فاتك شخص بريء، فهذا خطأ بسيط". هذا يجبر النموذج على إعطاء اهتمام إضافي للحالات النادرة دون المساس بالبيانات الأصلية أبداً.

السؤال الكبير هو: هل من الأفضل اختلاق بيانات تدريب وهمية (SMOTE)، أم مجرد رفع مستوى الصوت للأخطاء (مقبض التحكم المدمج)؟ دراسة جديدة أجراها أثارف تيواري من هندسة البنجاب تضع هذين النهجين في مواجهة مباشرة لترى أيهما يضبط المزيد من اللصوص فعلياً في العالم الحقيقي لتقييم الائتمان.

---

المواجهة الكبرى لبطاقات الائتمان

في هذه الدراسة، صمم الباحث تجربة ضخمة باستخدام مجموعة بيانات واقعية لأكثر من 300,000 طلب قرض. في هذا الحشد، سدد 92% من الناس قروضهم، بينما تعثر 8% فقط. كان هذا هو الإعداد المثالي لاختبار مدى قدرة النماذج الحاسوبية المختلفة على رصد الـ 8% دون أن يتشتت انتباهها بالـ 92%.

لم يكتفِ الباحث باختيار نموذج واحد؛ بل اختبر ثلاثة "محققين" مختلفين:

1. الانحدار اللوجستي (Logistic Regression): المحقق التقليدي الموثوق الذي يتبع قواعد صارمة.
2. الغابة العشوائية (Random Forest): فريق من المحققين الذين ينظر كل منهم إلى الأدلة بشكل مختلف ويصوتون على الإجابة.
3. XGBoost: المحقق الذكي جداً الذي يتعلم من أخطائه واحداً تلو الآخر، ويصبح أكثر حدة مع كل جولة.

وقد مُنح كل محقق ثلاث استراتيجيات تدريب مختلفة:

• استراتيجية "لا تفعل شيئاً": فقط ارمِ البيانات الخام أمامهم وانظر ماذا سيحدث.
• استراتيجية "مقبض التحكم": استخدم الإعدادات المدمجة في النموذج لمعاقبة تفويت المتعثر بشدة (بدون بيانات وهمية).
• استراتيجية "آلة التصوير": استخدم SMOTE لإنشاء متعثرين وهميين لموازنة بيانات التدريب.

النتيجة الصادمة

كانت النتائج تشبه الحبكة في فيلم غموض. فشلت استراتيجية "لا تفعل شيئاً" فشلاً ذريعاً للجميع، حيث لم تضبط سوى 2.2% أو أقل من المتعثرين (نسبة الاستدعاء/Recall). كان ذلك متوقعاً. لكن المعركة بين "مقبض التحكم" و"آلة التصوير" كانت هي الجزء المثير للاهتمام.

عندما استخدم الباحث XGBoost، سحق استراتيجية "مقبض التحكم" المدمجة المنافسة. فقد تمكنت من ضبط 64.8% من المتعثرين الفعليين. أما استراتيجية "آلة التصوير" (SMOTE)، التي كانت الحل المعتمد لعقود، فلم تضبط سوى 43.3%. هذه فجوة هائلة قدرها 21.5 نقطة مئوية. أجرى الباحث اختبارات إحصائية صارمة (تسمى اختبار McNemar) وأكد أن هذا لم يكن محض صدفة؛ فالفرق كان كبيراً لدرجة أنه مؤكد إحصائياً ($p < 10^{-6}$).

ومع ذلك، تغيرت القصة تماماً عندما انتقلوا إلى الغابة العشوائية (Random Forest). بالنسبة لهذا النموذج، بالكاد نجحت استراتيجية "مقبض التحكم" (ضبطت 7.8% فقط من المتعثرين)، بينما أدت استراتيجية "آلة التصوير" (SMOTE) أداءً أفضل بكثير، حيث ضبطت 41.2%.

يشير هذا إلى أنه لا يوجد "رصاصة سحرية" واحدة لإصلاح مشكلة عدم توازن البيانات. فما ينجح مع نوع معين من النماذج قد يفشل مع نوع آخر. وتوضح الدراسة أنه بالنسبة لنموذج XGBoost القوي تحديداً، فإن مجرد إخبار النموذج بأن يهتم أكثر بالأخطاء النادرة هو أمر أفضل بكثير من تغذيته ببيانات اصطناعية وهمية.

لماذا فشلت "آلة التصوير" (وانتصر "المقبض")؟

إذاً، لماذا أضر اختلاق بيانات وهمية بنموذج XGBoost؟ يشرح الباحث أنه عندما يكون لديك مجموعة بيانات معقدة تحتوي على 192 ميزة مختلفة (مثل الدخل، العمر، والتاريخ الائتماني)، فإن إنشاء شخص وهمي عبر دمج شخصين حقيقيين يمكن أن ينتج عنه "وحش" لا وجود له في الواقع. الأمر يشبه محاولة دمج صورة قط وصورة كلب لصنع حيوان جديد؛ النتيجة قد تبدو غريبة وتُربك الحاسوب. ينتهي الأمر بالنموذج بالتعلم من الضجيج بدلاً من الأنماط الحقيقية.

أما "مقبض التحكم" المدمج فيتجنب هذا الفخ تماماً. فهو لا يلمس البيانات ولا يخلق أمثلة وهمية، بل يغير الرياضيات الكامنة وراء المشهد ليقول: "لا تفوت الحالات النادرة!". حافظ هذا على نظافة عملية التدريب وسمح لـ XGBoost بأداء أفضل حالاته.

"السبب" وراء "من"

للتأكد من أن هذا النموذج الفائز لم يكن مجرد "صندوق أسود" يطلق تخمينات عشوائية، استخدم الباحث أداة تسمى SHAP (والتي ترمز إلى SHapley Additive exPlanations). فكر في SHAP كعدسة مكبرة تُظهر بالضبط أي الأدلة استخدمها المحقق لاتخاذ القرار.

كشف التحليل أن النموذج كان يتصرف بمنطقية. كانت أهم معلومة هي درجة المكتب الائتماني الخارجي (درجة الائتمان من البنوك الأخرى). وهذا منطقي تماماً: إذا كان لدى الشخص تاريخ في سداد القروض لجهات أخرى، فمن المرجح أن يسدد لك أيضاً. كما نظر النموذج في نسبة مبلغ القرض إلى مبلغ السداد وعمر المقترض. والأهم من ذلك، كان منطق النموذج شفافاً وقابلاً للدفاع عنه، وهو أمر بالغ الأهمية للبنوك التي تحتاج لتفسير قراراتها للمشرعين.

الخلا الخطوط العريضة

تخلص الدراسة إلى أنه قبل البدء في توليد آلاف النقاط البيانية الوهمية لإصلاح عدم التوازن، يجب عليك تجربة الأدوات المدمجة والبسيطة التي يمتلكها نموذجك بالفعل. بالنسبة لـ XGBoost، لم يكن الوزن المدمج أسهل في الاستخدام فحسب، بل كان أكثر فعالية بشكل ملحوظ، حيث ضبط ما يقرب من 22% أكثر من المتعثرين مقارنة بالطريقة التقليدية.

ومع ذلك، يحذر الباحث من أن هذه ليست قاعدة عالمية. وبما أن "الغابة العشوائية" حققت أداءً أفضل مع طريقة "آلة التصوير"، فلا يمكنك افتراض أن تقنية واحدة تعمل مع كل نموذج. يعتمد النهج الأفضل تماماً على نوع "المحقق" الذي تستخدمه. في عالم الخدمات المصرفية المنظم، حيث يعد ضبط المتعثرين أمراً حيوياً ولكن شرح القرارات أمراً إلزامياً، تقدم هذه النتيجة مساراً أكثر وضوحاً وكفاءة: جرب "المقبض" البسيط أولاً، ولكن تحقق دائماً مما إذا كان يناسب نموذجك الخاص.