Benchmarking Gradient Boosting and Explainable AI for Credit Default Prediction on Imbalanced Financial Data: A Leakage-Safe Multi-Seed Evaluation with SHAP and LIME

في كل مرة يتقدم فيها شخص بطلب للحصول على بطاقة ائتمان أو قرض صغير، تجري عملية حسابية خفية في الخلفية. يجب على البنوك والمقرضين أن يقرروا ما إذا كان بإمكانهم الوثوق بهذا الشخص بالمال، وهو قرار يعتمد على التنبؤ بما إذا كان سيفشل في السداد. هذا ليس مجرد تخمين؛ بل هو حكم مالي عالي المخاطر يحدد من يحصل على فرصة الوصول إلى الاقتصاد وبأي تكلفة. ولاتخاذ هذه القرارات، تعتمد المؤسسات على نماذج حاسوبية تمسح تاريخ الشخص — دخله، وفواتيره السابقة، وكيفية تعامله مع الديون من قبل. يجب أن تكون هذه النماذج دقيقة، ولكن يجب أن تكون أيضاً عادلة وشفافة. تتطلب القوانين في الولايات المتحدة أنه في حال رفض القرض، يجب على المقرض توضيح السبب بدقة. وهذا يعني أن الكمبيوتر لا يمكنه مجرد قول "لا"؛ بل يجب عليه الإشارة إلى الأسباب المحددة، مثل تأخر في السداد أو رصيد مرتفع، التي أدت إلى القرار. إذا كان النموذج عبارة عن "صندوق أسود" لا يفهمه أحد، فإنه يخلق مخاطر قانونية ونتائج غير عادلة للمقترضين.

لسنوات، حاول الباحثون بناء نماذج أفضل للتنبؤ بحالات التعثر هذه، وغالباً باستخدام ذكاء اصطناعي معقد. ومع ذلك، تشير دراسة جديدة إلى أن العديد من هذه المحاولات السابقة بُنيت على أسس مهتزة. فقد وجد الباحثون أن الممارسات الشائعة في اختبار هذه النماذج غالباً ما تُدخل أخطاءً منهجية، مما يجعل الحواسيب تبدو أكثر ذكاءً مما هي عليه في الواقع. كما اكتشفوا أن بعض الحيل الشهيرة المستخدمة لإصلاح مشاـكل البيانات هي في الواقع غير ضرورية. ومن خلال وضع طريقة أكثر صرامة وأمانة لاختبار هذه الأنظمة، حدد الفريق النماذج التي تعمل بشكل أفضل حقاً وكيفية شرح قراراتها دون ارتباك. يوفر عملهم معياراً جديداً وموثوقاً لكيفية تقييم المؤسسات المالية للأدوات التي تقرر من يستحق الائتمان.

ركزت الدراسة على مجموعة ضخمة من البيانات الواقعية من شركة بطاقات ائتمان في تايوان، شملت ثلاثين ألف عميل. وقد فشل حوالي اثنين وعشرين بالمائة من هؤلاء العملاء في نهاية المطاف في سداد فواتيرهم، مما خلق وضعاً كانت فيه حالات "التعثر" أقل من الحالات "الجيدة". هذا الاختلال أمر شائع في التمويل وقد دفع العديد من الباحثين لاستخدام تقنية تسمى "أخذ العينات الزائدة الاصطناعية" (synthetic oversampling). هذه الطريقة تنشئ نقاط بيانات وهمية لموازنة الأرقام، على أمل أن يساعد ذلك الكمبيوتر على التعلم بشكل أفضل. ومع ذلك، اختبر الباحثون في هذه الدراسة ما إذا كانت هذه الخطوة الإضافية ضرورية بالفعل. لقد بنوا بروتوكول اختبار صارماً حافظ على فصل البيانات بدقة، مما ضمن عدم رؤية الكمبيوتر لإجابات الاختبار أثناء عملية التعلم. وقاموا بإجراء الاختبارات عشر مرات مختلفة بنقاط بداية عشوائية مختلفة للتأكد من أن النتائج مستقرة وليست مجرد ضربة حظ.

وعندما قارنوا بين ستة أنواع مختلفة من النماذج الحاسوبية، كانت النتائج واضحة. كانت الأدوات الأكثر قوة هي عائلة من النماذج المعروفة باسم "تجمعات تعزيز التدرج" (gradient boosting ensembles). وهي أنظمة تجمع بين العديد من أشجار القرار البسيطة لتقديم تنبؤ واحد عالي الدقة. وقد أدت ثلاثة إصدارات محددة من هذه النماذج — وهي XGBoost وLightGBM وCatBoost — أداءً متطابقاً تقريباً، مشكلةً طبقة عليا تفوقت بشكل كبير على الأساليب الأقدم والأبسط مثل الانحدار اللوجستي (logistic regression) والأساليب الحديثة مثل التعلم العميق. وقد نجحت النماذج العليا في تصنيف خطر التعثر بدقة تبلغ حوالي تسعة وسبعين بالمائة، وهو رقم لا يمكن تمييزه إحصائياً عن غيره من النماذج في نفس الفئة، ولكنه يتفوق بوضوح على البدائل. ووجدت الدراسة أن الاختلافات بين هذه النماذج الثلاثة العليا كانت صغيرة جداً لدرجة أنه لا يمكن إعلان فوز نموذج واحد منها كأفضل نموذج على الإطلاق؛ فهي ببساطة جميعها خيارات ممتازة لهذا النوع من المشكلات.

ربما كان الاكتشاف الأكثر إثارة للدهشة يتعلق بالبيانات الاصطناعية. فقد اختبر الباحثون ما إذا كان إضافة تلك النقاط البيانية الوهمية والمتوازنة يحسن النماذج. ووجدوا أن ذلك لم يحدث. فبمجرد أن قام الباحثون بتعديل "عتبة القرار" (decision threshold) — وهي النقطة المحددة التي يقرر عندها الكمبيوتر قول "نعم" أو "لا" — بناءً على مجموعة تحقق منفصلة، اختفت الحاجة إلى البيانات الاصطناعية. في الواقع، بالنسبة لهذا النوع من البيانات المالية غير المتوازنة بشكل متوسط، كان مجرد ضبط نقطة القرار كافياً للتعامل مع عدم التوازن. إن إنشاء نقاط بيانات وهمية لم يكن زائداً فحسب، بل كان من المحتمل أن يؤدي إلى إدخال "ضجيج" قد يربك النموذج. وهذا يشير إلى أن المؤسسات المالية يمكنها تجاوز الخطوة المعقدة المتمثلة في توليد بيانات اصطناعية والتركيز بدلاً من ذلك على معايرة قواعد القرار بعناية.

وبعيداً عن مجرد التنبؤ بمن سيتعثر، بحثت الدراسة أيضاً في مدى قدرة هذه النماذج على شرح قراراتها الخاصة، وهو مطلب للامتثال القانوني. استخدم الباحثون طريقتين مختلفتين لتوليد هذه التفسيرات: إحداهما تعتمد على نظرية الألعاب، والأخرى تعتمد على التقريبات المحلية. ووجدوا أنه بينما اتفقت الطريقتان عموماً على العوامل الأكثر أهمية، إلا أنهما لم تتفقا دائماً على كل فرد على حدة. فبالنسبًة لحوالي اثنين وستين بالمائة من الحالات، كانت التفسيرات متسقة بشكل معقول، ولكن بالنسبة لبعض الأفراد، أشارت الطريقتان إلى أسباب مختلفة للرفض. هذا الاختلاف يمثل خطراً حرجاً. فإذا اعتمد البنك على طريقة واحدة فقط لإخبار العميل بسبب رفضه، وكانت تلك الطريقة غير مستقرة، فقد يواجه البنك تحديات قانونية. وتخلص الدراسة إلى أن المؤسسات يجب أن تتحقق من الاتفاق بين أدوات التفسير المختلفة وأن يقوم خبراء بشريون بمراجعة الحالات التي يكون فيها منطق الكمبيوتر غير واضح.

كما اختبر الباحثون نتائجهم على مجموعة بيانات أصغر وأقدم من ألمانيا لمعرفة ما إذا كانت النتائج ستصمد مع وجود بيانات أقل. ووجدوا أنه مع وجود أمثلة أقل، يصبح تفوق النماذج المعقدة على النماذج الأبسط أصعب من الناحية الإحصائية، مما يشير إلى أن قوة هذه الأدوات المتقدمة تعتمد على امتلاك قدر كافٍ من البيانات للتعلم منها. وأخيراً، تحقق الفريق من العدالة عبر مجموعات مختلفة، مثل الرجال والنساء أو الأشخاص ذوي المستويات التعليمية المختلفة. ووجدوا اختلافات طفيفة فقط في كيفية معاملة النموذج لهذه المجموعات، لكنهم أشاروا إلى أنه بالنسبة للمجموعات الصغيرة جداً، كانت البيانات شحيحة للغاية بحيث لا تسمح باستخلاص استنتاجات حازمة. وتؤكد الدراسة أنه على الرغم من أداء النماذج بشكل جيد بشكل عام، إلا أنها مدربة على بيانات تاريخية محددة ولا يمكن تطبيقها بشكل أعمى على مجموعات سكانية مختلفة أو أزمات اقتصادية دون إعادة تقييم.

يعمل هذا العمل على وضع طريقة جديدة وأكثر نقاءً لاختبار نماذج التقييم الائتماني. فهو يثبت أن الأدوات الأكثر فعالية متاحة بالفعل، وأنها لا تحتاج إلى حيل البيانات الاصطناعية لتعمل بشكل جيد. والأهم من ذلك، أنه يسلط الضوء على أن الدقة وحدها لا تكفي؛ بل يجب أن تكون التفسيرات الكامنة وراء القرارات متسقة وموثوقة. ومن خلال اتباع البروتوكول الصارم والخالي من "تسرب البيانات" (leakage-free) الذي حددته الدراسة، يمكن للمؤسسات المالية بناء أنظمة ليست أكثر دقة فحسب، بل أكثر موثوقية وسليمة قانونياً أيضاً. إن الكود والبيانات المستخدمة في هذا البحث متاحة الآن ليستخدمها أي شخص، مما يضمن إمكانية اعتماد هذا المعيار الجديد والتحقق منه من قبل المجتمع العلمي الأوسع.