Benchmarking Gradient Boosting and Explainable AI for Credit Default Prediction on Imbalanced Financial Data: A Leakage-Safe Multi-Seed Evaluation with SHAP and LIME

Cada vez que una persona solicita una tarjeta de crédito o un pequeño préstamo, ocurre un cálculo oculto en segundo plano. Los bancos y prestamistas deben decidir si pueden confiar en esa persona con su dinero, una decisión que depende de predecir si fallará en su pago. Esto no es solo una suposición; es un juicio financiero de alto riesgo que determina quién tiene acceso a la economía y a qué costo. Para tomar estas decisiones, las instituciones dependen de modelos computacionales que analizan el historial de una persona: sus ingresos, sus facturas pasadas y cómo ha manejado la deuda anteriormente. Estos modelos deben ser precisos, pero también deben ser justos y transparentes. Las leyes en los Estados Unidos exigen que, si se deniega un préstamo, el prestamista debe explicar exactamente por qué. Esto significa que la computadora no puede simplemente decir "no"; debe señalar las razones específicas, como un pago atrasado o un saldo elevado, que llevaron a la decisión. Si el modelo es una caja negra que nadie entiende, crea riesgos legales y resultados injustos para los prestatarios.

Durante años, los investigadores han intentado construir mejores modelos para predecir estos impagos, utilizando a menudo inteligencia artificial compleja. Sin embargo, un nuevo estudio sugiere que muchos de estos intentos previos se han construido sobre bases inestables. Los investigadores descubrieron que las prácticas comunes al probar estos modelos suelen introducir errores metodológicos, haciendo que las computadoras parezcan más inteligentes de lo que realmente son. También descubrieron que algunos trucos populares utilizados para corregir problemas de datos son en realidad innecesarios. Al establecer una forma de probar estos sistemas más estricta y honesta, el equipo identificó qué modelos funcionan realmente mejor y cómo explicar sus decisiones sin confusión. Su trabajo proporciona un estándar nuevo y fiable sobre cómo las instituciones financieras deben evaluar las herramientas que deciden quién recibe crédito.

El estudio se centró en una colección masiva de datos del mundo real de una compañía de tarjetas de crédito en Taiwán, que involucraba a treinta mil clientes. Cerca del veintidós por ciento de estos clientes terminaron sin pagar sus facturas, lo que creó una situación en la que los casos de "impago" eran menos que los casos "buenos". Este desequilibrio es común en las finanzas y ha llevado a muchos investigadores a utilizar una técnica llamada sobremuestreo sintético. Este método crea puntos de datos falsos para equilibrar los números, con la esperanza de que ayya la computadora a aprender mejor. Los investigadores en este estudio, sin embargo, probaron si este paso adicional era realmente necesario. Construyeron un protocolo de prueba riguroso que mantuvo los datos estrictamente separados, asegurando que la computadora nunca viera las respuestas de la prueba mientras aprendía. Realizaron las pruebas diez veces diferentes con diferentes puntos de partida aleatorios para asegurar que los resultados fueran estables y no solo un golpe de suerte.

Cuando compararon seis tipos diferentes de modelos computacionales, los resultados fueron claros. Las herramientas más poderosas son una familia de modelos conocidos como conjuntos de potenciación de gradiente (gradient boosting ensembles). Estos son sistemas que combinan muchos árboles de decisión simples para realizar una única predicación altamente precisa. Tres versiones específicas de estos modelos —XGBoost, LightGBM y CatBoost— funcionaron de manera casi idéntica, formando un nivel superior que superó significativamente a los métodos más antiguos y simples como la regresión logística y a los enfoques de aprendizaje profundo más nuevos. Los modelos superiores clasificaron correctamente el riesgo de impago aproximadamente el setenta y nueve por ciento de las veces, una cifra que es estadísticamente indistinguible entre sí pero claramente mejor que las alternativas. El estudio encontró que las diferencias entre estos tres modelos superiores eran tan pequeñas que ninguno podría declararse el ganador absoluto; simplemente todos son excelentes opciones para este tipo de problema.

Quizás el hallazgo más sorprendente se refirió a los datos sintéticos. Los investigadores probaron si añadir esos puntos de datos falsos y equilibrados mejoraba los modelos. Descubrieron que no fue así. Una vez que los investigadores ajustaron el umbral de decisión —el punto específico donde la computadora decide decir "sí" o "no"— basándose en un conjunto de validación separado, la necesidad de datos sintéticos desapareció. De hecho, para este tipo de datos financieros moderadamente desequilibrados, simplemente ajustar el punto de decisión fue suficiente para manejar el desequilibrio. Crear puntos de datos falsos no solo era redundante, sino que potencialmente podía introducir ruido que confundiera al modelo. Esto sugiere que las instituciones financieras pueden saltarse el complejo paso de generar datos sintéticos y, en su lugar, centrarse en calibrar cuidadosamente sus reglas de decisión.

Más allá de solo predecir quién entrará en impago, el estudio también analizó qué tan bien estos modelos pueden explicar sus propias decisiones, un requisito para el cumplimiento legal. Los investigadores utilizaron dos métodos diferentes para generar estas explicaciones: uno basado en la teoría de juegos y otro basado en aproximaciones locales. Encontraron que, si bien estos dos métodos generalmente coincidían en los factores más importantes, no siempre coincidían en cada persona individual. Para aproximadamente el sesenta y dos por ciento de los casos, las explicaciones eran razonablemente consistentes, pero para algunos individuos, los dos métodos señalaban razones diferentes para una denegación. Este desacuerdo es un riesgo crítico. Si un banco depende de un solo método para decirle a un cliente por qué fue rechazado, y ese método es inestable, el banco podría enfrentar desafíos legales. El estudio conclce que las instituciones deben verificar la concordancia entre diferentes herramientas de explicación y contar con expertos humanos que revisen los casos donde el razonamiento de la computadora es poco claro.

Los investigadores también probaron sus hallazgos en un conjunto de datos más pequeño y antiguo de Alemania para ver si los resultados se mantenían con menos datos. Encontraron que, con menos ejemplos, la ventaja de los modelos complejos sobre los más simples era más difícil de probar estadísticamente, lo que sugiere que el poder de estas herramientas avanzadas depende de tener suficientes datos para aprender. Finalmente, el equipo verificó la equidad entre diferentes grupos, como hombres y mujeres o personas con diferentes niveles de educación. Encontraron solo pequeñas diferencias en cómo el modelo trataba a estos grupos, pero señalaron que, para grupos muy pequeños, los datos eran demasiado escasos para extraer conclusiones firmes. El estudio enfatiza que, si bien los modelos funcionaron bien en general, están entrenados en datos históricos específicos y no pueden aplicarse ciegamente a diferentes poblaciones o crisis económicas sin una reevaluación.

Este trabajo establece una forma nueva y más limpia de probar los modelos de calificación crediticia. Demuestra que las herramientas más efectivas ya están disponibles y que no necesitan trucos de datos artificiales para funcionar bien. Más importante aún, resalta que la precisión no es suficiente; las explicaciones detrás de las decisiones deben ser consistentes y fiables. Al seguir el protocolo estricto y libre de filtraciones de información (leakage-free) descrito en el estudio, las instituciones financieras pueden construir sistemas que no solo sean más precisos, sino también más confiables y legalmente sólidos. El código y los datos utilizados en esta investigación están ahora abiertos para que cualquiera los use, asegurando que este nuevo estándar pueda ser adoptado y verificado por la comunidad en general.