Validation-Stage Combinatorial Fusion Analysis for Imbalanced Credit-Card Fraud Detection

Resumen Técnico: Análisis de Fusión Combinatoria en la Etapa de Validación para la Detección de Fraude en Tarjetas de Crédito con Clases Desbalanceadas

Planteamiento del Problema
La detección de fraude en tarjetas de crédito presenta un problema de aprendizaje automático desafiante, caracterizado por un desbalance extremo de clases, altos costos de error (tanto falsos positivos como falsos negativos) y patrones de fraude no estacionarios. Si bien los modelos robustos basados en árboles de gradiente aumentado (p. ej., XGBoost, LightGBM) ya sirven como bases sólidas para datos transaccionales estructurados, el valor marginal de métodos adicionales de ensamble o fusión suele ser incierto. Este trabajo investiga si el Análisis de Fusión Combinatoria (CFA, por sus siglas en inglés)—un método que busca sobre subconjuntos de modelos y reglas de fusión de puntuación de rango—puede proporcionar mejoras de rendimiento fiables sobre los mejores modelos individuales y las técnicas de ensamble estándar (votación suave, stacking) en el benchmark de detección de fraude IEEE-CIS.

Metodología
El estudio emplea un protocolo experimental estricto y libre de fugas de información (leakage-free) utilizando una división de entrenamiento/validación/prueba de 60/20/20.

• Datos y Preprocesamiento: El conjunto de datos comprende 590,540 transacciones anonimizadas con tipos de características mixtos. El preprocesamiento (manejo de valores faltantes, codificación de etiquetas, escalado) se ajustó exclusivamente en el conjunto de entrenamiento.
• Clasificadores Base: Siete modelos distintos sirven como biblioteca de candidatos: KNN, LDA, Regresión Logística, Random Forest, XGBoost, LightGBM y TabNet. Los modelos lineales y KNN utilizan características reducidas mediante PCA, mientras que los ensambles de árboles y TabNet utilizan el conjunto completo de características.
• Análisis de Fusión Combinatoria (CFA):
  • Característica de Puntuación de Rango (RSC): Cada modelo se caracteriza por su función RSC, que mapea las posiciones de rango normalizadas a puntuaciones.
  • Medición de Diversidad: La diversidad entre modelos se cuantifica como la distancia L1 promedio entre sus funciones RSC.
  • Espacio de Búsqueda: El marco evalúa 120 subconjuntos de modelos (de los 7 aprendices base) combinados con cuatro reglas de fusión: Puntuación Promedio, Puntuación Ponderada (ponderada por diversidad), Rango Promedio y Rango Ponderado. Esto resulta en 480 configuraciones de fusión.
  • Estrategia de Selección: El subconjunto óptimo y la regla de fusión se seleccionan basándose en métricas de rendimiento (AUC-ROC, AUPRC, F1) en el conjunto de validación. El conjunto de prueba se utiliza únicamente para el reporte final.
• Experimentos Auxiliares: El estudio incluye un experimento de aumentación con CTGAN para probar la generación sintética de fraude y un estudio de ablación sobre las proporciones de desbalance de clases.

Contribuciones Clave

1. Evaluación Empírica de CFA: El documento proporciona una evaluación rigurosa de CFA en el benchmark IEEE-CIS, demostrando su aplicación tanto con modelos de árboles tradicionales como con aprendices tabulares profundos (TabNet).
2. Selección de Subconjuntos vs. Biblioteca Completa: Establece que el ensamble óptimo es un subconjunto compacto de modelos fuertes basados en árboles (Random Forest, XGBoost, LightGBM) en lugar de la biblioteca completa de modelos o el conjunto más diverso de modelos.
3. Rigor Estadístico: El estudio utiliza intervalos de confianza de bootstrap (1,000 remuestreos) para distinguir las ganancias de rendimiento genuinas del ruido de búsqueda, confirmando que las mejoras sobre el mejor modelo individual son estadísticamente significativas.
4. Resultado Negativo sobre la Aumentación: Reporta un resultado negativo acotado respecto a la aumentación por CTGAN, mostrando que la generación sintética de fraude degrada el rendimiento en este entorno de alta dimensionalidad y tipos mixtos.

Resultados

• Rendimiento: La mejor configuración, DEF WtScore (una fusión de puntuación ponderada por diversidad de Random Forest, XGBoost y LightGBM), logró:
  • AUC-ROC: 0.9405 (frente a 0.9343 para el mejor modelo individual, LightGBM).
  • AUPRC: 0.6699 (frente a 0.6480 para LightGBM).
  • F1: 0.6373 (frente a 0.6126 para el mejor modelo individual, XGBoost).
• Significancia Estadística: Los intervalos de confianza de bootstrap para las diferencias de rendimiento excluyen el cero para las tres métricas, confirmando que las ganancias son fiables.
• Comparación con Baselines:
  • CFA iguala la votación suave en AUC-ROC, pero mejora el AUPRC y el F1.
  • El stacking tuvo un desempeño inferior al mejor modelo individual, probablemente debido a la alta correlación y fortaleza de los aprendices base.
  • La fusión basada en puntuación superó a la fusión basada en rangos; los autores señalan que reemplazar las puntuaciones informativas por rangos eliminó una separación útil en este contexto.
• Métricas Operativas: En puntos operativos fijos (p. ej., 50% de recall), el ensamble CFA mantuvo una precisión más alta que LightGBM, lo que indica utilidad práctica para los equipos de fraude que gestionan presupuestos de alertas.
• CTGAN y Desbalance: La aumentación por CTGAN redujo el rendimiento en todos los modelos y en el ensamble CFA. Respecten al desbalance de clases, CFA superó a los modelos individuales en proporciones de fraude del 1% o superiores, pero tuvo un desempeño inferior al 0.5%, lo que sugiere una estimación insuficiente de datos para calcular de forma fiable las señales de diversidad en la extrema escasez.

Significancia y Reivindicaciones
El documento concluye que el CFA es más valioso no como un mecanismo para combinar cada clasificador disponible, sino como un método de etapa de validación para seleccionar un subconjunto pequeño y complementario de aprendices fuertes y asignar pesos conscientes de la diversidad. Los hallazgos sugieren que la diversidad es beneficiosa solo cuando el modelo añadido aporta "errores útiles" (fortalezas complementarias) en lugar de simplemente errores diferentes. El estudio advierte contra el uso automático de la aumentación de datos sintéticos (específicamente CTGAN) para datos de fraude de alta cardinalidad y destaca que, si bien los modelos individuales bien ajustados (como LightGBM) pueden ser suficientes para un ranking general, los métodos de ensamble ofrecen ganancias significativas y estadísticamente relevantes para los compromisos de precisión-recall y los umbrales operativos.