ERP-RiskBench: Leakage-Safe Ensemble Learning for Financial Risk

Este artículo presenta ERP-RiskBench, un marco experimental reproducible y seguro contra fugas de datos que utiliza un modelo de ensemble de aprendizaje automático para detectar riesgos financieros en sistemas ERP, demostrando que las prácticas rigurosas de validación reducen las estimaciones de rendimiento infladas e identifican las discrepancias en la conciliación de tres vías como los predictores más informativos.

Lo esencial

Imagina que una empresa es como una gigantesca ciudad donde todo se mueve: compras, ventas, pagos y salarios. Para que esta ciudad funcione sin caos, tiene un "cerebro" central llamado ERP (Sistema de Planificación de Recursos Empresariales). Este cerebro registra cada centavo que entra y sale.

El problema es que, en medio de todo ese movimiento, siempre hay "ladrones" o "trabajos mal hechos" (fraude o errores). Detectarlos es como buscar una aguja en un pajar, pero con un giro: la aguja es tan pequeña que casi no se ve, y el pajar es tan grande que a veces nos confundimos.

Este artículo, titulado "ERP-RiskBench", es como un manual de instrucciones para construir un detective de inteligencia artificial que sea tan bueno que no se deje engañar por trucos fáciles.

Aquí te explico los puntos clave con analogías sencillas:

1. El Problema: Los Detectives "Tramposos"

Antes de este estudio, muchos investigadores intentaban crear estos detectores de fraude, pero cometían un error grave: hacían trampa en los exámenes.

• La analogía: Imagina que le das a un estudiante el mismo examen que usó para estudiar. ¡Claro que sacará un 10! Pero eso no significa que sea inteligente; solo significa que memorizó las respuestas.
• En el mundo de los datos, esto se llama "fuga de datos" (data leakage). Los modelos antiguos veían información del futuro o de casos que no deberían conocer, por lo que parecían genios, pero en la vida real fallaban estrepitosamente.

2. La Solución: El "Entrenamiento de Elite" (ERP-RiskBench)

Los autores crearon un nuevo campo de entrenamiento llamado ERP-RiskBench. No es solo un examen; es un simulador de realidad.

• La mezcla: Combinaron datos reales de compras (como facturas de una gran empresa), datos de fraudes de tarjetas de crédito y, lo más interesante, crearon una ciudad falsa (datos sintéticos).
• La ciudad falsa: Imagina que construyes una maqueta de la ciudad donde tú mismo decides dónde poner los ladrones y qué tipo de trampa usan. Esto permite entrenar al detective con casos que nunca ha visto antes, preparándolo para lo inesperado.

3. El Detective: El "Equipo de Superhéroes" (Ensemble Learning)

En lugar de confiar en un solo modelo de inteligencia artificial, usaron un Equipo de Superhéroes (llamado Stacking Ensemble).

• La analogía: Imagina que tienes un equipo de expertos: uno es un experto en matemáticas, otro en patrones visuales, otro en lógica rápida.
• Cada experto mira el caso por separado. Luego, tienen una reunión con un juez final (un modelo metá) que escucha a todos y toma la decisión final.
• Resultado: Este equipo funciona mucho mejor que cualquier experto individual. Si uno falla, los otros lo cubren.

4. La Regla de Oro: "No mirar las respuestas"

La parte más importante del estudio es cómo entrenaron al equipo.

• La analogía: Imagina que el profesor (el modelo) tiene que estudiar para un examen. La regla estricta es: nunca puede ver las respuestas del examen final.
• Usaron una técnica llamada "Validación Cruzada Anidada". Es como si el profesor hiciera muchos exámenes de práctica, pero cada vez que estudia un tema, oculta una parte del examen para ver si realmente lo entendió.
• El resultado: Cuando aplicaron esta regla estricta, la "puntuación" de los modelos bajó un poco (porque dejaron de hacer trampa), pero la confianza en que funcionarán en la vida real se disparó.

5. ¿Qué aprendieron? (Los Hallazgos)

• El orden importa más que la inteligencia: La forma en que separan los datos (por tiempo y por grupo) es más importante que qué tan "inteligente" es el algoritmo. Si no separas bien los datos, el modelo se ilusiona.
• El "Equipo de Superhéroes" gana: La combinación de varios modelos de árboles de decisión (como XGBoost y LightGBM) fue la mejor para encontrar el fraude.
• La explicación es clave: No basta con decir "esto es fraude". El sistema también explica por qué.
  • Ejemplo: El sistema dice: "Esto es sospechoso porque la factura llegó antes que la mercancía" o "Porque el monto es un número redondo extraño". Esto es vital para que los auditores humanos confíen en la máquina.

6. El Impacto en el Mundo Real

Este estudio nos dice que, para detectar fraude en empresas, no necesitamos inventar un algoritmo nuevo y mágico. Lo que necesitamos es:

1. Honestidad: No hacer trampa en los datos.
2. Equipo: Usar varios modelos trabajando juntos.
3. Contexto: Entender que el fraude cambia con el tiempo (como los ladrones que cambian de disfraz).

En resumen:
Los autores construyeron un laboratorio de pruebas a prueba de fallos para crear detectores de fraude financieros. Demostraron que, si eres honesto con tus datos y usas un equipo de modelos en lugar de uno solo, puedes crear un sistema que realmente proteja el dinero de las empresas, sin ilusiones falsas. Es como pasar de tener un perro que ladra a todo lo que se mueve, a tener un perro de guardia entrenado que solo ladra cuando ve un peligro real.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo "ERP-RiskBench: Leakage-Safe Ensemble Learning for Financial Risk" en español, estructurado según los puntos solicitados:

1. Planteamiento del Problema

La detección de riesgos financieros en sistemas de Planificación de Recursos Empresariales (ERP) es un área crítica pero subexplorada en el aprendizaje automático. Los estudios existentes adolecen de graves deficiencias metodológicas que inflan artificialmente el rendimiento reportado:

• Fugas de datos (Data Leakage): Prácticas comunes como realizar el preprocesamiento o el muestreo (ej. SMOTE) antes de dividir los datos, lo que permite que la información de prueba "filtre" al entrenamiento.
• Descripciones vagas de datos: Falta de transparencia en los conjuntos de datos utilizados.
• Métricas inadecuadas: Uso de la precisión global (accuracy) en escenarios de desequilibrio de clases extremo (donde el fraude es <1%), lo que oculta el rendimiento real del modelo.
• Falta de reproducibilidad: Pipelines experimentales que no permiten la auditoría o la replicación rigurosa.

El objetivo del artículo es abordar estas brechas mediante un marco experimental disciplinado, reproducible y seguro contra fugas de datos para la detección de riesgos financieros en ERP.

2. Metodología y Marco Experimental

El estudio propone un pipeline end-to-end diseñado para eliminar el sesgo y garantizar la integridad de la evaluación.

A. Benchmark ERP-RiskBench

Se construyó un conjunto de datos compuesto y estandarizado llamado ERP-RiskBench, que integra cuatro fuentes para cubrir diferentes aspectos del riesgo:

1. BPI Challenge 2019 (P2P): Registro de eventos reales de compras (Purchase-to-Pay) de una multinacional. Las etiquetas se derivan de reglas de cumplimiento (ej. discrepancias en la coincidencia de tres vías).
2. Fraude de Tarjetas de Crédito: Datos públicos para probar el rendimiento en desequilibrio extremo (0.17% de fraude).
3. PaySim: Datos simulados de dinero móvil para actuar como proxy de fraude.
4. ERP-Synth (Nuevo): Un conjunto de datos sintético generado con un CTGAN (Generador Antagónico de Redes Neuronales Tabulares) y la inyección de tipologías de riesgo basadas en reglas (facturas duplicadas, compras divididas, cambios sospechosos de bancos, etc.).

B. Protocolo de "Leakage-Safe" (Seguro contra Fugas)

La contribución metodológica central es la estricta separación de los datos de entrenamiento y prueba en todas las etapas:

• División Temporal y por Grupos: Los datos se dividen cronológicamente (último 20% como prueba) y se asegura que entidades (proveedores, órdenes de compra) no aparezcan en múltiples pliegues de validación.
• Validación Cruzada Anidada (Nested Cross-Validation):
  • Bucle Exterior (K=5): Para estimación imparcial del rendimiento.
  • Bucle Interior (K=3): Para optimización de hiperparámetros y selección de características.
• Restricción de Preprocesamiento: Todas las operaciones (imputación, escalado, codificación, selección de características, y técnicas de aumento de datos como SMOTE o CTGAN) se ajustan exclusivamente en el pliegue de entrenamiento del bucle interior. El conjunto de validación solo recibe transformaciones aplicadas.

C. Suite de Modelos

Se compararon cuatro familias de modelos bajo condiciones idénticas:

• Línea Base Lineal: Regresión Logística.
• Ensembles de Árboles: Random Forest, XGBoost, LightGBM, CatBoost.
• Ensemble de Apilamiento (Stacking): Combina los anteriores con un meta-aprendiz (Regresión Logística) entrenado sobre predicciones out-of-fold.
• Modelos Profundos (Deep Learning): TabNet y FT-Transformer.
• Modelo "Glassbox": Explainable Boosting Machine (EBM) para interpretabilidad nativa.

D. Métricas y Análisis de Costos

• Se evitó la "accuracy". Las métricas principales fueron el Coeficiente de Correlación de Matthews (MCC), el Área bajo la curva de Precisión-Recall (AUPRC) y el Costo Esperado.
• Se aplicó calibración de probabilidades (Platt Scaling) para permitir el uso de umbrales de decisión sensibles al costo, donde el costo de un falso negativo (fraude no detectado) es mucho mayor que el de un falso positivo.

3. Contribuciones Clave

1. ERP-RiskBench: Un nuevo benchmark público y reproducible que combina datos reales, sintéticos y de fraude, con un esquema canónico unificado.
2. Protocolo de Validación Riguroso: Demostración de cómo la división de datos (temporal/grupal) y la validación anidada son más críticas que la elección del modelo. Se demuestra que las divisiones aleatorias inflan el MCC entre 0.08 y 0.12.
3. Análisis de Robustez: Evaluación mediante suites de pruebas aumentadas (SATS) que incluyen desplazamiento de tipologías de fraude, calidad de datos (ruido/valores faltantes) y deriva temporal.
4. Guía de Despliegue Operativo: Un marco que integra explicabilidad (SHAP), monitoreo de deriva y retroalimentación humana en un ciclo de vida de ML para auditoría.

4. Resultados Principales

• Rendimiento del Modelo: El Ensemble de Apilamiento (Stacking) de modelos de gradiente boosting (XGBoost, LightGBM, CatBoost, RF) logró el mejor rendimiento en MCC y AUPRC en todos los conjuntos de datos. Sin embargo, la diferencia con el mejor modelo individual (LightGBM) fue estadísticamente significativa pero prácticamente modesta.
• Impacto de la División de Datos: La estrategia de división fue el factor más influyente. Las divisiones aleatorias estratificadas produjeron resultados optimistas irreales, mientras que la división temporal + grupal proporcionó estimaciones realistas para el despliegue.
• Aumento de Datos: Tanto SMOTE como CTGAN mejoraron la recuperación de la clase minoritaria (recall) cuando se aplicaron correctamente dentro del pliegue de entrenamiento. CTGAN ofreció una mejora incremental sobre SMOTE al capturar estructuras no lineales, pero con mayor complejidad.
• Modelos Profundos vs. Árbol: Los modelos de tablas profundas (TabNet, FT-Transformer) no superaron a los ensembles de árboles bien ajustados y mostraron menor estabilidad en la importancia de las características.
• Interpretabilidad:
  • Las características de control de compras, especialmente las discrepancias en la coincidencia de tres vías (orden de compra, recepción de mercancía, factura), fueron los predictores más informativos y estables.
  • El EBM ofreció un rendimiento competitivo con una transparencia total, siendo una alternativa viable para entornos de auditoría donde la interpretabilidad es obligatoria.
• Calibración: La calibración de probabilidades no mejoró las métricas de clasificación, pero fue esencial para establecer umbrales de decisión basados en costos operativos reales.

5. Significado e Implicaciones

• Para la Comunidad de Investigación: El artículo establece un nuevo estándar de rigor para estudios de riesgo financiero, demostrando que muchos resultados previos podrían estar inflados debido a fugas de datos y divisiones incorrectas.
• Para la Industria y Auditoría: Proporciona una "hoja de ruta" operativa para implementar ML en auditoría ERP. Destaca que la ingeniería de datos (división temporal, control de fugas) es más importante que la complejidad del algoritmo.
• Gobernanza y Cumplimiento: El enfoque en explicabilidad (SHAP, EBM) y trazabilidad de decisiones facilita el cumplimiento de normativas regulatorias y la justificación de alertas ante equipos de auditoría.
• Defensa Adversarial: Reconoce que los sistemas de detección tienen límites frente a atacantes adaptativos y sugiere que la estrategia debe basarse en la asimetría de costos económicos, no solo en la precisión de detección.

En conclusión, el paper demuestra que un enfoque disciplinado, centrado en la prevención de fugas de datos y la evaluación realista, permite construir sistemas de detección de riesgos financieros en ERP que son no solo precisos, sino también auditables, estables y operativamente útiles.