Resumen Técnico: Transformador Contrastivo Temporal para la Detección de Delitos Financieros

1. Declaración del Problema

Las instituciones financieras enfrentan un mandato dual en la supervisión de transacciones: detectar fraudes de pago en tiempo real e identificar patrones indicativos de lavado de dinero (AML). Si bien ambos problemas implican detectar comportamientos anómalos a través de secuencias de eventos financieros, los estándares actuales de la industria dependen en gran medida de sistemas separados basados en reglas o de modelos de aprendizaje automático supervisado que evalúan las transacciones principalmente de forma aislada. Estos enfoques clásicos adolecen de dos limitaciones principales:

1. Generalización: Las características creadas manualmente y las reglas basadas en umbrales tienen dificultades para adaptarse a patrones adversarios en evolución, lo que requiere un mantenimiento manual continuo.
2. Escasez y Heterogeneidad de Datos: Los datos etiquetados en contextos de fraude y AML son escasos y altamente desequilibrados, lo que limita la efectividad de los enfoques totalmente supervisados. Además, los datos de transacciones son intrínsecamente heterogéneos, combinando identificadores categóricos, valores monetarios continuos, intervalos temporales y agregados derivados, lo que dificulta la construcción de representaciones unificadas.

El artículo postula que los comportamientos de fraude y lavado se manifiestan como patrones estructurados y secuenciales que se desarrollan a lo largo del tiempo, en lugar de como anomalías aisladas, lo que requiere modelos capaces de capturar el contexto temporal sin depender de etiquetas escasas.

2. Metodología: El Transformador Contrastivo Temporal (TCT)

Los autores proponen el Transformador Contrastivo Temporal (TCT), un marco de aprendizaje de representaciones auto-supervisado diseñado para mapear secuencias de transacciones a vectores de incrustación compactos utilizando datos no etiquetados. La arquitectura integra dos componentes complementarios:

2.1 Arquitectura

• Esqueleto Transformador de Fusión Temporal (TFT): El modelo utiliza la arquitectura TFT, reaprovechada de la predicción de múltiples horizontes para el aprendizaje de representaciones. Incluye:
  • Red de Selección de Variables (VSN): Asigna pesos de importancia suaves a las características de entrada, permitiendo que el modelo seleccione variables relevantes de forma adaptativa.
  • Codificación Temporal Jerárquica: Una estructura recurrente de dos etapas. Un codificador a corto plazo (LSTM/GRU) procesa sub-secuencias locales para capturar dinámicas de grano fino. Un codificador a largo plazo procesa luego resúmenes de estas sub-secuencias para modelar tendencias a largo plazo.
  • Separación Estático-Dinámica: Para evitar que el modelo aprenda atajos basados en la identidad estática de la entidad (por ejemplo, atributos específicos del cliente) en lugar de la evolución del comportamiento, la implementación actual excluye las características estáticas del objetivo contrastivo, centrándose exclusivamente en las características transaccionales dinámicas.

2.2 Objetivo de Entrenamiento: Codificación Predictiva Contrastiva (CPC)

El modelo se entrena utilizando un objetivo auto-supervisado de Codificación Predictiva Contrastiva.

• Mecanismo: El codificador genera un vector de contexto a partir de sub-secuencias de transacciones pasadas. Una función predictiva proyecta este contexto a una representación latente futura.
• Función de Pérdida: El modelo se entrena para distinguir el verdadero estado latente futuro (par positivo) de un conjunto de muestras negativas (estados futuros de otras secuencias en el mini-lote) utilizando la pérdida InfoNCE.
• Objetivo: Este objetivo maximiza la información mutua entre el contexto y los estados latentes futuros, obligando al codificador a aprender estructuras temporales predictivas y dinámicas de comportamiento sin objetivos etiquetados.

2.3 Aplicación Posterior

Después del pre-entrenamiento, los parámetros del codificador se congelan. Las incrustaciones resultantes se utilizan como características de entrada para un clasificador impulsado por gradiente supervisado (XGBoost) para generar puntuaciones de riesgo para la detección de fraudes. Las incrustaciones también pueden utilizarse en métodos de detección de anomalías no supervisados.

3. Contribuciones Clave

• Propuesta de Marco: Introducción del TCT, un marco novedoso que combina la arquitectura TFT con objetivos CPC específicamente para secuencias de transacciones financieras.
• Enfoque Auto-supervisado: Demostración de un método para aprender representaciones temporales a partir de grandes cantidades de datos de transacciones no etiquetados, abordando la escasez de datos de fraude/AML etiquetados.
• Evaluación Empírica: Una evaluación rigurosa de las incrustaciones aprendidas frente a líneas base fuertes y diseñadas por expertos en un escenario realista de detección de delitos financieros.

4. Resultados Experimentales

El estudio se realizó sobre un conjunto de datos real de pagos minoristas que comprende millones de transacciones. Los modelos se evaluaron utilizando AUC-ROC en un conjunto de prueba retenido.

• Rendimiento Solo con Incrustaciones: Las incrustaciones del TCT, cuando se utilizan de forma aislada con un clasificador XGBoost, lograron un AUC-ROC de 0.8644. Esto indica que el modelo captura con éxito estructuras temporales no triviales y señales de comportamiento.
• Rendimiento de la Línea Base: Una línea base fuerte que utiliza 30 características de comportamiento diseñadas por expertos (frecuencia de transacciones, recencia, novedad, etc.) logró un AUC-ROC de 0.9245.
• Rendimiento Combinado: Cuando las incrustaciones del TCT se concatenaron con las características diseñadas por expertos, el modelo resultante logró un AUC-ROC de 0.9205.
• Análisis:
  • La adición de incrustaciones aprendidas no produjo una mejora medible sobre la fuerte línea base basada en características (una ligera disminución de 0.004 en el AUC, interpretada como insignificante dada la única división).
  • El análisis de la curva ROC mostró un comportamiento global casi idéntico entre la línea base y el modelo combinado, con desviaciones locales menores.
  • El análisis del espacio de incrustaciones (UMAP) reveló que las representaciones aprendidas capturan implícitamente patrones estructurales (como agrupaciones de comportamiento relacionadas con la edad) sin supervisión explícita, y que las transacciones fraudulentas exhiben una mayor variabilidad en el espacio de incrustaciones en comparación con las legítimas.

5. Significado y Afirmaciones

El artículo mantiene una postura modesta y realista respecto a sus hallazgos:

• Paridad como Progreso: El significado principal no es el logro inmediato de ganancias de rendimiento de última generación, sino la demostración de que las representaciones temporales auto-supervisadas pueden aproximar el poder predictivo de las características diseñadas por expertos. Lograr la paridad con una línea base fuerte y diseñada manualmente utilizando solo representaciones aprendidas se presenta como un hito intermedio significativo.
• Superposición de Representaciones: La falta de valor aditivo al combinar incrustaciones con características diseñadas sugiere que las representaciones aprendidas actuales se superponen en gran medida con las abstracciones de características existentes. El modelo captura las mismas señales de comportamiento que los expertos ya han codificado manualmente.
• Dirección Futura: Los resultados posicionan al TCT como una dirección prometedora para reducir la dependencia de la ingeniería manual de características. Los autores argumentan que, aunque el enfoque aún no está listo para producción, valida la viabilidad de aprender señales temporales a partir de datos no etiquetados. Se identifica que es necesario un trabajo futuro para refinar los objetivos de entrenamiento, incorporar la minería de negativos difíciles e integrar estructuras relacionales (basadas en grafos) para desbloquear valor aditivo más allá de las características diseñadas actualmente.

En conclusión, el artículo establece que el aprendizaje de representaciones temporales auto-supervisado es un camino viable hacia la automatización de la ingeniería de características en la detección de delitos financieros, incluso si la iteración actual aún no ha superado el rendimiento de la experiencia de dominio establecida.