Resumen Técnico: Hacia una Detección de Fraude Auditable

Planteamiento del Problema

Las instituciones financieras enfrentan un doble desafío en la detección de fraude: la necesidad de escalar con el aumento del volumen de transacciones y, al mismo tiempo, mantener suficiente transparencia, documentación y supervisión humana. Aunque se propone cada vez más el uso de sistemas de IA agéntica como herramientas para automatizar la recopilación de evidencia y la revisión de alertas, aún no está claro si dichos agentes mejoran la calidad de la decisión más allá de los clasificadores subyacentes en los que se apoyan. Además, existe evidencia limitada sobre cómo los rasgos estructurales derivados de grafos y las señales de anomalías se comportan específicamente en casos "difíciles" (aquellos con puntuaciones intermedias del clasificador) y cómo el desacuerdo entre un agente y un clasificador puede aprovecharse para determinar cuándo es necesaria la revisión humana. Este trabajo aborda estas brechas mediante la evaluación de un pipeline de detección de fraude por capas que integra clasificación de gradiente potenciado, rasgos de grafos, señales de anomalía y un agente de investigación basado en un Modelo de Lenguaje Grande (LLM) acotado.

Metodología

Datos y Preprocesamiento

El estudio utiliza el conjunto de datos PaySim, un conjunto de datos sintéticos de transacciones de dinero móvil que contiene más de 6.3 millones de transacciones. Un paso crítico de preprocesamiento consistió en identificar y eliminar un atajo de saldo específico del simulador. El análisis reveló que la diferencia entre el cambio de saldo registrado en la cuenta de origen y el monto de la transacción era casi determinista para las transacciones fraudulentas debido al proceso de simulación. Para evitar una inflación en el rendimiento base, se excluyeron los campos de saldo de origen del conjunto de características, mientras que se mantuvieron los campos de saldo de destino, ya que estos no presentaban el mismo artefacto.

Arquitectura del Sistema

El pipeline propuesto consta de cuatro etapas principales:

1. Ingeniería de Características:
   • Características Tabulares: Atributos de transacción corregidos (ej. monto, tipo, tiempo).
   • Características de Grafos: Derivadas de un grafo de transacciones donde las cuentas son nodos y las transferencias son aristas. Las características incluyen estadísticas estructurales diseñadas (ej. grado del nodo, contrapartes distintas) y embeddings de node2vec aprendidos del subgrafo de cuentas recurrentes.
   • Señal de Anomalía: Un autoencoder de una sola clase entrenado únicamente con transacciones legítimas. El error de reconstrucción se utiliza como una característica única para capturar desviaciones del comportamiento normal.
2. Detección Base: Un ensamble de árboles de decisión potenciados por gradiente XGBoost sirve como el clasificador primario. Se entrena con las características tabulares corregidas y es compatible con TreeSHAP para la atribución local de características.
3. Capa de Investigación Agéntica: Un agente de LLM acotado (Llama 3.3 70B) se activa solo para casos donde el clasificador produce una puntuación intermedia (0.2 a 0.8). El agente accede a cuatro herramientas:
   • Detalles de la transacción.
   • Puntuación del clasificador y las 5 principales atribuciones SHAP.
   • Contexto de grafo para las cuentas de origen/destino.
   • Distancias en el espacio de características hacia los casos de referencia más cercanos (tanto fraudulentos como legítimos).
     El agente debe inspeccionar al menos dos fuentes de evidencia y emitir un veredicto estructurado (Fraude, No Fraude o Escalar) con una justificación escrita.
4. Política de Escalamiento: Una regla exploratoria marca casos para revisión humana si el agente no está de acuerdo con el clasificador y la puntuación del clasificador es extrema (≥0.65 o ≤0.35).

Diseño Experimental

• Comparación de Modelos: Se evaluaron cuatro variantes utilizando una división de entrenamiento/prueba de 80/20 estratificada: Base Dura (solo tabular), Aumentada con Grafos, Aumentada con Autoencoder y Combinada.
• Experimento de Anillo Controlado: Un experimento sintético introdujo 40 anillos de fraude multi-cuenta (5 cuentas, 6 transferencias cada uno) para probar la capacidad de las características de grafos para detectar patrones coordinados que los modelos tabulares podrían pasar por alto.
• Evaluación del Agente: El agente fue probado en una muestra de control de casos equilibrada de 60 casos (30 fraude, 30 legítimos) seleccionados del subconjunto de puntuación intermedia. El rendimiento se comparó contra un simple umbral de la puntuación del clasificador (umbral = 0.5).

Resultados Clave

Rendimiento de Detección

• Conjunto de Prueba Completo: Tras corregir el atajo de saldo, la base tabular dura logró la mayor Precisión Media (0.7677). Ni las características de grafos ni la señal del autoencoder mejoraron el rendimiento en el conjunto de prueba completo; de hecho, la variante aumentada con grafos mostró una ligera disminución (0.7611).
• Subconjunto Difícil: Dentro del subconjunto de casos que reciben puntuaciones intermedias (0.2–0.8), el modelo aumentado con autoencoder logró la mayor Precisión Media (0.0138), superando a la base (0.0062) y al modelo aumentado con grafos (0.0086).
• Experimento de Anillo Controlado: El modelo aumentado con grafos detectó con éxito todos los 39 casos de transacciones inyectadas de los anillos de fraude sintéticos, mientras que la base dura detectó solo 30 (76.9% de recall). Esto indica que las características estructurales diseñadas son efectivas para identificar patrones multi-cuenta recurrentes, incluso si no mejoraron el rendimiento agregado en los casos de fraude nativos de PaySim.

Rendimiento de la Investigación Agéntica

• Exactitud: En la muestra de 60 casos, el agente logró una exactitud del 65.0% (39/60 correctos), mientras que el uso directo de un umbral de la puntuación del clasificador logró una exactitud del 71.7% (43/60 correctos).
• Análisis de Desacuerdo: El agente estuvo en desacuerdo con el clasificador en 8 casos. En 6 de estos 8 casos, el agente reemplazó una decisión correcta del clasificador por un veredicto incorrecto. En los 2 casos restantes, corrigió un error del clasificador.
• Calidad de la Justificación: A pesar de cometer decisiones incorrectas, el agente produjo justificaciones escritas coherentes y plausibles en todos los casos, priorizando erróneamente con frecuencia la distancia a los casos de referencia sobre la puntuación del clasificador.
• Regla de Escalamiento: La regla exploratoria basada en el desacuerdo marcó 2 de los errores del agente para revisión humana sin marcar ninguna decisión correcta del agente en esta muestra, lo que sugiere que el desacuerdo puede servir como una señal para el escalamiento, aunque este hallazgo está limitado por el pequeño tamaño de la muestra.

Significancia y Reivindicaciones

El artículo concluye que los componentes de un sistema de fraude por capas contribuyen valor solo bajo condiciones específicas, y que una justificación plausible de un agente de investigación no es evidencia de una mejor decisión.

1. Valor Condicional de las Señales: Las características de grafos y las señales de anomalía no mejoran la detección de forma universal. Su utilidad es condicional: las señales del autoencoder pueden ayudar a clasificar el fraude dentro de casos inciertos, mientras que las características de grafos son críticas para detectar patrones coordinados de múltiples cuentas (anillos de fraude) que los atributos de transacciones individuales pasan por alto.
2. Límites de la Investigación Agéntica: El acceso a contexto adicional (valores SHAP, datos de grafos, casos de referencia) y la capacidad de generar justificaciones estructuradas no permitieron que el agente de LLM superara al clasificador subyacente. De hecho, el agente introdujo errores con frecuencia mientras mantenía un alto grado de confianza y coherencia. Esto sugiere que los agentes que actúan como "reorganizadores" de las salidas de modelos existentes pueden no mejorar intrínsecamente la calidad de la decisión.
3. Auditabilidad vs. Corrección: El estudio distingue entre auditabilidad (la capacidad de reconstruir el proceso de decisión) y corrección. Un error auditable sigue siendo un error. El valor del agente en esta arquitectura se enmarca como una capa de investigación y documentación acotada que prepara la evidencia para la revisión humana, más que como un tomador de decisiones autónomo.
4. El Escalamiento como Mecanismo de Control: El desacuerdo entre el agente y el clasificador, combinado con puntuaciones fuertes del clasificador, puede servir como una señal transparente para escalar casos a la revisión humana, aunque esto requiere validación en datos independientes.

Los autores enfatizan que estos hallazgos se basan en datos sintéticos y en un montaje experimental específico. Hacen un llamado a la validación futura en datos de transacciones reales con divisiones temporales y estudios de usuario con analistas de fraude para determinar si tales sistemas mejoran la eficiencia operativa o la calidad de la revisión en entornos de producción.