Explainable AML Triage with LLMs: Evidence Retrieval and Counterfactual Checks

A continuación presento un resumen técnico detallado del artículo "Explainable AML Triage with LLMs: Evidence Retrieval and Counterfactual Checks" (Triaje Explicable de Lucha contra el Lavado de Activos con LLMs: Recuperación de Evidencia y Verificaciones Contrafactuales), traducido y adaptado al español.

1. Planteamiento del Problema

El monitoreo de transacciones para la lucha contra el lavado de activos (AML) y la financiación del terrorismo (CFT) genera un volumen masivo de alertas que deben ser triadas rápidamente por investigadores. El problema central radica en:

• Alta carga de falsos positivos: Los sistemas basados en reglas tradicionales generan muchas alertas benignas, consumiendo recursos analíticos valiosos.
• Falta de explicabilidad y trazabilidad: En entornos regulados, las decisiones deben ser auditable y defensibles. Los modelos de "caja negra" o la generación de texto libre por parte de Grandes Modelos de Lenguaje (LLMs) presentan riesgos críticos:
  • Alucinaciones: Generación de hechos, cifras o citas de políticas que no existen.
  • Falta de procedencia: Explicaciones que no están vinculadas a la evidencia real subyacente.
  • Fragilidad: Decisiones que no cambian coherentemente cuando los hechos de entrada varían ligeramente.

El objetivo es transformar el triaje de AML de una tarea de clasificación pura a un sistema de apoyo a la decisión basado en evidencia, donde cada conclusión esté respaldada por fuentes verificables y sea robusta ante cambios mínimos en los datos.

2. Metodología Propuesta

Los autores proponen un marco de trabajo que integra tres componentes principales para hacer que el triaje asistido por LLMs sea auditable y fiel a la decisión:

A. Recuperación de Evidencia (RAG - Retrieval-Augmented Generation)

En lugar de permitir que el LLM genere explicaciones de forma libre, el sistema obliga a que la decisión se base en un "paquete de evidencia" recuperado ($B(a)$) que incluye:

• Políticas y tipologías: Documentos internos de cumplimiento y guías sobre patrones de lavado.
• Contexto del cliente: Perfiles KYC (Conozca a su Cliente), historial de riesgo y notas de casos anteriores.
• Contexto transaccional: Subgrafos de transacciones, metadatos de la alerta y ventanas temporales.
• Restricciones de recuperación: Se aplican filtros estructurados (ACL, ventanas de tiempo) y búsqueda semántica para asegurar que solo se recuperen documentos relevantes y autorizados.

B. Contrato de Salida Estructurada y Verificación

El LLM no escribe un ensayo; genera un registro de triaje estructurado que debe cumplir con:

• Citas explícitas: Cada afirmación en la justificación debe citar un ID de evidencia específico del paquete recuperado.
• Separación de evidencia: Diferenciación clara entre evidencia de apoyo, evidencia contradictoria y datos faltantes.
• Bucle de Verificación y Reparación: Un verificador automático comprueba la integridad de la procedencia (¿existen los IDs citados?) y la consistencia numérica/temporal (¿los montos y fechas coinciden con la evidencia?). Si falla, el sistema solicita al LLM que reescriba la salida.

C. Capa de Verificaciones Contrafactuales

Para garantizar que la explicación sea fiel a la lógica de decisión y no solo decorativa, el sistema realiza pruebas de "qué pasaría si":

• Perturbaciones mínimas: Se alteran ligeramente los datos de entrada (ej. eliminar un contraparte de alto riesgo, cambiar una ventana de tiempo) dentro de límites plausibles.
• Validación de sensibilidad: Se verifica si la decisión de triaje (Descartar/Monitorear/Escalar) y la justificación cambian coherentemente con la nueva evidencia.
• Prueba de fidelidad: Si se elimina una pieza de evidencia crítica citada, el modelo debe dejar de citarla y ajustar su razonamiento. Si no lo hace, la explicación se considera no fiel.

3. Contribuciones Clave

1. Formulación del Triaje Basado en Evidencia: Se formaliza el triaje de AML como una tarea de explicación anclada en la recuperación, reduciendo las afirmaciones no fundamentadas.
2. Capa de Robustez Contrafactual: Introducción de verificaciones específicas para AML que prueban si las recomendaciones del modelo son sensibles a cambios relevantes para el cumplimiento, actuando como una prueba de estrés para la explicabilidad.
3. Plan de Evaluación Reproducible: Desarrollo de una metodología de evaluación utilizando datos sintéticos públicos (como SynthAML10 y AMLSim) para medir la calidad del triaje, la fidelidad de la evidencia y la robustez, superando la barrera de la confidencialidad de los datos bancarios reales.

4. Resultados Experimentales

El sistema se evaluó frente a baselines de reglas, modelos de aprendizaje automático tabulares, modelos de grafos (GNN) y variantes de LLM (solo LLM, RAG sin contrafactuales).

• Eficacia del Triaje:

  • El método completo (RAG + Contrafactuales) logró el mejor rendimiento con un PR-AUC de 0.75 y un F1 de Escalación de 0.62.
  • Superó a los modelos de grafos (GNN) y a los baselines puramente basados en reglas, mejorando principalmente la precisión sin sacrificar la recuperación (recall).
  • Los LLMs sin recuperación (LLM-only) tuvieron un rendimiento pobre (F1 0.41), demostrando que la generación libre no es suficiente para este dominio.

• Auditoría y Calidad de la Evidencia:

  • Validez de Citas: Aumentó del 62% (LLM-only) al 98% en el sistema completo, eliminando casi por completo las citas fabricadas.
  • Soporte de Evidencia: El 88% de las frases de la justificación estaban respaldadas por la evidencia citada, frente al 54% en el modelo sin restricciones.

• Robustez y Seguridad:

  • Tasa de Fidelidad Contrafactual: El sistema completo alcanzó un 0.76, indicando que las explicaciones cambian coherentemente cuando se alteran los hechos clave.
  • Reducción de Alucinaciones: Las tasas de inconsistencia numérica y alucinación de políticas cayeron drásticamente (a 0.03 y 0.02 respectivamente) gracias al bucle de verificación y las comprobaciones contrafactuales.

5. Significado e Implicaciones

• Cumplimiento Normativo: El enfoque demuestra que es posible utilizar LLMs en entornos financieros regulados sin sacrificar la trazabilidad. Al obligar a las citas y verificar la consistencia, se crea un "rastro de auditoría" automatizado.
• Apoyo a la Decisión Humana: El sistema no reemplaza al analista, sino que reduce la carga cognitiva proporcionando un resumen estructurado con evidencia verificable y condiciones accionables (a través de los contrafactuales) que indican qué información adicional podría cambiar la decisión.
• Gestión de Riesgos del Modelo: La integración de verificaciones de procedencia y pruebas de estrés contrafactuales ofrece a los equipos de cumplimiento una herramienta concreta para la gobernanza de modelos, permitiendo auditar no solo el resultado, sino la lógica y la estabilidad de la explicación.
• Limitaciones y Futuro: El estudio reconoce que los datos sintéticos pueden no capturar toda la complejidad operativa real. Se recomienda una implementación escalonada (pruebas en modo sombra) antes del despliegue total.

En conclusión, el artículo establece que para que los LLMs sean útiles en el triaje de AML, deben operar como sistemas gobernados y verificables, donde la generación de texto está estrictamente anclada a la evidencia recuperada y validada mediante lógica contrafactual.