Resumen Técnico: Más Allá del Éxito de la Tarea: Medición de la Fidelidad del Flujo de Trabajo en Sistemas de Pago Agentes Basados en Modelos de Lenguaje Grande (LLM)

Declaración del Problema

Aunque los sistemas multiagente basados en Modelos de Lenguaje Grande (LLM) se implementan cada vez más para flujos de trabajo de pago de extremo a extremo (por ejemplo, Agent Pay de Mastercard, Comercio Inteligente de Visa), los marcos de evaluación predominantes son insuficientes para dominios financieros regulados. Las métricas actuales, específicamente la Tasa de Éxito de la Tarea (TSR) y la Puntuación F1 de Transferencia de Agente (HF1), se centran exclusivamente en los resultados finales o en decisiones de enrutamiento desordenadas.

En los sistemas de pago, donde la auditabilidad y el cumplimiento normativo (por ejemplo, PCI-DSS) son críticos, la ruta secuencial hacia un resultado es tan importante como el resultado en sí mismo. Las métricas existentes no logran capturar la fidelidad del flujo de trabajo, es decir, la adhesión estricta del agente a la secuencia esperada de pasos. En consecuencia, los sistemas pueden lograr puntuaciones perfectas de TSR y HF1 mientras omiten silenciosamente puntos de control de cumplimiento críticos, creando brechas en la pista de auditoría que la evaluación tradicional no puede detectar.

Metodología

Los autores introducen la Tasa de Éxito del Agente (ASR), una métrica de fidelidad de trayectoria fundamentada en la verificación de conformidad de la minería de procesos.

La Métrica ASR

La ASR evalúa la alineación entre una secuencia de ejecución de agente observada y un flujo de trabajo esperado a nivel de transición (bigrama).

• Definición de Transición: Una transición se define como un par consecutivo de agentes en una trayectoria (por ejemplo, Agente A $\to$ Agente B).
• Cálculo: Dada una trayectoria esperada $E$ y una trayectoria observada $O$, el método construye los multiconjuntos de transiciones $B_E$ y $B_O$.
  • Recuerdo de Transición (TR): Mide la completitud ($|B_E \cap B_O| / |B_E|$). Un TR bajo indica transferencias omitidas ("movimientos del modelo").
  • Precisión de Transición (TP): Mide la eficiencia ($|B_E \cap B_O| / |B_O|$). Una TP baja indica transferencias redundantes ("movimientos del registro").
  • ASR: Calculada como la puntuación F1 de TR y TP. Una ASR del 100% indica una alineación perfecta de transiciones.

A diferencia de HF1, que trata las transferencias como una "bolsa de aristas", la ASR preserva el orden temporal, midiendo directamente si el control fue transferido al siguiente agente correcto.

Configuración de la Evaluación

• Modelos: Se evaluaron 18 LLM, incluidos modelos de pesos abiertos (Qwen3, Qwen2.5, Mistral, Magistral, Llama 3.1, GPT-OSS, Gemma4) y modelos propietarios (GPT-4.1, GPT-5.2).
• Conjunto de Datos: El conjunto de datos del Sistema Jerárquico Multiagente para Pagos (HMASP), compuesto por 1.000 puntos de datos en cuatro escenarios: Registro de Tarjeta (T1), Recuperación de Tarjeta (T2), Procesamiento de Pago (T3) y Rechazo de Entrada Irrelevante (T4).
• Protocolo: Cada par modelo-escenario se evaluó 5 veces de forma independiente, totalizando 90.000 instancias de tareas.
• Intervención: Los autores aplicaron diagnósticos ASR para guiar dos mejoras de ingeniería: (1) refinamiento iterativo de prompts para clarificar roles y límites, y (2) guardias de enrutamiento deterministas (por ejemplo, suprimir rutas de revisión de pago cuando los artículos del carrito están vacíos).

Resultados Clave

1. Descubrimiento de Atajos Ocultos del Flujo de Trabajo

La ASR reveló desviaciones procedimentales sistemáticas invisibles para TSR y HF1.

• La Anomalía: En el escenario de Procesamiento de Pago (T3), 10 de 18 modelos (incluidas variantes de GPT-4.1, Qwen3 y Qwen2.5) lograron 100% de TSR y 100% de HF1, pero exhibieron ASR < 100%.
• La Causa: Estos modelos omitieron sistemáticamente un retorno intermedio al "Agente de Procesamiento de Tarjetas" (CPA) para obtener una confirmación explícita del usuario antes de finalizar el pago. En lugar de los 11 saltos esperados (10 transiciones), ejecutaron un atajo de 9 saltos (8 transiciones).
• Impacto: Aunque el resultado final del pago fue correcto, la pista de auditoría estaba incompleta. Para las muestras afectadas, el TR bajó al 80% (8/10 transiciones), resultando en una ASR de aproximadamente 88,9% para esas instancias específicas.
• Actuadores Perfectos: 8 modelos (incluidas todas las variantes de Gemma4, GPT-OSS, MSmall3.2 y, notablemente, GPT-5.2) lograron una ASR perfecta (100%), aplicando correctamente el punto de control de confirmación.

2. Mejoras de Ingeniería mediante Diagnósticos ASR

Utilizar la ASR para identificar modos de fallo específicos permitió una ingeniería de sistemas dirigida.

• Ganancias Significativas: Los refinamientos de prompts y las guardias deterministas guiados por diagnósticos ASR produjeron mejoras sustanciales en la Tasa de Éxito de la Tarea para modelos que anteriormente tenían dificultades.
  • Llama3.1:8b: +93,8 puntos porcentuales (pp) de mejora en T3.
  • Magistral:24b: +91,5 pp de mejora en T3.
  • Llama3.1:70b: +72,9 pp de mejora en T3.
• Implicación: Muchos fallos fueron abordables mediante ingeniería en lugar de requerir la sustitución del modelo.

Significado y Afirmaciones

El artículo argumenta que la evaluación a nivel de trayectoria es esencial en dominios regulados como las finanzas digitales.

• Cumplimiento Normativo: La ASR proporciona la visibilidad necesaria para garantizar la fidelidad procedimental, que es un prerrequisito para la auditabilidad y la atribución de responsabilidad bajo normas como PCI-DSS.
• Más Allá de las Métricas de Resultado: El estudio demuestra que una alta Tasa de Éxito de la Tarea no equivale a un flujo de trabajo compliant o seguro. Un sistema puede "tener éxito" en completar un pago mientras viola la secuencia requerida de verificaciones.
• Utilidad Diagnóstica: La ASR sirve como una poderosa herramienta de diagnóstico que descubre patrones de interacción sistemáticos entre la formulación de la entrada y el razonamiento del modelo, permitiendo correcciones dirigidas que mejoran drásticamente la fiabilidad del sistema.

Los autores concluyen que, a medida que las redes de pago escalan las capacidades agentes, métricas como la ASR son necesarias para cerrar la brecha entre el éxito funcional y el cumplimiento normativo. Se propone trabajo futuro para validar la ASR en sistemas de producción y desarrollar variantes ponderadas para transiciones críticas para la seguridad.