A Novel Hierarchical Multi-Agent System for Payments Using LLMs

1. El Problema

A pesar del avance de los agentes basados en Grandes Modelos de Lenguaje (LLM) como OpenAI Operator o Claude Computer Use, existe una brecha significativa en su capacidad para automatizar flujos de trabajo de pago de extremo a extremo. Los desafíos principales que impiden esta adopción son:

• Infraestructura Tradicional: Las redes de pago actuales emplean mecanismos anti-bot, autenticación multifactor (ej. 3D-Secure) y sistemas de detección de fraude que restringen el uso de agentes autónomos.
• Regulaciones estrictas: Marcos como PCI DSS imponen requisitos rigurosos sobre el manejo de datos sensibles, complicando la integración de IA sin exponer información confidencial.
• Riesgos de Alucinación: La inherente tendencia de los LLM a alucinar representa un riesgo crítico en transacciones financieras donde la precisión es obligatoria.
• Falta de Marco de Referencia: No existía un sistema unificado que permitiera a agentes externos interactuar mediante lenguaje natural para completar pagos sin una integración compleja y costosa en las infraestructuras tradicionales.

2. Metodología: HMASP

Los autores proponen el Sistema Multi-Agente Jerárquico para Pagos (HMASP), una arquitectura modular orquestada mediante LangGraph. El sistema se organiza en cuatro niveles jerárquicos de agentes con roles especializados:

1. Agente de Pago Conversacional (CPA) - Nivel 1: Actúa como punto de entrada central. Recibe todas las solicitudes externas en lenguaje natural, coordina las tareas entre los supervisores y gestiona las respuestas finales. Puede rechazar solicitudes irrelevantes.
2. Agente Supervisor - Nivel 2: Funciona como orquestador y tomador de decisiones para dominios específicos (ej. dominio de tarjetas, dominio de pagos). Delega las solicitudes a flujos de trabajo específicos (como registro de tarjetas) y reporta los resultados al CPA.
3. Agente de Enrutamiento (Routing) - Nivel 3: Recibe la entrada del Supervisor y decide si activar un flujo de trabajo específico, rechazar la solicitud o derivarla a un agente de resumen.
4. Agente de Resumen de Proceso - Nivel 4: Genera respuestas estructuradas sobre el resultado del flujo de trabajo (éxito o fallo) y las propaga hacia arriba en la jerarquía.

Patrones Arquitectónicos Clave:

• Estados Compartidos y Variables: Se definen variables de estado específicas (ej. PayAgentState, CardsState, PaymentState) para aislar información sensible. Solo variables compartidas (como ID de usuario) son visibles entre estados, garantizando modularidad y seguridad.
• Estados de Mensajes Desacoplados: Cada agente solo puede invocar sus propios estados de mensajes, reduciendo el uso de tokens y minimizando la exposición a información de otros flujos.
• Manejo de Interrupciones (Human-in-the-Loop): Para datos sensibles (ej. números de tarjeta), el sistema utiliza un mecanismo de interrupción de LangGraph que pausa el flujo para solicitar validación humana. La entrada del usuario se valida (ej. algoritmo de Luhn) antes de continuar, evitando que el LLM genere o manipule estos datos.
• Determinismo: La información crítica se almacena en variables de estado y se recupera desde allí, en lugar de ser generada por el LLM, eliminando el riesgo de alucinación en los datos financieros.

3. Contribuciones Clave

• Nuevo Marco Jerárquico: HMASP es el primer sistema multi-agente basado en LLM diseñado específicamente para flujos de pago de extremo a extremo.
• Diseño Modular: Permite la ejecución de tareas distribuidas entre múltiples agentes (CPA, Supervisor, Enrutador, Resumen) facilitando la escalabilidad y el mantenimiento.
• Compatibilidad Flexible: El sistema es agnóstico al modelo subyacente, funcionando tanto con LLMs de pesos abiertos (Open-weight) como propietarios.
• Validación de Viabilidad: Demuestra experimentalmente que es posible realizar pagos autónomos completos dentro de un entorno simulado, superando las barreras actuales de integración.

4. Resultados Experimentales

El sistema se evaluó con un conjunto de datos de 1000 puntos (4 tareas: registro de tarjeta, recuperación de tarjeta, procesamiento de pago y entradas irrelevantes) utilizando diversos modelos (Qwen, Mistral, Llama y GPT-4.1).

• Tasa de Éxito de Tareas:
  • GPT-4.1 obtuvo el mejor rendimiento general (99.6% - 100% en todas las tareas).
  • Entre los modelos de pesos abiertos, Qwen2.5:32b destacó con tasas de éxito superiores al 95% en todas las tareas, demostrando un rendimiento comparable al modelo propietario.
  • Modelos como Llama3.1 (8b y 70b) y Magistral mostraron inconsistencias significativas, especialmente en tareas complejas (T2 y T3), con tasas de éxito inferiores al 50% en algunos casos debido a fallos en la activación del flujo de trabajo correcto.
• Rendimiento de Transferencia (Handoff F1-Score):
  • GPT-4.1 y Qwen2.5:32b lograron puntuaciones F1 superiores al 98% en la coordinación entre agentes.
  • Los modelos Llama3.1 fallaron frecuentemente en rechazar entradas irrelevantes (Tarea 4) en el nivel CPA, transfiriendo solicitudes innecesarias a los supervisores, lo que redujo su puntuación F1 drásticamente (hasta 11.4% en T4).
• Comparativa: HMASP superó a soluciones existentes en la literatura (como LLMPA o métodos de detección de fraude) al ser el único que soporta el procesamiento completo de pagos (no solo asistencia o detección).

5. Significado e Impacto

Este trabajo es pionero al establecer un marco de referencia para pagos agenticos de extremo a extremo. Su importancia radica en:

• Superación de Barreras Técnicas: Demuestra cómo arquitecturas jerárquicas y desacopladas pueden mitigar los riesgos de alucinación y cumplir con requisitos de seguridad (PCI DSS) mediante la separación de la lógica de decisión (LLM) y la ejecución de datos sensibles (funciones deterministas).
• Accesibilidad: Al funcionar con modelos de pesos abiertos de alto rendimiento (como Qwen2.5:32b), ofrece una alternativa viable y potencialmente más económica a las soluciones propietarias para la industria de pagos.
• Fundamento Futuro: Sienta las bases para extender las capacidades de los agentes autónomos a dominios financieros complejos, abriendo la puerta a investigaciones futuras sobre guardarriles de seguridad específicos para pagos y tokenización segura.

En conclusión, HMASP valida que, mediante un diseño arquitectónico cuidadoso que prioriza el determinismo y la modularidad, los agentes de IA pueden realizar tareas financieras críticas de manera segura y eficiente.