A Novel Hierarchical Multi-Agent System for Payments Using LLMs

Resumo Técnico: HMASP para Pagamentos com LLMs

1. O Problema

A emergência de agentes autônomos baseados em Grandes Modelos de Linguagem (LLMs), como o OpenAI Operator e o Claude Computer Use, promete automatizar fluxos de trabalho complexos. No entanto, existe uma lacuna significativa na aplicação desses agentes ao domínio de pagamentos.

As principais barreiras para a adoção de pagamentos totalmente autônomos (end-to-end) incluem:

• Infraestrutura Tradicional: Redes de pagamento possuem mecanismos anti-bots, autenticação multifator (ex: 3D-Secure) e sistemas de detecção de fraude que restringem o uso de agentes.
• Regulamentação: Frameworks rigorosos como o PCI DSS impõem requisitos estritos sobre o manuseio de dados de pagamento, dificultando a integração direta de IA sem expor dados sensíveis.
• Riscos de Alucinação: LLMs podem "alucinar" (gerar informações incorretas), o que é inaceitável em transações financeiras onde a precisão é crítica.
• Falta de Frameworks: Não existe, até o momento, um framework de referência estabelecido para realizar pagamentos completos e automatizados usando agentes multi-LLM.

2. Metodologia: HMASP

Os autores propõem o HMASP (Hierarchical Multi-Agent System for Payments), um sistema multi-agente hierárquico modular projetado para orquestrar fluxos de pagamento de ponta a ponta. O sistema utiliza o framework LangGraph para coordenação.

Arquitetura Hierárquica (4 Níveis de Agentes):

1. Agente de Pagamento Conversacional (CPA) - 1º Nível:
   • Atua como o ponto de entrada central para todas as solicitações externas.
   • Coordena a transferência de tarefas entre os supervisores com base na relevância da entrada.
   • Responsável por gerar respostas finais e rejeitar solicitações irrelevantes.
2. Agentes Supervisor - 2º Nível:
   • Atuam como decisores e orquestradores de domínios específicos (ex: domínio de cartões, domínio de pagamentos).
   • Delegam solicitações para fluxos de trabalho específicos de tarefas dentro de seus domínios.
   • Reportam os resultados de volta ao CPA.
3. Agentes de Roteamento (Routing) - 3º Nível:
   • Recebem entradas dos supervisores dentro de um fluxo de trabalho específico.
   • Tomam a decisão final de acionar o fluxo de trabalho da tarefa ou rejeitar/redirecionar a solicitação.
4. Agente de Resumo de Processo (Process Summary) - 4º Nível:
   • Gera respostas estruturadas sobre o resultado do fluxo de trabalho (sucesso ou falha).
   • Compila informações chave para serem enviadas de volta aos supervisores e ao CPA.

Mecanismos de Segurança e Confiabilidade:

• Transferências Estruturadas (Structured Handoffs): Uso de protocolos definidos para passar processos entre agentes, garantindo que a solicitação chegue ao agente ou fluxo correto.
• Estados de Informação Desacoplados:
  • Variáveis de Estado: Definição de estados específicos por função (ex: PayAgentState, CardsState, PaymentState). Apenas variáveis compartilhadas (ex: ID do usuário) são visíveis entre estados, isolando dados sensíveis.
  • Estados de Mensagem: Cada agente acessa apenas suas próprias mensagens e respostas de agentes a jusante, minimizando o uso de tokens e a exposição a informações desnecessárias.
• Interrupção (Human-in-the-Loop): Para dados sensíveis (ex: detalhes do cartão), o fluxo é pausado para solicitar entrada humana. A entrada é validada (ex: verificação de Luhn) antes de prosseguir, garantindo determinismo.
• Determinismo: Informações críticas são armazenadas em variáveis de estado e recuperadas por módulos de função, em vez de serem geradas ou passadas diretamente pelo LLM, prevenindo alucinações em dados financeiros.

3. Contribuições Principais

1. Novo Framework Hierárquico: Primeira proposta de um sistema multi-agente hierárquico específico para pagamentos que permite fluxos de trabalho completos de ponta a ponta.
2. Design Modular: Arquitetura que separa a orquestração conversacional (CPA) da execução de tarefas específicas, permitindo escalabilidade e manutenção.
3. Compatibilidade com Modelos Diversos: O sistema foi projetado para funcionar tanto com LLMs proprietários (ex: GPT-4) quanto com modelos de pesos abertos (Open-weight).
4. Prova de Conceito: Demonstração experimental da viabilidade de pagamentos autônomos em um ambiente simulado, superando as barreiras de integração tradicionais.

4. Resultados Experimentais

O sistema foi avaliado em um ambiente simulado utilizando um conjunto de dados de 1.000 pontos (4 tarefas: registro de cartão, recuperação de cartão, processamento de pagamento e entradas irrelevantes). Foram testados diversos modelos (Qwen, Mistral, Llama, GPT-4.1).

• Taxa de Sucesso da Tarefa:
  • O GPT-4.1 obteve o melhor desempenho geral (99.6% - 100% de sucesso).
  • Entre os modelos de pesos abertos, o Qwen2.5:32b destacou-se com desempenho comparável (≥95.6% em todas as tarefas).
  • Modelos menores ou menos otimizados (ex: Llama3.1-8B, Magistral:24b) tiveram taxas de sucesso baixas (<50%), falhando frequentemente em acionar o fluxo de trabalho correto.
• Desempenho de Transferência (Handoff F1-Score):
  • O GPT-4.1 e o Qwen2.5:32b alcançaram F1-scores superiores a 98% na coordenação entre agentes.
  • Modelos como Llama3.1 falharam em rejeitar entradas irrelevantes no nível do CPA, transferindo-as incorretamente para supervisores, o que reduziu seu F1-score drasticamente em tarefas irrelevantes.
• Comparativo: O HMASP superou trabalhos anteriores (como LLMPA e outros métodos citados) ao ser o único a suportar processamento de pagamento completo (Full Payment Processing) com alta precisão.

5. Significado e Conclusão

Este trabalho representa um marco significativo ao preencher a lacuna entre a capacidade conversacional dos LLMs e a execução segura de transações financeiras.

• Inovação: É o primeiro sistema multi-agente baseado em LLM a implementar fluxos de pagamento de ponta a ponta.
• Viabilidade: Demonstra que, com uma arquitetura adequada (modularidade, estados isolados e intervenção humana), é possível mitigar os riscos de alucinação e segurança inerentes aos LLMs em contextos financeiros.
• Futuro: O estudo sugere que modelos de pesos abertos de alta qualidade (como Qwen2.5:32b) podem substituir modelos proprietários caros para essas tarefas, desde que a arquitetura do sistema seja robusta. Trabalhos futuros focarão em datasets maiores, pesquisas de segurança específicas para pagamentos e tokenização segura de dados sensíveis.