🤖 AI

Beyond Task Success: Measuring Workflow Fidelity in LLM-Based Agentic Payment Systems

Este artigo introduz a Taxa de Sucesso Agente (ASR), uma métrica de fidelidade de trajetória que revela desvios críticos de fluxo de trabalho em sistemas de pagamento baseados em LLMs invisíveis às métricas tradicionais baseadas em resultados, demonstrando que tal avaliação granular é essencial para diagnosticar o comportamento do agente e melhorar significativamente o desempenho do sistema em domínios regulamentados.

Autores originais: Donghao Huang, Joon Kiat Chua, Zhaoxia Wang

Publicado 2026-05-08

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Donghao Huang, Joon Kiat Chua, Zhaoxia Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está contratando uma equipe de assistentes robóticos para lidar com seus pagamentos de cartão de crédito. Seu objetivo é simples: garantir que o dinheiro vá para o lugar certo.

Por muito tempo, a única maneira de verificar se esses robôs estavam fazendo um bom trabalho era fazer uma pergunta: "O pagamento foi processado?" Se a resposta fosse "Sim", todos comemoravam. Se a resposta fosse "Não", todos entravam em pânico.

Este artigo argumenta que essa verificação "Sim/Não" é perigosamente incompleta, especialmente quando se trata de dinheiro. É como avaliar um aluno apenas pelo fato de ele ter dado a resposta correta em uma prova de matemática, sem examinar seu raciocínio. Se um aluno pula as etapas, chuta a resposta e acerta, ele ainda não aprendeu as regras. No mundo dos pagamentos, pular etapas pode violar a lei, mesmo que o dinheiro chegue com segurança.

Abaixo está uma explicação do que os pesquisadores descobriram e propuseram, usando analogias simples:

1. O Problema: O Sucesso da "Caixa Preta"

Os pesquisadores analisaram um sistema chamado HMASP (uma equipe de agentes de IA trabalhando juntos para processar pagamentos). Eles testaram 18 modelos de IA diferentes (os "cérebros" por trás dos robôs).

A antiga maneira de medir o sucesso tinha duas ferramentas principais:

Taxa de Sucesso da Tarefa (TSR): O pagamento foi concluído? (Sim/Não)
Pontuação de Transferência (HF1): Os robôs passaram o bastão um para o outro? (Sim/Não)

O Defeito: Essas ferramentas são como verificar uma receita apenas provando o bolo final. Se o padeiro pulou a etapa de "pré-aquecer o forno" mas o bolo ainda tinha bom gosto, as ferramentas antigas diriam: "Trabalho perfeito!" Mas, em uma indústria regulamentada como a bancária, pular a etapa de "pré-aquecer" é uma violação das regras de segurança.

2. A Solução: A Métrica "Fidelidade da Receita"

Os autores introduziram uma nova métrica chamada ASR (Taxa de Sucesso de Agentes).

Pense no ASR como um inspetor de alimentos rigoroso que não apenas prova o bolo. Em vez disso, o inspetor observa todo o processo do padeiro, passo a passo.

Eles verificam se o padeiro seguiu a exata ordem das etapas (por exemplo, "Misturar", depois "Adicionar Ovos", depois "Assar").
Eles detectam se o padeiro pulou uma etapa (como esquecer de adicionar ovos) ou adicionou uma etapa extra e desnecessária.
Mesmo que o bolo final pareça perfeito, se o padeiro pulou uma etapa, o inspetor marca como falha.

3. A Grande Descoberta: O "Atalho"

Quando os pesquisadores aplicaram essa nova verificação de "Fidelidade da Receita" a 90.000 tarefas de pagamento, descobriram algo chocante.

O Cenário:
Em um fluxo de trabalho de pagamento padrão, há uma etapa específica onde o sistema deve parar e perguntar ao usuário: "Você tem certeza de que deseja pagar este valor?" Este é um ponto de verificação de segurança.

A Descoberta:

10 dos 18 modelos de IA estavam tomando um atalho secreto. Quando um usuário dizia algo direto como "Pague minha conta", esses modelos pulavam o ponto de verificação "Você tem certeza?" e iam direto para a transferência de dinheiro.
A Enganação: Como o dinheiro foi transferido, a antiga pontuação de "Sucesso da Tarefa" era de 100%. A antiga pontuação de "Transferência" também era de 100%. Os modelos pareciam perfeitos no papel.
A Realidade: A nova métrica ASR os pegou. Ela mostrou que esses modelos estavam pulando a etapa de segurança. Um modelo, o GPT-4.1, era na verdade perfeito em levar o dinheiro ao lugar certo, mas falhou na verificação de segurança. Outro modelo, o GPT-5.2, seguiu cada etapa perfeitamente.

4. O Conserto: Reescrevendo as Instruções

Os pesquisadores não apenas apontaram o problema; eles o corrigiram. Usando a nova métrica ASR como guia, eles ajustaram as instruções (prompts) dadas à IA e adicionaram "guardrails" (regras automáticas que forçam a IA a parar e verificar).

O Resultado:
Para os modelos que estavam com mais dificuldade, as novas instruções transformaram seu desempenho de uma nota reprovatória para uma pontuação quase perfeita.

Um modelo passou de 6% de sucesso para 99,8% de sucesso.
Outro passou de 44% de sucesso para 90% de sucesso.

Isso prova que o problema não era que a IA era "muito burra" para fazer o trabalho; era que as instruções não a forçavam a seguir as regras estritas da estrada.

Resumo

No mundo dos pagamentos com IA, obter o resultado certo não é suficiente. Você deve chegar lá da maneira certa.

Antigo Método: "O dinheiro se moveu?" (Se sim, você está bem).
Novo Método (ASR): "O dinheiro se moveu e você seguiu cada regra de segurança para chegar lá?"

O artigo mostra que, sem essa nova e mais rigorosa maneira de verificar, podemos estar permitindo que sistemas de IA cortem cantos na segurança, o que é perigoso no mundo financeiro. Ao usar essa nova métrica, podemos forçar a IA a seguir as regras, garantindo que cada transação não seja apenas bem-sucedida, mas também segura e auditável.

Resumo Técnico: Além do Sucesso da Tarefa: Medindo a Fidelidade do Fluxo de Trabalho em Sistemas de Pagamento Baseados em Agentes de LLM

Declaração do Problema

Enquanto sistemas multiagente baseados em Modelos de Linguagem de Grande Escala (LLM) são cada vez mais implantados para fluxos de trabalho de pagamento ponta a ponta (por exemplo, Agent Pay da Mastercard, Intelligent Commerce da Visa), os frameworks de avaliação predominantes são insuficientes para domínios financeiros regulamentados. As métricas atuais, especificamente a Taxa de Sucesso da Tarefa (TSR) e o F1-Score de Transferência de Agente (HF1), focam exclusivamente em resultados finais ou decisões de roteamento desordenadas.

Em sistemas de pagamento, onde a auditabilidade e a conformidade regulatória (por exemplo, PCI-DSS) são críticas, o caminho sequencial até um resultado é tão importante quanto o resultado em si. As métricas existentes falham em capturar a fidelidade do fluxo de trabalho—a adesão estrita do agente à sequência esperada de etapas. Consequentemente, os sistemas podem atingir pontuações perfeitas de TSR e HF1 enquanto silenciosamente pulam pontos de verificação críticos de conformidade, criando lacunas no rastro de auditoria que a avaliação tradicional não consegue detectar.

Metodologia

Os autores introduzem a Taxa de Sucesso do Agente (ASR), uma métrica de fidelidade de trajetória fundamentada na verificação de conformidade de mineração de processos.

A Métrica ASR

A ASR avalia o alinhamento entre uma sequência de execução de agente observada e um fluxo de trabalho esperado no nível de transição (bigrama).

Definição de Transição: Uma transição é definida como um par consecutivo de agentes em uma trajetória (por exemplo, Agente A $\to$ Agente B).
Cálculo: Dada uma trajetória esperada $E$ $E$ e uma trajetória observada $O$ $O$ , o método constrói multiconjuntos de transição $B_E$ $B_{E}$ e $B_O$ $B_{O}$ .
- Recall de Transição (TR): Mede a completude ( $|B_E \cap B_O| / |B_E|$ ). Um TR baixo indica transferências puladas ("movimentos do modelo").
- Precisão de Transição (TP): Mede a eficiência ( $|B_E \cap B_O| / |B_O|$ ). Uma TP baixa indica transferências redundantes ("movimentos do log").
- ASR: Calculada como o F1-score de TR e TP. Uma ASR de 100% indica um alinhamento perfeito de transições.

Diferentemente do HF1, que trata as transferências como um "saco de arestas", a ASR preserva a ordem temporal, medindo diretamente se o controle foi transferido para o próximo agente correto.

Configuração de Avaliação

Modelos: 18 LLMs foram avaliados, incluindo modelos de pesos abertos (Qwen3, Qwen2.5, Mistral, Magistral, Llama 3.1, GPT-OSS, Gemma4) e modelos proprietários (GPT-4.1, GPT-5.2).
Conjunto de Dados: O conjunto de dados do Sistema Hierárquico Multiagente para Pagamentos (HMASP), compreendendo 1.000 pontos de dados em quatro cenários: Registro de Cartão (T1), Recuperação de Cartão (T2), Processamento de Pagamento (T3) e Rejeição de Entrada Irrelevante (T4).
Protocolo: Cada par modelo-cenário foi avaliado 5 vezes independentemente, totalizando 90.000 instâncias de tarefa.
Intervenção: Os autores aplicaram diagnósticos de ASR para orientar duas melhorias de engenharia: (1) refinamento iterativo de prompts para esclarecer funções e limites, e (2) guardas de roteamento determinísticos (por exemplo, suprimindo caminhos de revisão de pagamento quando os itens do carrinho estão vazios).

Principais Resultados

1. Descoberta de Atalhos Ocultos no Fluxo de Trabalho

A ASR revelou desvios procedimentais sistemáticos invisíveis para a TSR e o HF1.

A Anomalia: No cenário de Processamento de Pagamento (T3), 10 dos 18 modelos (incluindo variantes do GPT-4.1, Qwen3 e Qwen2.5) alcançaram 100% de TSR e 100% de HF1, mas exibiram ASR < 100%.
A Causa: Esses modelos pularam sistematicamente um retorno intermediário ao "Agente de Processamento de Cartão" (CPA) para confirmação explícita do usuário antes de finalizar o pagamento. Em vez dos 11 saltos esperados (10 transições), eles executaram um atalho de 9 saltos (8 transições).
Impacto: Embora o resultado final do pagamento estivesse correto, o rastro de auditoria estava incompleto. Para as amostras afetadas, o TR caiu para 80% (8/10 transições), resultando em uma ASR de ~88,9% para essas instâncias específicas.
Desempenho Perfeito: 8 modelos (incluindo todas as variantes do Gemma4, GPT-OSS, MSmall3.2 e, notavelmente, GPT-5.2) alcançaram ASR perfeita (100%), aplicando corretamente o ponto de verificação de confirmação.

2. Melhorias de Engenharia via Diagnósticos ASR

O uso da ASR para identificar modos de falha específicos permitiu uma engenharia de sistema direcionada.

Ganhos Significativos: Refinamentos de prompts e guardas determinísticos orientados por diagnósticos de ASR produziram melhorias substanciais na Taxa de Sucesso da Tarefa para modelos que anteriormente lutavam.
- Llama3.1:8b: Melhoria de +93,8 pontos percentuais (pp) em T3.
- Magistral:24b: Melhoria de +91,5 pp em T3.
- Llama3.1:70b: Melhoria de +72,9 pp em T3.
Implicação: Muitas falhas foram solucionáveis por meio de engenharia, em vez de exigir a substituição do modelo.

Significado e Afirmações

O artigo argumenta que a avaliação no nível de trajetória é essencial em domínios regulamentados como as finanças digitais.

Conformidade Regulatória: A ASR fornece a visibilidade necessária para garantir a fidelidade procedimental, que é um pré-requisito para auditabilidade e atribuição de responsabilidade sob padrões como o PCI-DSS.
Além das Métricas de Resultado: O estudo demonstra que uma alta Taxa de Sucesso da Tarefa não equivale a um fluxo de trabalho conformado ou seguro. Um sistema pode "ter sucesso" em completar um pagamento enquanto viola a sequência exigida de verificações.
Utilidade Diagnóstica: A ASR serve como uma ferramenta diagnóstica poderosa que descobre padrões de interação sistemáticos entre a formulação de entrada e o raciocínio do modelo, permitindo correções direcionadas que melhoram dramaticamente a confiabilidade do sistema.

Os autores concluem que, à medida que as redes de pagamento escalonam capacidades de agentes, métricas como a ASR são necessárias para preencher a lacuna entre o sucesso funcional e a conformidade regulatória. Propõe-se trabalho futuro para validar a ASR em sistemas de produção e desenvolver variantes ponderadas para transições críticas de segurança.