Resumo Técnico: Avaliação Baseada em Estado Proxy para Agentes LLM de Chamada de Ferramentas em Múltiplas Rodadas

Declaração do Problema

Agentes interativos de Modelos de Linguagem (LLM) estão cada vez mais implantados em fluxos de trabalho industriais (por exemplo, comércio, gerenciamento de contas) para resolver tarefas de chamada de ferramentas em múltiplas rodadas e múltiplos passos. O desenvolvimento eficaz requer dois componentes: (1) avaliação estável que reflita com precisão se um agente atinge os objetivos do usuário e (2) geração de dados on-policy para permitir a aprendizagem a partir da interação e do feedback do ambiente.

As atuais benchmarks agênticas (por exemplo, $\tau$-bench, $\tau^2$-bench, AppWorld) utilizam um paradigma de "benchmark como ambiente" com avaliação baseada no estado final. Embora essa abordagem pontue corretamente os estados finais do banco de dados em vez de correspondências rígidas de trajetória, ela depende de backends totalmente determinísticos. A construção e iteração nesses motores determinísticos demandam esforço substancial de engenharia (por exemplo, design de esquema, ferramentas determinísticas, asserções), com algumas benchmarks exigindo dezenas de milhares de linhas de código e extensos testes unitários. Esse ônus de engenharia retarda a iteração e limita a escalabilidade para aplicações industriais.

A questão central abordada é: Podemos reter os benefícios da avaliação baseada no estado final sem construir um backend determinístico pesado?

Metodologia: Avaliação Baseada em Estado Proxy

Os autores propõem a Avaliação Baseada em Estado Proxy, um framework de simulação orientado por LLM que substitui o banco de dados determinístico por um "estado proxy" inferido por LLM. O sistema opera como um "benchmark como ambiente" consistindo em cinco componentes LLM cooperativos:

1. Especificação do Cenário ($z$): Um objeto estruturado definindo o objetivo do usuário, fatos do usuário, fatos do sistema (estado inicial), estado proxy final esperado e comportamento esperado do agente. Isso substitui a necessidade de uma trajetória ground-truth.
2. Agente de Raciocínio (RA): O modelo sob avaliação, que segue um loop estilo ReAct (raciocinar $\to$ agir $\to$ observar) para interagir com o ambiente por meio de diálogo em múltiplas rodadas e chamadas de ferramentas em múltiplos passos.
3. Simulador de Usuário ($f_{user}$): Gera falas do usuário condicionadas aos fatos do usuário do cenário, objetivos e uma persona específica (por exemplo, usuário avançado, confuso, ambíguo).
4. Simuladores de Ferramenta ($f_{tool}$): Simulam respostas de ferramentas (por exemplo, gerenciamento de contas, comércio) "lendo" e "escrevendo" no estado proxy atual com base nas subconsultas do RA e nos fatos do sistema.
5. Rastreador de Estado ($f_{state}$): Um componente LLM que infere o estado proxy estruturado ($\tilde{s}_{t,k}$) a partir de todo o rastro de interação até o passo $(t,k)$. Diferente de atualizações de estado passo a passo, ele condiciona-se em todo o prefixo da trajetória para garantir robustez contra acúmulo de erros.
6. Juízes LLM:
   • Juiz de Conclusão de Objetivo: Avalia o estado proxy final e a resposta do agente contra o estado final esperado e o comportamento do cenário para classificar os resultados (objetivo concluído, erro do usuário ou erro do agente).
   • Juiz de Detecção de Alucinação: Detecta se o simulador de ferramenta ou o simulador de usuário gerou informações inconsistentes com as restrições do cenário.

Métricas de Avaliação: O framework mede taxas de Conclusão de Objetivo (GC), taxas de erro do usuário/agente e taxas de alucinação (ferramenta e usuário). Ele suporta tanto geração de dados on-policy (para Ajuste Fino por Amostragem de Rejeição) quanto geração de dados off-policy (para Ajuste Fino Supervisionado).

Contribuições Principais

1. Formalização da Avaliação Baseada em Estado Proxy: O artigo formaliza uma benchmark prática que preserva os princípios de avaliação baseada em estado sem exigir um backend determinístico, utilizando um estado proxy inferido por LLM extraído de rastros de interação.
2. Esquema de Cenário e Arquitetura de Componentes: Introduz um esquema de cenário específico e uma arquitetura de cinco componentes LLM (Agente de Raciocínio, Simulador de Usuário, Simuladores de Ferramenta, Rastreador de Estado, Juiz) que cooperam para simular fluxos de trabalho complexos.
3. Framework de Confiabilidade: Os autores definem critérios de confiabilidade incluindo erros padrão bootstrap, taxas de alucinação e concordância entre juízes humano-LLM. Eles executam ablações direcionadas sobre sensibilidade à persona, completude de fatos do sistema/usuário e força do rastreador de estado.
4. Geração de Dados Escalável: O ambiente gera expansões on-policy e off-policy escaláveis adequadas para pós-treinamento (SFT/RFT) e fornece métricas estáveis para comparação de modelos.

Resultados

A benchmark foi avaliada em diversas famílias de modelos (GPT-5, GPT-4o, Gemini-2.5, Qwen3) e esforços de raciocínio:

• Diferenciação de Modelos: As taxas de Conclusão de Objetivo (GC) escalam consistentemente com a força do modelo e o esforço de raciocínio no tempo de inferência. Por exemplo, dentro da família GPT-5, maior esforço de raciocínio produz ganhos monótonos de GC (Alto: 85,76% > Mínimo: 66,04%).
• Eficácia do Treinamento: Treinar o modelo base Qwen3-30B-A3B neste ambiente melhorou significativamente o desempenho. O Ajuste Fino Supervisionado (SFT) usando dados off-policy de um professor mais forte aumentou a GC de 65,64% para 77,34%. O Ajuste Fino por Amostragem de Rejeição (RFT) também produziu melhorias.
• Robustez à Complexidade: Embora o desempenho diminua com a profundidade da conversa para modelos base, o treinamento SFT fornece ganhos substanciais em conversas longas (+26,69 pontos percentuais), indicando que o sinal de treinamento generaliza para interações mais difíceis e em múltiplos passos.
• Confiabilidade e Alucinação:
  • Concordância Humano-LLM: Excedeu 90%, validando a avaliação automatizada.
  • Alucinações do Simulador: Sob configurações padrão (GPT-5o com esforço de raciocínio médio), as taxas de alucinação de ferramenta e usuário foram próximas de zero (1,33% e 0,67%, respectivamente).
  • Descobertas de Ablação: Remover fatos do sistema ou fatos do usuário dos cenários causou um aumento monótono nas taxas de alucinação, confirmando que a especificação meticulosa do cenário é crítica. Rastreadores de estado mais fracos (por exemplo, GPT-4o) aumentaram as taxas de alucinação de ferramenta, destacando a necessidade de inferência precisa de estado.
• Robustez Transversal entre Modelos: As classificações de modelos e os ganhos de treinamento permaneceram consistentes mesmo quando os modelos simulador e juiz foram trocados (por exemplo, usando Gemini-2.5-Pro em vez de GPT-5o), descartando viés circular de uma configuração de única família de modelos.

Significado e Alegações

O artigo alega que a Avaliação Baseada em Estado Proxy oferece uma alternativa prática e escalável para benchmarks agênticas determinísticas para agentes LLM industriais. Ao desacoplar a avaliação baseada em estado do ônus de engenharia de construir backends determinísticos, o framework permite:

• Iteração Mais Rápida: Cenários podem ser implementados rapidamente e evoluir com os roteiros de produto sem extensa engenharia de código.
• Avaliação Rigorosa: Mantém o rigor da verificação do estado final enquanto suporta a flexibilidade de múltiplos caminhos corretos de chamada de ferramentas.
• Treinamento Eficaz: Gera dados on-policy e off-policy de alta qualidade que melhoram com sucesso agentes de peso aberto via SFT e RFT, com ganhos transferindo-se para cenários não vistos.

Os autores posicionam este trabalho não como uma substituição para todos os testes determinísticos, mas como uma evolução necessária para ambientes industriais onde o custo de backends determinísticos é proibitivo, mas a necessidade de avaliação baseada em estado e orientada a objetivos permanece primordial.