Efficient Agent Evaluation via Diversity-Guided User Simulation

Título: Efficient Agent Evaluation via Diversity-Guided User Simulation

Autores: Itay Nakash, George Kour, Ateret Anaby-Tavor (IBM Research)

1. O Problema

A avaliação de Agentes de Linguagem (LLMs) voltados para o atendimento ao cliente enfrenta desafios significativos devido à natureza estocástica e multi-turno das interações.

• Ineficiência Computacional: Os protocolos de avaliação atuais baseiam-se em rollouts (execuções) lineares de Monte Carlo, onde conversas completas são reiniciadas do zero para cada tentativa. Isso gera um desperdício massivo de tokens, pois os prefixos iniciais da conversa (ex: login, saudações, perguntas básicas) são regenerados repetidamente, mesmo sendo idênticos.
• Baixa Cobertura de Falhas: Os simuladores de usuários padrão tendem a ser excessivamente cooperativos ("viés de benevolência"), gerando comportamentos de alta probabilidade. Isso dificulta a exposição de modos de falha profundos que só ocorrem após respostas raras ou comportamentos adversários do usuário.
• Custo Elevado: A regeneração redundante de prefixos e a necessidade de múltiplas execuções completas tornam a avaliação economicamente proibitiva, especialmente ao usar modelos de ponta (frontier models) caros.

2. Metodologia: DIVERT

Os autores propõem o DIVERT (Diversity-Induced EValuation via branching of Trajectories), um framework de simulação de usuário baseado em "snapshots" (instantâneos) e guiado por cobertura.

Princípios Fundamentais:

1. Estrutura em Árvore vs. Linear: Reconhece que as trajetórias de agentes são inerentemente estruturadas como árvores, onde muitas conversas compartilham longos prefixos e divergem apenas em pontos críticos de interação.
2. Snapshots de Estado: Em vez de reiniciar a avaliação do estado inicial, o sistema salva o estado completo do agente e do ambiente (histórico, contexto, estado das ferramentas) em "pontos de junção" críticos.
3. Branching (Ramificação): A avaliação prossegue restaurando esses snapshots e ramificando a partir deles, evitando a regeneração de prefixos compartilhados.

Pipeline do DIVERT:

O processo segue quatro etapas principais:

1. Rollout Inicial e Caching: Executa uma trajetória inicial e salva snapshots do estado antes de cada turno do usuário.
2. Seleção de Junção (Junction Selection): Utiliza um LLM para analisar a trajetória completa e identificar o ponto de virada (turno do usuário) onde uma alteração na resposta tem maior potencial de alterar o comportamento downstream do agente, mantendo a intenção original da tarefa.
3. Geração de Resposta Guiada por Diversidade:
   • Gera múltiplos candidatos de resposta do usuário (ex: 3 candidatos).
   • O prompt instrui o modelo a manter a intenção da tarefa, mas introduzir variação semântica significativa.
   • Seleciona o candidato que é maximamente dissimilar (menor similaridade de cosseno no espaço de embeddings) à resposta original do usuário.
4. Execução Baseada em Snapshot: Restaura o estado salvo no ponto de junção, injeta a nova resposta diversificada do usuário e continua a execução do agente até o término.

3. Contribuições Chave

• Framework de Avaliação Eficiente: Substitui o paradigma linear de reinício completo por uma abordagem de ramificação baseada em snapshots, reduzindo drasticamente o custo de tokens.
• Mecanismo de Diversidade Direcionada: Introduz um método sistemático para gerar respostas de usuário que exploram caminhos semânticos não explorados, sem perder o alinhamento com o objetivo da tarefa.
• Redução de Custo e Aumento de Cobertura: Demonstra que é possível descobrir mais falhas com menos tokens, reutilizando prefixos comuns e focando a computação em pontos de decisão críticos.
• Validação de Preservação de Intenção: Garante que as ramificações não desviem do objetivo original da tarefa, validando que a diversidade gerada é semanticamente relevante e não apenas ruído.

4. Resultados Experimentais

Os experimentos foram conduzidos no τ-bench (domínios: Aéreo, Varejo e Telecomunicações) utilizando modelos como GPT-OSS-120B e Gemini-2.5-Flash.

• Eficiência na Descoberta de Erros:
  • O DIVERT superou consistentemente os rollouts lineares na métrica de "Erros por 100K Tokens".
  • Mesmo com uma única ramificação, a eficiência na descoberta de falhas aumentou, indicando que a reutilização de prefixos e a ramificação seletiva realocam a computação para caminhos de maior alavancagem.
• Cobertura de Falhas (Task Failure Count):
  • Aumentar o número de ramificações (branches) levou a uma descoberta de falhas em um número maior de tarefas distintas, comparado ao aumento apenas no número de rollouts lineares.
  • Isso sugere que muitos modos de falha são "ocultos" e só são expostos através de ramificações direcionadas, não através de reinícios aleatórios.
• Análise de Custo:
  • Redução de ~19.6% nos tokens do agente e ~563 tokens de avaliação por trajetória.
  • Mesmo descontando o overhead do framework (seleção de junção e geração de candidatos), há uma economia líquida significativa de tokens totais.
  • A análise de prefixos compartilhados mostrou que o DIVERT cria estruturas de prefixo exato (34% a 58% de sobreposição), permitindo potencial reutilização de KV-cache, algo impossível em rollouts lineares independentes.

5. Significado e Impacto

• Viabilidade Econômica: Para organizações que avaliam agentes em produção (usando modelos caros de ponta), o DIVERT oferece uma redução direta nos custos de API, tornando a avaliação robusta e em larga escala financeiramente viável.
• Qualidade da Avaliação: Ao forçar a exploração de caminhos semânticos divergentes, o método expõe falhas de robustez e aderência a políticas que métodos tradicionais ignorariam, levando a agentes mais confiáveis.
• Mudança de Paradigma: Propõe uma mudança fundamental na forma como avaliamos agentes interativos, passando de uma abordagem de "tentativa e erro" linear para uma exploração sistemática e guiada do espaço de estados de interação.

Em resumo, o DIVERT demonstra que a avaliação de agentes LLM não precisa ser um processo linear e custoso; ao explorar a estrutura de árvore das conversas e introduzir diversidade controlada, é possível obter avaliações mais ricas, baratas e eficazes.