SAGE: A Top-Down Bottom-Up Knowledge-Grounded User Simulator for Multi-turn AGent Evaluation

Título: SAGE: Um Simulador de Usuário Fundamentado em Conhecimento (Top-Down e Bottom-Up) para Avaliação de Agentes Multi-turno

1. O Problema

A avaliação de agentes interativos (chatbots, assistentes de IA) em cenários de múltiplas conversas (multi-turn) é um gargalo significativo no desenvolvimento de sistemas.

• Limitações das Abordagens Atuais:
  • Avaliação Humana: É cara, difícil de escalar e lenta para ciclos iterativos de desenvolvimento.
  • Benchmarks Estáticos: Conjuntos de dados fixos não capturam a natureza aberta e dinâmica das interações do mundo real.
  • Simuladores de Usuário Existentes: A maioria depende de dados humanos escassos ou proprietários. Os métodos baseados em prompting (instrução) tendem a modelar usuários genéricos, ignorando princípios específicos do domínio de negócios (como perfis de clientes ideais e conhecimento interno da empresa), resultando em interações pouco realistas e com baixa utilidade para encontrar erros complexos do agente.

2. Metodologia: O Framework SAGE

O SAGE (Simulação de Usuário para Avaliação de AGente) é um novo framework que gera interações realistas fundamentando-se em conhecimento de negócios, combinando duas fontes de informação:

A. Conhecimento "Top-Down" (Lógica de Negócios)
Foca na construção de personas de usuário realistas baseadas em princípios de negócios:

• Perfis de Cliente Ideal (ICP - Ideal Customer Profiles): Incorpora atributos como firmographics (tamanho da empresa, setor), autoridade de decisão e orçamento.
• Diferenças Individuais: Utiliza o modelo dos "Cinco Grandes" (Big Five) de personalidade e dados demográficos para modelar traços psicológicos e comportamentais.
• Objetivo: Criar usuários que reflitam quem realmente compra ou interage com a empresa, não apenas usuários genéricos.

B. Conhecimento "Bottom-Up" (Infraestrutura do Agente)
Foca em alinhar o contexto informativo do simulador com a realidade do agente:

• Fontes de Dados: Inclui catálogos de produtos, FAQs, bases de conhecimento, registros de clientes e manuais técnicos.
• Mecanismo: O simulador tem acesso a essas informações (estruturadas e não estruturadas) para formular perguntas específicas e verificar a precisão das respostas do agente.
• Objetivo: Garantir que o simulador saiba o que o cliente realmente sabe ou espera saber, permitindo testar a capacidade de recuperação de informações (RAG) do agente.

Fluxo de Trabalho do SAGE:

1. Configuração: Define atributos de usuário (Top-Down) e conhecimento de infraestrutura (Bottom-Up).
2. Criação de Cenários: Combina objetivos de usuário, conhecimento relevante e perfil do usuário para criar prompts de sistema detalhados.
3. Geração de Interações: Um LLM atua como o simulador, interagindo com o agente alvo em um ambiente compartilhado até atingir um objetivo ou limite de turnos.
4. Avaliação e Identificação de Bugs: Um "Juiz LLM" (LLM-as-a-Judge) avalia cada resposta do agente em cinco dimensões (utilidade, coerência, verbosidade, relevância e fidelidade). Respostas com pontuação baixa são analisadas para extrair bugs únicos e acionáveis.

3. Principais Contribuições

1. Framework SAGE: Introdução de uma arquitetura unificada que integra lógica de negócios (Top-Down) e infraestrutura de dados (Bottom-Up) para simulação de usuários.
2. Validação Empírica: Demonstração de que a combinação desses dois tipos de conhecimento gera interações mais diversas, humanas e contextualmente relevantes do que métodos existentes.
3. Eficácia na Detecção de Erros: Evidência de que o SAGE identifica significativamente mais falhas no agente do que simuladores tradicionais ou interações humanas limitadas.

4. Resultados Experimentais

Os autores avaliaram o SAGE em dois cenários: um agente de vendas baseado em RAG (Recuperação Aumentada por Geração) e um agente de compras aumentado por ferramentas (Shopify).

• Diversidade Lexical: O SAGE produziu interações com diversidade de vocabulário e estrutura de sentenças mais próximas de humanos reais em comparação com simuladores sem ICP ou sem conhecimento de infraestrutura.
• Fidelidade (Avaliação Humana): Anotadores humanos classificaram as interações do SAGE como significativamente mais humanas, coerentes e específicas do que as de outras condições.
• Detecção de Bugs (Resultado Chave):
  • O SAGE identificou 25% a 33% mais bugs únicos do que os métodos de base (sem ICP ou sem infraestrutura).
  • A remoção do conhecimento de infraestrutura (Bottom-Up) causou a maior queda na detecção de erros, indicando que o acesso ao conhecimento do produto é crucial para testar a precisão do agente.
  • A remoção do ICP (Top-Down) reduziu a diversidade e a especificidade, levando a perguntas genéricas que não testavam os limites do agente.
• Análise de Casos: O SAGE conseguiu expor erros de "fidelidade" (hallucinações sobre especificações do produto) que outros simuladores não detectaram, pois apenas o SAGE tinha o contexto preciso do produto e o perfil do cliente para fazer a pergunta correta.

5. Significado e Impacto

O trabalho do SAGE representa um avanço crucial na avaliação de agentes de IA para empresas:

• Escalabilidade: Permite a avaliação rigorosa de agentes em desenvolvimento sem a necessidade de custosos testes com usuários reais em cada iteração.
• Qualidade do Produto: Ao identificar mais erros e falhas de recuperação de informações, o SAGE atua como uma ferramenta de "caça a bugs" (bug-finding) essencial para melhorar a confiabilidade de agentes em ambientes de alto risco (suporte ao cliente, vendas).
• Mudança de Paradigma: Demonstra que simuladores de usuários não devem ser apenas "genéricos", mas devem ser profundamente fundamentados no contexto específico do negócio e na infraestrutura de dados da empresa para serem eficazes.

Em resumo, o SAGE preenche a lacuna entre a avaliação teórica e a prática de negócios, oferecendo um método escalável e de alta fidelidade para garantir que agentes de IA performem corretamente em cenários do mundo real.