Resumo Técnico: Além dos Simuladores Cooperativos (Políticas de Persona)

Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) estão sendo cada vez mais implantados em cenários que exigem interação com diversos usuários humanos. No entanto, os benchmarks de avaliação atuais dependem fortemente de simuladores de usuários baseados em LLM que sofrem de uma lacuna crítica "Sim2Real": eles são inerentemente cooperativos, consistentes e excessivamente proativos na fornecimento de informações. Usuários reais, por outro lado, exibem comportamentos imprevisíveis, como impaciência, ceticismo, ambiguidade e relutância em compartilhar dados. Essa homogeneidade comportamental leva a agentes que parecem robustos na simulação, mas falham quando confrontados com o atrito da comunicação do mundo real. Métodos existentes para introduzir diversidade frequentemente dependem de personas criadas manualmente ou de amostragem fixa de traços, que não conseguem capturar a distribuição complexa e fundamentada na tarefa dos comportamentos humanos reais.

Metodologia: Políticas de Persona (PPol)

Os autores introduzem as Políticas de Persona (PPol), uma camada de controle plug-and-play projetada para induzir variação comportamental realista em simuladores de usuários sem alterar as tarefas ou recompensas subjacentes do benchmark. A inovação central é enquadrar a geração de personas como uma busca evolutiva de programas em vez de engenharia de prompts manual.

1. O Gerador Evolucional

O sistema utiliza um programa Python, $G$, como genótipo. Este programa é responsável por gerar uma população de $N$ políticas de persona para um contexto de tarefa dado $c_t$. O processo de geração ocorre em duas fases:

• Geração da População: Um LLM de fronteira propõe conjuntamente $N$ perfis comportamentais distintos, atribuindo valores binários a um conjunto de Eixos Comportamentais ($D$). Esses eixos representam dimensões comportamentais específicas (por exemplo, "teimoso", "distraído", "impreciso").
• Expansão da Persona: Cada perfil é expandido em uma instrução detalhada de roleplay que preserva a tarefa (a política $P_\pi$), a qual dita como o usuário se comunica (tom, ritmo, divulgação) enquanto mantém os objetivos originais da tarefa.

2. Otimização Multiobjetivo

O gerador é otimizado usando OpenEvolve, um agente de codificação evolutiva. Geradores candidatos são avaliados com base em dois objetivos principais derivados de impressões digitais comportamentais (19 características lexicais e de nível de interação):

• Semelhança Humana ($P_{human}$): Medida por um discriminador Random Forest treinado que classifica se uma trajetória se assemelha a dados humanos reais ou a dados de simulador padrão.
• Cobertura Comportamental ($B_{cover}$): Medida usando a distância de Chamfer entre a distribuição de impressões digitais das personas geradas e uma nuvem de referência de diálogos humanos reais. Isso garante que a população abranja regiões diversas do comportamento humano, em vez de convergir para um único estilo estereotipado.

A pontuação de aptidão é uma combinação ponderada dessas métricas: $M(G; T) = \lambda_h P_{human} + \lambda_b B_{cover}$.

3. Mutação Guiada por Reflexão

Para orientar a busca evolutiva, o sistema emprega um mecanismo de reflexão. Um modelo separado analisa as pontuações de aptidão e trechos de diálogo das trajetórias melhores e piores para gerar críticas em linguagem natural. Essas reflexões identificam modos de falha específicos (por exemplo, "excessivamente cooperativo", "roleplay não natural") e são alimentadas de volta ao agente de mutação para refinar o código do gerador, os prompts e as definições dos eixos.

Contribuições Principais

1. Camada de Controle Plug-and-Play: A PPol injeta diversidade comportamental realista em simuladores de usuários padrão, anexando políticas dinâmicas ao prompt do sistema, preservando a integridade das tarefas de benchmark existentes.
2. Framework Evolutivo Automatizado: O artigo formula a geração de personas como um problema de busca automatizada, descobrindo comportamentos diversos e semelhantes aos humanos sem intervenção manual, indo além da amostragem de perfis estáticos.
3. Validação End-to-End: O framework é validado para estreitar a lacuna simulador-humano, produzir personas indistinguíveis de humanos em avaliações cegas e melhorar significativamente a robustez do agente quando usado para treinamento.

Resultados

Os autores avaliaram a PPol no domínio de varejo e companhias aéreas do $\tau^2$-bench, utilizando três backends diferentes de simuladores de usuários (DeepSeek-V3.1, Qwen3-Next-80B, GPT-5.4-Mini).

• Melhorias na Aptidão: Programas PPol evoluídos alcançaram ganhos absolutos de 33–62% na pontuação de aptidão combinada em relação aos simuladores de base.
• Avaliação Humana: Em um estudo cego com anotadores humanos, usuários condicionados à PPol foram classificados como humanos 80,4% das vezes, quase igualando as trajetórias humanas reais (95,3%) e superando significativamente os simuladores de base (46,5%).
• Alinhamento Comportamental: A PPol melhorou drasticamente o alinhamento em dimensões interacionais, como comportamento de esclarecimento (D3) e reação a erros (D4), onde os simuladores de base anteriormente falhavam. Por exemplo, no domínio de Varejo com Qwen3, o alinhamento na reação a erros triplicou, passando de 23,3% para 76,4%.
• Robustez do Agente: Agentes ajustados finamente em interações geradas pela PPol mostraram uma melhoria relativa de +17% nas taxas de sucesso da tarefa quando testados contra traços de usuários desafiadores e fora da distribuição (por exemplo, céticos, incoerentes, impacientes) em comparação com agentes treinados apenas em interações simuladas padrão.

Significado e Alegações

O artigo afirma que a PPol oferece uma abordagem inovadora para fortalecer a avaliação e o treinamento baseados em simuladores, sem exigir alterações nas tarefas ou estruturas de recompensa subjacentes. Ao mudar de traços criados manualmente para uma busca evolutiva fundamentada em distribuições reais de comportamento humano, o framework aborda o viés do "simulador cooperativo" que atualmente aflige a avaliação de agentes. Os autores postulam que, à medida que os agentes transitam para implantações sociais complexas, alinhar simuladores de usuários com o espectro completo de padrões de interação humana é essencial para garantir que os resultados do benchmark permaneçam um proxy significativo para a realidade. O trabalho demonstra que a randomização de domínio via personas evoluídas pode servir como um sinal poderoso para treinar agentes a serem mais robustos à imprevisibilidade de usuários do mundo real.