🤖 AI

Lost in Simulation: LLM-Simulated Users are Unreliable Proxies for Human Users in Agentic Evaluations

Este artigo demonstra que usuários simulados por LLM são proxies não confiáveis para humanos reais em avaliações agênticas, pois exibem problemas significativos de robustez, erros sistemáticos de calibração e vieses amplificados contra populações diversas, como falantes de AAVE e de inglês indiano, correndo, em última análise, o risco de representar erroneamente as capacidades dos agentes e obscurecer desafios de implantação no mundo real.

Autores originais: Preethi Seshadri, Samuel Cahyawijaya, Ayomide Odumakinde, Sameer Singh, Seraphina Goldfarb-Tarrant

Publicado 2026-01-29

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Preethi Seshadri, Samuel Cahyawijaya, Ayomide Odumakinde, Sameer Singh, Seraphina Goldfarb-Tarrant

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Grande Ideia: O Problema do "Boneco de Teste"

Imagine que você é um fabricante de carros. Antes de vender um novo carro ao público, você precisa testar como ele lida com diferentes motoristas. Em vez de contratar pessoas reais para dirigir, você decide usar um motorista robô que você programou para agir como um humano. Você pensa: "Este robô é perfeito; ele nunca se cansa, segue as regras e é barato de operar".

Este artigo argumenta que usar robôs de IA (LLMs) para simular usuários humanos para testar assistentes de IA é uma má ideia. Os motoristas robôs não dirigem como humanos reais. Eles são educados demais, fazem perguntas demais e reagem de forma diferente dependendo de qual modelo de robô você usa. Por causa disso, seus resultados de teste são enganosos, e você pode pensar que seu carro é seguro quando, na verdade, não é para pessoas reais.

O Experimento: O Teste de "Role-Play"

Os pesquisadores queriam ver se um "Usuário" de IA (um robô fingindo ser uma pessoa) poderia prever com precisão como um humano real interagiria com um "Agente" de IA (um robô tentando ajudar com tarefas como reservar voos ou devolver itens).

Eles montaram um experimento massivo:

A Tarefa: Eles usaram um teste padrão chamado $\tau$ -Bench, que envolve tarefas de compras (como alterar um pedido ou devolver um pacote).
Os Jogadores: Eles fizeram com que humanos reais dos EUA, Índia, Quênia e Nigéria interagissem com um Agente de IA.
A Comparação: Eles compararam essas interações reais com interações onde o "Usuário" era apenas outra IA (uma simulação).

O Que Eles Descobriram (Os 3 Grandes Problemas)

1. O Problema da "Escolha do Robô" (Robustez)

A Analogia: Imagine que você testa seu carro com um motorista robô chamado "Robo-1". Ele diz que o carro é 70% seguro. Depois, você testa com o "Robo-2" e, de repente, ele diz que o carro é 80% seguro. Qual deles está certo? Você não sabe.

A Descoberta: Os pesquisadores descobriram que simplesmente mudar o modelo de IA usado para simular o usuário mudava os resultados significativamente. Dependendo de qual "usuário robô" eles usavam, a taxa de sucesso do Agente de IA variava em até 9 pontos percentuais. Isso significa que os resultados dos testes são instáveis; você não pode confiar em um único robô para lhe dizer a verdade.

2. O Problema da "Falsa Confiança" (Validade)

A Analogia: Imagine um professor avaliando um aluno. O professor (o Agente de IA) acha que está fazendo um ótimo trabalho porque o aluno (o aluno-robô) é muito educado e faz perguntas claras. Mas quando um aluno real, rabugento ou confuso aparece, o professor falha miseravelmente.

A Descoberta:

Tarefas Difíceis: Quando a tarefa era muito difícil, os usuários-robôs faziam o Agente de IA parecer pior do que ele realmente era (subestimando o desempenho).
Tarefas Médias: Quando a tarefa era moderadamente difícil, os usuários-robôs faziam o Agente de IA parecer melhor do que ele realmente era (superestimando o desempenho).
O Erro da "Educação": Humanos reais são às vezes diretos, impacientes ou vagos. Usuários-robôs, no entanto, eram consistentemente educados demais e faziam perguntas demais. Isso criava uma conversa "falsa" que não correspondia à realidade.

3. O Problema do "Espelho Injusto" (Equidade)

A Analogia: Imagine que você tem um espelho que mostra você com uma ótima aparência se estiver usando um terno (Inglês Padrão), mas faz você parecer desleixado se estiver usando roupas casuais (Inglês Vernáculo Afro-Americano ou Inglês Indiano). O espelho não está quebrado; ele é apenas enviesado para o terno.

A Descoberta: Os usuários-robôs eram péssimos em simular certos grupos de pessoas.

Falantes de AAVE: As simulações de robôs foram as menos precisas para falantes de Inglês Vernáculo Afro-Americano (AAVE). O Agente de IA teve um desempenho significativamente pior com falantes reais de AAVE do que as simulações de robôs previram.
Lacuna de Idade: A lacuna piorava conforme as pessoas ficavam mais velhas. As simulações de robôs não conseguiram capturar os desafios enfrentados por adultos mais velhos (55+), especialmente se falassem AAVE.
Viés Global: As simulações funcionaram melhor para jovens que falam o Inglês Padrão Americano e pior para pessoas da Índia, Quênia e Nigéria.

A Surpresa do "Quem Culpa Quem"

Quando algo dava errado no teste, os pesquisadores observaram de quem era a culpa:

Com Humanos Reais: Se a tarefa falhava, era frequentemente porque o humano era incompreendido, ambíguo ou não seguia as instruções perfeitamente (62% das falhas). Este é um comportamento humano normal.
Com Usuários-Robôs: Se a tarefa falhava, era quase sempre porque o Agente de IA errava (49% das falhas).

Por que isso importa: Os usuários-robôs eram "perfeitos demais". Eles seguiam as instruções tão estritamente que não davam ao Agente de IA a chance de praticar o lidar com a confusão do mundo real. Isso fazia o Agente de IA parecer que estava falhando com mais frequência do que deveria, ou falhando de maneiras diferentes do que faria com uma pessoa real.

A Conclusão Final

O artigo conclui que não podemos confiar em robôs de IA para testar outros robôs de IA.

Se as empresas continuarem usando esses "usuários-robôs" para avaliar seus assistentes de IA, elas correm o risco de:

Pensar que sua IA é melhor ou pior do que realmente é.
Implementar sistemas de IA que funcionam muito bem para algumas pessoas, mas falham miseravelmente para outras (especialmente adultos mais velhos e falantes de inglês não padronizado).
Perder problemas do mundo real porque os "usuários-robôs" são educados e previsíveis demais.

A Lição: Para construir uma IA verdadeiramente útil, precisamos testá-la com humanos reais e diversos, não apenas com mais robôs fingindo ser pessoas.

Resumo Técnico: Perdido na Simulação

Declaração do Problema
Os benchmarks de agentes dependem cada vez mais de usuários simulados por Grandes Modelos de Linguagem (LLMs) para avaliar o desempenho de agentes de IA em escala, substituindo as avaliações humanas dispendiosas. No entanto, a robustez, a validade e a equidade dessa abordagem permanecem não examinadas. As práticas atuais frequentemente dependem de um único modelo de simulação de usuário, tratando os usuários como um grupo homogêneo e negligenciando a diversidade linguística e cultural. Isso levanta questões críticas: Os usuários simulados preveem de forma confiável o desempenho do agente no mundo real? Eles introduzem vieses sistemáticos que deturpam as capacidades do agente em diversas populações?

Metodologia
Os autores conduziram um estudo de usuário abrangente para avaliar usuários simulados por LLM como substitutos (proxies) para humanos reais usando o conjunto de tarefas de varejo $\tau$ -Bench.

Participantes: O estudo recrutou $\sim$ 40 participantes por grupo dos Estados Unidos, Índia, Quênia e Nigéria. Os participantes dos EUA foram estratificados por dialeto (Inglês Americano Padrão [SAE] vs. Inglês Vernáculo Afro-Americano [AAVE]) e idade (18–34, 35–54, 55+). Participantes não americanos foram recrutados da faixa etária de 18–34 anos.
Design de Tarefas: Das 115 tarefas de varejo no $\tau$ -Bench, os autores selecionaram um subconjunto equilibrado por dificuldade de 18 tarefas (3 tarefas por nível de dificuldade, definido por uma métrica de taxa de sucesso baseada em modelo).
Configuração Experimental: Os participantes interagiram com um modelo de agente fixo (GPT-4o) por meio de uma interface de chat para completar tarefas. Essas interações foram comparadas com interações onde o "usuário" era simulado por vários LLMs (GPT-4o, Sonnet 3.7, Sonnet 4.5, Kimi-K2-Thinking).
Métricas de Avaliação:
- Taxa de Sucesso: A porcentagem de tarefas onde o agente executou corretamente as ações exigidas e transmitiu as informações necessárias.
- Erro de Calibração Esperado (ECE): Adaptado de classificadores probabilísticos para medir o desvio absoluto ponderado entre as taxas de sucesso do agente com usuários simulados versus usuários humanos reais através de níveis de dificuldade.
- Análise de Interação: Análise quantitativa da estrutura conversacional (turnos, perguntas, marcadores de polidez) e atribuição qualitativa de erros (erros de argumento, ações ausentes, erros de saída).

Principais Contribuições e Resultados

Falta de Robustez:
O sucesso dos agentes varia significativamente dependendo da escolha do modelo de simulação de usuário. Enquanto alguns modelos se agrupam em torno de 67–71% de sucesso, a mudança de Sonnet 3.7 para Sonnet 4.5 como o modelo de usuário resultou em uma diferença de 9 pontos percentuais nas taxas de sucesso. Isso indica que simulações de modelo único são não confiáveis para estabelecer bases de desempenho robustas.
Descalibração Sistemática (Validade):
Usuários simulados não servem como substitutos (proxies) confiáveis para humanos reais. Mesmo no contexto dos EUA (onde se assume que os LLMs são mais bem calibrados), o Erro de Calibração Esperado (ECE) foi de 15,1.

Viés de Dificuldade de Tarefa: Usuários simulados subestimam sistematicamente o desempenho do agente nas tarefas mais desafiadoras (bin de 0% de dificuldade) e superestimam o desempenho em tarefas de dificuldade moderada (bin de 60% de dificuldade).
Artefatos Conversacionais: Usuários simulados exibem padrões comportamentais distintos em comparação aos humanos, incluindo taxas significativamente maiores de fazer perguntas (18,8% vs. 9,8% para humanos) e marcadores de polidez (39,2% vs. 19,9%).

Disparidades Demográficas (Equidade):
A confiabilidade da simulação de usuário varia drasticamente entre grupos demográficos, revelando problemas significativos de equidade:

Viés de Dialeto: Agentes alcançaram uma taxa de sucesso de 50,6% com falantes de SAE, mas apenas 39,4% com falantes de AAVE. O erro de calibração (ECE) foi quase o dobro para falantes de AAVE (20,3) em comparação com falantes de SAE (11,7).
Interação de Idade: As disparidades se acumulam com a idade. A lacuna de desempenho entre falantes de SAE e AAVE aumentou de ~12 pontos percentuais na faixa de 35–54 anos para 19 pontos percentuais no grupo de 55+ anos.
Viés Geográfico: Usuários simulados foram os substitutos menos eficazes para falantes de AAVE e inglês indiano (ECE $\approx$ 18,9), enquanto performaram melhor para falantes de SAE (ECE = 13,0).

Modos de Falha Divergentes:
A natureza dos erros difere entre interações humanas e simuladas.

Atribuição de Erro: Em conversas humanas, os usuários são a principal fonte de falha (62,2%), frequentemente devido à ambiguidade ou conformidade parcial. Em conversas simuladas, o agente é responsável pela maioria das falhas (48,9%).
Tipos de Erro: Agentes interagindo com usuários simulados cometem mais erros de saída (omitir ou incluir saídas incorretas) mas menos erros de ação ausente ou extra. Isso sugere que usuários simulados podem seguir instruções de forma muito precisa, falhando em trazer à tona a ambiguidade e o mal-entendido que usuários reais introduzem.

Significância e Alegações
O artigo argumenta que as práticas atuais de avaliação que dependem de usuários simulados por LLM correm o risco de deturpar as capacidades dos agentes em diversas populações de usuários. Ao otimizar para usuários simulados, desenvolvedores podem inadvertidamente criar sistemas que parecem robustos em benchmarks, mas falham desproporcionalmente para usuários reais, particularmente aqueles que falam AAVE ou de origens não ocidentais. Os autores concluem que a simulação de usuário ainda não pode servir como um paradigma de avaliação isolado; em vez disso, os benchmarks de agentes devem validar os resultados simulados contra dados humanos demograficamente diversos e reportar resultados através de múltiplos modelos de simulação para garantir robustez e equidade.