💬 NLP

Towards Real-world Human Behavior Simulation: Benchmarking Large Language Models on Long-horizon, Cross-scenario, Heterogeneous Behavior Traces

O artigo apresenta o OmniBehavior, o primeiro benchmark de simulação de usuários construído inteiramente a partir de dados reais, que revela que os atuais Grandes Modelos de Linguagem falham em capturar comportamentos humanos autênticos de longo prazo devido a vieses estruturais que os levam a simular uma "pessoa média" positiva e homogeneizada, em vez de refletir a diversidade e as nuances do mundo real.

Autores originais: Jiawei Chen, Ruoxi Xu, Boxi Cao, Ruotong Pan, Yunfei Zhang, Yifei Hu, Yong Du, Tingting Gao, Yaojie Lu, Yingfei Sun, Xianpei Han, Le Sun, Xiangyu Wu, Hongyu Lin

Publicado 2026-04-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jiawei Chen, Ruoxi Xu, Boxi Cao, Ruotong Pan, Yunfei Zhang, Yifei Hu, Yong Du, Tingting Gao, Yaojie Lu, Yingfei Sun, Xianpei Han, Le Sun, Xiangyu Wu, Hongyu Lin

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você quer construir um robô que imite perfeitamente como as pessoas reais agem na internet. Você quer que esse robô seja tão bom que possa prever o que um usuário vai fazer, o que vai comprar ou o que vai dizer, como se ele fosse uma pessoa de verdade.

Este artigo de pesquisa, chamado OmniBehavior, é como um "teste de realidade" gigante para ver se os atuais robôs inteligentes (chamados de Grandes Modelos de Linguagem ou LLMs) conseguem fazer isso.

Aqui está a explicação simples, usando analogias do dia a dia:

1. O Problema: Os Robôs estão "Cegos" para a Vida Real

Até agora, os testes para esses robôs eram como jogos de tabuleiro muito simples.

O que os testes antigos faziam: Eles olhavam apenas para uma única situação. Por exemplo: "Se a pessoa viu um vídeo de gato, ela vai curtir?".
A realidade: A vida humana não é assim. Nossas decisões são como um filme longo e complexo. Você pode ter visto um vídeo de um carro há 3 dias, pesquisado sobre ele ontem, e hoje, vendo uma propaganda, decidiu comprar. O robô precisa entender essa história inteira, não apenas o último quadro.

Os testes antigos eram como tentar entender a personalidade de alguém olhando apenas para uma foto de 1 segundo. Eles perdiam a conexão entre as diferentes partes da vida da pessoa (vídeos, compras, chats, buscas).

2. A Solução: O "OmniBehavior" (O Espelho da Realidade)

Os pesquisadores criaram um novo banco de dados chamado OmniBehavior.

De onde veio? Eles pegaram registros reais de milhões de usuários do Kuaishou (um app gigante de vídeos na China, parecido com o TikTok).
O que tem nele? Eles não olharam apenas para uma ação. Eles pegaram 3 meses de vida digital de 200 pessoas reais.
A Analogia: Imagine que os testes antigos eram como um álbum de figurinhas soltas. O OmniBehavior é como assistir a um documentário completo sobre a vida dessas pessoas, vendo como elas pulam de um assunto para outro, de um vídeo para uma loja, e de uma busca para uma compra. É um "filme" de 3 meses de comportamento.

3. O Que Eles Descobriram? (A Grande Surpresa)

Quando eles colocaram os robôs mais inteligentes do mundo (como o Claude, GPT-4, etc.) para tentar imitar essas pessoas usando esse novo teste, a notícia não foi boa.

A. Os Robôs são "Otimistas Demais" (Viés de Utopia)

A Analogia: Imagine que você está em uma festa. As pessoas reais às vezes estão cansadas, irritadas, não querem falar com ninguém ou reclamam do serviço.
O que os robôs fazem: Eles agem como se fossem anjos de um filme de Natal. Eles são sempre educados, sempre querem interagir, sempre dizem "sim" e nunca reclamam.
O resultado: Os robôs acham que todo mundo vai comprar tudo e curtir tudo. Eles perdem a capacidade de entender quando alguém está bravo, triste ou apenas querendo ficar quieto. Eles viraram uma "pessoa média superlegal", e não uma pessoa real com defeitos e humor variado.

B. Todos os Robôs Parecem Irmãos Gêmeos

A Analogia: Em uma sala com 100 pessoas reais, cada uma tem uma personalidade única. Um é tímido, outro é barulhento, outro é desconfiado.
O que os robôs fazem: Quando os robôs tentam imitar essas 100 pessoas, eles acabam parecendo todos iguais. Eles perdem as "peculiaridades" de cada um. É como se todos os robôs vestissem o mesmo terno e dissessem as mesmas frases polidas. Eles não conseguem capturar a "alma" única de cada usuário.

C. O "Túnel de Visão" dos Dados Antigos

O estudo mostrou que se você tentar entender uma pessoa olhando apenas para o que ela faz em um único lugar (só compras, ou só vídeos), você fica cegado. Você não vê a história completa. A decisão de comprar um celular pode ter começado com um vídeo de humor que a pessoa viu há duas semanas. Os robôs antigos não conseguiam conectar esses pontos distantes.

4. Por que isso importa?

Se você quer usar robôs para prever o que as pessoas vão fazer no mundo real (para melhorar lojas, redes sociais ou atendimento ao cliente), você precisa de robôs que entendam a complexidade humana.

Se o robô acha que todo mundo é feliz e educado, ele vai falhar em prever quem vai cancelar uma assinatura (porque não entende a raiva do cliente).
Se o robô não entende que uma decisão de hoje depende de algo que aconteceu há 10 dias, ele vai fazer recomendações erradas.

Resumo Final

O OmniBehavior é como um exame de direção real (com trânsito, chuva e pedestres) em vez de um simulador de videogame (onde tudo é perfeito e previsível).

O teste mostrou que, embora nossos robôs sejam muito inteligentes, eles ainda são crianças ingênuas quando tentam imitar adultos reais. Eles são muito educados, muito otimistas e muito parecidos entre si. Para o futuro, os pesquisadores precisam ensinar esses robôs a entenderem a "bagunça", a raiva, a hesitação e a complexidade da vida real, e não apenas a versão perfeita e polida dela.

Título: OmniBehavior: Um Benchmark para Simulação de Comportamento Humano Realista

1. O Problema

O surgimento dos Grandes Modelos de Linguagem (LLMs) prometeu a criação de simuladores de usuários universais para o design e avaliação de sistemas interativos. No entanto, os benchmarks existentes apresentam limitações críticas que impedem a avaliação fiel dessas capacidades:

Cenários Isolados: A maioria dos dados foca em silos específicos (ex: apenas navegação de vídeo ou apenas e-commerce), ignorando a natureza holística do comportamento humano.
Espaços de Ação Restritos: Limitam-se a ações simples (clique, assistir), falhando em capturar a complexidade de decisões que envolvem múltiplos tipos de interação.
Dados Sintéticos: Muitos conjuntos de dados são gerados sinteticamente, o que não reflete a aleatoriedade, as caudas longas e as dependências causais de longo prazo do comportamento humano real.
Falha na Simulação de Longo Prazo: Os modelos atuais não conseguem capturar cadeias causais que se estendem por dias ou semanas e atravessam diferentes cenários (ex: um interesse gerado por um vídeo que leva a uma compra dias depois).

2. Metodologia e Construção do Benchmark (OmniBehavior)

Os autores introduzem o OmniBehavior, o primeiro benchmark de simulação de usuários construído inteiramente a partir de dados reais do mundo real, coletados da plataforma de vídeo Kuaishou (com mais de 400 milhões de usuários diários).

Coleta de Dados:
- Período: 3 meses (setembro a novembro de 2025).
- Escala: Logs de interação de 200 usuários representativos, selecionados via clustering para garantir diversidade demográfica e de interesses.
- Cenários Integrados: 5 cenários principais interligados: Navegação de Vídeo, Transmissão ao Vivo (Live Streaming), Publicidade, E-commerce e Comportamento de Busca.
- Ações: 22 tipos distintos de ações (de passivas, como "assistir", a ativas, como "comprar", "comentar" e "buscar").
- Comprimento: Sequências de comportamento de longo horizonte, com média de 8.143 ações por usuário e algumas ultrapassando 100.000 tokens.
Processamento de Dados:
- Limpeza: Pipeline de dois níveis (nível de comportamento para remover toques acidentais e nível de texto para limpar ruído de OCR/ASR usando LLMs).
- Anonimização: Uso de modelos locais para substituir entidades sensíveis (nomes, telefones) e remover conteúdo tóxico.
- Amostragem: Seleção de usuários representativos baseada em vetores de características multidimensionais (demografia, nível de atividade, distribuição de interesses e preferência de cenário).
Tarefa de Avaliação:
- Definição: Dado um perfil de usuário ( $p_u$ ), um histórico de comportamento ( $H_u$ ) e o contexto de um cenário específico ( $c_t$ ), o LLM deve prever o comportamento do usuário nesse cenário ( $\hat{y}_t$ ).
- Métricas:
  - Comportamentos Binários (ex: curtir, comprar): F1-Score.
  - Comportamentos Contínuos (ex: duração de visualização): NMAE (Erro Médio Absoluto Normalizado).
  - Comportamentos Textuais (ex: diálogos de atendimento): Avaliação por LLM (LLM-as-a-judge) baseada em fidelidade de intenção, mimetismo de persona e alinhamento semântico.

3. Principais Contribuições

OmniBehavior: Um benchmark unificado, de código aberto, baseado em dados industriais reais, que integra padrões de comportamento heterogêneos, de longo prazo e multi-cenário.
Análise de Comportamento Real: Evidência empírica de que a modelagem de preferências exige dados multi-cenário (aumentando a cobertura de interesses em 20-30%) e que a tomada de decisão humana segue cadeias causais longas (mais de 80% das conversões envolvem múltiplos cenários e dias).
Avaliação Abrangente de SOTA: Teste de modelos proprietários (Claude-4.5, GPT-5.2, Gemini-3) e open-source (GLM-4.7, DeepSeek-V3, Qwen3) no benchmark.
Descoberta de Viés Estrutural: Identificação de um viés fundamental nos simuladores baseados em LLMs, denominado "Viés Positividade e Média" (Positivity-and-Average Bias).

4. Resultados Experimentais

Desempenho Geral:
- A simulação de alta fidelidade permanece extremamente desafiadora. O melhor modelo, Claude-4.5-Opus, atingiu uma pontuação geral de apenas 44,55.
- A maioria dos modelos ficou entre 32 e 41.
- Em tarefas binárias (ex: prever "curtir"), a maioria dos modelos não superou 40% de F1-Score.
- Modelos open-source otimizados (como GLM-4.7) competiram ou superaram modelos fechados em tarefas específicas, desafiando a hierarquia atual.
Limitação de Contexto Longo:
- Aumentar a janela de contexto (de 16k para 128k tokens) não resultou consistentemente em melhor desempenho.
- Mecanismos de gerenciamento de memória existentes (Truncamento, RAG, Resumo) mostraram-se insuficientes. O RAG falha em capturar dependências causais, e o resumo perde detalhes comportamentais críticos.
O Viés Estrutural (Positivity-and-Average Bias):
A comparação entre comportamento simulado e real revelou três distorções principais:
1. Hiperatividade (Hyper-activity): LLMs superestimam drasticamente a probabilidade de ações positivas. Enquanto usuários reais têm taxas de interação positiva abaixo de 10%, os simuladores estimam entre 40-60%. Isso os torna inúteis para prever churn (cancelamento) ou rejeição.
2. Homogeneização de Persona: Os usuários simulados tendem a convergir para uma "pessoa média" positiva. A análise de distância vetorial mostra que, ao contrário dos humanos (onde a variação inter-usuário é muito maior que a intra-usuário), os LLMs geram usuários com comportamentos altamente sobrepostos, perdendo as caudas longas e individualidades.
3. Viés Utopiano: Devido aos mecanismos de alinhamento (RLHF), os LLMs são excessivamente educados e evitam conflitos. Em cenários de atendimento ao cliente, eles falham em simular a raiva, a frustração e a linguagem direta de usuários insatisfeitos, criando um ambiente artificialmente "limpo" e irrealista.

5. Significado e Conclusão

O trabalho demonstra que os LLMs atuais, embora avançados, ainda não são capazes de simular fielmente a complexidade do comportamento humano real, especialmente em contextos industriais de longo prazo.

Implicações para Pesquisa: A simples expansão do contexto ou o ajuste fino em dados sintéticos não é suficiente. É necessário desenvolver mecanismos de memória que preservem a estrutura causal e temporal e modelos que aprendam a representar a diversidade humana, incluindo comportamentos negativos e de baixa frequência.
Implicações para Aplicação: O uso de simuladores de LLMs para avaliação de sistemas de recomendação ou políticas públicas pode levar a conclusões errôneas devido ao viés de "positividade e média". Eles tendem a ser espelhos dos nossos ideais (utópicos) em vez de mapas da nossa realidade.
Futuro: O OmniBehavior estabelece um padrão rigoroso para futuras pesquisas, incentivando o desenvolvimento de simuladores que capturem a heterogeneidade, a causalidade de longo prazo e a autenticidade (incluindo falhas e rejeições) dos dados do mundo real.