💬 NLP

Emulate or Estimate? The Divergent Strengths of Base and Post-Trained Language Models for Opinion Simulation

Este artigo resolve as descobertas conflitantes sobre o uso de grandes modelos de linguagem para simulação de opiniões ao distinguir entre "emulação" (gerar respostas individuais) e "estimativa" (predizer distribuições), demonstrando que os modelos base se destacam na primeira, enquanto os modelos pós-treinados são superiores na segunda.

Autores originais: Seth Grief-Albert, Jessica Bo, Difan Jiao, Ashton Anderson

Publicado 2026-08-05

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Seth Grief-Albert, Jessica Bo, Difan Jiao, Ashton Anderson

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando entender o humor de uma multidão enorme sem perguntar a cada pessoa individualmente. Você poderia perguntar a algumas pessoas o que elas acham, ou poderia pedir a um especialista para adivinhar a vibração geral. Este é o tipo de enigma que os cientistas enfrentam quando tentam usar a Inteligência Artificial (IA) para simular opiniões humanas. No mundo da ciência da computação, especificamente em um campo chamado "Processamento de Linguagem Natural", pesquisadores estão construindo modelos gigantes de IA que leram quase tudo o que foi escrito na internet. Esses modelos são incrivelmente bons em prever quais palavras vêm a seguir, o que os faz parecer que poderiam atuar como substitutos perfeitos para pessoas reais. Mas aqui está a parte complicada: só porque uma IA consegue escrever uma história convincente, não significa que ela possa prever com precisão como um grupo inteiro de pessoas irá votar, se sentirá em relação à economia ou responderá a uma pesquisa. Cientistas estão atualmente discutindo se essas "pessoas" de IA são realmente boas em imitar a diversidade humana ou se estão apenas fingindo ser algo que não são.

Este artigo entra nessa discussão para resolver um mistério: por que alguns estudos dizem que a IA é ótima para simular opiniões humanas, enquanto outros dizem que ela falha miseravelmente? Os autores, pesquisadores da Queen's University e da University of Toronto, sugerem que a confusão vem de confundir dois trabalhos muito diferentes. Eles chamam o primeiro trabalho de Emulação. Isso é como contratar um ator para interpretar um personagem específico. A IA gera uma resposta única como se fosse uma pessoa real e, se você perguntar a suficientes "atores", suas respostas naturalmente se somam para mostrar a forma da opinião da multidão. O segundo trabalho é Estimativa. Isso é como pedir a um estatístico para olhar para uma multidão e simplesmente dizer: "Eu acho que 60% deles escolherão a opção A". Os pesquisadores testaram essa ideia colocando dois tipos de IA uma contra a outra: modelos "Base" (as versões brutas, não polidas) e modelos "Pós-treinados" (as versões que foram ajustadas para serem assistentes úteis).

Os resultados de seus experimentos, realizados com dados reais de pesquisas do Pew Research Center, revelam uma divisão clara de talentos. Quando a tarefa era Emulação — gerar respostas de texto individuais para ver como a multidão se parece quando você as soma todas — os modelos Base foram os vencedores. Eles produziram respostas que pareciam muito mais com dados humanos reais e fizeram um trabalho melhor em manter as diferenças entre grupos (como Democratas vs. Republicanos ou ricos vs. pobres) distintas. Na verdade, os modelos "Pós-treinados" frequentemente sofriam do que os autores chamam de "colapso de persona", onde todos começavam a soar iguais, como um coro de clones, perdendo a diversidade caótica das pessoas reais.

No entanto, a história muda quando a tarefa é Estimativa. Quando os pesquisadores simplesmente perguntaram à IA para "prever a porcentagem de pessoas que escolherão esta resposta", os modelos Pós-treinados brilharam. Eles foram muito melhores em dar os números corretos diretamente. Os modelos Base brutos eram razoáveis nisso, mas os assistentes polidos e úteis eram significativamente mais precisos ao adivinhar a distribuição sem ter que gerar uma única frase de texto falso.

Os autores sugerem que isso acontece porque o processo de "Pós-treinamento" ensina à IA a ser um assistente útil. Quando você pede a um assistente para adivinhar a opinião de uma multidão, ele usa seu conhecimento para dar uma resposta inteligente e direta. Mas quando você pede a esse mesmo assistente para agir como uma pessoa específica, ele fica preso em seu papel de "assistente útil", o que o faz soar muito uniforme e perder as peculiaridades únicas de diferentes demografias. Os modelos Base brutos, por outro lado, não foram forçados para essa caixa única de "assistente", então podem recorrer a um conjunto mais amplo e caótico de vozes humanas quando lhes é pedido para gerar texto.

Assim, o artigo conclui que não existe um único "melhor" IA para simular humanos. Se você precisa gerar texto que pareça um grupo diversificado de pessoas (como para um videogame ou uma simulação de ciências sociais), você deve usar os modelos Base brutos. Mas se você apenas precisa de uma previsão rápida e precisa do que um grupo pensará, você deve pedir aos modelos Pós-treinados polidos que a estimem. A confusão no campo não foi porque um tipo de IA estava quebrado; foi porque os pesquisadores estavam usando a ferramenta errada para o trabalho específico que tentavam fazer.

Resumo Técnico: Emular ou Estimar? As Forças Divergentes de Modelos de Linguagem de Base e Pós-Treinados para Simulação de Opinião

Declaração do Problema

Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados para simular opiniões humanas para aplicações em testes de políticas, pesquisa de mercado e ciências sociais. No entanto, a literatura prévia apresenta descobertas conflitantes sobre sua eficácia. Alguns estudos relatam um alinhamento promissor entre modelos de base e dados de pesquisas humanas, enquanto outros documentam "colapso de persona", sensibilidade demográfica fraca e alta sensibilidade a escolhas metodológicas (ex: ordenação de opiniões), particularmente ao avaliar modelos pós-treinados. Os autores propõem que esse desacordo decorre de uma confusão entre duas tarefas distintas de simulação: emulação e estimativa.

Emulação: O modelo gera respostas individuais como um participante específico; a distribuição populacional emerge da agregação dessas saídas individuais.
Estimativa: O modelo prevê explicitamente a distribuição de resposta da população diretamente.

O artigo argumenta que confundir essas tarefas obscurece as forças e fraquezas específicas de diferentes arquiteturas de modelos (base vs. pós-treinado).

Metodologia

O estudo avalia seis pares correspondentes de modelos de base e pós-treinados (incluindo variantes do Qwen3-14B, Olmo-3-7B e Olmo-3.1-32B) usando o Pew American Trends Panel (Wave 54) como um benchmark de verdade fundamental (ground-truth). O conjunto de dados compreende 59 itens de quatro opções que elicita opiniões econômicas através de sete condições demográficas (não condicionadas, políticas, ideológicas, econômicas e religiosas).

Os autores implementam dois paradigmas de avaliação distintos:

Paradigma de Emulação (Resposta Aberta):
- Os modelos geram respostas de entrevista em texto livre sem acesso às opções de múltipla escolha.
- Um juiz de LLM mapeia essas respostas de texto livre para categorias de resposta (validado com anotadores especialistas, $\kappa = 0,66$ ).
- Modelos de Base: Estruturados como um diálogo entrevistador-participante com condicionamento demográfico em um turno precedente.
- Modelos Pós-Treinados: Recebem uma instrução de sistema para simular um participante de uma demografia específica.
- Racional: Este método evita o "viés de posição" inerente à extração de probabilidade do primeiro token e produz texto interpretável.
Paradigma de Estimativa (Distribuição Verbalizada):
- Os modelos são instigados (prompted) a prever diretamente a distribuição de probabilidade sobre as opções de resposta para um determinado grupo demográfico, retornando um objeto JSON.
- Modelos de Base: Múltiplas conclusões são amostradas e calculadas pela média para considerar a variabilidade.
- Modelos Pós-Treinados: Uma única amostra é tomada sob decodificação greedy devido à estabilidade da saída.

Métricas:

Distância de Variação Total (TVD): Mede a divergência distributiva sem pressuposições.
Distância de Wasserstein: Respeita a estrutura ordinal das opções de resposta, penalizando erros com base na distância deles em relação à resposta correta.

Resultados Principais

1. Modelos de Base são Emuladores Superiores

Em todos os seis modelos e sete condições de avaliação, os modelos de base produziram distribuições emuladas significativamente mais próximas da verdade fundamental humana do que seus equivalentes pós-treinados.

Fidelidade Distributiva: Os modelos de base superaram os modelos pós-treinados tanto em TVD quanto em distância de Wasserstein. Na distância de Wasserstein, os modelos de base venceram a referência uniforme em 20 de 21 comparações, indicando que, mesmo quando as probabilidades exatas foram perdidas, a massa foi colocada próxima das respostas ordenadas corretas.
Estrutura Demográfica: Os modelos de base alinharam-se consistentemente com a estrutura demográfica humana (Spearman's $\rho = 0,61\text{--}0,75$ ), comprimindo as diferenças intergrupos para aproximadamente 70% da magnitude humana. Em contraste, os modelos pós-treinados mostraram um alinhamento estrutural mais fraco ( $\rho = 0,35\text{--}0,59$ ) e exageraram as diferenças intergrupos em aproximadamente 2 $\times$ , consistente com a simulação de persona estereotipada.
Colapso de Modo: As saídas pós-treinadas exibiram um colapso de modo significativo, sendo 8,0–14,0 $\times$ mais similares no nível de bigrama do que as saídas dos modelos de base. A amostragem com temperatura elevada não resolveu este colapso.

2. Modelos Pós-Treinados são Estimadores Superiores

Sob o paradigma de estimativa, os modelos pós-treinados produziram distribuições substancialmente mais próximas da verdade fundamental humana do que a linha de base uniforme e significativamente melhores do que seus equivalentes de base.

Predição Explícita: O erro de estimativa diminuiu com a escala do modelo e foi menor nos modelos pós-treinados (ex: Claude Opus 4.6 alcançou o desempenho mais forte).
Acessibilidade do Conhecimento: Os modelos de base também produziram resultados de estimativa que igualam ou excedem a linha de base uniforme, sugerindo que o conhecimento distributivo existe antes do pós-treinamento, mas é menos acessível via verbalização direta nos modelos de base.

Principais Contribuições

Distinção de Tarefas: O artigo distingue formalmente entre emulação (gerar texto individual que agrega para uma distribuição) e estimativa (prever diretamente uma distribuição), argumentando que os resultados conflitantes anteriores surgem de avaliar essas capacidades distintas de forma intercambiável.
Compromisso Arquitetural: O estudo demonstra um compromisso claro: Modelos de base são mais adequados para tarefas que exigem texto gerado que preserve a diversidade e a estrutura demográfica, enquanto modelos pós-treinados se destacam em tarefas que exigem a predição direta de distribuições.
Metodologia de Avaliação: Os autores propõem a emulação de resposta aberta como um paradigma de avaliação robusto que elimina o viés de posição que confunde os métodos de extração de probabilidade do primeiro token usados em trabalhos anteriores.

Significância e Alegações

O artigo afirma que a seleção de modelos para simulação humana deve ser guiada pelos requisitos específicos da tarefa subsequente:

Se o objetivo é gerar texto que se alinhe à diversidade de uma população (ex: para respondentes sintéticos ou agentes interativos), modelos de base são o substrato apropriado porque a distribuição desejada deve emergir de saídas amostradas.
Se o objetivo é estimar distribuições de opinião agregadas, modelos pós-treinados são mais apropriados, pois produzem previsões bem calibradas quando questionados explicitamente.

Os autores sugerem que o pós-treinamento direciona a distribuição ampla e quimérica do modelo de base para uma persona única de "Assistente" otimizada para utilidade. Ao serem instigados a emular uma demografia, o modelo pós-treinado realiza uma "simulação de segunda ordem" (um Assistente simulando uma persona), que comprime a diversidade da saída através de um gargalo de personagem único. Por outro lado, os modelos de base extraem diretamente da distribuição pré-treinada sobre personas, preservando a diversidade representativa necessária para uma emulação fiel, ao custo de uma estimativa metacognitiva mais fraca.

Limitações

Os autores reconhecem várias limitações:

Escala: Não se sabe se o compromisso emulação-estimativa persiste em escalas de fronteira, uma vez que variantes de base de modelos de fronteira não são lançadas publicamente.
Alinhamento Temporal: Os dados da pesquisa (2019) precedem os corpora de treinamento dos modelos (que se estendem até 2024–2025), criando um possível fator de confusão sobre se os modelos simulam opiniões de uma era específica ou uma representação temporalmente misturada.
Escopo: A avaliação é limitada a opiniões de pesquisa; estender esses achados para configurações comportamentais mais ricas (diálogo de múltiplos turnos, simulação de agentes) permanece uma questão aberta.