Post-training makes large language models less human-like

Resumo Técnico: O pós-treinamento torna os grandes modelos de linguagem menos semelhantes aos humanos

Declaração do Problema
Os grandes modelos de linguagem (LLMs) são cada vez mais utilizados como substitutos para participantes humanos em pesquisas científicas e contextos aplicados, como a simulação de respostas de pacientes em saúde mental ou a previsão de reações a intervenções políticas. No entanto, permanece incerto quais configurações de modelo capturam melhor o comportamento humano, incluindo seus erros inerentes, variância e características individuais. Embora alguns estudos sugiram um forte alinhamento comportamental, outros relatam divergências significativas. Existe uma lacuna crítica na compreensão de como propriedades específicas do modelo — particularmente a transição do pré-treinamento base para o pós-treinamento (ajuste de instruções, raciocínio e adaptação visual) — afetam a fidelidade da simulação do comportamento humano.

Metodologia
Para abordar isso, os autores introduzem o Psych-201, um novo conjunto de dados em grande escala composto por transcrições de linguagem natural de experimentos comportamentais.

• Escala e Diversidade dos Dados: O Psych-201 agrega dados de 208.021 participantes em 25.906.599 respostas comportamentais, cobrindo centenas de paradigmas experimentais. É 3,5 vezes maior que seu predecessor (Psych-101) e 13 vezes maior que a média de mega-estudos. O conjunto de dados inclui metadados ricos (idade, nacionalidade, diagnóstico clínico, etc.) e abrange estudos desenvolvimentais e transculturais.
• Avaliação do Modelo: O estudo avaliou modelos de três grandes famílias: Qwen3 (código aberto), Llama3.X (ecossistema amplo) e Olmo3.X (totalmente aberto/reproduzível).
• Estratégia de Comparação: Os autores compararam modelos base (apenas pré-treinados) com seus correspondentes pós-treinados (ajustados para instruções, aprimorados em raciocínio ou com capacidade visual).
• Métricas: O alinhamento comportamental foi medido usando a verossimilhança negativa (NLL) das respostas humanas individuais sob as previsões do modelo (NLL mais baixa indica melhor alinhamento). O efeito do pós-treinamento foi quantificado usando tamanhos de efeito Cohen's d em relação ao modelo base correspondente.
• Teste de Indução de Persona: O estudo testou sistematicamente a "indução de persona" (condicionando modelos a metadados específicos do participante por meio de prompts no estilo de entrevista) para determinar se isso melhora as previsões no nível individual.

Principais Resultados

1. O Pós-treinamento Reduz a Semelhança Humana: Em todas as famílias de modelos, tamanhos e objetivos de pós-treinamento (ajuste de instruções, raciocínio, visão), o pós-treinamento reduziu consistentemente o alinhamento comportamental com as respostas humanas em comparação com os modelos base.
2. Tendências Geracionais: Embora os modelos base continuem a melhorar no alinhamento comportamental através de gerações mais recentes (por exemplo, de Qwen2 para Qwen3.5), a lacuna de desalinhamento entre os modelos base e suas versões pós-treinadas amplia-se nas gerações mais recentes. Por exemplo, o tamanho do efeito de desalinhamento para modelos ajustados para instruções aumentou de d = 0,02 no Qwen2 para d = 0,16 no Qwen3.5.
3. Especificidade de Domínio: O desalinhamento do pós-treinamento é um efeito geral de domínio, mas é mais pronunciado em tarefas de psicolinguística e raciocínio. Os autores sugerem que isso ocorre porque os modelos base, otimizados para a linguagem humana, capturam naturalmente heurísticas e vieses humanos, enquanto o pós-treinamento (por exemplo, RLHF) otimiza para respostas normativamente corretas, sobrescrevendo esses padrões semelhantes aos humanos.
4. Ineficácia da Indução de Persona: Condicionar modelos a metadados específicos do participante (idade, gênero, nacionalidade, etc.) não melhorou significativamente as previsões no nível individual. Os tamanhos de efeito variaram de d = -0,02 a d = 0,02, desafiando a utilidade da indução de persona para modelar indivíduos específicos.
5. Determinismo vs. Desalinhamento: Os autores descartaram o aumento do determinismo de saída como o único motor do desalinhamento, pois os modelos pós-treinados não exibiram maior precisão em subconjuntos de escolha discreta, indicando que o desalinhamento não é meramente uma perda de estocasticidade.

Significado e Alegações
O artigo argumenta que os próprios processos atualmente empregados para transformar LLMs em assistentes úteis e normativamente corretos (pós-treinamento) degradam simultaneamente sua precisão como modelos de comportamento humano.

• Implicação para Pesquisa: Confiar em modelos pós-treinados acessíveis (como chatbots padrão) como substitutos comportamentais é subótimo para objetivos científicos que exigem fidelidade semelhante à humana.
• Direção Futura: As descobertas motivam o desenvolvimento de novas abordagens de pós-treinamento que preservem o alinhamento comportamental inerente aos modelos base, mantendo a utilidade prática.
• Utilidade do Recurso: O Psych-201 é apresentado como um recurso fundamental para meta-análises, descoberta científica automatizada e o desenvolvimento de modelos cognitivos em grande escala que simulam com precisão as trajetórias de aprendizado e tomada de decisão humanas.

Os autores concluem que, embora os modelos base mostrem promessa como modelos descritivos da cognição humana, a trajetória atual de otimização do pós-treinamento para "utilidade" cria um "imposto de alinhamento" em relação à simulação do comportamento humano, necessitando de uma reavaliação de como os modelos são preparados para uso na ciência comportamental.