Apparent Psychological Profiles of Large Language Models are Largely a Measurement Artifact

Resumo Técnico: Perfis Psicológicos Aparentes de Grandes Modelos de Linguagem são, em Grande Parte, um Artefato de Medição

Problema
Grandes modelos de linguagem (LLMs) são cada vez mais avaliados utilizando instrumentos psicológicos desenhados para humanos (ex: inventários de personalidade, tarefas de preferência de risco) para atribuir-lhes perfis comportamentais estáveis. Esses perfis influenciam decisões relativas à usabilidade do modelo, avaliações de segurança e ao uso de LLMs como substitutos (proxies) para participantes humanos em pesquisas. No entanto, descobertas recentes sugerem que as respostas dos LLMs são instáveis sob pequenas perturbações de prompt e que as estruturas fatoriais derivadas delas divergem das normas humanas. O problema central abordado é se os perfis psicológicos aparentes dos LLMs refletem disposições comportamentais genuínas e estáveis (traços) ou se são artefatos do próprio processo de medição, especificamente impulsionados por vieses de resposta sistemáticos em vez dos construtos que os instrumentos pretendem medir.

Metodologia
Os autores empregam um arcabouço psicométrico formal para distinguir dois componentes da resposta sistemática: um traço latente ($\theta$) e um viés de resposta direcional ($b$). O estudo utiliza um modelo de medição onde a resposta de um respondente a um item é uma função do ponto médio da escala, do traço latente, de um viés direcional e de ruído.

• Dados: O estudo analisa 56 LLMs ajustados por instrução (instruction-tuned) (46 de código aberto, 10 proprietários) juntamente com uma grande amostra de referência humana ($N=20.993$).
• Instrumentos: Duas baterias abrangentes foram administradas:
  1. IPIP-NEO-300: Um inventário de personalidade Big Five de 300 itens (Abertura, Conscienciosidade, Extroversão, Amabilidade, Neuroticismo).
  2. Bateria de Preferência de Risco: 24 instrumentos abrangendo escalas de autorrelato e tarefas comportamentais (ex: decisões a partir de descrição, loterias) baseadas em Frey et al.
• Métrica Chave: O estudo introduz e utiliza a ortogonalidade de resposta, definida como a proporção de itens onde o traço e o viés de resposta atuam em direções opostas (ex: itens de codificação direta vs. itens de codificação reversa).
• Análise:
  • Teste Diagnóstico: Os autores analisam a correlação entre as médias de resposta de itens de codificação direta e de codificação reversa. Sob o modelo de medição, uma correlação negativa indica dominância do traço, enquanto uma correlação positiva indica dominância do viés de resposta.
  • Decomposição: As respostas de cada modelo são decompostas nos componentes estimados de traço ($\hat{\theta}$) e viés ($\hat{b}$).
  • Decomposição de Variância: A proporção da variância entre modelos atribuída ao viés versus ao traço é calculada.
  • Análise de Ortogonalidade: A relação entre a proporção de itens de codificação reversa em um instrumento e a consistência interna aparente (Alfa de Cronbach, $\alpha$) é examinada.

Principais Descobertas

1. O Viés Domina a Variação Entre Modelos:

   • Em amostras humanas, a correlação entre as médias de itens diretos e reversos é fortemente negativa (ex: $\rho \approx -0,82$ para Neuroticismo), indicando que a variação é impulsionada pelo traço subjacente.
   • Em LLMs, essa correlação é fortemente positiva (ex: $\rho \approx +0,68$ para Neuroticismo), indicando que a variação é impulsionada por um viés de resposta direcional (uma tendência a selecionar uma extremidade da escala ou um rótulo específico, independentemente do conteúdo).
   • A decomposição de variância revela que 81–90% da variação entre modelos em LLMs é atribuível ao viés de resposta, comparado a apenas 9–16% em humanos.

2. A Capacidade Reduz, mas Não Elimina o Viés:

   • O viés de resposta diminui ligeiramente conforme a capacidade do modelo (contagem de parâmetros) aumenta e é menor em modelos proprietários em comparação com modelos de pesos abertos.
   • No entanto, mesmo os modelos mais capazes exibem níveis de viés significativamente superiores aos de um humano médio. O viés não é eliminado pelo escalonamento; os modelos mais capazes permanecem fora da faixa de viés humana.

3. A Confiabilidade Aparente é um Artefato da Ortogonalidade:

   • Em LLMs, a consistência interna aparente (confiabilidade) é quase inteiramente predita pela ortogonalidade de resposta do instrumento.
   • Existe uma correlação negativa quase determinística ($r = -0,95$) entre a proporção de itens de codificação reversa e a média da correlação inter-item.
   • Instrumentos com poucos ou nenhum item de codificação reversa apresentam alta confiabilidade (Alfa de Cronbach até 0,96), enquanto instrumentos totalmente ortogonais apresentam confiabilidade próxima de zero ou negativa. Isso sugere que a alta confiabilidade em instrumentos não ortogonais reflete um viés consistente, não uma expressão consistente do traço.

4. Instabilidade de Perfil e Fabricabilidade:

   • Como o viés impulsiona a resposta, o perfil psicológico de um modelo muda drasticamente dependendo se os itens utilizados são de codificação direta ou reversa.
   • Perfis podem ser "fabricados" através da seleção de itens. A diferença entre perfis derivados de itens apenas diretos versus apenas reversos é substancial para LLMs (a diferença absoluta média do viés $|\mu_b|$ varia de 0,15 a 0,99), mas mínima para humanos ($|\mu_b| \approx 0,09$).
   • Essa instabilidade é mais pronunciada em instrumentos de preferência de risco do que em inventários de personalidade.

Significância e Alegações
O artigo argumenta que os perfis psicológicos aparentes dos LLMs são artefatos dos instrumentos usados para medi-los, e não propriedades intrínsecas dos modelos. Os autores afirmam que:

• As Avaliações Atuais são Falhas: Perfis derivados de instrumentos psicológicos humanos padrão são amplamente confundidos pelo viés de resposta porque esses instrumentos raramente possuem ortogonalidade de resposta total. Consequentemente, os coeficientes de confiabilidade relatados e os escores de personalidade para LLMs não refletem disposições estáveis.
• Uma Correção Metodológica é Necessária: A validação das disposições de LLMs requer o uso de instrumentos totalmente ortogonais (equilíbrio entre codificação direta/reversa) ou a aplicação de arcabouços psicométricos formais que modelem explicitamente e separem o viés de resposta do traço.
• Implicações para a Pesquisa: Essas descobertas desafiam a validade do uso de LLMs como substitutos para participantes humanos em pesquisas sem a correção desses artefatos de medição. Elas também sugerem que tarefas comportamentais não estão imunes a esses problemas; de fato, podem ser mais sensíveis ao viés do que autorrelatos.
• Natureza do Comportamento do LLM: O estudo postula que o viés observado é um fenômeno distinto, não facilmente explicado por efeitos de pós-treinamento como sicofancia (que seria unilateral) ou desejabilidade social (que se manifestaria como variância de traço). Sugere-se que os LLMs podem carecer de disposições estáveis como os humanos ou que os instrumentos atuais são inválidos para eles devido à falta de corporeidade ou volição.

Os autores concluem que simplesmente emprestar paradigmas da psicologia humana é insuficiente para caracterizar LLMs e pedem avaliações dedicadas centradas na ortogonalidade de resposta para distinguir genuínas disposições comportamentais de artefatos de medição.