Rethinking Psychometric Evaluation of LLMs: When and Why Self-Reports Predict Behavior

Resumo Técnico: Repensando a Avaliação Psicométrica de LLMs

Declaração do Problema
À medida que os Grandes Modelos de Linguagem (LLMs) são implantados em domínios de alto risco, como suporte à decisão clínica e consultoria financeira, a capacidade de antecipar suas tendências comportamentais via sondagens psicométricas de baixo custo torna-se crítica. Os autorrelatos (SR) psicométricos são candidatos atraentes para este propósito devido ao seu baixo custo e fundamentação teórica na caracterização do comportamento humano. No entanto, trabalhos recentes documentaram uma dissociação sistemática entre os autorrelatos dos LLMs e seu comportamento real em tarefas, lançando dúvidas sobre a utilidade dos SR como preditores. Estudos existentes não identificaram plenamente a origem dessa lacuna, deixando em aberto se a dissociação decorre dos instrumentos de medição, do contexto de sondagem ou de propriedades intrínsecas dos modelos. Além disso, pesquisas anteriores basearam-se amplamente em estruturas de personalidade amplas (ex: Big Five) e sessões conversacionais independentes, o que pode não ser ideal para detectar coerência comportamental.

Metodologia
Os autores conduzem um estudo sistemático através de 11 LLMs de fronteira e quatro tarefas comportamentais (tomada de risco, adulação/sycophancy, honestidade e viés implícito) para investigar as condições sob as quais existe coerência entre SR e comportamento. O estudo emprega um delineamento fatorial $2 \times 2 \times 2$ variando três eixos:

1. Estrutura (Framework): Comparando o inventário de personalidade de grão grosso Big Five contra o de grão fino Teoria do Comportamento Planejado (TPB). A TPB é ancorada a comportamentos específicos usando especificações de Alvo-Ação-Contexto-Tempo (TACT), enquanto os itens do Big Five são livres de contexto.
2. Contexto de Sessão: Contrastando a sondagem dentro da sessão (SR e comportamento em uma mesma thread de mensagens) com a sondagem em sessões separadas (chamadas de API independentes sem janela de contexto compartilhada).
3. Indução de Identidade: Comparando a indução por grade de parâmetros (variando temperatura, seed e prompts de sistema) contra a indução por persona (usando descrições de personagens psicologicamente fundamentadas).

A análise computa correlações de Pearson intra-modelo entre construtos de SR e resultados comportamentais, agregados via meta-análise de Fisher-z com ponderação pelo inverso da variância. O estudo também inclui testes de robustez usando decomposição de Mundlak com OLS agrupado e escores de diferença de contraste de política.

Principais Contribuições

1. Explicação Teórica da Coerência Seletiva: O artigo distingue entre acoplamento de causa comum (onde SR e comportamento são conjuntamente moldados por um estado estável do modelo) e priming de contexto dentro da sessão (onde a coerência depende de o SR permanecer visível na janela do prompt).
2. Mapeamento Empírico da Validade Preditiva: O estudo fornece um mapeamento prático de quando o SR é diagnóstico do comportamento, demonstrando que a coerência é altamente seletiva com base no instrumento utilizado, no tipo de tarefa e na estrutura da sessão.
3. Refinamento Metodológico: Os autores demonstram que estruturas de personalidade amplas como o Big Five são insuficientes para prever comportamentos específicos de LLMs, enquanto instrumentos de grão fino e ancorados em tarefas, como a TPB, podem alcançar coerência de nível humano sob condições específicas.

Principais Resultados

• RQ1 (Melhor Caso de Coerência): Sob condições favoráveis (TPB, mesma sessão, grade de parâmetros), a coerência SR–comportamento emerge e atinge o baseline meta-analítico humano ($r \approx +0,40$ para tarefas volitivas). O Big Five falha em prever o comportamento sob estas mesmas condições.
• RQ2 (Especificidade de Estrutura): A TPB supera decisivamente o Big Five. Enquanto a TPB mostra coerência substancial em tarefas de tomada de risco, adulação e honestidade, as correlações do Big Five são próximas de zero em todos os modelos e tarefas. A falha do Big Five não se deve ao ruído de medição (a confiabilidade interna é alta), mas a um desajuste entre construto e tarefa.
• RQ3 (Separação de Contexto): A coerência é dependente da tarefa quando as sessões são separadas.
  • Adulação (Sycophancy): A coerência colapsa inteiramente ($r$ cai de $+0,47$ para próximo de zero), indicando que o comportamento adulador é fortemente estimulado pelo contexto imediato do autorrelato.
  • Honestidade: A coerência sobrevive parcialmente ($r$ cai de $+0,67$ para $+0,53$), sugerindo um componente disposicional mais estável.
  • Viés Implícito (IAT): A coerência permanece estável (e invertida, $r \approx -0,60$), refletindo associações implícitas travadas no treinamento que são insensíveis ao contexto imediato.
• RQ4 (Indução de Persona): A indução por persona aumenta a diversidade e a estabilidade cross-session dos autorrelatos, mas não resgata a coerência colapsada entre SR e comportamento. Os modelos produzem autorrelatos mais consistentes entre sessões sob indução de persona, mas esses relatórios não se alinham melhor com o comportamento.

Significância e Alegações
O artigo argumenta que a "ilusão de personalidade" nos LLMs não é uma falha universal dos autorrelatos, mas o resultado do uso de instrumentos e condições de teste inapropriados.

• Escolha do Instrumento: Estruturas de grão grosso e trans-situacionais como o Big Five são ferramentas ruins para testar o comportamento de implantação. Instrumentos de grão fino e específicos para o comportamento (como a TPB) são necessários para detectar coerência, embora mesmo estes sejam específicos para cada tarefa.
• Dependência de Contexto: A coerência SR–comportamento em LLMs é frequentemente um acoplamento dependente de contexto em vez de um traço duradouro e trans-situacional. Para tarefas como adulação, a coerência depende de o autorrelato estar visível na janela de contexto; uma vez removido, o comportamento dessincroniza.
• Implicações de Segurança: Confiar em autorrelatos da mesma sessão ou em traços de personalidade amplos para auditoria de segurança pode produzir falsas garantias. Especificamente, implantações customizadas por persona podem gerar autorrelatos distintos sem mudanças correspondentes no comportamento, e auditorias de segurança que medem apenas a coerência dentro da sessão podem subestimar riscos como a adulação, que desaparecem em sessões separadas.
• Direções Futuras: Os autores sugerem que trabalhos futuros devem focar no desenvolvimento de estruturas de autorrelato específicas para LLMs e no uso de interpretabilidade mecanística para entender a dissociação entre SR e comportamento, particularmente em modelos de fronteira proprietários.

O estudo conclui que, embora o SR e o comportamento nos LLMs sejam produzidos conjuntamente por estados upstream compartilhados, a persistência deste acoplamento através de contextos é determinada pela estrutura da tarefa. Portanto, o SR não pode ser confiado como um preditor livre de contexto para o comportamento sem uma consideração cuidadosa do instrumento, da tarefa e da estrutura da sessão.