Resumo Técnico: Um Instrumento Psicométrico Nativo de LLM Não Prediz o Comportamento de LLMs

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) produzam autorrelatos estáveis quando submetidos a inventários de personalidade humana (ex: Big Five, HEXACO), esses escores falham em prever o comportamento observado em tarefas abertas. Uma ambiguidade crítica permanece: esse "hiato entre autorrelato e comportamento" decorre de uma incompatibilidade entre os constros de traços humanos e as estruturas latentes dos LLMs, ou é uma propriedade inerente do próprio autorrelato dos LLMs? Tentativas anteriores de resolver isso foram limitadas por abordagens de "transplante de construto", onde instrumentos derivados de humanos são aplicados a LLMs sem verificar se as estruturas fatoriais resultantes são nativas aos modelos. Além disso, a crescente dependência de pipelines de avaliação "LLM-como-juiz" levanta preocupações sobre se os avaliadores automáticos compartilham os mesmos vieses de superfície textual dos modelos que avaliam, potencialmente criando ciclos de validação falsos.

Metodologia

Os autores construíram o primeiro instrumento psicométrico nativo de LLM usando uma abordagem bottom-up, derivando construtos diretamente das affordances comportamentais dos LLMs em vez de vocabulário de traços humanos.

Construção do Instrumento

• Pool de Itens: 300 itens foram desenvolvidos visando 12 dimensões comportamentais candidatas identificadas na literatura de alinhamento, segurança e avaliação (ex: concordância sicofante, sensibilidade à recusa, elaboração não solicitada).
  • 240 itens diretos de escala Likert (escala de 5 pontos).
  • 60 itens baseados em cenários (4 opções).
• Princípios de Design: Os itens evitaram linguagem antropomórfica e termos absolutos, focando em tendências observáveis ("Eu tendo a") em vez de estados internos.
• Administração: O instrumento foi administrado 30 vezes a 25 LLMs de 17 famílias de modelos (incluindo Anthropic, OpenAI, Google DeepMind, DeepSeek, entre outros), variando em arquitetura, origem e capacidade.

Análise Fatorial

• Análise Fatorial Exploratória (AFE): Realizada na matriz de respostas agrupada (375 observações × 240 itens) usando Fatoração de Eixo Principal com rotação oblimin.
• Validação: Um design de split-half (corridas 1–15 vs. 16–30) foi usado para avaliar a replicabilidade via coeficiente de congruência de Tucker. A consistência interna (Alfa de Cronbach) e a estabilidade entre corridas também foram medidas.
• Validade Convergente: O novo instrumento foi comparado ao BFI-44 (Big Five) padrão, administrado aos mesmos modelos.

Teste de Validade Preditiva

Para testar se os autorrelatos predizem o comportamento, os autores coletaram 2.500 amostras comportamentais abertas (25 modelos × 20 prompts × 5 conclusões) visando os fatores derivados. Essas amostras foram avaliadas por:

1. Avaliadores Humanos: 151 participantes via Prolific.
2. Ensemble LLM-como-Juiz: Um ensemble de três modelos (Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro).

• Análise: Correlações foram computadas entre os escores fatoriais de autorrelato e as classificações comportamentais das fontes humana e do juiz.

Resultados Principais

1. Emergência de uma Estrutura Nativa de Cinco Fatores

A AFE revelou uma estrutura de cinco fatores estável e replicável que é distinta do Big Five humano:

• Responsividade (Responsiveness): Adaptação às necessidades do usuário, respostas estruturadas, entusiasmo e rapport (29 itens, $\alpha = .972$).
• Deferência (Deference): Tratar instruções como fixas, manter-se no escopo, reter julgamento (26 itens, $\alpha = .974$).
• Audácia (Boldness): Fraseamento inesperado, riscos criativos e confiança epistêmica (16 itens, $\alpha = .936$).
• Cautela (Guardedness): Recusa excessiva, sinalização de segurança e cautela (10 itens, $\alpha = .930$).
• Verbosidade (Verbosity): Elaboração não solicitada, avisos e preâmbulos (19 itens, $\alpha = .940$).

Confiabilidade: A estrutura mostrou excelente replicabilidade de split-half (todos os Tucker $\phi \ge .957$) e consistência interna.
Validade Discriminante: Nenhuma correlação entre os novos fatores e os escores do BFI-44 excedeu $|r| = .50$, confirmando que o instrumento mede construtos distintos da teoria de personalidade humana.

2. O Hiato Autorrelato–Comportamento Persiste

Apesar da robustez psicométrica interna do instrumento, os escores de autorrelato não predisseram o comportamento observado:

• Avaliações Humanas: A correlação média entre autorrelato e avaliações comportamentais humanas foi próxima de zero ($\bar{r} = -.01$, 95% CI $[-.16, +.11]$). Nenhum fator individual mostrou um intervalo de confiança excluindo o zero.
• Inversão: Para "Audácia" e "Responsividade", as correlações foram nominalmente negativas, sugerindo que modelos que se descrevem como mais originais ou responsivos foram avaliados como menos tais por humanos.
• Exceção da Verbosidade: "Verbosidade" foi o único fator que mostrou uma tendência positiva consistente de convergência com as avaliações humanas, embora os intervalos de confiança ainda cruzassem o zero no nível do modelo.

3. O Viés do LLM-como-Juiz

Uma descoberta crítica envolve a relação entre autorrelatos e juízes LLM:

• Divergência: Embora juízes humanos e de LLM concordem sobre amostras comportamentais ($\bar{r} = .51$), os juízes LLM correlacionaram fortemente com os autorrelatos em "Responsividade" ($r = .53$), enquanto os humanos não o fizeram ($r = .04$).
• Incompatibilidade Matemática: Este padrão é matematicamente incompatível com um único construto latente regendo todas as três medições. Indica que os itens de autorrelato e os juízes LLM compartilham um viés de superfície textual (ex: formatação estruturada, enquadramento entusiasta) que os observadores humanos não ponderam tanto.
• Implicação: Pipelines de validação padrão de "LLM-como-juiz" podem parecer internamente coerentes (validando o autorrelato contra as classificações do juiz) enquanto divergem dos julgamentos humanos.

Significância e Alegações

O artigo apresenta três contribuições principais:

1. Primeiro Instrumento Nativo de LLM: Fornece o primeiro instrumento psicométrico derivado bottom-up das affordances comportamentais de LLMs, liberando uma escala de 100 itens e um dataset como uma sonda diagnóstica para "autodescrição moldada pelo alinhamento".
2. Desacoplamento de Autodescrição e Ação: Demonstra que o hiato autorrelato–comportamento não é meramente um resultado do uso de vocabulário humano (descompasso taxonômico). Mesmo com construtos nativos de LLM, os autorrelatos falham em prever o comportamento, sugerindo que o hiato é uma propriedade fundamental do próprio autorrelato do LLM, provavelmente impulsionada pelo treinamento de RLHF em recompensas de superfície textual em vez de consistência comportamental.
3. Diagnóstico de Viés de Avaliação: Identifica um mecanismo concreto onde a avaliação de LLM-como-juiz herda um viés compartilhado com instrumentos de autorrelato. Juízes e autorrelatos convergem em pistas de "superfície textual" (como utilidade e estrutura) que observadores humanos não priorizam. Isso revela que verificações de confiabilidade interna (ex: concordância entre juízes) são insuficientes como salvaguardas contra o viés de modalidade sistêmico em pipelines de avaliação automatizada.

Os autores concluem que, embora os LLMs produzam autodescrições estáveis e coerentes, essas descrições estão funcionalmente desacopladas de suas ações em campo aberto. Consequentemente, medidas de autorrelato devem ser tratadas como diagnósticos da "autodescrição alinhada por preferência" do modelo, em vez de preditores de sua execução comportamental.