Resumo Técnico: Quantificando a Contaminação de Dados em Avaliações Psicométricas de LLMs

Declaração do Problema

Pesquisas recentes têm aplicado cada vez mais questionários psicométricos estabelecidos (ex: Inventário Big Five, Questionário de Valores de Portrait) a Grandes Modelos de Linguagem (LLMs) para avaliar construtos psicológicos de alto nível, como personalidade, valores, fundamentos morais e traços sombrios. No entanto, existe uma ameaça crítica à validade: a contaminação de dados. Como os LLMs são treinados em corpora de texto massivos que provavelmente incluem esses inventários psicométricos amplamente disponíveis e seus procedimentos de pontuação, as respostas dos modelos podem refletir a exposição prévia aos itens do teste, em vez de características psicológicas genuínas.

Embora estudos anteriores tenham levantado preocupações de que tal contaminação ameaça a confiabilidade das avaliações psicométricas, não houve uma tentativa sistemática de quantificar a extensão deste fenômeno. Os métodos existentes de detecção de contaminação geralmente focam em benchmarks padrão de NLP e carecem da especificidade necessária para avaliações psicométricas, que envolvem escalas de resposta únicas, itens com codificação reversa e protocolos de pontuação específicos.

Metodologia

Os autores propõem um framework abrangente para medir sistematicamente a contaminação de dados em avaliações psicométricas através de três dimensões distintas. Este framework é aplicado a 21 modelos de grandes famílias (OpenAI, Qwen, GLM, Gemini, Claude, Llama) e quatro inventários amplamente utilizados:

1. Inventário Big Five (BFI-44)
2. Questionário de Valores de Portrait (PVQ-40)
3. Questionário de Fundamentos Morais (MFQ)
4. Short Dark Triad (SD-3)

Os três aspectos de contaminação medidos são:

1. Memorização de Itens

Este aspecto avalia se os modelos memorizaram a redação específica dos itens do inventário.

• Memorização Semântica: Os modelos são instigados com o nome de um inventário e o índice do item para reconstruir o texto do item. O texto gerado é comparado ao original usando a similaridade de cosseno de embeddings (text-embedding-3-large).
• Memorização de Informação-Chave: Os modelos recebem um item onde a palavra-chave mais informativa (anotada por especialistas em psicologia) está mascarada. O modelo deve gerar a palavra-chave ausente. O sucesso é medido pela taxa de recuperação da palavra-chave correta.

2. Memorização de Avaliação

Este aspecto avalia se os modelos compreendem a lógica de pontuação e as associações de construtos do inventário, além da simples recuperação de texto.

• Mapeamento Item-Dimensão: Os modelos são solicitados a mapear cada item do inventário ao seu respectivo dimensão psicológica correspondente (ex: mapear um item para "Extroversão"). O desempenho é medido usando o F1-score médio entre as dimensões.
• Mapeamento Opção-Pontuação: Os modelos recebem um item, opções de resposta e uma dimensão alvo, e são solicitados a produzir as pontuações numéricas definidas pelo protocolo de pontuação oficial (incluindo o tratamento de itens com codificação reversa). O desempenho é medido usando o Erro Médio Absoluto (MAE) entre as pontuações previstas e as pontuações reais (ground-truth).

3. Correspondência de Pontuação Alvo

Este aspecto avalia se os modelos conseguem ajustar estrategicamente suas respostas para atingir uma pontuação desejada específica, indicando que internalizaram as regras de pontuação o suficiente para manipular resultados.

• Os modelos são instigados com um item e uma pontuação alvo (mínima, média ou máxima) e instruídos a selecionar a opção de resposta que resulte nessa pontuação.
• O desempenho é medido pelo MAE entre a pontuação alvo e a pontuação realmente alcançada pela seleção do modelo.

Resultados Principais

O estudo fornece evidências sistemáticas de que a contaminação é generalizada e frequentemente saturada em LLMs modernos:

• Ubiquidade da Contaminação: Em todos os 21 modelos, a contaminação foi evidente nos três aspectos.
• Saturação da Memorização de Avaliação: Os modelos exibem um desempenho próximo ao teto na compreensão de protocolos de pontuação. O F1-score médio para o Mapeamento Item-Dimensão foi de 0,94 em todos os modelos. Para o Mapeamento Opção-Pontuação, modelos avançados (ex: GPT-5, GLM-4.5) mostraram um MAE muito baixo, indicando que internalizaram esquemas de pontuação complexos, incluindo a codificação reversa.
• Memorização de Itens: Os modelos demonstraram capacidade significativa de reconstruir o texto dos itens (similaridade semântica média de 0,31) e recuperar palavras-chave mascaradas (taxa de sucesso média de 0,39).
• Correspondência de Pontuação Alvo: Modelos avançados demonstraram a capacidade de direcionar respostas para corresponder a pontuações alvo específicas com alta precisão (MAE ≈ 0,1–0,2), sugerindo que podem manipular respostas para se adequarem a perfis de personalidade desejados.
• Diferenças entre Inventários: A contaminação foi mais pronunciada no BFI-44 e no PVQ-40 em comparação ao MFQ e SD-3. Os autores correlacionam isso com o maior número de citações e disponibilidade online do BFI e PVQ, sugerindo maior exposição durante o pré-treinamento.
• Escalonamento de Modelo: Modelos maiores dentro da mesma família geralmente exibiram MAE mais baixo e F1-scores mais altos, sugerindo que o escalonamento amplia a contaminação, particularmente na memorização de avaliação. No entanto, modelos menores (ex: variantes Llama) mostraram sinais de contaminação comparativamente mais fracos.

Significância e Alegações

O artigo afirma oferecer a primeira evidência experimental sistemática apoiando as preocupações de que as avaliações psicométricas de LLMs estão comprometidas pela contaminação de dados.

• Ameaça à Validade: Os achados sugerem que, quando os LLMs são testados em inventários psicométricos padrão, seus resultados podem refletir a memorização de dados de treinamento e a capacidade de manipular estrategicamente o sistema de pontuação, em vez de revelar tendências psicológicas intrínsecas.
• Contribuição Metodológica: O framework proposto vai além de simples verificações de "recuperação" para avaliar a compreensão mais profunda dos protocolos de pontuação e a capacidade de manipular resultados, o que é crítico para a validade psicométrica.
• Implicações para a Pesquisa: Os autores argumentam que o campo deve adotar "práticas de avaliação conscientes da contaminação". Como inventários populares como BFI-44 e PVQ-40 estão fortemente contaminados, pesquisadores devem ser cautelosos ao interpretar perfis de personalidade ou valores de LLMs derivados dessas ferramentas.
• Estabelecimento de Baseline: O artigo fornece baselines específicos (ex: expectativas de escolha aleatória para F1 e MAE) para ajudar profissionais a interpretar escores de contaminação em estudos futuros.

Os autores concluem que, embora seu estudo cubra os principais inventários, muitos outros permanecem inexplorados, e os achados são atualmente limitados a itens em inglês. No entanto, os resultados desafiam fundamentalmente a confiabilidade do uso de questionários psicométricos padrão para avaliar características de LLMs sem considerar a contaminação de dados.