Resumo Técnico: Avaliação de Testes Psicométricos em LLMs para Sexismo, Racismo e Moralidade

Declaração do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) se tornam cada vez mais integrados em contextos sociais, há uma demanda crescente para medir suas características "humanas", como moralidade, viés e personalidade. Pesquisadores têm adotado cada vez mais a psicometria de LLM, aplicando testes psicométricos estabelecidos, originalmente desenhados para humanos, para avaliar LLMs. No entanto, permanece incerto se esses testes produzem resultados significativos quando aplicados a agentes não humanos. Especificamente, não se sabe se testes validados para populações humanas possuem a confiabilidade (consistência) e a validade (precisão na medição do constructo pretendido) necessárias ao serem administrados a LLMs. Existe uma lacuna crítica na compreensão de se os escores dos testes se correlacionam com o comportamento real dos LLMs em tarefas downstream do mundo real (validade ecológica). Pesquisas iniciais sugerem que os LLMs são altamente sensíveis a variações de prompt, e os estudos existentes focaram amplamente em traços de personalidade, deixando constructos como sexismo, racismo e moralidade subexplorados neste contexto.

Metodologia

Os autores propõem um framework de validação sistemática para avaliar três testes psicométricos bem estabelecidos em 17 LLMs abrangendo várias famílias de modelos (ex: Llama, Gemma, Qwen, Mistral) e tamanhos. A avaliação foca em três constructos psicológicos: sexismo, racismo e moralidade.

1. Constructos e Instrumentos

• Sexismo: Medido através do Inventário de Sexismo Ambivalente (ASI), distinguindo entre sexismo hostil e benevolente.
• Racismo: Medido através da Escala de Racismo Simbólico 2000 (SR2K), baseada na Teoria do Racismo Simbólico.
• Moralidade: Medido através do Questionário de Fundamentos Morais (MFQ), avaliando cinco fundamentos: cuidado, justiça, grupo interno (ingroup), autoridade e pureza.

2. Avaliação de Confiabilidade

A confiabilidade foi avaliada medindo a consistência das respostas do modelo através de três tipos de variações de prompt e itens:

• Formas Alternativas: Os itens foram refraseados (usando GPT-5 e ajuste manual) para preservar o significado enquanto alteravam a redação.
• Ordem Reversa das Opções de Resposta: A sequência das opções da escala Likert (ex: 1–5 vs. 5–1) foi invertida para testar a simetria da ordem das opções.
• Alteração do Fim da Sentença: A pontuação ao final dos prompts foi alterada (dois pontos vs. ponto de interrogação).
• Baseline: A consistência do modelo foi comparada contra um baseline humano (150 participantes dos EUA) para identificar outliers.

3. Avaliação de Validade

A validade foi avaliada através de duas abordagens distintas:

• Validade Convergente: O estudo testou correlações teoricamente esperadas entre diferentes constructos (ex: correlação positiva entre sexismo e racismo; correlação negativa entre justiça e sexismo hostil).
• Validade Ecológica: Este foi o foco principal. Os autores compararam os escores dos testes psicométricos contra o comportamento do modelo em tarefas downstream do mundo real:
  • Sexismo: Geração de cartas de recomendação para candidatos masculinos e femininos, analisadas quanto à frequência de linguagem de gênero.
  • Racismo: Geração de recomendações de habitação para usuários de diferentes raças, medindo o viés nas sugestões de bairros.
  • Moralidade: Geração de conselhos sobre dilemas morais, pontuados para alinhamento com fundamentos morais específicos.

4. Configuração Experimental

O estudo avaliou 17 modelos (incluindo versões de código aberto ajustadas para instrução e modelos proprietários como o Gemini 2.5). Cada modelo passou por cinco execuções com diferentes sementes aleatórias (random seeds). As respostas foram extraídas via expressões regulares e os escores foram computados pela média dos valores numéricos das opções escolhidas.

Principais Resultados

Confiabilidade

• Formas Alternativas: A maioria dos modelos mostrou uma consistência aceitável comparável aos baselines humanos, embora alguns modelos menores (ex: Gemma 3 1B/4B) tenham ficado abaixo dos limites de outliers humanos.
• Ordem Reversa: Os modelos demonstraram baixa confiabilidade quando a ordem das opções de resposta era invertida. A consistência caiu significativamente (ex: Llama 3.1 8B mostrou ~0,28 de consistência no SR2K), indicando alta sensibilidade a modificações de prompt não semânticas.
• Fim da Sentença: Os modelos foram relativamente robustos a mudanças de pontuação, com a maioria alcançando consistência acima de 0,75.
• Geral: Os testes exibem confiabilidade moderada, fortemente dependente da estabilidade do prompt, particularmente em relação à ordenação das opções de resposta.

Validade

• Validade Convergente: Os testes capturaram com sucesso as relações teóricas esperadas. Por exemplo, uma correlação positiva moderada foi encontrada entre os escores de sexismo e racismo ($r_s = 0,47$), e entre autoridade e sexismo benevolente ($r_s = 0,43$).
• Validade Ecológica: O estudo encontrou baixa validade ecológica. Os escores dos testes psicométricos não se alinharam com o comportamento downstream; em muitos casos, exibiram correlações negativas.
  • Modelos que pontuaram "baixo" em sexismo ou racismo nos testes frequentemente exibiram altos níveis de comportamento enviesado em tarefas downstream (ex: gerando linguagem sexista em cartas de recomendação ou recomendações de habitação tendenciosas).
  • Por exemplo, o Gemini 2.5 Flash recebeu um escore baixo de sexismo no ASI, mas gerou cartas de recomendação ricas em linguagem comunitária e estereotipada de gênero para candidatas femininas.
  • Modelos com mais parâmetros dentro de uma mesma família frequentemente exibiram comportamentos problemáticos mais pronunciados, apesar de pontuarem mais baixo nos testes psicométricos.

Principais Contribuições

1. Framework de Validação Sistemática: O artigo fornece um framework rigoroso e multicritério para avaliar testes psicométricos em LLMs, distinguindo explicitamente entre confiabilidade (sensibilidade ao prompt) e validade (alinhamento comportamental).
2. Evidência Empírica de Desalinhamento: Oferece evidência empírica forte de que os escores psicométricos derivados de testes desenhados para humanos não predizem o comportamento dos LLMs em cenários do mundo real. Na verdade, eles podem ser enganosos, mostrando correlações negativas com comportamentos de viés reais.
3. Foco na Validade Ecológica: O estudo desloca o foco de correlações abstratas entre testes para a métrica crítica da validade ecológica, demonstrando que os "autorrelatos" de traços de LLMs via perguntas de múltipla escolha falham em refletir o comportamento generativo.
4. Ampla Cobertura de Modelos: A avaliação abrange 17 modelos diversos, fornecendo uma visão abrangente de como diferentes arquiteturas e tamanhos respondem a esses testes.

Significância e Alegações

Os autores alegam que seus achados desafiam fundamentalmente a prática atual de aplicar testes psicométos humanos a LLMs sem adaptação.

• Limitação das Ferramentas Atuais: O estudo conclui que testes desenhados para humanos não podem ser aplicados diretamente a LLMs para tirar conclusões sobre seu comportamento. A falta de validade ecológica sugere que altos escores nesses testes não garantem o deploy seguro ou imparcial de modelos.
• Risco de Interpretação Equivocada: Depender desses testes pode levar ao deploy de sistemas que amplificam a discriminação, pois um modelo pode passar em um teste psicométrico (baixo escore de viés) enquanto exibe alto viés em tarefas generativas.
• Chamada para Adaptação: O artigo argumenta pela necessidade de desenvolver testes específicos para LLM que sejam focados em comportamento e fundamentados na teoria psicológica, mas adaptados à natureza generativa dos LLMs. Enfatiza que, antes de interpretar os escores, a validação sistemática da confiabilidade e da validade ecológica é essencial.
• Cautela Metodológica: Os autores destacam a questão metodológica não resolvida de se os LLMs devem ser tratados como indivíduos ou populações em estudos psicométricos, observando que técnicas padrão de validação (como análise fatorial) podem não ser aplicáveis sem definições claras de "diferenças individuais" em LLMs.

Em resumo, o artigo afirma que, embora os testes psicométricos ofereçam um ponto de partida teórico, sua forma atual é insuficiente para avaliar LLMs. O descompasso entre os escores dos testes e o comportamento real exige uma nova disciplina de Psicometria de LLM que priorize a validade ecológica e a observação comportamental sobre o autorrelato abstrato.