Resumo Técnico: A Verdade Não Amostrada: A Psicometria em SLMs Mede Artefatos de Prompt, Não Construtos Psicológicos

Declaração do Problema

A pesquisa atual que utiliza Modelos de Linguagem Pequenos (SLMs) para avaliações psicométricas opera sob uma premissa frágil: que os outputs dos modelos refletem o raciocínio semântico em relação às personas e itens de pesquisa injetados. No entanto, a área carece de um design experimental unificado para avaliar simultaneamente como os componentes do prompt (instruções, símbolos de opções, redação de itens e personas) influenciam as respostas quando o significado semântico é mantido constante. Estudos anteriores observaram sensibilidade a variações específicas de prompts (ex: símbolos de opções de resposta ou personas), mas a verdadeira razão sinal-ruído permanece desconhecida. Consequentemente, há um risco significativo de que pesquisadores estejam interpretando erroneamente o ruído induzido pelo prompt como traços psicológicos simulados, comprometendo a validade de construto e a confiabilidade operacional dos SLMs na avaliação psicológica.

Metodologia

Para abordar essa lacuna, os autores introduzem uma estrutura de Matriz de Variantes de Prompt projetada para isolar a variância artefactual do sinal semântico genuíno.

• Configuração Experimental: O estudo avalia 13 modelos de pesos abertos com ajuste de instrução (variando de 0,6B a 14B de parâmetros) em quatro famílias: Llama-3.1/3.2, Qwen3, Ministral-3 e Gemma-4. As capacidades de raciocínio foram desativadas para focar no seguimento direto de instruções.
• Inventários Psicométricos: Os modelos foram testados utilizando o Big Five Inventory (BFI) e o Short Dark Triad (SD3), utilizando escalas Likert de 5 pontos padrão.
• Matriz de Variantes de Prompt: Os autores construíram um produto cartesiano de variações de prompt semanticamente equivalentes. Para cada um dos quatro componentes principais, cinco variantes distintas foram criadas enquanto o significado subjacente era preservado:
  • Personas: Variações de vocabulário e ordem de sentenças baseadas em textos de referência do dataset Nemotron.
  • Instruções: Adaptações de instruções de pesquisa padrão com restrições rigorosas de formatação.
  • Itens: Variantes lexicais incluindo a redação original do questionário e quatro paráfrases.
  • Símbolos de Opções: Cinco conjuntos ordinais distintos (algarismos arábicos 1-5, numerais romanos I-V, letras maiúsculas A-E, letras minúsculas a-e e alfanuméricos x1-x5).
• Métricas:
  • Extração de Distribuição Baseada em Logit: Em vez de geração de texto gulosa (greedy), o estudo extrai a distribuição de probabilidade completa sobre os símbolos alvo para capturar a incerteza do modelo.
  • Distância de Wasserstein Pareada Média (APWD): Utilizada para quantificar deslocamentos distributivos. Diferente das métricas de probabilidade padrão, a distância 1-Wasserstein ($W_1$) leva em conta a magnitude ordinal dos erros em escalas Likert.
  • Decomposição de Variância Baseada em Distância: A Análise de Variância Multivariada Permutacional (PERMANOVA) foi aplicada às matrizes de distância para particionar a variância total em componentes atribuíveis à persona semântica versus artefatos de prompt (instruções, itens, símbolos).

Principais Resultados

1. Dominância da Variância Artefactual

O estudo descobre que a variância induzida pelo prompt frequentemente supera o sinal semântico.

• Erro de Medição: Os escores APWD variaram de 0,5 a 1,0, indicando que as variações de prompt podem deslocar os outputs do modelo em até um passo ordinal completo.
• Limitações de Escala: Embora alguns modelos (Llama, Qwen) tenham mostrado estabilização em escalas maiores (até 14B), outros (Ministral, Gemma) tornaram-se mais voláteis. Crucialmente, escalar para 14 bilhões de parâmetros não resolveu a fragilidade; mesmo modelos grandes exibiram dominância de artefato significativa.
• Sensibilidade do Modelo: Modelos pequenos (ex: 1 bilhão de parâmetros) frequentemente exibiram variância marginal próxima de zero para componentes semânticos, não devido à robustez, mas devido a uma falha sistêmica em processar sinais semânticos, resultando em respostas dominadas inteiramente por restrições de formatação.

2. Vulnerabilidades Específicas de Componentes

• Instruções e Símbolos: Em quase todas as arquiteturas, as instruções de tarefa e os símbolos de opções impulsionaram uma variância marginal significativamente maior do que a paráfrase de itens.
• Assinaturas Arquiteturais: As vulnerabilidades variaram por família de modelos. Por exemplo, modelos Qwen mostraram alta sensibilidade a variações de instrução, enquanto modelos Llama foram mais vulneráveis a variantes de símbolos de opções.
• Divergência Intra-Família: Padrões de robustez não foram consistentes nem mesmo dentro de famílias de modelos; por exemplo, o Qwen3-14B desenvolveu uma sensibilidade única a variações de itens ausente em seus equivalentes menores.

3. Decomposição de Variância

• Parcela de Variância Explicada por Artefatos (ASV): Mesmo na escala de 14B, uma massa crítica de itens apresentou um ASV > 50%, o que significa que os artefatos de prompt explicaram mais variância do que a persona semântica pretendida.
• SD3 vs. BFI: O dataset Short Dark Triad (SD3) exibiu maior instabilidade absoluta e maior dominância de artefato (mediana de ASV variando para 80–100%) comparado ao Big Five Inventory (BFI), sugerindo uma representação de traço mais fraca nas personas de base ou nos próprios modelos.
• Variância Não Explicada: Uma parte substancial da variância permaneceu não explicada, atribuída a interações complexas entre os componentes do prompt.

Significância e Alegações

O artigo alega que, sob os atuais paradigmos de prompting, os SLMs (até 14B de parâmetros) são amplamente não confiáveis para avaliação psicométrica porque seus outputs refletem a conformidade ao prompt em vez de traços psicológicos simulados.

• Utilidade Diagnóstica: A principal contribuição é a Matriz de Variantes de Prompt e a estrutura de decomposição de variância baseada em distância associada. Isso serve como uma ferramenta diagnóstica para identificar variantes de prompt específicas que desestabilizam as distribuições dos modelos e para isolar a variância artefactual do entendimento semântico.
• Aviso Metodológico: Os autores alertam que, sem isolar o raciocínio semântico genuíno dos artefatos, o campo corre o risco de construir uma literatura inválida baseada na conformidade ao prompt. Eles destacam que tratar os outputs de SLMs como medições psicológicas válidas corre o risco de propagar o ruído artefactual como raciocínio humano-semelhante.
• Direções Futuras: A estrutura sugere dois caminhos: usar o design para identificar artefatos destrutivos e isolar o impacto semântico para melhor avaliar o entendimento latente. Os autores observam que pesquisas futuras devem testar se essas vulnerabilidades persistem em modelos de fronteira (>70B de parâmetros) e se a injeção de âncoras psicológicas mais profundas e explícitas pode superar a observada dominância de artefatos.

O estudo conclui que, embora a estrutura ofereça um mecanismo para diagnosticar esses problemas, o estado atual dos SLMs na psicometria está comprometido por uma fragilidade estrutural onde os artefatos de prompt eclipsam o sinal psicológico pretendido.