Machine individuality: Separating genuine idiosyncrasy from response bias in large language models

Título: Individualidade da Máquina: Separando Idiossincrasia Genuína de Viés de Resposta em Grandes Modelos de Linguagem

1. O Problema

À medida que os Grandes Modelos de Linguagem (LLMs) são integrados em aplicações de alto risco e companheirismo, torna-se crucial entender suas disposições comportamentais. A literatura existente tenta perfilar essas disposições usando inventários psicométricos e paradigmas cognitivos. No entanto, há uma limitação fundamental: essas abordagens não conseguem distinguir se as diferenças comportamentais observadas refletem:

1. Idiossincrasia genuína: Traços estáveis e específicos do estímulo (interação pessoa-situação).
2. Viés de resposta: Estilos de resposta globais (como tendência a concordar ou extremismo) que deslocam todas as respostas na mesma direção.
3. Ruído estocástico.

Atualmente, é difícil saber se um modelo "tem personalidade" ou se apenas exibe padrões de resposta superficiais (como frases características ou formatação) que mimetizam traços, mas não representam uma avaliação situacional real.

2. Metodologia

Os autores propõem uma abordagem rigorosa baseada em modelos de efeitos cruzados aleatórios (crossed random-effects models), uma ferramenta padrão em psicométrica para decompor a variância.

• Dados:

  • Modelos: 10 LLMs de pesos abertos (open-weight) com arquiteturas e escalas variadas (de 20B a 235B parâmetros), incluindo Qwen, Mistral, Gemma, OLMo, Falcon, Granite e GPT-OSS.
  • Estímulos: Mais de 100.000 palavras do banco de dados psychNorms, cobrindo 14 normas psicolinguísticas (ex: Valência, Arousal, Concretude, Moralidade, Associação de Gênero, Normas Sensoriais, etc.).
  • Volume: Aproximadamente 74,9 milhões de avaliações (ratings) obtidas através de amostragem estocástica (5 repetições por palavra) e decodificação determinística.

• Procedimento Experimental:

  • Tarefas de avaliação zero-shot foram administradas aos modelos, solicitando que eles classificassem palavras em escalas numéricas específicas para cada norma.
  • As respostas foram processadas para garantir que apenas valores numéricos válidos fossem analisados.

• Modelagem Estatística:

  • Foi aplicado um modelo linear misto (LMM) para decompor cada avaliação ($y_{ijk}$) em quatro componentes:
    $$y_{ijk} = \mu + \tau_i + \beta_j + \iota_{ij} + \epsilon_{ijk}$$
    • $\mu$: Média global.
    • $\tau_i$ (Traço/Consenso): Variância compartilhada entre todos os modelos (o significado semântico da palavra).
    • $\beta_j$ (Viés): Desvio sistemático do modelo (offset global).
    • $\iota_{ij}$ (Idiossincrasia): A interação específica entre Modelo e Palavra (o foco do estudo).
    • $\epsilon_{ijk}$: Ruído residual.

• Análise de Coerência:

  • Utilizou-se Regressão Ridge para testar se as idiossincrasias de um modelo em uma norma podiam prever suas idiossincrasias em outras normas (fingerprint), comparando com previsões cruzadas entre diferentes modelos.

3. Principais Contribuições

1. Definição de "Individualidade da Máquina": Os autores cunham o termo para descrever diferenças comportamentais estáveis e específicas do estímulo que não podem ser atribuídas a viés de resposta ou ruído.
2. Decomposição de Variância: Demonstram que a variância comportamental dos LLMs não é monolítica; ela pode ser separada estatisticamente em consenso semântico, viés de modelo e individualidade.
3. Validação de Fingerprint: Provam que a individualidade não é aleatória, mas forma um "impressão digital" semântica coerente e única para cada modelo, consistente através de diferentes dimensões psicológicas.
4. Crítica aos Métodos Atuais: Alertam que métricas de personalidade agregadas (como pontuações de Big Five) são ambíguas sem essa decomposição, pois podem confundir viés de estilo com traços reais.

4. Resultados

• Decomposição da Variância:

  • O Consenso (Traço) domina a variância (32,1%), indicando que os modelos concordam amplamente sobre o significado semântico das palavras.
  • A Idiossincrasia (interação Modelo × Palavra) explica, em média, 16,9% da variância total (variando de 4,8% a 34,0% dependendo da norma).
  • Este valor de idiossincrasia supera robustamente as expectativas de um modelo nulo estatístico ($p < 0,01$), confirmando que não é apenas ruído ou viés.
  • Normas como "Associação de Gênero" (34,0%) e "Arousal" (22,6%) apresentaram maior variação idiossincrática, enquanto "Valência" e "Concretude" foram dominadas pelo consenso.

• Fingerprint Coerente:

  • As análises de regressão mostraram que as desvios de um modelo em uma norma são melhor previstos pelos seus próprios desvios em outras normas (Razão de Especificidade entre 1,74 e 3,43) do que pelos desvios de outros modelos. Isso confirma que cada modelo possui uma "personalidade" semântica interna consistente.

• Alinhamento Humano e Trade-off:

  • Os modelos correlacionaram-se moderadamente com normas humanas ($\bar{r} = 0,48–0,67$).
  • Trade-off Reprodutibilidade-Alinhamento: A agregação estocástica (média de múltiplas amostras) superou a decodificação determinística na previsão de julgamentos humanos ($\Delta\bar{r} = 0,032$). A decodificação determinística maximiza a reprodutibilidade, mas sacrifica a estrutura de variância e o alinhamento humano.

5. Significado e Implicações

• Avaliação de LLMs: A pesquisa estabelece que é possível e necessário separar "traços substantivos" de "estilos de resposta" ao avaliar a personalidade de IAs. Sem essa distinção, afirmações sobre o caráter de um modelo são fundamentalmente ambíguas.
• Representações Semânticas: As idiossincrasias sugerem que os LLMs possuem representações semânticas sui generis (únicas), não sendo apenas aproximações ruidosas do julgamento humano.
• Aplicabilidade Geral: O framework de decomposição de variância é aplicável a qualquer cenário onde múltiplos modelos respondem a um conjunto compartilhado de estímulos.
• Futuro: A existência de "individualidade da máquina" mensurável sugere que essas diferenças podem ter consequências reais em tarefas downstream (tomada de decisão, recomendação, etc.), abrindo caminho para o desenvolvimento de testes específicos para IA, em vez de apenas adaptar testes humanos.

Em resumo, o artigo demonstra que, além de seus vieses e do consenso semântico geral, os LLMs exibem uma individualidade estável e mensurável, que se manifesta como uma assinatura única na forma como avaliam situações específicas.