LLMs as Signal Detectors: Sensitivity, Bias, and the Temperature-Criterion Analogy

Título: LLMs como Detectores de Sinal: Sensibilidade, Viés e a Analogia Temperatura-Critério

Autor: Jon-Paul Cacioli (Pesquisador Independente, Melbourne, Austrália)

---

1. O Problema

A avaliação atual de Grandes Modelos de Linguagem (LLMs) foca excessivamente em métricas de calibração, como o Erro de Calibração Esperado (ECE). O problema central identificado é que o ECE e métricas similares (como o Brier score) conflitam duas componentes distintas do desempenho do modelo:

1. Sensibilidade (Discriminação): A capacidade do modelo de distinguir entre respostas corretas e incorretas.
2. Viés (Critério): A tendência do modelo de responder com confiança (liberal) ou cautela (conservadora).

Um modelo pode ter um ECE perfeito (ser "bem calibrado") mesmo se for uniformemente errado, desde que sua confiança corresponda à sua taxa de erro. Métricas atuais não conseguem separar se um modelo falha porque não sabe a resposta (baixa sensibilidade) ou porque não expressa confiança corretamente (viés de critério), dificultando intervenções direcionadas (re-treinamento vs. recalibração).

2. Metodologia

O estudo aplica a Teoria de Detecção de Sinal (SDT) — tradicionalmente usada em psicofísica humana — para decompor o desempenho de LLMs.

• Abordagem: O LLM é tratado como um "observador" em um experimento de detecção de sinal.
  • Sinal: Resposta correta.
  • Ruído: Resposta incorreta.
  • Variável de Evidência: A Probabilidade Log-Normalizada (NLP) da resposta gerada, que atua como a "evidência sensorial" do modelo.
• Modelos Testados: Llama-3-8B-Instruct, Mistral-7B-Instruct-v0.3 e Llama-3-8B-Base.
• Manipulação Experimental: Variação da temperatura ($T \in \{0.1, 0.3, 0.5, 0.7, 1.0, 1.5, 2.0\}$). A hipótese inicial era que a temperatura atuaria como uma manipulação de "payoff" (recompensa) em humanos, deslocando apenas o critério de decisão sem alterar a sensibilidade.
• Dados:
  • Paradigma A: 168.000 tentativas de classificação de confiança (7 temperaturas × 3 modelos × 2 conjuntos de dados: TriviaQA e Natural Questions).
  • Paradigma B: 6.000 tentativas de escolha forçada de 4 alternativas (4AFC) para validação.
• Análise: Ajuste de modelos SDT paramétricos de variância desigual (UVSD), cálculo de curvas ROC, estimativa de $d_a$ (sensibilidade ajustada) e $c$ (critério), e análise de inclinação da ROC em escala z (z-ROC).

3. Contribuições Principais

O estudo avança além das métricas descritivas (como AUROC) ao aplicar o quadro paramétrico completo da SDT:

1. Decomposição Independente: Separação matemática da sensibilidade ($d_a$) e do critério ($c$), permitindo identificar se um modelo precisa de mais dados de treinamento (sensibilidade) ou apenas de ajuste de política de resposta (critério).
2. Teste da Analogia Temperatura-Critério: Investigação rigorosa de se a temperatura age apenas como um deslocamento de critério, como ocorre em experimentos humanos com payoff.
3. Caracterização da Variância: Uso do modelo UVSD para revelar a estrutura das distribuições de evidência interna dos modelos, algo invisível ao ECE ou AUROC.

4. Resultados Chave

A. A Quebra da Analogia Temperatura-Critério (Refutação de H1)

A hipótese de que a temperatura apenas desloca o critério foi rejeitada.

• Efeito Duplo: O aumento da temperatura aumentou simultaneamente a sensibilidade (AUC e $d_a$) e deslocou o critério.
• Causa: Diferente de experimentos humanos onde o estímulo é fixo, em LLMs a temperatura altera o processo de amostragem, mudando a própria resposta gerada (o "estímulo"). Isso altera a distribuição da variável de evidência (NLP), aumentando a separação entre respostas corretas e incorretas, mas não melhora o conhecimento factual (a acurácia real diminuiu com o aumento da temperatura).
• Implicação: O aumento do AUC com a temperatura é um artefato distribucional, não uma melhoria de competência.

B. Distribuições de Evidência de Variância Desigual (Suporte a H4)

Todos os modelos exibiram distribuições de sinal e ruído com variâncias diferentes.

• Inclinação z-ROC: Valores entre 0.52 e 0.84 (todos < 1.0), indicando variância desigual.
• Modelos Instruídos vs. Base: Modelos com instruction tuning (Instruct) mostraram variância desigual mais extrema (inclinações 0.52–0.63) do que o modelo base (0.77–0.87) e do que a memória de reconhecimento humana típica (~0.80). Isso sugere que o ajuste de instrução amplifica a distinção entre itens bem conhecidos e aqueles na borda do conhecimento.

C. Estrutura Oculta Invisível ao ECE (Suporte a H2)

Modelos com ECE similar ocupam posições distintas no espaço (Sensibilidade, Critério).

• Exemplo: Mistral e Llama-3-Instruct tinham ECEs próximos, mas o Mistral tinha maior sensibilidade e um critério mais liberal. O ECE sugeriria que ambos são similares, mas a SDT revela que o Mistral é um discriminador superior que apenas precisa de ajuste de critério, enquanto o Llama-3-Instruct pode precisar de intervenções diferentes.

D. Sensibilidade Específica por Domínio (Suporte a H5)

A sensibilidade ($d_a$) variou significativamente entre domínios de conhecimento (ex: Ciência e Tecnologia foi consistentemente o domínio mais difícil), uma informação que métricas agregadas como ECE ocultam.

E. Dissociação Fluência-Acurácia

A análise de "force-decode" revelou que o modelo gera erros incorretos com alta fluência (alta probabilidade NLP), o que mascara o sinal de verdade. O modelo tende a ser confiante em respostas erradas que soam fluentes, complicando a extração de um sinal de verdade puro apenas via NLP.

5. Significado e Implicações Práticas

• Diagnóstico Preciso: A SDT permite distinguir entre "não consegue discriminar" (baixa sensibilidade, requer re-treinamento) e "discrimina mas responde mal" (viés de critério, requer ajuste de temperatura ou prompt).
• Limitação da Analogia Humana: A analogia direta entre manipulação de payoff em humanos e temperatura em LLMs falha porque a "evidência" em LLMs é gerada dinamicamente e depende do critério de amostragem.
• Intervenção Direcionada: Se um modelo instruído é muito "liberal" (confiante demais), a solução é ajustar o critério (ex: temperatura), não re-treinar o modelo.
• Futuro da Avaliação: Métricas de calibração tradicionais são insuficientes para sistemas de IA de alto risco. A estrutura paramétrica da SDT oferece o quadro teórico necessário para diagnosticar falhas de forma granular, revelando propriedades estruturais (como variância desigual) que definem o comportamento dos modelos.

Em resumo, o estudo demonstra que a aplicação rigorosa da Teoria de Detecção de Sinal a LLMs revela uma complexidade estrutural e comportamental que métricas de calibração convencionais ignoram, fornecendo ferramentas essenciais para a avaliação e melhoria de modelos de linguagem.