Are LLM Uncertainty and Correctness Encoded by the Same Features? A Functional Dissociation via Sparse Autoencoders

Título: Incerteza e Corretude em LLMs são Codificadas pelas Mesmas Características? Uma Dissociação Funcional via Autoencoders Esparsos

1. O Problema

Com o aumento da implantação de Grandes Modelos de Linguagem (LLMs) em cenários de alto risco, tornou-se crucial determinar quando confiar na saída do modelo. Métodos tradicionais de Quantificação de Incerteza (UQ) assumem implicitamente que a incerteza (confiança do modelo) e a corretude (veracidade da resposta) são fenômenos internos acoplados: a ideia é que um modelo incerto tende a estar errado e um modelo confiante tende a estar certo.

No entanto, casos de "incerto mas correto" ou "confiante mas errado" são comuns. A questão central deste trabalho é: a incerteza e a corretude são impulsionadas pelas mesmas populações de características internas (features) ou por mecanismos distintos? Se forem distintas, as avaliações padrão de UQ podem estar confundindo dois fenômenos independentes, levando a intervenções ineficazes.

2. Metodologia

Os autores propõem uma abordagem baseada em Interpretabilidade Mecânica utilizando Autoencoders Esparsos (SAEs) para decompor as representações internas do modelo em características interpretáveis.

• Framework 2x2: O trabalho classifica as previsões do modelo em quatro quadrantes baseados em dois eixos independentes:

  1. Corretude: Se a resposta está correta ou incorreta.
  2. Confiança (Incerteza): Medida pela entropia de Shannon da distribuição de probabilidade dos tokens de resposta (baixa entropia = confiante; alta entropia = incerto).
  • Os quadrantes são: (A) Confiante-Correto, (B) Confiante-Incorreto, (C) Incerto-Correto, (D) Incerto-Incorreto.

• Descoberta de Características: Utilizando testes estatísticos (Mann-Whitney U) nas ativações dos SAEs, os autores identificam três populações distintas de características:

  1. Incerteza Pura: Significativas apenas no eixo de incerteza (comparando C vs. A).
  2. Incorretude Pura: Significativas apenas no eixo de corretude (comparando B vs. A).
  3. Características Confusas (Confounded): Significativas em ambos os eixos.

• Intervenção (Supressão): Para testar a função causal de cada grupo, os autores aplicam uma supressão direcionada (zerar as ativações) nas camadas residuais do modelo e medem o impacto na precisão (accuracy) e na entropia de saída.

• Modelos e Dados: O estudo foi realizado em Llama-3.1-8B e Gemma-2-9B, utilizando o conjunto de dados MMLU para descoberta e validação cruzada em ARC-Challenge e RACE.

3. Principais Contribuições

1. Framework de Dissociação 2x2: Uma metodologia para separar sinais de incerteza e corretude no nível de características individuais de SAE, permitindo análise independente.
2. Dissociação Funcional de Três Vias: A descoberta de que as três categorias de características desempenham papéis funcionais fundamentalmente diferentes:
   • Características de Incerteza Pura são essenciais.
   • Características de Incorretude Pura são inertes.
   • Características Confusas são prejudiciais à qualidade da saída.
3. Generalização: Demonstração de que essa dissociação se replica em diferentes arquiteturas (Llama e Gemma) e se transfere entre conjuntos de dados sem re-treinamento.
4. Dissociação Preditiva: A capacidade de prever a corretude do modelo usando apenas um subconjunto mínimo de características confusas, permitindo uma abstenção seletiva superior.

4. Resultados Chave

A. Dissociação Funcional (Experimentos de Supressão)

• Incerteza Pura (Essencial): Suprimir essas características degrada severamente a precisão do modelo (ex: quedas de até 10% em camadas tardias). Isso indica que o modelo precisa dessas características para gerar respostas corretas, mesmo que a incerteza seja alta.
• Incorretude Pura (Inerte): Apesar de mostrarem ativações estatisticamente significativas em respostas erradas, suprimir essas características não causa nenhuma mudança mensurável na precisão ou entropia. Elas correlacionam-se com erros, mas não os causam causalmente sob este protocolo.
• Características Confusas (Prejudiciais): Estas características codificam ambos os sinais. Sua supressão seletiva resulta em:
  • Aumento de Precisão: +1,1% no Llama e +0,2% no Gemma.
  • Redução de Entropia: 75% de redução na incerteza de saída (entropia).
  • Isso sugere que essas características introduzem "ruído" ou conflito que prejudica a qualidade da saída.

B. Generalização

• Os resultados se mantêm consistentes entre Llama-3.1-8B e Gemma-2-9B.
• Características descobertas no MMLU transferiram-se com sucesso para ARC-Challenge e RACE, melhorando a precisão sem necessidade de re-seleção.

C. Predição e Abstenção Seletiva

• Características confusas são altamente preditivas. Um classificador treinado com apenas 3 características de uma única camada intermediária (camada 18 no Llama) alcança um AUROC de ~0,79 para prever a corretude.
• Abstenção Seletiva: Ao usar essas 3 características para decidir quando o modelo deve "abster-se" (não responder), a precisão sobe de 62% para 81% cobrindo 53% das perguntas, superando significativamente a abstenção natural do modelo.

5. Significado e Implicações

• Refutação do Acoplamento: O trabalho demonstra que incerteza e corretude são fenômenos internos distintos. O fato de um modelo estar "confiante" não significa que os mecanismos de "corretude" estejam ativos da mesma forma que os de "incerteza".
• Limitações da UQ Tradicional: Métodos de avaliação de UQ que tratam incerteza e corretude como um único eixo podem estar confundindo mecanismos funcionais distintos.
• Intervenção Prática: A descoberta de que características "confusas" são prejudiciais abre caminho para intervenções em tempo de inferência. Ao suprimir seletivamente essas características, é possível melhorar a precisão e reduzir a incerteza sem re-treinar o modelo.
• Mecanismo de Abstenção: A existência de um sinal interno compacto (3 características) que prediz a corretude com alta precisão sugere que os LLMs possuem mecanismos internos de "auto-monitoramento" que não são totalmente aproveitados em suas saídas padrão, mas podem ser explorados para sistemas mais seguros e confiáveis.

Em resumo, o artigo estabelece que a arquitetura interna dos LLMs organiza a incerteza e a corretude em populações de características separadas e funcionalmente distintas, oferecendo novas ferramentas para interpretar e melhorar o comportamento desses modelos.