Testing the Limits of Truth Directions in LLMs

1. Problema e Motivação

As Grandes Modelos de Linguagem (LLMs) demonstraram possuir representações internas de "verdade" em seu espaço de ativação, frequentemente modeladas como uma direção linear que separa afirmações verdadeiras das falsas. Estudos anteriores sugeriram que essas direções de verdade seriam universais, generalizando-se entre diferentes tópicos e estruturas de sentenças.

No entanto, a generalidade dessas descobertas foi questionada por trabalhos recentes que observaram falhas na generalização em certos contextos. O problema central abordado neste trabalho é: quais são os limites reais da universalidade das direções de verdade? Especificamente, os autores investigam se essas direções são robustas em relação a:

• A profundidade da camada do modelo onde são extraídas.
• O tipo de tarefa (factual vs. raciocínio/aritmético).
• A complexidade da tarefa (número de passos de raciocínio).
• A presença de instruções explícitas no prompt (ex: pedir ao modelo para avaliar a correção).

2. Metodologia

Os autores realizaram um estudo sistemático e controlado variando três dimensões principais:

• Conjunto de Dados e Hierarquia de Dificuldade:
  • Tarefas Factual (F0–F5): Baseadas em conhecimento sobre cidades e países. A dificuldade é aumentada progressivamente:
    • F0: Fatos simples (ex: "Paris está na França").
    • F1: Fatos negados.
    • F2: Conjunção de dois fatos.
    • F3–F5: Tarefas que exigem contagem e verificação de múltiplos itens (ex: "Exatamente 2 das seguintes cidades estão na Alemanha...").
  • Tarefas Aritméticas (A1–A3): Equações com 1, 2 ou 3 operações aritméticas, exigindo cálculo e armazenamento de resultados intermediários.
• Modelos: Testados em quatro modelos de famílias diferentes (Llama-3.2-3B, Llama-3.1-8B, Gemma-2-2B, Gemma-2-9B).
• Probing (Sondagem): Treinamento de classificadores lineares (probes) supervisionados nas ativações residuais do token final em todas as camadas do modelo, não apenas em camadas específicas selecionadas anteriormente.
• Variáveis de Prompt: Comparação entre dois cenários principais:
  • Passivo (no-prompt): Apenas a afirmação é apresentada.
  • Ativo (ask-correct): Instrução explícita ("Is the following correct?") antes da afirmação.
• Métricas de Avaliação:
  • AUROC: Para medir a capacidade de separação dentro da tarefa (in-domain) e generalização entre tarefas (cross-task).
  • Semelhança de Cosseno: Para analisar a geometria das direções de verdade entre camadas e prompts.

3. Principais Contribuições e Descobertas

A. Dependência da Camada (Layer Dependence)

• Fatos Simples vs. Raciocínio: Para tarefas factuais simples (F0–F3), as direções de verdade emergem cedo (camadas iniciais/médias). Para tarefas aritméticas e factuais complexas (que exigem contagem), as direções emergem muito mais tarde (camadas finais).
• Falha de Generalização em Camadas Iniciais: Probes treinados em camadas iniciais para fatos simples (F0) falham ao generalizar para versões negadas (F1), muitas vezes classificando-as de forma invertida. Isso indica que as camadas iniciais capturam mais a polaridade da frase (afirmação vs. negação) do que a verdade intrínseca. A "verdade" real se desenreda da polaridade apenas nas camadas médias/avançadas.

B. Impacto das Instruções do Modelo

• Alteração da Geometria: Instruir explicitamente o modelo a avaliar a correção ("Is the following correct?") altera drasticamente a geometria das direções de verdade. As direções aprendidas no modo passivo não se alinham bem com as do modo ativo.
• Melhora na Generalização Cruzada: Paradoxalmente, embora as geometrias sejam diferentes, o uso de instruções explícitas melhora a generalização entre tipos de tarefas. Probes treinados em tarefas aritméticas com instruções explícitas conseguem generalizar quase perfeitamente para tarefas factuais simples (F0–F2), algo que não ocorre no modo passivo.

C. Limites da Complexidade da Tarefa

• Colapso da Generalização: Existe um limite claro onde a capacidade de generalização das direções de verdade degrada.
  • Para tarefas factuais, a generalização cai drasticamente quando a tarefa exige contagem de mais de dois elementos (transição de F3 para F4/F5).
  • Para tarefas aritméticas, a generalização decai rapidamente além de expressões de uma única operação (A1 para A2/A3).
• Causa: A necessidade de calcular e armazenar resultados intermediários parece entrelaçar as ativações de forma que a direção linear de verdade deixa de ser separável. O modelo parece tratar a verificação de verdade como um processo computacional complexo, e não apenas como uma recuperação de fato.

4. Resultados Chave

• Universalidade Limitada: A afirmação de que as direções de verdade são universais é falsa se não se considerar a camada, o tipo de tarefa e o prompt.
• Fronteira de Dificuldade: A generalização decai quando a tarefa exige raciocínio multi-passos (contagem ou aritmética complexa).
• Efeito de Prompt: O formato do prompt não é neutro; ele redefine como o modelo representa a verdade. Instruções explícitas podem alinhar melhor as representações entre domínios diferentes (aritmética e fatos), mas mudam a direção geométrica em relação ao modo passivo.
• Robustez entre Modelos: Esses padrões (dependência de camada, colapso na contagem/aritmética, efeito de prompt) foram consistentes em todos os modelos testados (Llama e Gemma), embora as camadas exatas de emergência variem conforme o tamanho do modelo.

5. Significado e Implicações

Este trabalho refina significativamente a compreensão da interpretabilidade de LLMs:

1. Cuidado na Extração de Direções: Não se pode assumir que uma direção de verdade extraída de uma camada específica ou de um prompt passivo funcionará em outros contextos. A escolha da camada e do prompt é crítica.
2. Limites Computacionais: A "verdade" em LLMs não é uma propriedade estática e universal; ela está intrinsecamente ligada à capacidade computacional do modelo de realizar o raciocínio necessário para verificar a afirmação. Quando o custo computacional (passos de raciocínio) aumenta, a representação linear de verdade se fragmenta.
3. Aplicações Práticas: Para usar probes de verdade em aplicações de segurança (ex: detectar alucinações ou mentiras), é crucial alinhar o prompt de teste com o prompt de treinamento e considerar a complexidade da tarefa. Instruções explícitas podem ser uma ferramenta para melhorar a robustez cruzada, mas exigem re-treinamento dos probes.

Em resumo, o paper demonstra que as direções de verdade são condicionais e dinâmicas, dependendo fortemente da arquitetura interna do modelo, da complexidade cognitiva da tarefa e do contexto de interação (prompt), desafiando a visão de que elas são uma propriedade universal e estática dos LLMs.