Resumo Técnico: Detecção Perfeita, Controle Falho

Declaração do Problema

O artigo investiga uma aspiração central da interpretabilidade mecanística: a crença de que, se um comportamento pode ser detectado dentro das ativações de um modelo, ele pode ser controlado através da modificação dessas mesmas ativações. Esse paradigma repousa sobre uma premissa geométrica oculta — que a direção no fluxo residual que melhor detecta um comportamento é a mesma (ou fortemente alinhada com a) direção que melhor o controla (direciona/estabiliza).

Os autores desafiam essa premissa ao fazer uma pergunta geométrica precisa: Qual é o ângulo entre a direção que melhor discrimina um comportamento e a direção que melhor o causa? Se a detecção implica controle, o ângulo deve ser próximo de $0^\circ$ (cosseno $\approx 1$). Caso contrário, o ângulo quantifica um "hiato de detecção-intervenção". O artigo testa essa hipótese em dois comportamentos contrastantes: formato de saída (uma escolha de renderização) e alucinação (fabricar fatos sobre entidades inexistentes).

Metodologia

O estudo emprega análise de tempo de inferência no Gemma 2-2B-it (26 camadas, fluxo residual de 2304 dimensões) e replica os achados em outros três modelos (Llama-3.2-1B, Qwen-2.5-1.5B, Gemma 2-9B). Nenhuma técnica de ajuste fino (fine-tuning) é realizada; todas as intervenções são manipulações causais via adição de ativação.

Medições Principais

1. Construção de Direção:
   • Direção de Detecção ($d_{det}$): Construída de duas formas:
     • Baseada em dados: Diferença de médias (DiM) das ativações residuais entre prompts de entidades "falsas" e "reais".
     • Selecionada manualmente: Contraste de linhas na matriz de desincorporação ($W_{lm\_head}$) entre tokens típicos de incerteza (ex: "Infelizmente") e tokens típicos de fabricação (ex: "O", "Paris").
   • Direção de Intervenção ($d_{ref}$): Selecionada manualmente de $W_{lm\_head}$ contrastando tokens de recusa (ex: "Não", "não posso") contra tokens de conformidade.
2. Métrica Geométrica: A similaridade de cosseno ($\cos$) entre $d_{det}$ e $d_{ref}$.
3. Validação Causal: As direções são adicionadas ao fluxo residual em camadas específicas ($\alpha \cdot d$) para medir a mudança comportamental (ex: taxas de recusa).
4. Decomposição de Sinal: O fluxo residual é decomposto em contribuições de atenção e MLP para localizar onde o sinal de detecção reside.
5. Replicação Cross-Model: O hiato geométrico é medido em quatro modelos de diferentes escalas e famílias para testar a generalidade.

Resultados Principais

1. O Caso Alinhado: Formato de Saída

Para a tarefa de alternar entre cercamento de markdown (markdown fencing) e JSON limpo, a detecção e o controle colapsam em um único eixo.

• A direção derivada de $W_{lm\_head}$ que separa o cercamento da saída limpa é idêntica à direção que, quando adicionada, elimina o cercamento.
• Resultado: $\cos \approx 1$. Detecção implica controle. Isso serve como o baseline de sobreposição onde o comportamento é uma escolha de renderização separável.

2. O Caso Divergente: Alucinação

Para a alucinação (fabricar fatos sobre entidades inexistentes), a premissa falha completamente.

• Detecção Perfeita: O modelo detecta entidades falsas com separabilidade linear perfeita ($AUC = 1.000$) a partir da camada 5 usando múltiplos métodos (probes lineares, cabeças de atenção, recursos de SAE).
• Controle Falho: A direção que melhor detecta a alucinação é quase ortogonal à direção que causa a recusa.
  • Cosseno: $\cos(d_{det}, d_{ref}) \approx 0.12$ (ângulo $\approx 83^\circ$).
  • Hiato entre Métodos: Mesmo uma direção de detecção construída puramente de ativações (DiM, sem tokens selecionados manualmente) produz $\cos \approx -0.06$ contra a direção de intervenção.
• Consequência: Adicionar a direção de detecção perfeita ao fluxo residual não induz a recusa; em alguns casos, aumenta a fabricação. O sinal existe, mas não é roteado para a ação de saída.

3. Causas Estruturais do Hiato

• Dominância da Cópia de Entidade: No mapeamento de saída, o componente do fluxo residual ortogonal à direção de detecção é dominado por um mecanismo de "cópia de entidade" (amplificando o nome da entidade saliente). Este componente é aproximadamente $12\times$ maior que o sinal de detecção, efetivamente abafando o sinal de incerteza epistêmica.
• MLP vs. Atenção: O sinal de detecção é carregado quase exclusivamente por camadas MLP (5,66$\times$ mais que a atenção) nas camadas tardias (L18–L25). As camadas de atenção em L17+ são dispensáveis para este sinal; removê-las na verdade melhora a honestidade.
• Ajuste de Instrução (Instruction Tuning): O hiato geométrico ($\cos \approx 0.12$) está presente no modelo base e permanece inalterado após o ajuste de instrução. O ajuste desloca a posição das ativações ao longo do eixo de detecção fixo (fazendo com que os falsos projetem como mais incertos), mas não altera o ângulo entre as direções de detecção e intervenção.

4. Mitigação Parcial via Rotação

Como as direções são quase ortogonais, os autores tentaram preencher o hiato rotacionando o vetor de intervenção.

• Método: Uma rotação de $15^\circ$ da direção de detecção em direção à direção de intervenção ($d_{rot} = \cos(15^\circ)d_{det} + \sin(15^\circ)d_{ref}^\perp$).
• Resultado: Em um teste de estresse com dados não vistos, esta rotação aumentou as taxas de recusa para alucinações sutis (Tipo 2) de 13% para 60%, com uma taxa de falso positivo de apenas 1,8%. Isso confirma que o hiato possui uma estrutura geométrica que pode ser parcialmente preenchida, embora não seja uma correção completa.

5. Generalidade Cross-Model

O hiato geométrico é robusto em quatro modelos (Gemma 2-2B, Gemma 2-9B, Llama-3.2-1B, Qwen-2.5-1.5B):

• Intervalo de Cosseno: $\cos \in [0.12, 0.20]$ (ângulos $78^\circ$–$83^\circ$).
• Invariante: O hiato existe independentemente do tokenizador (SentencePiece vs. BPE) ou da escala do modelo (1B–9B).
• Espectro Comportamental: Apesar da geometria idêntica, os resultados comportamentais variam:
  • Gemma: Detecta perfeitamente, mas fabrica.
  • Llama: Detecta perfeitamente e recusa (a ação ocorre via um caminho separado e não medido).
  • Qwen: Comportamento misto.
  • Conclusão: A geometria descreve a dissociação entre saber e direcionar, mas não prevê o comportamento padrão do modelo.

Significância e Alegações

O artigo estabelece uma dissociação funcional entre "saber" (detecção) e "direcionar" (controle) em modelos de linguagem.

1. Detecção não é Controle: A separabilidade linear perfeita de um comportamento (ex: saber que uma entidade é falsa) não garante que a direção de detecção possa ser usada para controlar esse comportamento. As duas faculdades ocupam subespaços quase ortogonais no fluxo residual.
2. O Cosseno é uma Assinatura, não um Oráculo: O cosseno entre as direções de detecção e intervenção é uma assinatura robusta e computável via pesos. No entanto, os autores refutam explicitamente a ideia de que este cosseno sirva como um preditor a priori de direcionabilidade. Um cosseno alto (como no formato) é um caso excepcional onde um único vetor serve ambos os papéis; um cosseno baixo indica um hiato estrutural, mas a existência do hiato não implica que o comportamento seja impossível de direcionar (como mostrado pelo experimento de rotação).
3. Origem Estrutural: O hiato é estabelecido durante o pré-treinamento e é invariante ao ajuste de instrução. Ele surge porque o mapeamento de saída é dominado por mecanismos (como a cópia de entidade) que são ortogonais ao sinal epistêmico.
4. Limitações do Direcionamento Linear: Os resultados sugerem que, para comportamentos complexos como a alucinação, a simples adição de ativação ao longo de um único vetor de "detecção" é insuficiente. O direcionamento eficaz pode exigir a navegação pelo subespaço de alta dimensão da detecção ou a rotação em direção à direção de intervenção, reconhecendo que a detecção é uma classe de direções, não um único vetor.

O artigo conclui que, embora a interpretabilidade mecanística possa ler perfeitamente os estados internos, escrever nesses estados para alterar o comportamento exige compreender o roteamento geométrico específico entre sinais epistêmicos e ações de saída, que são frequentemente desacoplados estruturalmente.