Hallucination as Trajectory Commitment: Causal Evidence for Asymmetric Attractor Dynamics in Transformer Generation

Resumo Técnico: Hallucinação como Comprometimento de Trajetória

1. O Problema

As Grandes Modelos de Linguagem (LLMs) frequentemente sofrem de "alucinação", gerando texto plausível, mas factualmente incorreto, com alta confiança. Embora estudos empíricos anteriores tenham identificado correlações entre alucinações e características internas do modelo (como sondas lineares em estados ocultos ou sinais de entropia), a causalidade e o mecanismo exato de quando e onde o modelo "compromete-se" a uma trajetória alucinada permanecem mal compreendidos. A questão central é: a alucinação é um erro de recuperação de conhecimento ou um fenômeno dinâmico de trajetória?

2. Metodologia

Os autores propõem uma abordagem baseada em dinâmica de sistemas e engenharia causal para isolar a dinâmica da trajetória de confusões no nível do prompt.

• Bifurcação de Mesmo-Prompt (Same-Prompt Bifurcation):
  • Em vez de comparar prompts diferentes, os pesquisadores amostram repetidamente o mesmo prompt (com temperatura $\tau = 0.7$) para observar a divergência espontânea.
  • Identificam prompts "bifurcantes" onde o mesmo modelo gera tanto respostas corretas quanto alucinadas a partir do mesmo estado inicial. Isso isola a divergência para o caminho de amostragem estocástica, não para o conteúdo do prompt.
• Patching de Ativação Simétrico (Symmetric Causal Patching):
  • Utilizam a técnica de activation patching para substituir estados ocultos (residual stream) entre execuções corretas e alucinadas.
  • Direção H→C (Correção): Injetam ativações de uma execução correta em uma execução alucinada para ver se a trajetória é corrigida.
  • Direção C→H (Corrupção): Injetam ativações de uma execução alucinada em uma execução correta para ver se a trajetória é corrompida.
  • Controles: Incluem patching aleatório, patching de "errado para errado" e linhas de base sem intervenção.
• Análise de Janela e Regimes:
  • Testam se a correção requer intervenção sustentada (janelas de múltiplos passos) versus se a corrupção é um evento único.
  • Investigam se o estado residual no passo 0 (codificação do prompt) já prediz a taxa de alucinação e se existem "regimes" de agrupamento.

3. Contribuições Principais

1. Evidência Causal de Assimetria: Demonstram que a entrada em um estado de alucinação é causalmente fácil (corrupção), enquanto a saída é difícil (correção).
2. Modelo de Bacia de Atração Assimétrica: Propõem que a alucinação atua como uma bacia de atração localmente estável no espaço de estados do residual stream, caracterizada por uma entrada fácil e uma saída difícil.
3. Comprometimento Precoce: Mostram que a divergência entre trajetórias corretas e alucinadas ocorre no primeiro token gerado (passo 1), apesar de os logits iniciais (passo 0) serem idênticos.
4. Estrutura de Regimes no Passo 0: Evidenciam que a codificação do prompt já organiza o modelo em regimes distintos (agrupamentos), onde prompts com premissas falsas tendem a se localizar em uma "região de sela" (saddle region) propensa à bifurcação.

4. Resultados Chave

O estudo foi realizado no modelo Qwen2.5-1.5B (28 camadas) com 61 prompts de 6 categorias.

• Descoberta de Bifurcação: 44,3% (27/61) dos prompts exibiram bifurcação genuína. Prompts de "premissa falsa" foram quase universalmente bifurcantes (92,9%), indicando que o modelo oscila entre aceitar ou rejeitar a falsidade embutida.
• Divergência Imediata: A divergência de KL (Kullback-Leibler) entre as distribuições de saída corretas e alucinadas é zero no passo 0 e salta abruptamente no passo 1. Não há "deriva gradual"; a decisão é tomada no primeiro token amostrado.
• Assimetria Causal (O Resultado Central):
  • Corrupção (C→H): Injetar uma ativação alucinada em uma trajetória correta causa falha em 87,5% dos casos (pico na camada 20).
  • Correção (H→C): Injetar uma ativação correta em uma trajetória alucinada recupera a verdade em apenas 33,3% dos casos (pico na camada 24).
  • Razão de Assimetria: A taxa de corrupção é 2,63 vezes maior que a de correção.
• Intervenção Sustentada:
  • A corrupção pode ser feita com uma única perturbação (passo único).
  • A correção requer intervenção sustentada (janela de patching de múltiplos passos). A taxa de correção aumenta de 12,5% (1 passo) para 33,3% (4 passos), indicando que a dinâmica do modelo "absorve" correções pontuais e retorna à bacia de alucinação.
• Regimes no Passo 0:
  • Sondas lineares no estado residual do passo 0 (antes da geração) preveem a taxa de alucinação com correlação de Pearson $r = 0.776$ (camada 15).
  • Agrupamento não supervisionado identifica 5 regimes. O "Cluster de Sela" concentra 12 dos 13 prompts de premissa falsa que bifurcam, sugerindo que a fronteira entre verdade e alucinação é fixada na codificação do prompt.

5. Significado e Implicações

• Reenquadramento da Alucinação: A alucinação não é apenas uma falha de conhecimento (o modelo sabe a resposta, pois pode gerá-la), mas um fenômeno dinâmico. O modelo possui conhecimento, mas a amostragem estocástica pode comprometê-lo em uma trajetória alucinada da qual é difícil escapar.
• Falha de Métodos Lineares: O estudo explica por que técnicas de "steering" (direcionamento) lineares falham: elas podem empurrar o estado na direção de leitura, mas não conseguem cruzar a fronteira não-linear da bacia de atração. O modelo restaura a trajetória alucinada nas camadas subsequentes.
• Direções Futuras: A segurança e o alinhamento de modelos podem precisar focar na seleção de regimes no momento da codificação do prompt (passo 0) ou em intervenções contínuas e multi-passos, em vez de correções pontuais durante a geração.

Conclusão: O artigo fornece evidências causais robustas de que a alucinação em LLMs é governada por uma dinâmica de atratores assimétrica, onde a entrada em um estado de erro é fácil e rápida, mas a recuperação exige intervenção coordenada e sustentada através de camadas e passos de geração.