Resumo Técnico: A Geometria do Esquecimento

Declaração do Problema

Os modelos de linguagem grandes (LLMs) frequentemente produzem respostas desatualizadas com a mesma fluência e confiança que as corretas. Quando questionados sobre fatos que mudaram desde o corte de treinamento do modelo (por exemplo, líderes governamentais atuais ou treinadores esportivos), os modelos podem recuperar um fato obsoleto, nomear um titular pré-treinamento ou fabricar um novo. Os métodos de detecção existentes, que dependem de estatísticas no nível da saída (por exemplo, entropia de token, entropia semântica) ou sondas de estado oculto treinadas para correção geral ou incerteza, falham em distinguir entre esses modos de falha. Especificamente, eles não conseguem diferenciar Recuperação Obsoleta (recuperar um fato que estava correto no momento do treinamento, mas que agora está desatualizado) de Confabulação (fabricar um fato que nunca existiu). Essa opacidade deixa as implantações incapazes de distinguir erros recuperáveis do tempo de treinamento de alucinações.

Os autores argumentam que isso não é uma falha de engenharia, mas sim estrutural: o desvio temporal (se um fato armazenado mudou desde o treinamento) é codificado no fluxo residual do modelo como um eixo representacional que é geometricamente ortogonal tanto à correção quanto à incerteza. Consequentemente, qualquer método que opere apenas em sinais de correção ou incerteza é estruturalmente cego ao desvio por construção.

Metodologia

Construção do Conjunto de Dados

Os autores construíram um conjunto de dados de 3.511 consultas abrangendo 1.342 fatos únicos em quatro relações (chefede_governo, treinador_principal, presidente_de, propriedade_de) com precisão de mandato em nível de dia, derivada de um instantâneo congelado do Wikidata (abril de 2026).

• Estados de Conhecimento Temporal: Cada par (amostra, modelo) é classificado em um de cinco estados com base na saída do modelo em relação à linha do tempo do fato e ao corte de treinamento do modelo ($\tau_\theta$):
  1. Estável-Correto: Resposta correta, sem desvio.
  2. Anacronismo: Resposta incorreta (titular do passado), sem desvio (o fato nunca mudou).
  3. Recuperação-Obsoleta: Resposta incorreta (titular do passado), desviada (o fato mudou após o treinamento).
  4. Obsoleto-Atual: Resposta incorreta (titular atual no treinamento, substituído posteriormente), desviada.
  5. Confabulação: Resposta incorreta (fabricada), desviada.
• Avaliação Controlada: Para evitar que os modelos simplesmente detectem o ano da consulta (uma variável de confusão), a avaliação é restrita a anos de consulta $\ge \tau_\theta + 1$.

Sondagem e Análise

O estudo avalia seis modelos ajustados por instrução (Llama-2, Mistral, Llama-3.1, Qwen-2.5, Gemma-2) em quatro famílias de arquiteturas.

1. Sondas Lineares: Sondas lineares regularizadas L1 são treinadas em ativações do fluxo residual ($h^{(\ell)}$) para prever o rótulo is_drifted. Os autores percorrem todas as camadas para identificar a camada de pico de desempenho.
2. Testes de Independência Geométrica: Para verificar se o eixo de desvio é independente da correção e da incerteza, cinco medidas complementares são empregadas:
   • Cossenos de Pesos: Medição do ângulo entre os vetores de peso das sondas de desvio, correção e incerteza.
   • Correlações de Pontuação: Correlações de Pearson entre as pontuações das sondas.
   • Projeção Bidirecional no Espaço Nulo: Projeção do fluxo residual no subespaço ortogonal às direções de variáveis de confusão (correção/incerteza) e re-treinamento da sonda alvo.
   • Projeção Iterativa no Espaço Nulo (INLP): Remoção iterativa de direções associadas a variáveis de confusão para testar dependência distribuída.
   • Dissociação de Deslocamento de Média: Comparação de sondas treinadas contra direções de diferença de médias (DoM) não treinadas para descartar artefatos de otimização.
3. Intervenções Mecanísticas:
   • Correção de Ativação: Substituição de estados ocultos corrompidos por estados limpos para localizar o processamento temporal.
   • Atribuição Direta de Logits (DLA): Decomposição dos logits de saída para comparar trajetórias de MLP para Recuperação-Obsoleta vs. Confabulação.
   • Direcionamento Causal: Amplificação ou supressão da direção de desvio para observar mudanças nos logits de titulares.

Resultados Principais

1. Decodificabilidade Linear do Desvio

Uma sonda linear treinada diretamente em rótulos de desvio alcança AUROC 0,83–0,95 em todos os seis modelos. Em contraste, as linhas de base existentes (Entropia de Token, Entropia Semântica, SEP, SAPLMA, CCS) permanecem próximas do acaso (0,49–0,57). Isso confirma que o desvio é um sinal linearmente decodificável no fluxo residual, mas é invisível para métodos não treinados explicitamente em desvio.

2. Ortogonalidade Geométrica

Cinco testes confirmam que o eixo de desvio é geometricamente independente do subespaço correção-incerteza:

• Cossenos de Pesos: $|\cos| \le 0,14$ entre desvio e ambos os vetores de correção/incerteza.
• Correlações de Pontuação: $|r| \le 0,20$ entre pontuações de desvio e pontuações de correção/incerteza.
• Projeção no Espaço Nulo: A remoção das direções de correção e incerteza resulta em degradação de AUROC negligenciável ($|\Delta| \le 0,008$), confirmando que o desvio não reside em sua abrangência.
• INLP: A remoção de 10 direções para cada variável de confusão ainda deixa o desvio detectável.
• Dissociação de Deslocamento de Média: Sondas treinadas são quase ortogonais mesmo quando direções de deslocamento de média não treinadas são altamente correlacionadas, indicando que a independência é estrutural, não um artefato de esparsidade.

3. Especificidade do Modelo e Independência de Entrada

Em um experimento de corte cruzado usando entradas idênticas em bytes, a sonda de desvio dispara no modelo cujo corte de treinamento antecede a transição do fato e permanece silenciosa no modelo de corte posterior. A probabilidade $P(A > B)$ varia de 0,975 a 0,998 entre pares de modelos. Isso prova que a sonda detecta o estado de conhecimento interno do modelo, não propriedades de entrada como familiaridade da entidade ou ano da consulta.

4. Explicação Mecanística

• Dinâmicas de Recuperação Idênticas: A Atribuição Direta de Logits revela que o circuito de recuperação do MLP produz trajetórias quase idênticas para Recuperação-Obsoleta e Confabulação ($r > 0,81$). Ambos os modos de falha atingem o pico na mesma camada, explicando por que a confiança na saída (que reflete a força da recuperação) não consegue separá-los.
• Latente, mas Ativável: O direcionamento causal mostra que a direção de desvio é latente sob inferência normal (suprimi-la não causa mudança na saída), mas, quando amplificada, reestrutura os logits de titulares, engajando seletivamente o circuito de recuperação temporal.

Significado e Alegações

O artigo afirma que o desvio temporal é uma propriedade representacional distinta dos LLMs, estruturalmente ortogonal à correção e à incerteza. Essa independência geométrica explica por que:

1. Os métodos existentes de detecção de alucinação falham em fatos obsoletos.
2. Os modelos podem estar errados com confiança (alta confiança, baixa incerteza) em fatos desviados porque estão realizando recuperação genuína de dados de treinamento desatualizados.
3. Detectar desvio temporal requer sondas treinadas diretamente em rótulos de desvio; reaproveitar sondas de correção ou incerteza é insuficiente.

Os autores concluem que sistemas implantados devem ler este eixo de desvio específico para identificar conhecimento obsoleto, em vez de esperar por erros de superfície ou depender de estimativas de incerteza. O trabalho fornece uma conta mecanicista de como os modelos codificam a validade temporal e demonstra que este sinal é acessível por meio de sondas lineares, oferecendo um caminho para verificação de fatos temporais mais robusta em aplicações de LLM.