Resumo Técnico: Conhecimento Correto, Resposta Errada: Direcionamento em Tempo de Inferência para Conflitos Temporais de Fatos em Modelos de Linguagem de Pesos Abertos

1. Definição do Problema: Conflito Temporal Paramétrico (PTC)

Modelos de Linguagem de Grande Escala (LLMs) treinados em corpora que abrangem múltiplos anos frequentemente codificam tanto fatos desatualizados quanto seus contrapartes mais recentes dentro de sua memória paramétrica. Um modo de falha distinto surge quando um modelo possui o fato atualizado internamente (recuperável via pistas temporais), mas retorna à resposta desatualizada sob prompts padrão. Os autores formalizam isso como Conflito Temporal Paramétrico (PTC).

Diferente da simples ausência de conhecimento (onde o modelo carece totalmente do fato) ou da degradação genérica de recall temporal, o PTC é definido por duas condições:

1. Preferência Desatualizada: $P_\theta(a_{old} | q) > P_\theta(a_{new} | q)$ sob prompting padrão.
2. Recuperabilidade: $P_\theta(a_{new} | q, c_{temp}) \gg P_\theta(a_{old} | q, c_{temp})$ quando uma pista temporal (ex: "Em 2024...") é fornecida.

Abordagens existentes, como aprendizagem contínua (atualizações de pesos) ou geração aumentada por recuperação (RAG), não abordam este cenário específico de seleção entre versões coexistentes de um fato durante a inferência sem modificar os pesos ou utilizar recuperação externa.

2. Metodologia: Direcionamento por Atrator Temporal (TAS)

O artigo introduz o Temporal Attractor Steering (TAS), um framework de três estágios, livre de recuperação e livre de treinamento, projetado para detectar, localizar e resolver o PTC através da manipulação das ativações do fluxo residual (residual-stream).

Estágio 1: Detecção

Uma sonda linear leve pontua se uma consulta provavelmente exibirá PTC. A sonda é treinada em positivos de PTC verificados e negativos de não-conflito correspondentes. Se a pontuação exceder um limiar $\tau$, a consulta prossegue para o estágio de direcionamento; caso contrário, é processada normalmente para preservar o comportamento em consultas de não-conflito.

Estágio 2: Localização de Conflito

Usando causal activation patching, o método identifica uma camada crítica de conflito ($\ell^*$). Ao realizar o patching de estados ocultos de uma passagem de forward com "prompt-temporal" para uma passagem de forward com "prompt-padrão", os autores determinam qual camada, quando intervinda, maximiza a Taxa de Inversão de Resposta (AFR). Resultados empíricos mostram que, para todos os modelos testados, esta camada crítica reside na metade superior da rede (ex: camadas 23–31 em modelos de 28–32 camadas).

Estágio 3: Direcionamento (Steering)

Na camada identificada $\ell^*$, o estado oculto é perturbado em direção à representação do fato mais recente usando um vetor de direcionamento pré-computado $\Delta$:
$$h'_{\ell^*}(q) = h_{\ell^*}(q) + \alpha \cdot c \cdot \Delta$$
onde $\alpha$ controla a força da intervenção e $c$ é a pontuação do detector. O vetor de direcionamento $\Delta$ é construído pela média da diferença entre os estados ocultos sob pistas temporais e prompts padrão ($h_{\ell^*}(q, c_{temp}) - h_{\ell^*}(q)$). Os autores propõem três variantes para a granularidade da média: global (V1), por relação (V2) e por domínio (V3). A V2 (por relação) mostrou-se a mais eficaz, evitando a diluição de sinais fortes de relações específicas (como "Chefe de Estado") por relações de alto volume mais ruidosas.

3. Principais Contribuições

1. Formalização e Filtragem: O artigo define o PTC e introduz um filtro de recuperação de conhecimento para distinguir verdadeiros conflitos de ausência de conhecimento. Isso garante que a avaliação foque apenas em casos onde o modelo pode recuperar o novo fato, mas falha em fazê-lo por padrão.
2. Temporal Attractor Steering (TAS): Um novo framework que opera nas ativações do fluxo residual para substituir seletivamente o conhecimento paramétrico desatualizado sem retreinar ou usar recuperação externa. A análise teórica fornece condições suficientes (Separabilidade Local, Direcionamento Limitado) sob as quais o TAS inverte com sucesso a desigualdade de preferência.
3. Avaliação Multi-Modelo Verificada: Os autores construíram um benchmark verificado de 8.746 registros abrangendo cinco relações da Wikidata (ex: CEO, Chefe de Estado) e avaliaram quatro modelos de pesos abertos (Qwen-2.5-1.5B/7B, Mistral-7B-v0.3, Llama-3.1-8B).

4. Resultados Experimentais

A avaliação foi conduzida no benchmark de 8.746 registros em três famílias de modelos.

• Prevalência de PTC: As taxas de PTC filtradas escalam monotonicamente com a capacidade do modelo, variando de 4,1% (Qwen-1.5B) a 10,3% (Llama-3.1-8B). A taxa de preferência desatualizada (OPR) é relativamente invariante entre as famílias (~53–54%).
• Localização: O single-layer activation patching alcançou Taxas de Inversão de Resposta (AFR) de 0,72–0,85 em todos os modelos, confirmando que os circuitos de resolução de conflito estão localizados em camadas superiores específicas.
• Desempenho End-to-End: O TAS recupera 29–57% dos casos verificados de PTC, mantendo 85–99% de precisão em consultas de não-conflito (Precisão de Preservação).
  • Melhor Desempenho: O Qwen-2.5-7B alcançou uma taxa de recuperação de 56,9% com 94,8% de preservação.
  • Comparação com Baseline: O TAS supera o baseline de ITI (Inference-Time Intervention) correspondente em três dos quatro modelos. Especificamente, o TAS ganha +0,142 a +0,152 em recuperação nos modelos Qwen em comparação ao ITI, atribuído à construção do vetor de direcionamento a partir de instâncias de conflito verificadas em vez de contrastes comportamentais gerais.
• Análise Cross-Model: As instâncias de PTC não estão perfeitamente alinhadas entre os modelos. Curiosamente, a sobreposição entre Mistral e Llama (famílias diferentes) é maior do que a sobreposição entre os dois modelos Qwen (mesma família), sugerindo que a recência dos dados de treinamento é um preditor de alinhamento de PTC mais forte do que a linhagem arquitetural.

5. Significância e Alegações

O artigo alega fornecer uma explicação baseada em mecanismos e livre de recuperação de como o conhecimento paramétrico desatualizado pode ser seletivamente substituído durante a inferência.

• Utilidade Diagnóstica: O filtro de recuperação de conhecimento oferece um diagnóstico barato para determinar se um modelo possui novos fatos recuperáveis antes de tentar a intervenção.
• Estabilidade: A camada crítica de conflito é específica de cada família, mas estável, permitindo que seja reutilizada uma vez identificada para uma determinada família de modelos.
• Eficácia da Intervenção: Os resultados demonstram que os conflitos temporais são mensuráveis, localizáveis e resolvíveis. O artigo afirma modestamente que, embora o direcionamento por conflito verificado (TAS) geralmente supere o direcionamento por contraste comportamental (ITI), a construção ideal do vetor de direcionamento pode variar conforme a arquitetura do modelo (ex: o ITI teve melhor desempenho no Mistral-7B-v0.3).

O trabalho estabelece que o PTC é um modo de falha distinto, separável da ausência de conhecimento, e que o direcionamento de ativação direcionado pode resolver efetivamente esses conflitos sem o custo computacional de retreinamento ou a latência de recuperação externa.