Resumo Técnico: Erros de Raciocínio Possuem uma Região e uma Direção na Trajetória do Fluxo Residual de LLMs

1. Definição do Problema

À medida que os Grandes Modelos de Linguagem (LLMs) são cada vez mais implantados em tarefas que exigem raciocínio verificável, distinguir o raciocínio sólido do raciocínio falho tornou-se um desafio crítico. Os métodos tradicionais de sondagem (probing) frequentemente dependem de classificadores lineares estáticos treinados em ativações de uma única camada. No entanto, esses métodos sofrem de duas limitações primárias:

1. Sinais Correlacionados ao Rótulo: Sondagens de camada única frequentemente exploram regularidades superficiais do conjunto de dados (ex: redação, formato, identidade do token) em vez da validade do raciocínio subjacente. Isso leva a uma baixa generalização em benchmarks com diferentes formulações ou tópicos.
2. Perda de Contexto em Métodos de Trajetória: Métos recentes baseados em trajetória (ex: Truth as a Trajectory) analisam deslocamentos camada a camada ($\Delta h = h_{\ell+1} - h_\ell$) para suprimir informações estáveis e específicas de tokens. Embora isso melhore a generalização entre benchmarks, a diferenciação descarta o estado do qual a atualização se origina. Como o significado de uma mudança representacional depende do contexto (estado) em que ela ocorre, sinais de deslocamento puro podem perder informações cruciais relacionadas ao raciocínio.

O problema central identificado é um equilíbrio de restauração de estado: restaurar o estado completo reintroduz sinais correlacionados ao rótulo, enquanto descartá-lo inteiramente (via diferenciação) remove o contexto necessário para interpretar o movimento.

2. Metodologia

Os autores propõem um Detector de Três Fluxos (Three-Stream Detector) que equilibra esse compromisso combinando o movimento com duas visões restritas de localização. O framework opera em um cenário de seleção, onde um modelo recebe uma pergunta e respostas candidatas, e o detector pontua cada candidata com base em sua trajetória de fluxo residual.

Os Três Fluxos

1. Leitor de Movimento (Deslocamento):

   • Segue abordagens anteriores baseadas em trajetória.
   • Computa deslocamentos camada a camada: $d_{t,\ell} = h_{t,\ell+1} - h_{t,\ell}$.
   • Atenua o conteúdo persistente e específico de tokens para permitir a transferência de sinal entre conjuntos de dados.
   • É processado por um LSTM bidirecional para produzir um embedding de movimento ($c_{mot}$).

2. Leitor de Região (Localização Coarse/Grosseira):

   • Restaura uma localização de estado grosseira sem reintroduzir redação detalhada.
   • Utiliza direções de estado normalizadas ($u_{t,\ell} = h_{t,\ell} / \|h_{t,\ell}\|$) de uma janela fixa de camadas intermediárias a tardias.
   • Projeta essas direções e as passa por um codificador para um código de livro (codebook) aprendido de tamanho $K$.
   • Substitui o estado contínuo pela entrada de código mais próxima (Quantização Vetorial), produzindo um código de região discreto ($c_{reg}$).
   • Isso atua como um "gargalo" que retém apenas a região geral do espaço de estado.

3. Leitor de Direção (Localização Fina):

   • Restaura distinções de estado finas enquanto descarta magnitude e tokens/camadas irrelevantes.
   • Preserva as direções de estado normalizadas ($u_{t,\ell}$) através das camadas selecionadas e tokens da resposta.
   • Utiliza um MLP compartilhado para mapear as direções para uma representação, combinando o estado do token final (onde a resposta se estabelece) e a média dos estados intermediários (o caminho percorrido).
   • Produz um embedding de direção ($c_{dir}$).

Fusão

Os três embeddings ($c_{mot}, c_{reg}, c_{dir}$) são concatenados e passados por um cabeçalho MLP para produzir uma pontuação de validade. O modelo é treinado de ponta a ponta em um objetivo de pares para selecionar a candidata correta.

3. Principais Contribuições

1. Identificação do Equilíbrio de Restauração de Estado: O artigo demonstra que a diferenciação de trajetória descarta informações de estado relacionadas ao raciocínio, enquanto a restauração total do estado reintroduz sinais correlacionados ao rótulo.
2. Leitores de Estado Complementares: Os autores introduzem um Leitor de Região (via quantização vetorial) e um Leitor de Direção (via estados normalizados de múltiplas camadas) que restauram seletivamente informações de estado em diferentes resoluções.
3. Generalização Além da Distribuição de Treino:
   • O método melhora a precisão de seleção em benchmarks de raciocínio não vistos em até 21% sobre a sondagem linear de camada única e 12% sobre métodos de estado de arte baseados apenas em deslocamento.
   • Crucialmente, um detector treinado apenas em benchmarks de raciocínio identifica com sucesso erros fatuais (em tarefas de verificação de fatos e completude) nos quais nunca foi treinado, sugerindo que o sinal captura a "corretude" em vez de um tipo específico de raciocínio.
4. Sinais Complementares: Estudos de ablação confirmam que movimento, região e direção fornecem informações complementares; nenhum fluxo único domina, e sua combinação produz o melhor desempenho.

4. Resultados Experimentais

• Datasets: O treinamento foi realizado em doadores de raciocínio (ARC-Challenge, ARC-Easy, OpenBookQA, CommonsenseQA, Social IQa, HellaSwag). A avaliação incluiu transferência zero-shot para outros benchmarks de raciocínio (MMLU, Story Cloze) e de fatos (FACTOR-wiki, FACTOR-news, FACTOR-expert, VitaminC).
• Desempenho:
  • Em benchmarks de raciocínio, o modelo completo de três fluxos superou a linha de base de movimento apenas em 7–12 pontos percentuais e as sondagens lineares em 10–21 pontos percentuais em configurações fora da distribuição (OOD).
  • Em benchmarks de fatos, o detector treinado em raciocínio superou tanto o modelo de movimento apenas quanto as sondagens lineares, demonstrando que o sinal aprendido generaliza para a corretude factual.
• Ablações:
  • Adicionar o fluxo de Região ou de Direção à linha de base de Movimento melhorou o desempenho.
  • O código de Região (quantizado) sozinho reteve poder preditivo significativo, provando que a informação de localização grosseira é um sinal forte para a corretude.
  • O método funciona em diferentes arquiteturas de modelo (Llama-3.1-8B, Qwen2.5-14B, Qwen3-30B-A3B).

5. Significância e Alegações

O artigo alega que a validade do raciocínio é melhor lida a partir do movimento condicionado ao estado do que a partir de estados estáticos ou trajetórias descontextualizadas isoladamente.

• Natureza do Sinal: Os resultados sugerem que o sinal de validade não está preso a um "tipo" específico de raciocínio (ex: matemático vs. senso comum), mas é uma propriedade mais fundamental de corretude. O detector aprende a distinguir trajetórias corretas de incorretas, independentemente do domínio específico da tarefa.
• Interpretabilidade: Ao separar "como o cálculo se move" (movimento) de "onde ele se situa" (região/direção), o método fornece uma leitura mais robusta do processo de raciocínio interno do modelo.
• Limitações: Os autores observam que o detector é limitado a tarefas de seleção (escolher entre candidatos) em vez de julgar respostas únicas. Ele também requer uma passagem direta (forward pass) por candidata e um benchmark doador rotulado para treinamento. O desempenho é limitado pela capacidade inerente do modelo de distinguir respostas corretas de incorretas em seu fluxo residual.

Em resumo, o trabalho estabelece que restaurar uma visão restrita e consciente do contexto do estado, juntamente com o movimento da trajetória, resolve o equilíbrio entre suprimir sinais superficiais e reter o contexto de raciocínio necessário, levando a detectores robustos e generalizáveis para corretude de raciocínio e de fatos.