Resumo Técnico: Direções de Raciocínio Invariantes em Trajetórias Latentes de Modelos de Linguagem

Declaração do Problema

Modelos de raciocínio latente, como o Coconut, realizam inferência de múltiplos passos atualizando iterativamente os estados ocultos no espaço de embedding sem gerar tokens intermediários explícitos. Embora esse paradigma evite o overhead de tokens do prompting de Cadeia de Pensamento (CoT), a estrutura interna dessas trajetórias de raciocínio latente permanece mal compreendida.

O problema central identificado é a fragilidade da trajetória. Observações empíricas mostram que entradas semanticamente equivalentes (paráfrases) frequentemente induzem trajetórias latentes divergentes, mesmo quando as respostas finais estão corretas. Inversamente, métodos existentes de refinamento pós-treinamento (ex: Wang et al., 2026) que direcionam trajetórias usando sinais contrastivos entre checkpoints de referência fortes e fracos sofrem de instabilidade. Esses métodos aplicam atualizações contrastivas uniformemente em todo o espaço de embedding, propagando inadvertidamente ruído específico de instância, variações sensíveis a paráfrases e artefatos específicos de checkpoint junto com sinais genuínos de raciocínio. Isso leva a três modos de falha recorrentes: sensibilidade a hiperparâmetros, dependência de pares de checkpoints de referência específicos e divergência sob reformulações de entrada.

Os autores hipotetizam que as trajetórias de raciocínio latente contêm uma decomposição estruturada: um pequeno conjunto de direções estáveis e invariantes associadas à qualidade do raciocínio, misturadas com componentes instáveis e específicos da instância. Os métodos atuais falham porque tratam o sinal contrastivo como um vetor homogêneo, falhando em distinguir entre esses componentes estáveis e instáveis.

Metodologia: Refinamento Latente de Trajetória Invariante (TILR)

O artigo introduz o Refinamento Latente de Trajetória Invariante (TILR), um framework de intervenção livre de treinamento projetado para isolar e manipular direções de raciocínio estáveis. O TILR opera sobre o vetor de diferença contrastiva ($\delta_t = h^{\text{good}}_t - h^{\text{bad}}_t$) derivado de passagens de ida através de modelos de referência.

O framework consiste em três estágios principais:

1. Identificação de Subespaço Invariante:
   Usando um conjunto de calibração modesto, o método computa diferenças contrastivas através de entradas e passos de raciocínio. Ele realiza uma Decomposição em Valores Singulares Truncada (SVD) na matriz de diferença empilhada para identificar um subespaço de baixo posto ($S_r$). Este subespaço captura as direções onde as trajetórias de raciocínio fortes e fracas diferem consistentemente, filtrando direções dominadas por variância genérica de entrada ou estilo lexical.

2. Projeção Restrita ao Subespaço:
   Durante a inferência, a direção contrastiva bruta $d_t$ é projetada no subespaço invariante aprendido ($\Pi d_t$). Este passo filtra componentes da atualização que residem fora do manifold de raciocínio estável, removendo efetivamente o ruído específico da instância e artefatos de pares de referência antes que eles influenciem a trajetória.

3. Portão de Estabilidade Adaptativo:
   Para garantir maior robustez, o TILR emprega um portão adaptativo que modula a força da atualização com base no alinhamento do sinal atual com o subespaço invariante. Uma pontuação de alinhamento $\gamma_t$ é computada como a razão entre a norma projetada e a norma total. O tamanho do passo $\eta_t$ é escalonado por $\gamma_t$.

   • Se $\gamma_t \approx 1$, o sinal está bem alinhado com padrões históricos de raciocínio, e a correção projetada total é aplicada.
   • Se $\gamma_t \approx 0$, o sinal é dominado por ruído ou componentes instáveis; a correção é suprimida e o sistema retorna ao comportamento do backbone não corrigido. Isso fornece uma garantia de "não-dano" para entradas de baixa confiança.

Principais Contribuições

1. Caracterização Geométrica: O artigo fornece evidência empírica de que os sinais de refinamento contrastivo em raciocínio latente estão altamente concentrados em subespaços de baixa dimensão. Essas direções invariantes são distintas dos componentes principais dos embeddings de entrada brutos, capturando a variância da qualidade do raciocínio em vez da variação lexical ou estilística.
2. Framework TILR: Os autores propõem um método de intervenção livre de treinamento que decompõe sinais contrastivos em componentes estáveis e instáveis, aplicando apenas a parte estável escalonada por sua confiabilidade.
3. Validação Causal: Através de intervenções de subespaço, os autores demonstram que essas direções invariantes desempenham um papel funcional e causal na consistência do raciocínio e estabilidade da trajetória, em vez de serem meros correlatos da variância do estado oculto.
4. Novas Métricas: O artigo introduz análises de nível de trajetória para avaliar o raciocínio latente além da acurácia padrão, incluindo consistência de paráfrase (acordo de resposta através de reformulações), variância da trajetória latente e sensibilidade à escolha de checkpoints de referência.

Resultados Experimentais

Os autores avaliaram o TILR em seis benchmarks de raciocínio (GSM8K, MathQA, AQUA-RAT, SVAMP, GSM-Plus, StrategyQA) usando backbones GPT-2 e Qwen2.5.

• Estrutura de Baixo Posto: A análise espectral confirmou que um pequeno número de direções latentes (frequentemente $r < 10$, às vezes $r=1$) explica mais de 90% da energia contrastiva entre trajetórias fortes e fracas.
• Robustez a Paráfrases: O TILR reduziu a variância da trajetória latente em 25–53% (média de 39%) em comparação com métodos de refinamento não restritos quando as entradas foram parafraseadas. Consequentemente, o acordo de resposta entre reformulações semanticamente equivalentes melhorou em aproximadamente 10% em média.
• Preservação de Acurácia: O TILR melhorou a acurácia do raciocínio sobre o refinamento não restrito em uma média de 2,1%, mantendo a eficiência de tokens do raciocínio latente. Ganhos notáveis foram observados em datasets focados em robustez como SVAMP (+3,9%) e StrategyQA (+5,5%).
• Estabilidade de Checkpoint: O TILR reduziu significativamente a sensibilidade à escolha de pares de checkpoints de referência, alcançando reduções de desvio padrão de até 74,2% no GSM8K e AQuA-RAT.
• Análise de Componentes: Estudos de ablação mostraram que tanto a projeção de subespaço quanto o portão adaptativo contribuem independentemente para o desempenho, com a projeção fornecendo a maior parte do ganho ao restringir as atualizações a direções consistentes.

Significância e Alegações

O artigo defende uma visão geométrica do raciocínio latente, postulando que o comportamento de raciocínio transferível emerge de estruturas estáveis de baixa dimensão dentro das trajetórias de estados ocultos. Os autores afirmam que as falhas de raciocínio em modelos latentes muitas vezes decorrem não da falta de um sinal útil, mas da mistura de estrutura estável associada ao raciocínio com variação instável e específica da instância.

O TILR demonstra que, ao separar esses componentes e restringir as intervenções a direções invariantes, é possível melhorar significativamente a confiabilidade e a consistência do raciocínio latente sem retreinar o modelo. Os autores observam modestamente que, embora o TILR reduza substancialmente a divergência da trajetória, ele não elimina inteiramente a instabilidade latente, e o objetivo não é identificar "neurônios de raciocínio" explícitos, mas estudar a estrutura geométrica das trajetórias através de intervenções de nível de subespaço. Este trabalho sugere que melhorias futuras no raciocínio latente podem depender de uma melhor compreensão e manipulação dessas estruturas geométricas invariantes.