How Do Answer Tokens Read Reasoning Traces? Self-Reading Patterns in Thinking LLMs for Quantitative Reasoning

Título: Como os Tokens de Resposta Leem Traços de Raciocínio? Padrões de Auto-Leitura em LLMs Pensantes para Raciocínio Quantitativo

1. Problema e Motivação

Os Modelos de Linguagem de Grande Escala (LLMs) "pensantes" (ou modelos de raciocínio), como o DeepSeek-R1 e a série Gemini, geram traços de raciocínio extensos antes de produzir uma resposta final. Embora trabalhos anteriores tenham focado em moldar esses traços de raciocínio através de steering (direcionamento) de ativações, permanece pouco compreendido como os tokens de resposta leem e integram efetivamente o raciocínio gerado para produzir resultados confiáveis.
A questão central é: durante a decodificação da resposta, como o modelo navega pelo ruído e extrai informações-chave de um traço de raciocínio que pode ter milhares de tokens? A falta de compreensão sobre esse mecanismo de "auto-leitura" impede intervenções mais precisas para melhorar a precisão e a estabilidade dos modelos.

2. Metodologia e Análise

Os autores realizaram uma análise detalhada dos mecanismos de atenção entre tokens de resposta e tokens de raciocínio em tarefas de raciocínio quantitativo (focando em benchmarks como GSM8K, MATH500 e SVAMP).

A. Descoberta de Padrões de Auto-Leitura (Self-Reading):
A análise revelou um padrão de "auto-leitura benigna" em soluções corretas, caracterizado por duas propriedades distintas que refletem certeza interna:

1. Deslocamento Progressivo do Centróide de Atenção (Forward Drift): À medida que a resposta é gerada, o foco de atenção dos tokens de resposta desloca-se progressivamente de posições iniciais para posições mais tardias no traço de raciocínio. Isso indica que o modelo segue um fluxo lógico coerente e avança em uma solução viável, em vez de vagar aleatoriamente.
2. Concentração Persistente em Âncoras Semânticas: Os tokens de resposta retornam repetidamente a "âncoras semânticas" críticas no traço, como restrições do problema, planos de solução, verificações ("wait", "check") e conclusões finais. Isso demonstra um monitoramento ativo das evidências que suportam a resposta.

Em contraste, soluções incorretas exibem padrões de atenção difusos, irregulares e sem uma estrutura clara, sinalizando incerteza cognitiva.

B. Proposta de Método: Self-Reading Quality (SRQ):
Com base nessas descobertas, os autores propõem um método de steering (direcionamento) sem treinamento, impulsionado por uma pontuação de Qualidade de Auto-Leitura (SRQ). O SRQ quantifica a qualidade da leitura do modelo em duas dimensões:

• Dimensão Geométrica: Mede o controle do processo. Avalia se o centróide de atenção segue uma tendência diagonal suave (progressão linear) ao longo do traço de raciocínio.
• Dimensão Semântica: Mede a qualidade do monitoramento de conteúdo. Avalia se a atenção se concentra em tokens de raciocínio "bons" (passos lógicos corretos, restrições) e evita tokens "ruins" (cálculos errados, desvios).

C. Mecanismo de Direcionamento (Steering):
O método utiliza as pontuações SRQ para selecionar amostras contrastantes:

1. Seleciona-se o top 80% das soluções corretas com alta SRQ (leitura benigna).
2. Seleciona-se o bottom 80% das soluções incorretas com baixa SRQ (leitura desorganizada).
3. Constroem-se vetores de direção (steering vectors) a partir das diferenças de ativação entre esses grupos.
4. Durante a inferência, esses vetores são adicionados às ativações do modelo (especificamente nas camadas intermediárias a tardias) para guiar o modelo em direção a um estado de auto-leitura mais ordenado e certo.

3. Contribuições Principais

1. Identificação de Padrão de Auto-Leitura: A descoberta de que a "auto-leitura benigna" (deslocamento frontal e foco em âncoras) é um sinal robusto de certeza interna e correlaciona-se fortemente com a correção da resposta em LLMs pensantes.
2. Método de Steering SRQ: Desenvolvimento de uma técnica de intervenção sem treinamento que formaliza e promove comportamentos de leitura benéfica, combinando métricas geométricas e semânticas.
3. Validação Empírica: Demonstração de que o método melhora consistentemente a precisão em múltiplos benchmarks e modelos, validando a conexão entre a estrutura de atenção na fase de resposta e o desempenho final.

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos de ponta (R1-Distill-Llama-8B, R1-Distill-Qwen-7B, Qwen3-4B-Thinking) em benchmarks como GSM8K, MATH500 e SVAMP.

• Ganhos de Precisão: O método SRQ produziu ganhos consistentes de precisão sobre os modelos base e sobre outros métodos de steering existentes (como CAA, Conceptor e RepE).
  • No GSM8K, o R1-Distill-Llama-8B viu sua precisão aumentar de 85.8% para 88.4% (com PCA-CAA + SRQ), um ganho de 2.6% sobre a base.
  • No MATH500 e SVAMP, observaram-se melhorias semelhantes, com ganhos de até 2.4% a 2.5%.
• Generalização: O método funcionou bem em tarefas mais complexas (AIME24-25) e transferiu-se eficazmente entre conjuntos de dados (de GSM8K para SVAMP), indicando que captura um sinal intrínseco de certeza cognitiva.
• Confiança do Modelo: A intervenção aumentou não apenas a precisão, mas também a confiança (confidence) média do modelo durante a geração, confirmando que o método induz um estado de maior certeza cognitiva.
• Preservação de Reflexão: A análise mostrou que o método não suprime a capacidade do modelo de refletir e auto-corrigir (ex: uso de "wait" ou "check"), mas sim organiza essas reflexões, reduzindo hesitações redundantes.

5. Significado e Impacto

Este trabalho oferece uma nova perspectiva sobre a arquitetura interna dos LLMs pensantes, sugerindo que a fase de geração da resposta atua como uma operação de meta-cognição que lê e resume o raciocínio anterior.

• Diagnóstico de Falhas: A análise de padrões de atenção revela que erros muitas vezes surgem não apenas de raciocínio falho, mas de uma falha na fase de resposta em "ler" corretamente o traço gerado (incapacidade de consolidar evidências).
• Intervenção Eficiente: O método SRQ oferece uma ferramenta prática e sem treinamento para melhorar a confiabilidade de modelos de raciocínio, direcionando-os para estados internos mais estáveis e organizados.
• Fundamento Teórico: A descoberta alinha o comportamento dos LLMs com teorias cognitivas clássicas de monitoramento e controle, onde a "resposta" atua como um nível meta que valida e utiliza a execução do nível objeto (raciocínio).

Em resumo, o artigo demonstra que como o modelo lê sua própria mente é tão crucial quanto o que ele pensa, e que otimizar esse processo de leitura pode levar a saltos significativos na precisão de raciocínio quantitativo.