Reasoning Models Know What's Important, and Encode It in Their Activations

Título: Modelos de Raciocínio Sabem o Que é Importante e Codificam Isso em Suas Ativações

1. Problema e Motivação

Os modelos de linguagem (LLMs) de raciocínio resolvem tarefas complexas gerando longas cadeias de raciocínio (Chain-of-Thought - CoT) compostas por múltiplos passos intermediários. No entanto, nem todos esses passos são essenciais; alguns são críticos para a resposta final, enquanto outros são redundantes ou informativamente vazios.

• Questão Central: Como identificar quais passos são verdadeiramente importantes?
• Limitação Atual: Abordagens anteriores baseiam-se principalmente na análise dos tokens (o texto gerado) ou em juízes externos (outros LLMs). O artigo argumenta que essas abordagens de "superfície" podem ser falhas (não fiáveis) e perder informações valiosas contidas nas representações latentes do modelo.
• Hipótese: As ativações internas do modelo contêm uma representação mais precisa e rica da importância de cada passo de raciocínio do que o próprio texto gerado.

2. Metodologia

O estudo propõe uma abordagem baseada em intervenção causal e probing (sondagem) para investigar a importância dos passos.

A. Definição de Importância (Removibilidade)

A importância de um passo é definida operacionalmente pela sua removibilidade:

• Um passo é considerado importante se a sua remoção impedir o modelo de gerar a resposta correta.
• Um passo é removível se o modelo puder ainda atingir a resposta correta sem ele.
• Métricas:
  • Suficiência: A capacidade de uma subsequência de passos gerar a resposta correta (medida pela taxa de acerto em múltiplas amostragens).
  • Alcançabilidade (Attainability): A probabilidade de a subsequência ocorrer naturalmente dada a entrada (medida pela perplexidade), garantindo que a subsequência não seja apenas uma "cola" da resposta, mas um raciocínio válido.

B. Identificação da Subsequência Central (Core Reasoning Subsequence)

Os autores desenvolveram um procedimento guloso para encontrar a subsequência mínima de passos essenciais ($T^*$) a partir de uma cadeia completa. Compararam três variantes para classificar e remover passos:

1. Baseada em Ativações (Activation-based): Utiliza atribuição de gradiente para calcular a influência de cada passo sobre os passos subsequentes e a resposta final. Remove passos com menor influência latente.
2. Baseada em Tokens (Token-based): Utiliza um LLM externo (Gemini-2.5-Pro) para julgar quais passos são importantes com base apenas no texto.
3. Aleatória: Baseline para comparação.

C. Probing e Análise de Representações

Para verificar se o modelo "sabe" o que é importante, os autores treinaram classificadores (probes) para prever se um passo é removível ou não, utilizando diferentes representações de entrada:

• Ativações de Contexto Completo: Usando as ativações residuais de todas as camadas e tokens do passo, considerando todo o histórico de raciocínio anterior.
• Representações de Superfície: Usando apenas o texto do passo (TF-IDF, Embeddings Semânticos) ou o texto com contexto completo (via LLM externo).
• Análise de Camadas: Investigação de onde a informação de importância está localizada (camadas específicas vs. distribuída).

3. Principais Contribuições e Resultados

A. As Ativações Superam os Tokens na Identificação de Passos Importantes

• A abordagem baseada em ativações identificou consistentemente um conjunto menor de passos essenciais ($T^*$) em comparação com a abordagem baseada em tokens (LLM externo) ou aleatória.
• Isso indica que as informações latentes contêm sinais mais precisos sobre quais passos são realmente necessários para a lógica do problema, enquanto o texto gerado pode conter "teatro" ou passos performáticos desnecessários.

B. O Modelo Codifica a Importância Internamente (Pre-hoc)

• Os probes treinados nas ativações alcançaram alta precisão ($\ge 80\%$) na previsão de quais passos são removíveis.
• Descoberta Crucial: Essa representação de importância existe antes da geração dos passos subsequentes. Ou seja, o modelo já "sabe" a importância de um passo no momento em que o processa, antes de gerar o que vem a seguir.
• A detecção exige contexto completo (histórico de raciocínio) e representações latentes ricas. Métodos baseados apenas no texto do passo (sem contexto) ou em embeddings superficiais tiveram desempenho significativamente inferior.

C. Generalização Cross-Modelo

• A noção de importância é universal entre modelos. Um probe treinado nas ativações de um modelo (ex: DeepSeek) consegue prever com alta precisão a importância dos passos gerados por outro modelo diferente (ex: GPT-OSS), e vice-versa.
• Isso sugere que a importância de um passo de raciocínio é um conceito intrínseco ao problema e à lógica, e não uma característica específica de um único modelo.

D. Não é uma Propriedade de Superfície

• A importância não correlaciona-se fortemente com características superficiais como:
  • Posição relativa no raciocínio.
  • Comprimento do passo (número de tokens).
  • Presença de palavras-chave (ex: "portanto", "cálculo").
• A informação é distribuída por todas as camadas e posições do modelo, não estando localizada em uma única camada específica.

4. Significado e Implicações

1. Fidelidade do Raciocínio: O estudo demonstra que o texto gerado (tokens) nem sempre reflete fielmente o processo de pensamento interno do modelo. Passos que parecem importantes no texto podem ser removíveis, e passos cruciais podem ser codificados de forma abstrata nas ativações.
2. Interpretabilidade: Para entender verdadeiramente como os modelos de raciocínio funcionam, é necessário olhar para as ativaciones internas e não apenas para a saída textual. Abordagens puramente baseadas em texto podem levar a conclusões erradas sobre a "causa" de uma resposta.
3. Eficiência e Pruning: Como os modelos codificam a importância de forma latente, é possível desenvolver mecanismos em tempo de inferência para identificar e remover passos redundantes dinamicamente, reduzindo o custo computacional e o comprimento do contexto sem perder a precisão da resposta.
4. Direção Futura: Sugere que a análise de raciocínio deve evoluir de métodos baseados em tokens para métodos baseados em latentes, e que a poda de cadeias de raciocínio (reasoning chain pruning) pode ser otimizada explorando esses sinais internos.

Conclusão

O artigo prova que os modelos de linguagem de raciocínio possuem uma representação interna robusta e generalizável sobre a importância de cada passo de sua cadeia de pensamento. Essa representação é acessível através das ativações latentes, é distribuída pela rede e independe de características superficiais do texto, oferecendo uma nova lente mais fiel para a interpretação e otimização de modelos de raciocínio.