Procedural Knowledge at Scale Improves Reasoning

Título: Procedural Knowledge at Scale Improves Reasoning

Autores: Di Wu, Devandra Singh Sachan, Wen-tau Yih, Mingda Chen (UCLA e Meta FAIR)
Data: Abril de 2026 (Nota: O documento apresenta uma data futura, indicando um cenário de pesquisa projetado ou um erro de datação no texto fornecido, mas o conteúdo é tratado como uma contribuição técnica atual).

---

1. O Problema

O scaling no tempo de inferência (test-time scaling) tornou-se uma estratégia central para melhorar o desempenho de modelos de linguagem (LLMs) em tarefas complexas de raciocínio (matemática, ciência e codificação). Modelos como o OpenAI o1 e DeepSeek R1 são treinados para gerar tokens de "pensamento", permitindo que "pensem mais" com orçamentos de tokens maiores.

No entanto, as abordagens atuais apresentam uma limitação crítica:

• Isolamento de Problemas: A maioria dos métodos trata cada problema de forma isolada, sem reutilizar sistematicamente o conhecimento de trajetórias de raciocínio anteriores.
• Subutilização do Conhecimento Procedural: Embora os modelos acessem conhecimento factual (definições, fórmulas), eles falham em aproveitar o conhecimento procedural: como reformular um problema, decompor em subquestões, escolher uma abordagem, verificar resultados ou fazer backtracking.
• Ineficiência: Descartar esse conhecimento procedural força os modelos a "redescobrir" estratégias úteis repetidamente, prejudicando tanto a precisão quanto a eficiência.
• Falha do RAG Tradicional: Sistemas de Geração Aumentada por Recuperação (RAG) padrão, que recuperam documentos gerais, muitas vezes falham em alinhar o contexto recuperado com o estado atual de raciocínio do modelo, fornecendo apenas conhecimento de fundo genérico em vez de guias procedimentais específicos.

2. Metodologia: Reasoning Memory

Os autores propõem o Reasoning Memory, um framework de RAG projetado especificamente para recuperar e reutilizar conhecimento procedural em escala durante a inferência.

A. Construção do Datastore de Conhecimento Procedural

Em vez de indexar documentos web genéricos, o sistema extrai conhecimento de trajetórias de raciocínio existentes (corpus Nemotron V1, contendo ~32 milhões de pares):

1. Decomposição: Cada trajetória de raciocínio longa e ruidosa é decomposta em pares autossuficientes de Subquestão (SQ) e Subrotina (SR).
   • Subquestão: Uma descrição concisa de um objetivo intermediário (ex: "Como calcular a área de um triângulo dados os lados?").
   • Subrotina: Um resumo de alto nível do procedimento para resolver essa subquestão, abstraindo cálculos locais e tentativas falhas.
2. Escala: O datastore final contém aproximadamente 32 milhões de entradas compactas, cobrindo matemática, ciências e codificação.

B. Recuperação Ativa no Pensamento (In-Thought Active Retrieval)

Durante a inferência, o modelo não apenas "pensa", mas também busca ativamente ajuda:

1. Verbalização da Subquestão: Um prompt leve ("thought-hijacking") instrui o modelo a verbalizar sua subquestão atual como uma consulta de busca (ex: "Vamos formular uma consulta de busca no Google para um problema básico similar...").
2. Recuperação: O sistema recupera as subrotinas mais relevantes do datastore com base nessa consulta verbalizada.
3. Injeção de Priors: As subrotinas recuperadas são injetadas diretamente na corrente de pensamento do modelo como "priors procedimentais implícitos" (dicas de como abordar o problema), sem revelar a resposta final.

C. Escalonamento no Tempo de Inferência

O framework adapta o orçamento de computação (número de amostras):

• O modelo gera múltiplas trajetórias de raciocínio sob diferentes subrotinas recuperadas.
• Um heurístico simples baseado no comprimento da geração (trajetórias mais curtas tendem a ser mais confiantes e menos propensas a backtracking excessivo) é usado para filtrar e selecionar as melhores trajetórias antes de escolher a resposta final.

3. Contribuições Chave

1. Mudança de Paradigma no RAG para Raciocínio: Demonstra que para modelos de raciocínio, recuperar procedimentos (como resolver) é mais eficaz do que recuperar fatos (o que é) ou trajetórias completas.
2. Datastore Procedural em Escala: A criação de um repositório de 32 milhões de pares SQ-SR, permitindo uma cobertura procedural ampla e granular.
3. Mecanismo de Recuperação Integrada: A técnica de "verbalização no pensamento" alinha perfeitamente a consulta do modelo com o datastore, superando a desalinhamento comum em RAGs tradicionais.
4. Estratégia de Diversidade: Mostra que, com orçamentos maiores, é mais eficaz explorar múltiplas trajetórias sob um conjunto diversificado de subrotinas recuperadas do que focar intensamente em uma única abordagem.

4. Resultados Experimentais

O método foi avaliado em modelos de raciocínio de código aberto (DeepSeek-R1-Distill-Llama-8B, OpenThinker3-7B, Qwen3-32B) em benchmarks de ponta:

• Benchmarks: AIME 2024/2025 (Matemática), GPQA-Diamond (Ciência), LiveCodeBench (Codificação).
• Desempenho:
  • O Reasoning Memory superou consistentemente o RAG baseado em documentos, RAG baseado em trajetórias completas, RAG baseado em templates e o scaling sem recuperação.
  • Ganhos: Melhorias de até 19,2% em relação a nenhum RAG e 7,9% em relação à melhor linha de base com orçamento computacional equivalente.
  • Escalabilidade: O desempenho melhora monotonicamente com o aumento do orçamento de inferência (número de amostras), especialmente quando se prioriza a diversidade de subrotinas recuperadas.
• Estudos de Ablação:
  • A decomposição em subquestões é crucial; usar a pergunta original inteira como chave de recuperação degrada o desempenho.
  • A verbalização da consulta pelo próprio modelo é superior ao uso da pergunta original como consulta.
  • O datastore misto (Matemática + Ciência + Código) performou melhor do que datastores específicos de domínio, indicando transferência de conhecimento procedural entre áreas.

5. Significância e Conclusão

O trabalho estabelece que o poder computacional no tempo de inferência não deve ser gasto apenas gerando cadeias de pensamento mais longas, mas também na reutilização estruturada de experiências de resolução de problemas anteriores.

• Para a Comunidade de RAG: Sugere que o foco deve mudar de documentos gerais para "memórias procedimentais" compactas e acionáveis.
• Para Modelos de Raciocínio: Oferece um caminho prático para melhorar a precisão sem retreinamento massivo, transformando corpora de treinamento em recursos de inferência dinâmicos.
• Futuro: Abre caminho para sistemas que acumulam, recuperam e refinam conhecimento procedural ao longo do tempo, potencialmente criando agentes de raciocínio que aprendem continuamente com suas próprias trajetórias e as de outros.

Em resumo, o Reasoning Memory prova que a recuperação de "como fazer" (procedimento) em escala é um multiplicador de força crítico para o raciocínio de IA, superando as limitações atuais do scaling puramente baseado em força bruta ou recuperação de fatos.