Thinking with Reasoning Skills: Fewer Tokens, More Accuracy

Resumo Técnico: Thinking with Reasoning Skills (TRS)

1. O Problema

Os Modelos de Linguagem de Grande Escala focados em raciocínio (LRMs), como o OpenAI o1 e o DeepSeek-R1, demonstraram capacidades notáveis em matemática e programação ao gerar longas cadeias de pensamento (Chain-of-Thought - CoT). No entanto, essa abordagem apresenta um gargalo crítico:

• Custo e Latência: A geração de milhares de tokens de "pensamento" (incluindo verificações redundantes, loops de tentativa e erro e desvios) aumenta drasticamente o custo de inferência (faturado por token) e a latência.
• Ineficiência do "Raciocínio do Zero": A maioria dos métodos atuais trata cada consulta como uma folha em branco, forçando o modelo a rederivar toda a lógica de solução a cada vez.
• Trade-off Eficiência-Precisão: Métodos recentes que tentam comprimir o raciocínio (ex: Chain-of-Draft, orçamentos de tokens rígidos) frequentemente resultam em queda de precisão em problemas complexos, pois o modelo pula etapas cruciais para economizar tokens.

2. Metodologia: Thinking with Reasoning Skills (TRS)

O TRS propõe uma mudança de paradigma: em vez de "raciocinar do zero", o modelo deve "raciocinar com experiência recuperada". É uma estrutura sem treinamento (training-free) e compatível com APIs de caixa preta.

O processo divide-se em duas fases:

A. Fase Offline (Construção da Biblioteca de Habilidades):

1. Geração de Trajetórias: Um modelo de raciocínio resolve um conjunto de problemas de origem, gerando trajetórias longas (incluindo tentativas falhas e correções).
2. Distilação de Habilidades: Um modelo sumariador mais forte (ex: Gemini Flash) analisa essas trajetórias e extrai Cartões de Habilidade (Skill Cards).
   • Se a resposta estiver correta: O cartão captura o padrão essencial (ex: "usar substituição u", "aplicar regra da cadeia").
   • Se a resposta estiver errada: O cartão captura um "anti-padrão" e a correção (ex: "evitar expansão direta quando X ocorre").
   • Estrutura: Os cartões são textos estruturados curtos contendo: Gatilho (quando aplicar), Fazer (passos mínimos), Evitar (armadilhas), Verificar e Risco.
3. Armazenamento: Os cartões são armazenados em uma biblioteca de chave-valor, onde a chave inclui o problema original e palavras-chave de recuperação.

B. Fase Online (Recuperação e Injeção):

1. Recuperação: Para uma nova consulta, o sistema recupera os k cartões de habilidade mais relevantes da biblioteca (usando BM25 para matemática ou busca híbrida para código).
2. Injeção no Prompt: Os cartões recuperados são inseridos no prompt do modelo como contexto de "Dicas de Solução".
3. Guia de Raciocínio: O modelo recebe instruções para usar essas habilidades se forem aplicáveis, ignorando conselhos irrelevantes. Isso guia o modelo diretamente para o caminho da solução, evitando desvios exploratórios.

3. Contribuições Principais

1. Framework de Raciocínio Eficiente em Tokens: O TRS desacopla a aquisição da lógica de raciocínio (fase offline cara) da execução (fase online barata), permitindo reutilizar experiência procedural sem atualizar os pesos do modelo.
2. Quebra do Trade-off Eficiência-Precisão: Ao contrário de métodos que apenas forçam a brevidade, o TRS mantém ou melhora a precisão enquanto reduz significativamente o número de tokens gerados.
3. Análise de Transferência e Desdobramento: O estudo demonstra que as habilidades são transferíveis entre diferentes modelos (ex: de um modelo proprietário para um open-source) e que os benefícios aumentam conforme a dificuldade do problema.

4. Resultados Experimentais

Os autores avaliaram o TRS em benchmarks de Matemática (DeepMath-103K) e Programação Competitiva (NEMOTRON), utilizando diversos modelos (GPT-OSS, Gemini-3, Doubao Seed, GPT-4o-mini).

• Redução de Custos e Tokens:
  • No modelo Doubao Seed, o TRS reduziu o custo de inferência em 53,8% (matemática) e 6,0% (código) com perda de precisão insignificante ou melhoria.
  • No GPT-4o-mini, houve uma redução de 20,6% nos tokens de raciocínio em matemática com um aumento de 1,8% na precisão.
  • No GPT-OSS-120B, a precisão foi mantida enquanto o custo caiu 16,9%.
• Desempenho em Problemas Difíceis:
  • Em problemas onde a linha de base (Direct) gasta muitos tokens (indicando dificuldade), métodos como Chain-of-Draft (CoD) sofrem colapso de precisão. O TRS, no entanto, mantém a precisão alta, atuando como um "mapa de navegação" que impede o modelo de se perder em ramos incorretos.
• Transferência Externa:
  • Habilidades extraídas de um corpus de matemática de competições (AoPS) foram transferidas para benchmarks externos (AIME, HMMT), mostrando ganhos de precisão e redução de custos em 13 de 25 pares modelo-benchmark, embora a transferência não seja universal.

5. Significado e Impacto

O trabalho TRS oferece uma solução prática e escalável para a viabilidade econômica da inferência de modelos de raciocínio em produção:

• Viabilidade Econômica: Ao reduzir drasticamente o número de tokens de saída (que são mais caros que os de entrada), o TRS torna a execução de modelos de raciocínio complexos mais acessível para aplicações do mundo real.
• Memória Procedural Externa: O método valida a ideia de que a inteligência pode ser aprimorada não apenas pelo tamanho do modelo, mas pela recuperação eficiente de "experiência" e "padrões" previamente aprendidos, simulando como humanos especialistas utilizam heurísticas em vez de reinventar a roda.
• Compatibilidade: Por ser uma abordagem baseada em prompt e recuperação (RAG), não requer fine-tuning dos modelos de inferência, permitindo sua aplicação imediata em APIs de caixa preta.

Em suma, o TRS demonstra que a eficiência não precisa vir à custa da correção; ao reutilizar experiências destiladas, é possível obter raciocínio mais rápido, mais barato e mais preciso.