DRP: Distilled Reasoning Pruning with Skill-aware Step Decomposition for Efficient Large Reasoning Models

1. Declaração do Problema

Modelos de Raciocínio de Grande Escala (LRMs), como o o1 da OpenAI e o DeepSeek-R1, destacam-se em tarefas complexas ao gerar longas trajetórias de raciocínio em Cadeia de Pensamento (CoT). No entanto, eles sofrem de "superpensamento", produzindo saídas excessivamente verbosas com etapas redundantes, retrocessos desnecessários e loops repetitivos. Isso leva a:

• Altos Custos de Inferência: Uso significativo de tokens e latência.
• Degradação da Precisão: O raciocínio redundante pode desviar o modelo para conclusões incorretas.
• Incompatibilidade na Distilação: Ao distilar conhecimento de um professor "Short-CoT" (conciso, polido) para um aluno "Long-CoT" (verboso, reflexivo), surge uma lacuna de aprendibilidade. O aluno luta para imitar diretamente o estilo conciso do professor, resultando frequentemente em desempenho deficiente ou quedas de precisão.

Soluções existentes, como a poda no momento da inferência (parar a geração antecipadamente), correm o risco de interromper o raciocínio prematuramente, enquanto a distilação padrão frequentemente falha em fechar a lacuna estrutural entre alunos verbosos e professores concisos.

2. Metodologia: Distilled Reasoning Pruning (DRP)

O DRP é um framework híbrido que unifica a poda no momento da inferência com a distilação por ajuste fino supervisionado (SFT). Em vez de simplesmente treinar o aluno na resposta final do professor ou em um CoT curto, o DRP utiliza o professor para podar e refinar as próprias trajetórias de raciocínio verbosas do aluno.

O processo consiste em três etapas (ilustradas na Figura 2 do artigo):

A. Decomposição de Etapas Baseada em Habilidades

• O modelo aluno gera uma trajetória de CoT inicial e verbosa ($T$).
• Um LLM Professor (por exemplo, GPT-4o) decompõe essa trajetória em segmentos não sobrepostos.
• Inovação Chave: Diferente de uma divisão ingênua de frases, o professor atribui um rótulo de habilidade funcional a cada etapa (por exemplo, "Leitura da quantidade dada", "Representação algébrica", "Inferência lógica"). Isso garante que as etapas sejam semanticamente coerentes e funcionalmente alinhadas.

B. Poda e Reescrita em Nível de Etapa

O modelo professor avalia cada etapa rotulada por habilidade e aplica uma das quatro ações:

1. Manter: Retém a etapa inalterada.
2. Deletar: Remove etapas redundantes, não informativas ou de retrocesso.
3. Reescrever: Condensa a etapa preservando a intenção lógica.
4. Mesclar: Combina etapas adjacentes em uma única unidade atômica.

• O professor então reconstrói uma trajetória de raciocínio fluida e concisa ($\hat{T}$) que mantém o tom original do aluno, mas remove a verbosidade. Também atualiza o resumo da resposta final ($\hat{A}$) se necessário.

C. Ajuste Fino Supervisionado (SFT)

• O modelo aluno é ajustado finamente em pares de $(Input, \hat{R})$, onde $\hat{R}$ é a resposta podada e refinada pelo professor.
• O objetivo é minimizar a verossimilhança negativa da trajetória refinada, ensinando o aluno a internalizar estratégias de raciocínio alinhadas a habilidades e eficientes em tokens, sem perder a profundidade estrutural necessária para problemas complexos.

3. Contribuições Principais

1. Framework DRP: Um método inovador que fecha a "lacuna de aprendibilidade" podando o caminho de raciocínio do aluno usando um professor, em vez de forçar o aluno a imitar um estilo de raciocínio completamente diferente do professor.
2. Decomposição Consciente de Habilidades: Introduz um mecanismo para segmentar o raciocínio em unidades semanticamente coerentes e funcionalmente rotuladas. Isso fornece uma base estável para poda precisa, superando a divisão ingênua.
3. Insight de Consistência Estrutural: Demonstra que CoTs de treinamento eficazes devem ser tanto informativos quanto estruturalmente consistentes com o processo de raciocínio do aluno. Preservar a estrutura passo a passo (mesmo que encurtada) é mais eficaz do que a compressão ingênua.

4. Resultados Experimentais

Os autores avaliaram o DRP em modelos DeepSeek-R1-Distill-Qwen (1.5B e 7B) em benchmarks dentro do domínio (GSM8K) e fora da distribuição (OOD) (MATH500, AIME24, AMC23).

Principais Descobertas:

• Eficiência de Tokens: O DRP reduziu significativamente o uso de tokens sem sacrificar a precisão.
  • GSM8K (7B): Tokens reduzidos de 917 para 328 (-64%), enquanto a precisão melhorou de 91,7% para 94,1%.
  • AIME24 (7B): Tokens reduzidos em 43% sem queda na precisão (15/30 corretos).
  • AMC (1.5B): Tokens reduzidos de 4574 para 3657, com precisão saltando de 22/40 para 27/40.
• Comparação com Baselines:
  • vs. Baseado em Prompt (TALE): O DRP superou o TALE em tarefas OOD complexas, onde o desempenho do TALE caiu significativamente.
  • vs. Baseado em SFT (CoT-Valve): O DRP alcançou melhor precisão e compressão. O CoT-Valve frequentemente sofreu compromissos de precisão ao comprimir.
  • vs. Baseado em RL (ThinkPrune): Embora o ThinkPrune comprimisse bem, o DRP alcançou maior precisão, provavelmente devido à orientação de alta qualidade do professor.
• Estudos de Ablação:
  • Decomposição de Habilidades: Remover rótulos de habilidade (divisão padrão) reduziu o desempenho, confirmando que o alinhamento semântico é crucial.
  • Distilação Direta: Treinar diretamente em CoTs curtos do professor (sem podar a trajetória do aluno) levou a quedas acentuadas de precisão em tarefas OOD, provando que a preservação estrutural é vital.
  • Robustez do Professor: O método funcionou efetivamente com vários professores (GPT-4o, Gemini 2.0, DeepSeek-V3), embora o GPT-4o tenha produzido os melhores resultados.

5. Significado e Conclusão

• Compromisso entre Eficiência e Precisão: O DRP desafia a noção de que a eficiência deve vir à custa da precisão. Ao refinar o processo de raciocínio em vez de apenas encurtar a saída, ele alcança ambos.
• Escalabilidade: O método é particularmente eficaz para modelos menores (1.5B), compensando a capacidade limitada através de supervisão estruturada e de alta qualidade.
• Robustez: Mitiga "loops degenerados" (onde os modelos ficam presos gerando texto infinito), levando a uma inferência mais estável.
• Impacto Futuro: Este trabalho fornece um roteiro para treinar modelos de raciocínio eficientes que podem lidar com tarefas complexas e de longo horizonte sem a sobrecarga computacional do "superpensamento", tornando o raciocínio avançado mais acessível e econômico.

Em resumo, o DRP resolve a ineficiência dos Modelos de Raciocínio de Grande Escala usando um professor para remover cirurgicamente a redundância do próprio caminho de raciocínio do aluno, guiado por habilidades funcionais, resultando em modelos mais rápidos, baratos e, frequentemente, mais precisos.