Resumo Técnico: Modelos de Raciocínio Podem Ser Precisamente Poda via Reconstrução de Cadeia de Pensamento

1. Declaração do Problema

Grandes Modelos de Linguagem (LLMs) com capacidades de raciocínio passo a passo, como o DeepSeek-R1, geram cadeias de pensamento (CoT) explícitas antes de produzir uma resposta final. Embora isso melhore significativamente a precisão em tarefas complexas como matemática e programação, resulta em sequências de saída extremamente longas, tornando esses modelos custosos para implantar em escala devido à alta latência de inferência e requisitos de memória.

A poda de modelos é uma técnica padrão para reduzir o tamanho do modelo e o custo de inferência. No entanto, os autores observam que aplicar métodos de poda padrão (por exemplo, SparseGPT) a modelos de raciocínio produz resultados contra-intuitivos e prejudiciais:

1. Degradação da Precisão: A poda padrão causa quedas significativas na precisão da tarefa à medida que a esparsidade aumenta.
2. Inflação do Tempo de Execução: Contrariamente ao objetivo de compressão, modelos de raciocínio fortemente podados frequentemente tornam-se mais lentos. Os modelos produzem traços de CoT mais longos, mais prolixos e menos precisos, aumentando a contagem total de tokens e o tempo de inferência.

O artigo hipotetiza que essa falha decorre de uma incompatibilidade de distribuição. A poda padrão calibra pesos usando apenas prompts de entrada (onde $|x| \gg |y|$), enquanto modelos de raciocínio são tarefas dominadas pela decodificação, onde os tokens de CoT gerados ($|c| + |y| \gg |x|$) constituem a maioria do cálculo de inferência. A poda baseada exclusivamente em ativações de prompt falha em preservar a capacidade do modelo de gerar traços de raciocínio coerentes.

2. Metodologia: Compressão Consciente de Raciocínio (RAC)

Os autores propõem a Compressão Consciente de Raciocínio (RAC), uma modificação "plug-and-play" para fluxos de trabalho de poda one-shot existentes que alinha o processo de calibração com a distribuição real de tempo de inferência de modelos de raciocínio.

Mecanismo Central

Algoritmos de poda padrão (como SparseGPT) minimizam o erro de reconstrução dos pesos da camada ($W_\ell$) usando uma matriz de ativação ($X_\ell$) derivada exclusivamente de prompts de entrada. A RAC modifica isso ao aumentar o conjunto de dados de calibração com traços de CoT on-policy.

1. Execução On-Policy: Durante a fase de calibração, para cada prompt $x^{(m)}$, o modelo denso é permitido gerar autoregressivamente seus próprios tokens de CoT e resposta.
2. Coleta de Ativações: Os estados ocultos ($x^{(\ell)}_t$) correspondentes a ambos os tokens do prompt de entrada e os tokens de CoT auto-gerados são coletados.
3. Reconstrução Conjunta: O algoritmo de poda resolve o problema de otimização por camada usando uma matriz de ativação combinada $X^{RAC}_\ell = [X^P_\ell, X^D_\ell]$, onde $X^P$ representa ativações de prompt e $X^D$ representa ativações de tempo de decodificação (CoT).

A função objetivo torna-se:
$$\min_{\hat{W}_\ell} \sum_{m} \sum_{t \in P_m \cup D_m} \| (W_\ell - \hat{W}_\ell) x^{(\ell-1,m)}_t \|_2^2$$
sujeito a restrições de esparsidade. Isso garante que os pesos comprimidos sejam otimizados para reconstruir ativações encontradas durante todo o processo de raciocínio, não apenas o prompt inicial.

Detalhes de Implementação

• Poda One-Shot: O método não requer retreinamento ou destilação. Opera em uma única passagem sobre pesos pré-treinados.
• Compatibilidade: A RAC integra-se perfeitamente com algoritmos de poda por camada existentes (por exemplo, SparseGPT, WANDA, ALPS).
• Custo de Calibração: Embora coletar ativações de CoT seja mais caro do que a calibração apenas de prompts, permanece significativamente mais barato do que o retreinamento completo do modelo ou destilação.

3. Contribuições Principais

1. Diagnóstico da Falha de Poda: O artigo identifica que a poda padrão falha em modelos de raciocínio porque ignora a natureza dominada pela decodificação da geração de CoT, levando a deslocamentos de distribuição que causam modelos a "prolixar" e perder precisão.
2. Algoritmo RAC: A introdução de uma estratégia simples de calibração que injeta ativações de CoT on-policy no objetivo de poda.
3. Validação Empírica: Experimentos extensivos demonstrando que a RAC permite que modelos de raciocínio sejam podados para níveis altos de esparsidade (até 50%) enquanto mantêm a precisão e previnem a explosão de tempo de execução associada à poda padrão.

4. Resultados Experimentais

Os autores avaliaram a RAC em múltiplas famílias de modelos de raciocínio (variantes destiladas do DeepSeek-R1 e Qwen3) através de vários tamanhos (1,5B a 70B) e benchmarks (MATH-500, AIME-25, LiveCodeBench).

Precisão e Tempo de Execução

• Preservação da Precisão: Em 50% de esparsidade, a RAC supera significativamente tanto a poda calibrada com C4 padrão quanto a poda apenas de prompt.
  • Exemplo (DeepSeek-R1-7B em MATH-500): A RAC mantém precisão de 0,900, comparado a 0,812 (apenas prompt) e 0,744 (C4).
  • Exemplo (Qwen3-8B em MATH-500): A RAC alcança precisão de 0,862 em 50% de esparsidade, versus 0,564 (C4) e 0,470 (apenas prompt).
• Redução do Tempo de Execução: A RAC previne o comportamento de "prolixidade".
  • Exemplo (DeepSeek-R1-7B): A poda padrão aumentou o tempo de execução de 23,3 minutos (denso) para 135,0 minutos em 50% de esparsidade. A RAC reduziu isso para 35,3 minutos, mantendo efetivamente o perfil de velocidade do modelo denso.
• Generalização: Os benefícios mantêm-se através de diferentes arquiteturas (Qwen, Llama), tamanhos de modelo e domínios (matemática e código). A RAC também mostra robustez quando combinada com poda estruturada (esparsidade 2:4) e quantização (FP8).

Estudos de Ablação

• On-Policy vs. Off-Policy: Usar traços de CoT gerados pelo mesmo modelo sendo podado (on-policy) produz melhores resultados do que usar traços de um modelo maior e diferente, embora dados off-policy ainda ofereçam alguma melhoria sobre apenas prompt.
• Sensibilidade ao Orçamento de Tokens: A penalidade de tempo de execução de modelos podados é impulsionada em grande parte por limites excessivos de geração de tokens. Quando restritos a comprimentos de decodificação razoáveis (por exemplo, 4.096 tokens), modelos podados com RAC igualam ou superam o desempenho do modelo denso tanto em precisão quanto em velocidade.
• Agnosticismo de Algoritmo: A RAC melhora o desempenho quando emparelhada com vários algoritmos de poda (SparseGPT, ALPS, WANDA), não apenas o SparseGPT.

Análise de Erro de Reconstrução

Análise de erro token a token em problemas de teste retidos revela que, enquanto a calibração apenas de prompt preserva bem as ativações de entrada, ela incorre em altos erros de reconstrução durante a fase de decodificação (o CoT). A RAC reduz especificamente esses erros durante as longas cadeias de raciocínio, alinhando o comportamento do modelo podado com o modelo denso durante a fase crítica de geração.

5. Significado e Afirmações

O artigo afirma que a Compressão Consciente de Raciocínio é uma modificação crítica e simples necessária para tornar a poda viável para LLMs de raciocínio.

• Impacto Prático: A RAC permite a implantação de modelos de raciocínio menores e mais rápidos sem o colapso de precisão ou picos de latência atualmente observados com compressão padrão.
• Insight Teórico: O trabalho destaca que, para tarefas dominadas por geração (como raciocínio), os dados de calibração devem refletir a trajetória completa de inferência, não apenas a entrada.
• Limitações: Os autores modestamente notam que a RAC não otimiza explicitamente para redução de comprimento de sequência (embora ajude indiretamente ao melhorar a qualidade da geração) e que o passo de calibração incorre em uma sobrecarga computacional modesta comparada a métodos apenas de prompt. No entanto, eles enfatizam que essa sobrecarga é negligenciável comparada ao custo do retreinamento.

Em resumo, o artigo demonstra que, ao alinhar a distribuição de calibração de poda com os traços de raciocínio on-policy do modelo, é possível podar com precisão modelos de raciocínio para 50% de esparsidade, preservando até 95% da precisão do modelo denso e prevenindo as desacelerações de inferência que geralmente afligem sistemas de raciocínio comprimidos.