CRISP: Compressing Redundancy in Chain-of-Thought via Intrinsic Saliency Pruning

` como Âncora**
Os autores identificaram um fenômeno crucial nas camadas profundas dos modelos de raciocínio:

• O token de terminação do raciocínio (</think>) atua como um "âncora de informação".
• Durante a geração da resposta final, o modelo direciona sua atenção massivamente para o token </think>, enquanto a atenção direta para os passos intermediários do raciocínio diminui.
• A análise mostra que os passos de raciocínio que recebem alta atenção do token </think> contêm a informação lógica essencial. Passos com baixa atenção são redundantes.

B. O Framework de Compressão
O CRISP trata a compressão de CoT como um problema de busca estruturada sobre a trajetória de raciocínio original, utilizando quatro operadores atômicos:

1. KEEP (Manter): Preserva passos com alta saliência (alta atenção).
2. PRUNE (Podar): Remove passos com baixa saliência (baixa atenção).
3. REWRITE (Reescrever): Condensa passos intermediários para aumentar a densidade de informação.
4. FUSE (Fundir): Combina passos semanticamente redundantes em um único bloco denso.

C. Processo de Otimização

1. Busca Gananciosa: O sistema percorre a cadeia original e seleciona o operador ótimo para cada passo com base em uma função de recompensa que equilibra a probabilidade de resposta correta (fidelidade lógica) e o comprimento da sequência (eficiência).
2. Refinamento Gerativo: Como a busca discreta pode criar fragmentação sintática, um modelo LLM auxiliar (refinador) é usado para restaurar a coerência semântica e a fluidez do texto, garantindo que a cadeia comprimida seja logicamente fluida.
3. Ajuste Fino Multi-tarefa: O modelo alvo é ajustado (fine-tuned) usando as cadeias refinadas como supervisão. Um token de controle especial (<|compressed|>) é inserido no input para instruir o modelo a gerar raciocínios concisos durante a inferência.

3. Contribuições Principais

• Indicador Intrínseco de Saliência: Demonstraram que os pesos de atenção no token </think> são um indicador confiável para distinguir lógica essencial de redundância, sem depender de modelos externos.
• Framework CRISP: Propuseram um método de compressão que otimiza a CoT através de uma busca guiada por sinais intrínsecos, utilizando operadores atômicos (KEEP, PRUNE, REWRITE, FUSE).
• Trade-off Superior: Validaram que o método consegue reduzir drasticamente o custo de inferência sem comprometer a precisão do modelo base, superando métodos baseados em prompts ou compressores externos.

4. Resultados Experimentais

Os experimentos foram realizados nos modelos DeepSeek-R1-Distill-Qwen-1.5B e 7B em benchmarks matemáticos (GSM8K, MATH-500, AMC23).

• Redução de Tokens: O CRISP alcançou uma redução de 50-60% no número de tokens gerados em comparação com o modelo original.
• Manutenção de Precisão: Ao contrário de métodos de poda simples (como truncamento ou TokenSkip), o CRISP manteve ou até superou a precisão do modelo original.
  • Exemplo (7B no MATH-500): Precisão de 84.2% (vs 87.4% original) com apenas 1.146 tokens (vs 3.053 tokens originais).
• Eficiência de Token (TE): O CRISP obteve a melhor métrica de Eficiência de Token (Acerto / Comprimento), superando significativamente baselines como CoD, TALE e A-Thought.
• Estudo de Ablação: A etapa de "Refinamento" (Output Refinement) provou ser crítica, recuperando a precisão perdida pela poda bruta e garantindo a coerência lógica.

5. Significado e Impacto

O trabalho CRISP oferece uma solução escalável para a eficiência de LLMs de raciocínio:

• Desacoplamento de Dependência Externa: Elimina a necessidade de modelos proxy caros e desalinhados para compressão, utilizando a própria inteligência do modelo.
• Viabilidade de Implantação: Ao reduzir o custo computacional em mais da metade sem sacrificar a capacidade de raciocínio, torna viável a implantação desses modelos avançados em ambientes com recursos limitados.
• Insight Mecanístico: A descoberta de que o token de terminação (</think>) atua como um ponto de agregação de informação para toda a cadeia de raciocínio oferece uma nova perspectiva sobre como os modelos de raciocínio processam e sintetizam informações internamente.

Em suma, o CRISP demonstra que a compressão eficiente de raciocínio pode ser alcançada através da exploração inteligente da arquitetura interna do modelo, resultando em cadeias de pensamento mais curtas, densas e logicamente coerentes.