Resumo Técnico: Extra-CoT

Declaração do Problema

Modelos de Raciocínio em Linguagem Natural (LRMs) demonstraram capacidades notáveis em inferência lógica complexa ao gerar raciocínio passo a passo do tipo Cadeia de Pensamento (CoT). No entanto, esse desempenho vem a um custo computacional substancial, frequentemente levando a "superpensamento", onde os modelos geram caminhos de raciocínio redundantes mesmo para consultas simples. Embora os métodos existentes de compressão de CoT (por exemplo, TokenSkip, CTS) possam podar tokens efetivamente em taxas de compressão moderadas (50–60%), eles sofrem de uma "catástrofe de fidelidade" crítica em taxas extremas (por exemplo, 20–30%). Nesses níveis, compressores de propósito geral falham em preservar os passos de raciocínio críticos e esparsos e a integridade matemática, levando a uma perda catastrófica de fidelidade lógica e degradação significativa de desempenho. O desafio central é alcançar raciocínio de alta fidelidade sob orçamentos de tokens ultra-bajos sem sacrificar a precisão da resposta.

Metodologia: O Framework Extra-CoT

Os autores propõem Extra-CoT, um framework inovador de três estágios projetado para expandir os limites da eficiência do CoT enquanto mantém raciocínio de alta precisão. O pipeline integra um compressor semântico, ajuste fino supervisionado (SFT) com taxas mistas e um algoritmo especializado de Aprendizado por Reforço (RL).

1. Compressor Preservador Semântico e Consciente da Pergunta

Para gerar dados de supervisão confiáveis para compressão extrema, os autores treinam um compressor dedicado em dados de CoT matemático.

• Arquitetura: Baseado no Longformer-large-4096, o modelo utiliza atenção global para todos os tokens na pergunta de entrada, tornando o compressor "consciente da pergunta". Isso permite que cada token de raciocínio atenda diretamente ao contexto do problema.
• Estratégia de Anotação: Os dados de treinamento passam por um processo único de anotação baseada em índices e consciente de fórmulas. Expressões matemáticas e entidades LaTeX são colapsadas em unidades atômicas para evitar fragmentação. Um modelo professor (GPT-4o) é instruído a retornar apenas o conjunto de índices a serem preservados, garantindo robustez contra variações de renderização.
• Objetivo: O compressor é treinado com uma Função de Perda Focal ponderada por classe para prever se deve manter ou descartar cada token, priorizando a preservação da integridade matemática.

2. Ajuste Fino Supervisionado (SFT) com Taxas Mistas

Um LLM de raciocínio é ajustado finamente nos dados comprimidos de alta fidelidade para aprender controlabilidade robusta.

• Vocabulário de Controle: O tokenizador é aumentado com tokens de controle especiais (por exemplo, <COMP 20>, <COMP 40>, ..., <COMP POLICY>).
• Cohorte de Dados em Duas Etapas:
  • Cohorte de Taxa Fixa: Treina o modelo a aderir estritamente a comandos de compressão específicos (por exemplo, <COMP 40>), estabelecendo controlabilidade robusta em um espectro de orçamentos.
  • Cohorte de Aquecimento de Política: Treina o modelo a prever autonomamente um token de taxa quando recebe o gatilho <COMP POLICY>, estabelecendo um mecanismo treinável para a etapa subsequente de RL.
• Objetivo: Esta etapa fornece uma inicialização estável para o RL, ensinando o modelo a seguir um espectro de orçamentos de compressão em vez de apenas um único alvo.

3. Otimização de Política de Taxa Constrained e Hierárquica (CHRPO)

Para incentivar explicitamente a seleção de orçamentos mais baixos enquanto mantém a precisão, os autores introduzem CHRPO, um algoritmo de RL hierárquico.

• Seleção de Orçamento pelo Professor: Para cada consulta, um "orçamento professor" ($r^*$) é determinado como a menor taxa na qual o modelo SFT ainda produz uma resposta correta, garantindo que o alvo de RL seja alcançável.
• Estrutura de Recompensa Hierárquica:
  • Recompensa Principal ($R_{main}$): Aplicada a toda a sequência, integrando quatro componentes: Precisão, Modo Otimizado por Taxa (recompensando o encurtamento bem-sucedido, penalizando falhas), Calibração de Orçamento (garantindo que a taxa realizada corresponda à taxa selecionada) e Integridade da Justificativa (penalizando blocos de raciocínio ausentes).
  • Recompensa do Cabeçote de Controle ($R_{ctrl}$): Aplicada exclusivamente ao primeiro token (o token de seleção de taxa). Isso fornece um sinal de gradiente imediato para moldar a tomada de decisão da política, abordando o problema de atribuição de crédito onde o sinal final de precisão está muito distante da escolha inicial de taxa.
• Moldagem Sensível ao Risco: As funções de recompensa empregam penalidades assimétricas para garantir que a política apenas encurte quando correta ("Encurtamento-Seguro") e prefira aumentar o orçamento em vez de falhar em instâncias difíceis ("Recuperação-Rápida-Ao-Falhar").

Contribuições Principais

1. Framework Extra-CoT: Um pipeline inovador de três estágios (Compressor $\to$ SFT com Taxas Mistas $\to$ CHRPO) que alcança raciocínio de alta fidelidade em orçamentos de tokens ultra-bajos, aliviando efetivamente os desafios de preservação semântica e adesão ao controle.
2. Compressor Preservador Semântico: Uma arquitetura consciente da pergunta com anotação consciente de fórmulas que gera dados de supervisão de alta fidelidade, preservando a integridade matemática e prevenindo a fragmentação de componentes de raciocínio simbólico.
3. Pipeline Unificado SFT-RL: Uma estratégia de treinamento que usa SFT com taxas mistas para estabelecer controlabilidade robusta, seguida por CHRPO com recompensas hierárquicas para incentivar explicitamente a precisão sob taxas de compressão extremas.

Resultados Experimentais

O framework foi avaliado em três benchmarks de raciocínio matemático: GSM8K, MATH-500 e AMC2023, utilizando principalmente o backbone Qwen3-1.7B.

• Desempenho em Taxas Extremas: No MATH-500, o Extra-CoT alcançou uma redução de 73% de tokens (ActRatio de 0,27) com uma melhoria de precisão de 0,6% sobre o modelo base, superando significativamente métodos state-of-the-art como o TokenSkip. Em uma taxa alvo de 0,2, o Extra-CoT manteve desempenho robusto (47,8% de precisão no MATH-500), enquanto o TokenSkip sofreu uma queda catastrófica para 23,4%.
• Adesão ao Controle: Diferentemente das linhas de base que exibem "colapso de controle" (onde as taxas realizadas desviam significativamente dos alvos), o Extra-CoT demonstrou adesão precisa aos comandos de compressão em todas as taxas.
• Eficiência: Em testes de latência de inferência ponta a ponta, o Extra-CoT reduziu a latência em 3,24× no GSM8K e 2,35× no MATH-500 em comparação com o modelo base. Em contraste, o TokenSkip mostrou ganhos marginais ou até aumento de latência em alguns benchmarks.
• Generalização: O método demonstrou robustez em diferentes modelos backbone (Qwen2.5-7B, Llama3.2-3B) e configurações de contexto longo (Pangu-Embedded-7B-V1.1 com contexto de 16K), confirmando que as melhorias derivam da qualidade da supervisão comprimida e não de arquiteturas de modelo específicas.

Significado e Alegações

O artigo afirma que o Extra-CoT demonstra que a compressão extrema de alta fidelidade é um caminho viável para raciocínio eficiente. Ao abordar a "catástrofe de fidelidade" por meio de supervisão preservadora semântica e otimização de RL hierárquica, o framework permite que Modelos de Raciocínio em Linguagem Natural operem efetivamente sob orçamentos de tokens ultra-bajos sem o colapso de desempenho observado em métodos existentes. O trabalho destaca que preservar a integridade lógica das cadeias de raciocínio é crucial para manter as capacidades de resolução de problemas, mesmo quando a contagem de tokens é drasticamente reduzida. Os autores fornecem seu código para facilitar pesquisas futuras nessa direção.