Resumo Técnico: HMPO – Otimização de Política de Comprimento Mediano Híbrido para Compressão de Cadeia de Pensamento (Chain-of-Thought)

1. Declaração do Problema

Grandes Modelos de Linguagem (LLMs) demonstraram capacidades de raciocínio notáveis por meio de processos estendidos de Cadeia de Pensamento (CoT), como visto em modelos como OpenAI o1, DeepSeek-R1 e Qwen-3. No entanto, este paradigma de "pensamento" acarreta custos de inferência proibitivos, caracterizados por alta latência e consumo substancial de recursos devido à geração de milhares de tokens por consulta.

Os métodos existentes de compressão de CoT enfrentam três limitações críticas:

1. Restrições Inflexíveis: As abordagens atuais dependem de orçamentos de comprimento estáticos e ajustados manualmente ou decisões binárias rígidas de "pensar-ou-pular", limitando sua aplicabilidade a domínios estreitos (principalmente matemática) e falhando em se adaptar às variações de complexidade dos problemas.
2. Custos de Treinamento Proibitivos: A compressão eficaz muitas vezes exige pipelines de múltiplos estágios computacionalmente caros, incluindo destilação de dados, aquecimentos de Ajuste Fino Supervisionado (SFT) ou poda iterativa progressiva.
3. Escalabilidade Frágil: As avaliações são amplamente restritas a modelos densos pequenos (≤32B), deixando a aplicabilidade a arquiteturas de larga escala e de Mistura de Especialistas (MoE) de última geração não verificada.

2. Metodologia: HMPO

Os autores propõem o HMPO (Otimização de Política de Comprimento Mediano Híbrido), um framework de aprendizado por reforço de estágio único e custo-efetivo construído sobre a Otimização de Política Relativa de Grupo (GRPO). O HMPO aborda as limitações de trabalhos anteriores através de três componentes sinérgicos:

A. Orçamento Adaptativo Baseado na Mediana

Em vez de usar um orçamento de tokens estático e definido manualmente, o HMPO deriva dinamicamente um orçamento $b$ a partir da mediana do comprimento das execuções bem-sucedidas (corretas) dentro de um lote de treinamento.

• Mecanismo: Para um grupo de $G$ execuções, o subconjunto $C$ contendo respostas corretas é identificado. O orçamento é calculado como $b = \text{mediana}(\{n_i \mid i \in C\})$, onde $n_i$ é o comprimento do token.
• Benefício: Esta abordagem isola o sinal de comprimento de tentativas ruidosas e falhas, criando uma restrição consciente da dificuldade. Consultas complexas naturalmente geram execuções corretas mais longas (relaxando o orçamento), enquanto consultas mais simples são sujeitas a restrições mais apertadas. À medida que a política melhora, o orçamento diminui automaticamente, formando um currículo de auto-aperto sem intervenção manual.

B. Recompensa de Token com Decaimento de Cosseno

Para penalizar a verbosidade sem degradar a precisão, o HMPO aplica uma preferência de comprimento exclusivamente a trajetórias bem-sucedidas.

• Mecanismo: Uma recompensa de token $R_{token}$ é definida usando uma função de decaimento de cosseno suave para execuções corretas onde o comprimento $n < b$:
  $$R_{token} = \min\left(1, \cos\left(\frac{\pi n}{2b}\right) + \lambda\right)$$
  Respostas incorretas ou vazias recebem $R_{token} = 0$. O escalar $\lambda$ controla a magnitude do ganho induzido pelo comprimento.
• Benefício: Isso fornece uma "aterragem suave" de penalidade, incentivando respostas corretas mais curtas enquanto preserva os passos de raciocínio necessários, evitando as penalidades severas de limiares binários.

C. Formulação de Recompensa Multiplicativa

Para priorizar estritamente a correção da resposta e evitar o "hack de recompensa" (onde o modelo gera respostas curtas, mas incorretas, para maximizar as recompensas de comprimento), a recompensa final é formulada multiplicativamente:
$$R_{final} = R_{acc} \cdot R_{token}$$

• Mecanismo: $R_{acc}$ é 1 para respostas corretas e 0 para incorretas.
• Benefício: Isso impõe uma hierarquia de "correção primeiro, comprimento depois". Matematicamente, qualquer resposta incorreta (onde $R_{acc}=0$) resulta em uma recompensa final de 0, independentemente de seu comprimento. Isso elimina gradientes de eficiência para respostas incorretas, inoculando o treinamento contra o hack de recompensa.

3. Principais Contribuições

1. Inovação Metodológica: O HMPO introduz orçamento de mediana correta adaptativo, modelagem de recompensa de cosseno e fatoração de recompensa multiplicativa. Esses componentes resolvem conjuntamente a rigidez dos orçamentos manuais, a agressividade das penalidades estáticas e a vulnerabilidade ao hack de recompensa encontradas em métodos de compressão baseados em RL.
2. Generalização entre Domínios: O artigo apresenta uma avaliação extensa em modelos densos e MoE de 9B a 122B. Crucialmente, o HMPO é treinado exclusivamente em dados matemáticos, mas demonstra uma generalização robusta para tarefas de código, ciência e seguimento de instruções sem ajuste específico para a tarefa.
3. Escalabilidade Sem Precedentes: O HMPO alcança a primeira compressão de CoT bem-sucedida em arquiteturas massivas de MoE (até 122 bilhões de parâmetros). Ele mantém uma paridade de precisão quase perfeita enquanto reduz significativamente o uso de tokens, permitindo que esses modelos compitam com modelos de fronteira muito maiores (ex: MoEs de 700B+) usando muito menos tokens.

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos da série Qwen3.5 (9B, 35B-A3B e 122B-A10B) treinados em 6,5K instâncias do DeepMath-103K.

• Compressão vs. Precisão: O HMPO alcança 19%–46% de compressão de tokens em diferentes escalas de modelos com degradação de precisão negligível.
  • No Qwen3.5-9B, ele reduz os tokens de saída em 46% com uma queda de apenas 0,02 ponto percentual (pp) na precisão média.
  • No Qwen3.5-122B, alcança 19% de compressão com uma queda de 0,10 pp na precisão.
• Comparação com Baselines:
  • ThinkPrune: Alcança maior compressão (64–72%), mas sofre severa degradação de precisão (quedas de 11–22 pp).
  • Thinkless: Exibe falha catastrófica em modelos menores (<15% de precisão) devido ao colapso de modo induzido por SFT.
  • AdaptThink: Fornece ganhos marginais, mas falha em comprimir efetivamente em modelos maiores, às vezes inflando os comprimentos de tokens.
• Eficiência de Treinamento: Ao eliminar as fases de destilação e SFT, o HMPO reduz as horas de GPU de treinamento em 1,5×–2,5× em comparação com baselines de múltiplos estágios.
• Eficiência de Tokens: No AIME 2026, modelos treinados com HMPO reduzem o consumo de tokens em 23% enquanto mantêm precisão competitiva contra modelos de fronteira significativamente maiores (ex: Nemotron-3-Super-120B e Kimi-K2.5-1T).

5. Significância e Alegações

O artigo afirma que o HMPO representa uma mudança de paradigma na eficiência de raciocínio ao oferecer uma estratégia de otimização de estágio único e pronta para uso (drop-in). Sua significância reside em:

• Eliminação do Ajuste Manual: O orçamento de mediana adaptativo remove a necessidade de um ajuste tedioso e específico de domínio para o orçamento de comprimento.
• Robustez Matemática: A formulação de recompensa multiplicativa impede matematicamente que o modelo aprenda a ser conciso às custas da correção.
• Implantação Prática: Ao alcançar alta compressão com perda de precisão negligível em diversas arquiteturas e domínios (apesar do treinamento apenas em matemática), o HMPO permite a implantação eficiente de LLMs de raciocínio avançado no mundo real, reduzindo drasticamente os custos de inferência sem exigir pipelines de treinamento complexos de múltiplos estágios.

Os autores reconhecem limitações em relação ao raciocínio de múltiplos turnos e tarefas agênticas, observando que o framework atual é projetado para cenções de turno único e que estender isso para cenários interativos ou baseados em ferramentas permanece como uma direção para trabalhos futuros.