Resumo Técnico: ReCo (Reward-Coordinated Efficient Reasoning)

Definição do Problema

Modelos de Raciocínio Grandes (LRMs), como o OpenAI-o1 e o DeepSeek-R1, alcançam alto desempenho em tarefas complexas por meio de Cadeias de Pensamento (CoT) longas. No entanto, esse paradigma frequentemente leva ao "overthinking" (pensar demais), onde os modelos geram cadeias de raciocínio excessivamente longas mesmo para entradas simples, resultando em custos de inferência inflados, alta latência e sobrecarga significativa de memória devido ao acúmulo de cache de Chave-Valor (KV).

Embora a compressão de cache KV seja uma solução padrão para reduzir o custo de memória e atenção, os métodos orientados ao raciocínio existentes sofrem de duas limitações críticas:

1. Políticas de Compressão Uniformes: Os métodos atuais aplicam uma estratégia de compressão uniforme em toda a trajetória de raciocínio, ignorando que diferentes estados de raciocínio possuem variadas tolerâncias à perda de contexto.
2. Controle de Geração Desacoplado: Esses métodos focam apenas no que é removido do cache, falhando em considerar o fato de que a compressão pode induzir comprimentos de geração maiores. O artigo observa que comprimir o cache frequentemente faz com que os modelos gerem mais tokens para compensar a perda de contexto, o que cancela parcial ou totalmente os ganhos de eficiência (um fenômeno denominado "inflação de comprimento").

Metodologia: Estrutura ReCo

Os autores propõem o ReCo (Reward-Coordinated Compression), uma estrutura passo a passo que coordena a compressão de cache KV com o controle de geração sob um único sinal: uma recompensa de processo leve.

1. Sinal Central: Estimativa de Recompensa de Processo

Após cada etapa de raciocínio concluída $c_i$, um estimador leve de 30 milhões de parâmetros (destilado do Skywork-o1-Open-PRM-7B) atribui uma recompensa escalar $v_i \in [0, 1]$. Esta recompensa reflete a probabilidade de que o caminho de raciocínio atual esteja no caminho certo e seja promissor. Este sinal único impulsiona três componentes coordenados:

2. Compressão de Cache KV Adaptativa à Recompensa

Ao contrário da compressão estática ou uniforme, o ReCo ajusta dinamicamente a razão de retenção $\lambda_i$ com base na recompensa do passo $v_i$:

• Passos de Alta Recompensa: Quando o modelo está em um caminho confiável (alta $v_i$), a estrutura realiza uma poda agressiva do cache KV acumulado, pois o estado de raciocínio tolera maior perda de contexto.
• Passos de Baixa Recompensa: Quando o modelo está explorando ou incerto (baixa $v_i$), a estrutura retém mais contexto para evitar a quebra da cadeia de raciocínio.
• Mecanismo: A razão de retenção é calculada como $\lambda_i = \lambda - \delta \frac{v_i - \bar{v}}{v_{max} - v_{min}}$, onde $\lambda$ é a razão base e $\delta$ limita o ajuste. Dentro do orçamento alocado, os tokens são selecionados com base nos scores de atenção de tokens recentes.

3. Controle de Reflexão por Faixas de Recompensa

Para evitar a "inflação de comprimento" causada pela compressão, o ReCo suprime tokens de autorreflexão redundantes (ex: "Espere", "Hum", "Alternativamente") durante a decodificação:

• A mesma recompensa $v_i$ determina uma penalidade de logit $\beta_i$ aplicada aos tokens de reflexão.
• Baixa Recompensa ($v_i \le \tau_\ell$): Sem penalidade (estimula a exploração).
• Recompensa Média ($\tau_\ell < v_i < \tau_h$): Metade da penalidade.
• Alta Recompensa ($v_i \ge \tau_h$): Penalidade total (desestimula fortemente a reabertura de ramos, direcionando o modelo para uma conclusão).

4. Parada Antecipada Baseada em Confiança

O ReCo implementa um mecanismo de parada antecipada que é acionado quando o raciocínio é considerado confiável:

• Se a recompensa permanecer na faixa alta por dois passos consecutivos, um "prompt de fechamento" é inserido para elicitar uma resposta tentativa.
• A confiança do modelo nesta resposta é medida via Perplexidade (PPL). Se $PPL(a) \le \tau_p$, a cadeia de raciocínio é terminada; caso contrário, o raciocínio continua. Isso evita a parada prematura em respostas fluentes, porém incorretas.

Principais Contribuições

1. Acoplamento de Compressão e Geração: O artigo argumenta que a compressão de cache KV isoladamente é insuficiente para LRMs porque pode ser contraproducente ao alongar o processo de raciocínio. O ReCo é o primeiro a governar conjuntamente a compressão de cache e o comprimento da geração sob um sinal de recompensa unificado.
2. Recompensa como Sinal de Tolerância à Compressão: Os autores demonstram que recompensas de processo rastreiam de forma confiável a tolerância de um estado de raciocínio à perda de contexto. Passos de alta recompensa são robustos à poda agressiva, enquanto passos de baixa recompenda exigem contexto total. Isso contrasta com as políticas uniformes existentes.
3. Estrutura Unificada Passo a Passo: O ReCo integra compressão de cache KV, controle de reflexão e parada antecipada em uma única estrutura que reduz a contagem de tokens e a latência, preservando a precisão em múltiplos modelos e benchmarks.

Resultados Experimentais

A estrutura foi avaliada em três modelos de raciocínio (DeepSeek-R1-Distill-Llama-8B, DeepSeek-R1-Distill-Qwen-7B e Qwen3-8B) em seis benchmarks (GSM8K, MATH-500, AMC2023, AIME24, AIME25 e GPQA).

• Redução de Tokens: O ReCo reduziu os tokens gerados em 37%–65% em comparação com o Full CoT. Em contraste, as bases de apenas cache (ex: SnapKV, R-KV) frequentemente aumentaram a contagem de tokens devido à inflação de comprimento.
• Aceleração de Latência: O ReCo alcançou reduções de latência end-to-end de 2.08×–2.35× sobre o Full CoT.
• Preservação de Precisão: O ReCo manteve a precisão mais próxima da base Full CoT entre todos os métodos comprimidos. Por exemplo, no Llama-8B, o ReCo alcançou 60,2% de precisão média comparado aos 62,8% do Full CoT, enquanto as bases de apenas KV caíram significativamente (ex: SnapKV para 37,5%).
• Eficiência de Memória: O ReCo reduziu o uso de memória GPU de pico em 37,7% (17,92 GB vs. 28,78 GB no AIME25), superando tanto as bases de apenas KV quanto as de apenas comprimento.

Significância e Alegações

O artigo afirma que a compressão de cache KV deve ser acoplada ao controle de geração para ser eficaz em modelos de raciocínio. Os autores sustentam que comprimir o cache sem controlar o comprimento da geração subsequente pode erodir os ganhos de eficiência ao induzir cadeias de raciocínio mais longas.

Ao usar uma única recompensa de processo para coordenar ambos os lados, o ReCo alcança um equilíbrio onde o computo é gasto apenas quando o raciocínio é produtivo e retido quando o modelo já se estabeleceu. Os autores enfatizam que seu método não requer o retreinamento do modelo de raciocínio nem engenharia de prompt por tarefa, baseando-se, em vez disso, em um estimador de recompensa leve para se adaptar dinamicamente às necessidades da trajetória de raciocínio.