Resumo Técnico: Além de Penalizar Erros (ACOER)

1. Declaração do Problema

Modelos de Raciocínio de Grande Escala (LRMs), como o DeepSeek-R1 e o Qwen3, alcançam alto desempenho em benchmarks matemáticos ao gerar traços de raciocínio estendidos via Aprendizado por Reforço (RL). No entanto, essa capacidade incorre em um gargalo de eficiência severo, gerando frequentemente milhares de tokens mesmo para problemas solucionáveis. Para abordar isso, trabalhos recentes integram recompensas de penalização de comprimento ao Group Relative Policy Optimization (GRPO).

Um modo de falha crítico, porém mal compreendido, neste domínio é o colapso de recompensa (reward collapse). Quando os modelos são treinados com penalidades de comprimento, eles frequentemente degeneram na produção de saídas curtas demais para raciocinar efetivamente, causando uma queda simultânea na geração de tokens e na precisão de resolução de problemas. Embora os praticantes reconheçam essa instabilidade, os mecanismos específicos que a impulsionam — particularmente como a normalização de grupo do GRPO interage com as penalidades de comprimento em respostas incorretas — permanecem não formalizados. Além disso, estratégias existentes de "recompensa apenas para acertos" (penalizando o comprimento apenas em respostas corretas) mostraram estabilidade empírica, mas carecem de uma explicação teórica do porquê ainda falham estocasticamente em alguns casos.

2. Metodologia e Análise

2.1 Estrutura de Diagnóstico

Os autores construíram uma estrutura de avaliação unificada para isolar os gatilhos do colapso de recompensa. Eles definiram uma função de recompensa generalizada desacoplando as penalidades de comprimento para respostas corretas ($\alpha$) e incorretas ($\beta$):
$$r = c + c \cdot \alpha \cdot f(\ell) - (1-c) \cdot \beta \cdot f(\ell) + r_{format}$$
onde $c$ é a correção, $\ell$ é o comprimento de tokens, e $f(\ell)$ é uma função dependente do comprimento. Eles avaliaram 11 configurações através de variados valores de $\beta$ (de 0 a 0,10) e tipos de sinal (contínuo vs. discreto).

2.2 Análise Mecanística do Colapso

Através de avaliação sistemática e análise teórica, o artigo identifica dois caminhos distintos de colapso impulsionados pela normalização de grupo do GRPO:

• Caminho 1: O Loop $\beta$ (Colapso Estrutural).
  Quando penalidades de comprimento contínuas são aplicadas a respostas incorretas ($\beta > 0$), o processo de otimização é estruturalmente propenso ao colapso.

  • Grupos Mistos: Em lotes contendo tanto respostas corretas quanto incorretas, as amostras incorretas recebem um gradiente negativo constante em relação ao comprimento ($\partial \hat{A}_i / \partial \ell_i < 0$). Isso cria uma pressão descendente implacável para truncar o raciocínio.
  • Grupos Homogêneos: Em lotes onde todas as respostas são incorretas, a variância da recompensa aproxima-se de zero. Qualquer diferença infinitesimal no comprimento faz com que a vantagem normalizada divirja, criando picos de gradiente explosivos que forçam a política em direção ao comprimento zero.
  • Descoberta: Mesmo um peso de penalidade microscópico ($\beta=0,01$) é suficiente para desencadear o colapso.

• Caminho 2: Compressão Estocástica de Respostas Corretas.
  A remoção das penalidades para respostas incorretas ($\beta=0$) elimina o Caminho 1, mas não garante estabilidade. Se o subgrupo de respostas corretas do modelo sofrer compressão excessiva (devido à inicialização ou dinâmica inicial), a mesma lógica de divergência se aplica dentro do subgrupo correto, levando ao colapso estocástico. Recompensas estáticas de apenas acertos não podem prevenir isso de forma confiável.

2.3 Solução Proposta: ACOER

Para abordar ambos os caminhos, os autores propõem o ACOER (Adaptive Correct-Only Efficiency Reward), que emprega três mecanismos sinérgicos:

1. Sinal de Apenas Acertos ($\beta=0$): Elimina o loop $\beta$ estrutural ao aplicar penalidades de comprimento exclusivamente às conclusões corretas.
2. Normalização de Orçamento Adaptativa ($B_t$): Substitui o limite máximo de tokens fixo $L$ por um orçamento dinâmico $B_t$ baseado na média móvel exponencial (EMA) dos comprimentos das respostas corretas. Isso evita o feedback descontrolado onde pequenas reduções de tokens geram bônus desproporcionalmente grandes.
3. Adaptação de Penalidade de Loop de Controle ($\alpha_t$): Ajusta dinamicamente o peso do bônus de brevidade $\alpha_t$ com base na preservação da precisão. Se a precisão cair além de um limite, $\alpha_t$ decai rapidamente para permitir a recuperação, enquanto aumenta lentamente quando a precisão está estável.

3. Principais Resultados

Experimentos foram conduzidos no Qwen3-1.7B treinado no NuminaMath-TIR e avaliados no MATH-500, MATH-Hard, AIME 2025 e OlympiadBench.

• Estabilidade: Entre os métodos com $\beta$ contínuo $> 0$, a taxa de colapso foi de 100% (8/8). Em contraste, o ACOER e outros métodos de apenas acertos/binários permaneceram estáveis, com apenas 1/6 colapsando (devido a problemas de inicialização estática).
• Eficiência vs. Precisão: No MATH-500, o ACOER reduziu a geração de tokens em 62% (de 5.553 para 2.134 tokens) mantendo uma precisão comparável ao modelo base (88,4% vs. 88,8%).
• Adaptabilidade de Dificuldade: O ACOER demonstrou comportamento adaptativo à tarefa. Reduziu os tokens em 78,6% em problemas fáceis (Nível 1), mas manteve um orçamento de raciocínio maior (redução de 52,6%) para problemas muito difíceis (Nível 5), preservando a profundidade computacional onde necessário.
• Comparação: O ACOER superou os métodos colapsados (ex: GRPO+LP), que sofreram severa degradação de precisão (ex: caindo para 68% de precisão) e mostrou superioridade de estabilidade em relação às linhas de base estáticas de apenas acertos.

4. Significância e Alegações

O artigo afirma estabelecer as bases tanto empíricas quanto teóricas do colapso de recompensa no treinamento de eficiência baseado em GRPO. Suas principais contribuições são:

1. Explicação Mecanística: Fornece uma análise teórica formal demonstrando que a normalização de grupo do GRPO inerentemente cria vantagens divergentes quando penalidades de comprimento contínuas são aplicadas a rollouts incorretos, explicando a inevitabilidade do loop $\beta$.
2. Identificação de Duplos Modos de Falha: Distingue entre colapso estrutural (impulsionado por penalidades de respostas incorretas) e colapso estocástico (impulsionado pela compressão excessiva de respostas corretas), mostrando que simplesmente remover penalidades incorretas é necessário, mas insuficiente para a estabilidade absoluta.
3. Paradigma de Otimização Estável: O ACOER oferece uma solução principista e adaptativa que previne robustamente ambos os modos de falha, permitindo a otimização consciente da eficiência sem sacrificar as capacidades de raciocínio.

Os autores mantêm uma postura modesta, observando que, embora o ACOER melhore significativamente a eficiência, seus ganhos marginais de precisão sobre as linhas de base estáveis (como o GRPO de apenas precisão) não são estatisticamente significativos dado o tamanho atual dos conjuntos de avaliação. A principal vantagem é a redução substancial de tokens. Eles também reconhecem limitações quanto à generalização de escala do modelo (testado apenas em 1.7B), o custo computacional da análise de múltiplas sementes e a necessidade de maior exploração de sensibilidade de hiperparâmetros.

5. Limitações e Ética

• Escala: Os experimentos foram limitados ao Qwen3-1.7B; a generalização para modelos maiores (7B+) requer validação.
• Computação: A análise de vulnerabilidade estocástica foi limitada pelo alto custo computacional de execuções com múltiplas sementes.
• Ética: Os autores alertam que encurtar traços de raciocínio pode reduzir a transparência ou mascarar um raciocínio frágil. Eles recomendam validação específica para cada tarefa e monitoramento, aconselhando contra o uso em implantações de segurança crítica baseado apenas em economia de tokens.