On the Optimal Reasoning Length for RL-Trained Language Models

Resumo Técnico: Sobre o Comprimento Ótimo de Raciocínio para Modelos de Linguagem Treinados por RL

Definição do Problema
O aprendizado por reforço (RL) aplicado durante o pós-treinamento melhorou significativamente as capacidades de raciocínio de grandes modelos de linguagem (LLMs), particularmente através da geração estendida de cadeia de pensamento (Chain-of-Thought - CoT). No entanto, um efeito colateral crítico é que os modelos treinados por RL tendem a produzir saídas cada vez mais verbosas, elevando tanto os custos de treinamento quanto de inferência. Embora a literatura recente tenha proposto vários métodos de controle de comprimento para penalizar a geração excessiva, a relação precisa entre o comprimento da saída e a precisão do raciocínio permanece obscura. Especificamente, desconhece-se se a relação não monotônica entre o comprimento do raciocínio e a correção — observada anteriormente em intervenções de tempo de teste em modelos fixos — também se manifesta em políticas treinadas por RL que diferem apenas em suas configurações de controle de comprimento. Além disso, o mecanismo subjacente que impulsiona a degradação da precisão nos regimes de saída longa não foi totalmente decomposto.

Metodologia
Os autores conduziram um estudo empírico controlado para investigar a relação comprimento–precisão através de múltiplos modelos e tarefas.

• Modelos e Tarefas: Os experimentos foram realizados em três modelos: DeepSeek-R1-Distill-Qwen-1.5B, Qwen3-1.7B e Qwen3-4B-Base. As tarefas incluíram raciocínio matemático (benchmarks: AIME 2024, AIME 2025, AMC, MATH-500) e geração de código (HumanEval, MBPP+).
• Configuração de Treinamento: O treinamento seguiu o framework DAPO com modificações: o modelagem de recompensa por excesso de comprimento (overlong reward shaping) foi desativada para isolar os efeitos de métodos específicos de controle de comprimento, e os tamanhos de mini-batch do PPO foram definidos como iguais aos tamanhos de batch de geração para atualizações totalmente on-policy.
• Métodos de Controle de Comprimento: O estudo comparou diversas estratégias de controle de comprimento ao realizar varreduras em seus hiperparâmetros primários para gerar uma família de políticas com variados comprimentos médios de saída. Os métodos incluíram:
  • Baselines: Sample Avg (GRPO) e Token Avg (DAPO), que normalizam gradientes sem penalidades explícitas de comprimento.
  • Penalidades Explícitas: RLOO-LP (modelagem de recompensa baseada em comprimento), ALP (penalidade de comprimento baseada em precisão) e DRPO (ponderação baseada em comprimento dentro do framework DisCO).
• Métricas de Avaliação: Além da precisão de amostra padrão, os autores introduziram uma decomposição da distribuição de respostas:
  • Precisão da Moda (Mode Accuracy): A fração de problemas onde a resposta mais frequentemente amostrada (a moda) está correta. Isso mede a correção do centro da distribuição.
  • Vazamento da Moda (Mode Leakage): A fração média de amostras que caem fora do grupo modal. Isso mede a dispersão das amostras em torno do centro.

Principais Resultados

1. Relação Não Monotônica Comprimento–Precisão: Em todos os modelos, benchmarks e métodos de controle de comprimento, a precisão da amostra é não monotônica em relação ao comprimento médio da saída. A precisão sobe inicialmente com o comprimento, atinge um pico em um valor intermediário e, em seguida, estabiliza ou declina conforme o comprimento aumenta. Esse padrão se mantém tanto para o raciocínio matemático quanto para a geração de código.
2. Divergência entre Precisão da Moda e Precisão da Amostra: Uma descoberta crítica é a divergência entre a precisão da moda e a precisão da amostra em regimes de saída longa. Enquanto a precisão da amostra declina ou satura, a precisão da moda continua a melhorar conforme o comprimento da saída aumenta. Isso indica que o "centro" da distribuição de respostas está se tornando mais correto, mesmo que as amostras individuais se tornem menos confiáveis.
3. Mecanismo de Degradação: O declínio da precisão da amostra em comprimentos longos é impulsionado pelo aumento da dispersão (vazamento da moda). No regime de saída longa, as amostras espalham-se mais longe de uma moda central cada vez mais correta. O efeito líquido é que os ganhos de um centro mais preciso são eventualmente compensados pela perda na concentração das amostras.
4. Dispersão em Forma de U: O vazamento da moda exibe uma relação em forma de U com o comprimento em diversas configurações. Em comprimentos curtos, o vazamento é alto devido à falta de convergência em uma resposta dominante. Nos comprimentos ótimos, o vazamento é minimizado. Em comprimentos excessivos, o vazamento aumenta novamente conforme as amostras se dispersam em torno de uma moda correta, porém menos concentrada.

Principais Contribuições

• Generalização da Não Monotonicidade: O artigo demonstra que a relação não monotônica entre o comprimento da saída e a precisão, previamente documentada para intervenções de tempo de teste em modelos fixos, também surge em uma comparação controlada de políticas treinadas por RL abrangendo múltiplos modelos, benchmarks e métodos de controle de comprimento.
• Decomposição da Distribuição de Respostas: Os autores decompõem a distribuição de respostas em correção de seu centro (precisão da moda) e dispersão das amostras (vazamento da moda). Eles mostram que saídas mais longas melhoram o primeiro enquanto aumentam o segundo, fornecendo uma explicação mecanística para a divergência intrigante entre a precisão da moda e a precisão da amostra.

Significância e Alegações
O artigo afirma resolver a ambiguidade em torno da eficácia do controle de comprimento em modelos de raciocínio treinados por RL. Estabelece que simplesmente estender o raciocínio não melhora o desempenho de forma uniforme; existe um comprimento intermediário ótimo. O estudo esclarece que a degradação no desempenho em comprimentos excessivos não se deve ao fato de o modelo aprender caminhos de raciocínio incorretos (o centro permanece correto ou melhora), mas sim ao fato de o modelo tornar-se menos confiante ou consistente em sua amostragem (aumento da dispersão).

Os autores concluem que a força de penalidade ótima para o controle de comprimento varia entre métodos e modelos, sugerindo a necessidade de trabalhos futuros para desenvolver métodos automatizados para identificar o regime de comprimento ideal sem busca manual de hiperparâmetros. O trabalho não propõe novos algoritmos de controle de comprimento, mas sim fornece um framework de diagnóstico para compreender os trade-offs inerentes aos métodos atuais.