Resumo Técnico: Otimização de Política de Sequência Sem Viés de Comprimento (LUSPO)

1. Definição do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se um pilar para aprimorar as capacidades de raciocínio de Grandes Modelos de Linguagem (LLMs) e Modelos de Linguagem-Visão (VLMs). Uma observação predominante no treinamento de RLVR é que o aumento do comprimento da resposta frequentemente correlaciona-se com um melhor raciocínio, à medida que os modelos aprendem a decompor problemas complexos em etapas detalhadas. No entanto, o artigo identifica uma falha crítica nos algoritmos de RLVR convencionais, especificamente a Otimização de Política Relativa de Grupo (GRPO) e a Otimização de Política de Sequência de Grupo (GSPO): eles exibem um viés inerente de comprimento de resposta que pode levar ao "colapso do comprimento da resposta", onde os modelos geram respostas cada vez mais breves, prejudicando a eficácia do treinamento e a profundidade do raciocínio.

Os autores analisam as fontes deste viés:

• No GRPO: A função objetivo calcula a média das razões de importância ao nível de token dentro de uma trajetória. Essa normalização faz com que os tokens em respostas mais curtas contribuam mais pesadamente para a atualização do gradiente do que os tokens em respostas mais longas. Consequentemente, para respostas corretas, o modelo é incentivado a ser breve; para respostas incorretas, ele é menos penalizado por ser longo, criando uma dinâmica instável.
• No GSPO: Embora o GSPO aborde a instabilidade do GRPO em modelos de Mistura de Especialistas (MoE) usando o peso de importância ao nível de sequência, ele falha em resolver o viés de comprimento. O artigo argumenta que o mecanismo de clipping de nível de sequência do GSPO, combinado com a operação "Clip-Higher", trunca desproporcionalmente as amostras negativas (incorretas). Isso resulta em uma atualização de gradiente dominada por amostras positivas, que, devido ao viés de comprimento subjacente, incentiva ainda mais a geração de saídas mais curtas. Evidências empíricas mostram que, enquanto o GRPO tende a aumentar o comprimento da resposta, o GSPO frequentemente causa um colapso no comprimento da resposta durante o treinamento, particularmente em modelos densos e VL.

2. Metodologia: Otimização de Política de Sequência Sem Viés de Comprimento (LUSPO)

Para retificar o viés de comprimento inerente ao GSPO, os autores propõem a Otimização de Política de Sequência Sem Viés de Comprimento (LUSPO). A inovação central é uma modificação fundamentada na função objetivo do GSPO.

Base Teórica

Os autores fornecem uma análise teórica demonstrando que a função de perda padrão do GSPO é enviesada contra sequências longas. Para neutralizar isso, o LUSPO escala a perda de cada sequência pelo seu próprio comprimento ($|y_i|$).

O Algoritmo

A função objetivo de otimização LUSPO é definida como:
$$J_{LUSPO}(\theta) = \mathbb{E}_{x \sim \mathcal{D}, \{y_i\}_{i=1}^G \sim \pi_{\theta_{old}}(\cdot|x)} \left[ \frac{1}{G} \sum_{i=1}^G \min\left( s_i(\theta) \hat{A}_i, \text{clip}(s_i(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_i \right) \cdot |y_i| \right]$$

Onde:

• $s_i(\theta)$ é a razão de importância ao nível de sequência (o mesmo do GSPO).
• $\hat{A}_i$ é a estimativa de vantagem baseada no grupo.
• $|y_i|$ é o comprimento da resposta.

Ao multiplicar o termo de vantagem clipado pelo comprimento da sequência $|y_i|$, o algoritmo garante que sequências mais longas não sejam injustamente penalizadas durante o processo de atualização do gradiente. A análise teórica do gradiente confirma que essa modificação elimina o viés dependente do comprimento presente no GSPO, garantindo que a magnitude da atualização do gradiente seja proporcional ao comprimento da sequência, em vez de inversamente proporcional a ele.

3. Principais Contribuições

O artigo descreve três contribuições primordiais:

1. Análise do Viés de Comprimento: Uma análise teórica e empírica detalhada das funções objetivo do GRPO e do GSPO, esclarecendo os mecanismos subjacentes que causam o viés inerente de comprimento de resposta e o subsequente colapso de comprimento.
2. Algoritmo LUSPO: A proposta de uma nova estratégia de otimização que neutraliza o viés de comprimento do GSPO através de uma modificação direta (escalonamento de comprimento), tornando a função de perda imparcial em relação ao comprimento da resposta.
3. Validação Abrangente: Experimentos extensos em diversas arquiteturas (densas e MoE) e modalidades (apenas texto e linguagem-visão) demonstrando que o LUSPO alcança desempenho e estabilidade superiores em comparação com os métodos existentes.

4. Resultados Experimentais

Os autores conduziram experimentos no Qwen2.5-7B-Base (denso), Qwen3-30B-A3B-Instruct (MoE) e Qwen2.5-VL-7B-Instruct (Linguagem-Visão).

Dinâmica de Treinamento

• Comprimento da Resposta: O LUSPO evita consistentemente o colapso do comprimento da resposta. No modelo Qwen2.5-VL-7B-Instruct, o GSPO exibiu um colapso pronunciado no comprimento da resposta, enquanto o LUSPO manteve respostas estáveis e significativamente mais longas.
• Estabilidade do Gradiente: O método garante dinâmicas de treinamento estáveis tanto em arquiteturas densas quanto em MoE, abordando os problemas de instabilidade frequentemente associados ao RLVR em modelos MoE.

Benchmarks de Desempenho

• Modelos Apenas de Texto:
  • Qwen2.5-7B-Base: O LUSPO melhorou a precisão em +2,9% no AIME24 e +7,4% no MATH500 em comparação ao GSPO.
  • Qwen3-30B-A3B-Instruct: O LUSPO alcançou uma melhoria de +6,9% no AIME24 e de +17,1% no AIME25 sobre o GSPO.
• Modelos Multimodais:
  • Qwen2.5-VL-7B-Instruct: O LUSPO superou tanto o GRPO quanto o GSPO em múltiplos benchmarks. Notavelmente, alcançou +1,6% de precisão superior ao GRPO e +0,5% superior ao GSPO no MathVista-Mini. No LogicVista, o LUSPO mostrou uma melhoria de +6,0% sobre o GSPO.
• Generalização: O método demonstrou robustez em diferentes conjuntos de dados (ViRL39K e DAPO-MATH-17K), superando consistentemente o GSPO mesmo em cenários onde o GSPO não sofria de um colapso severo de comprimento.

5. Significância e Alegações

O artigo posiciona o LUSPO como uma nova estratégia de otimização de estado da arte para o treinamento de RLVR. Os autores afirmam que, ao abordar o viés de comprimento fundamental na otimização de política ao nível de sequência, o LUSPO:

• Resolve o Colapso do Comprimento da Resposta: Ele evita a degradação do comprimento da resposta que impede a capacidade do modelo de realizar raciocínios complexos.
• Aprimora as Capacidades de Raciocínio: Ao permitir que os modelos gerem respostas mais longas e coerentes sem penalidade, o LUSPO facilita a exploração de padrões de raciocínio mais amplos, levando a um melhor desempenho em tarefas matemáticas e lógicas complexas.
• Ampla Aplicabilidade: O método é eficaz tanto em arquiteturas densas quanto em MoE, bem como em configurações de apenas texto e multimodais, tornando-o uma solução versátil para o treinamento de grandes modelos de próxima geração.

Os autores concluem que o LUSPO representa um passo significativo no avanço da estabilização do treinamento de RLVR e na maximização do potencial de raciocínio dos grandes modelos de linguagem.