Resumo Técnico: SA-MRPO (Reponderação de Vantagem Consciente da Saturação para Otimização de Políticas com Múltiplas Recompensas)

1. Definição do Problema

O Aprendizado por Reforço com Recompensas Verificáveis (RLVR) tornou-se o padrão para o pós-treinamento de grandes modelos de linguagem (LLMs) para melhorar as capacidades de raciocínio. Embora o Group Relative Policy Optimization (GRPO) e suas variantes tenham simplificado esse processo ao eliminar a necessidade de funções de valor aprendidas, eles tipicamente assumem uma única recompensa escalar. Na prática, modelos de raciocínio devem satisfazer múltiplos objetivos simultaneamente, tais como correção, conformidade de formato, comprimento da resposta, segurança e executabilidade.

A abordagem padrão para otimização multiobjetivo envolve a escalarização dessas recompensas em uma soma ponderada fixa antes de realizar a padronização por grupo. Os autores identificam duas limitações fundamentais neste design:

1. Perda de Resolução de Recompensa: Perfis de recompensa distintos podem colapsar no mesmo valor escalar. Por exemplo, um rollout com alta correção, mas péssimo formato, pode receber a mesma recompensa escalar (e, portanto, a mesma vantagem) que um rollout com baixa correção, mas formato perfeito, desde que a soma ponderada seja idêntica.
2. Ignorar a Saturação de Objetivos: Pesos fixos tratam todos os objetivos como igualmente importantes durante todo o treinamento, independentemente de seu estado atual. Se um objetivo auxiliar (ex: conformidade de formato) já estiver próximo da saturação (resolvido), o processo de otimização continua a alocar orçamento de gradiente para ele. Isso desvia o esforço de objetivos mais difíceis e subotimizados (ex: correção matemática) que ainda possuem uma "margem" significativa para melhoria.

Métodos existentes como o Group reward-Decoupled Policy Optimization (GDPO) abordam o primeiro problema ao normalizar as recompensas de forma independente, mas falham em abordar o segundo, pois ainda dependem de pesos fixos que não se adaptam ao nível de saturação de cada objetivo.

2. Metodologia: SA-MRPO

Os autores propõem o SA-MRPO (Saturation Aware Advantage Reweighting for Multi-Reward Policy Optimization). Este método preserva a normalização por objetivo, mas repondera adaptativamente cada objetivo com base em seu grau atual de saturação.

Mecanismo Central

Para um lote de rollouts e $n$ objetivos de recompensa, o SA-MRPO calcula uma vantagem consciente da saturação da seguinte forma:

1. Estimativa de Saturação: Para cada objetivo $k$, a razão de saturação $s^{(k)}$ é estimada usando a média do lote de recompensa $\bar{r}^{(k)}$ em relação ao intervalo atingível do objetivo $[r^{(k)}_{min}, r^{(k)}_{max}]$:
   $$s^{(k)} = \frac{\bar{r}^{(k)} - r^{(k)}_{min}}{r^{(k)}_{max} - r^{(k)}_{min}} \in [0, 1]$$
   Um valor de $s^{(k)}$ próximo de 1 indica que o objetivo está saturado (próximo da recompensa máxima), enquanto um valor próximo de 0 indica uma margem significativa para melhoria.

2. Reponderação Adaptativa: O peso prescrito $w_k$ para cada objetivo é modulado por um fator de saturação controlado por um expoente $\gamma \ge 0$:
   $$\tilde{w}_k = w_k (1 - s^{(k)})^\gamma$$
   À medida que um objetivo se aproxima da saturação ($s^{(k)} \to 1$), seu peso efetivo $\tilde{w}_k$ diminui. Inversamente, objetivos com baixa saturação retêm pesos mais altos.

3. Construção da Vantagem: A vantagem agregada para um rollout é computada somando as vantagens normalizadas dos objetivos individuais, ponderadas por seus pesos ajustados pela saturação:
   $$\tilde{A}^{(i,j)} = \sum_{k=1}^n \tilde{w}_k A^{(i,j)}_k$$
   onde $A^{(i,j)}_k$ é a vantagem relativa ao grupo para o objetivo $k$. Este agregado é então normalizado através do lote antes de ser usado no objetivo substituto (surrogate objective) clipado padrão.

Propriedades Teóricas

• Generalização: O SA-MRPO generaliza estritamente o GDPO (quando $\gamma=0$) e o GRPO (no cenário de objetivo único).
• Mudança Direcional: Diferente da simples reescala, a reponderação consciente da saturação pode reverter o sinal de uma atualização. Se um objetivo saturado conflita com um objetivo subotimizado, a redução do peso no objetivo saturado pode causar a inversão da vantagem agregada, efetivamente mudando a direção da atualização da política para favorecer o objetivo não saturado.
• Tratamento de Conflitos: O método reconhece que priorizar um objetivo não saturado pode degradar um objetivo previamente otimizado se seus gradientes conflitarem. No entanto, os autores argumentam que este é um trade-off necessário para maximizar o desempenho geral, pois o ganho ao melhorar o objetivo subotimizado supera a perda no objetivo saturado.

3. Principais Contribuições

1. Identificação do Problema: O artigo identifica que a otimização de múltiplas recompensas escalarizada sofre de perda de resolução de recompensa e, mais criticamente, ignora a saturação de objetivos, levando a uma alocação ineficiente do esforço de otimização.
2. Proposta de Algoritmo: O SA-MRPO introduz um mecanismo para reponderar dinamicamente os objetivos de recompensa normalizados com base em seu intervalo de recompensa atingível restante. Demonstra que isso pode alterar a direção das atualizações da política, não apenas sua magnitude.
3. Validação Empírica: O método é validado através de raciocínio matemático, raciocínio adaptativo e geração de código. Ele consistentemente desloca o esforço de otimização de objetivos saturados para objetivos subotimizados, melhorando estes últimos enquanto mantém o desempenho nos primeiros.

4. Resultados Experimentais

Os autores avaliaram o SA-MRPO contra o GDPO e modelos de linha de base em diversos cenários:

• Raciocínio Matemático: Usando modelos Qwen2.5 (3B e 7B) com dois e três objetivos (correção, comprimento, formato), o SA-MRPO melhorou a precisão sobre o GDPO em 12 de 15 comparações de benchmark. Ganhos notáveis incluem uma melhoria de 5,0% no AIME24 e 3,5% no MATH500 para o modelo 7B. Crucialmente, esses ganhos foram alcançados sem degradar significativamente o desempenho no objetivo auxiliar de comprimento.
• Raciocínio Adaptativo: Em um cenário com um objetivo de comprimento explicitamente saturado (onde respostas abaixo de um limite de tokens recebem recompensa máxima), o SA-MRPO melhorou a precisão em todos os cinco benchmarks com um ganho médio de 3,8%, com um pico de 9,2% no AMC23. O método permitiu que o modelo utilizasse tokens adicionais para raciocínio uma vez que a restrição de comprimento foi satisfeita, demonstrando uma realocação eficaz de capacidade.
• Geração de Código: Em benchmarks como APPS e Codeforces, otimizando tanto a executabilidade (mais fácil de satisfazer) quanto a taxa de aprovação (mais difícil), o SA-MRPO melhorou as taxas de aprovação em 3 de 4 benchmarks (ganho de até 2,3%) enquanto mantinha níveis de executabilidade comparáveis ao GDPO.
• Sensibilidade de Hiperparâmetros: Mostrou-se que o expoente de saturação $\gamma$ controla diretamente o equilíbrio entre melhorar objetivos subotimizados e preservar objetivos saturados. Valores moderados (ex: $\gamma=0,5$) forneceram o melhor equilíbrio, gerando a maior precisão média.

5. Significância e Alegações

O artigo afirma que a otimização de política com múltiplas recompensas eficaz exige mais do que apenas equilibrar escalas de recompensa; deve considerar a melhoria útil restante em cada objetivo.

• Alocação Dinâmica: O SA-MRPO fornece uma maneira fundamentada de realocar dinamicamente o orçamento de gradiente para longe de problemas "resolvidos" em direção àqueles que ainda possuem margem, sem modificar o mecanismo de atualização de política GRPO subjacente.
• Reversão de Atualizações: O método é capaz de reverter o sinal de uma atualização, uma capacidade ausente na escalarização padrão ou no desacoplamento de pesos fixos, permitindo que a política despriorize ativamente objetivos saturados quando estes conflitam com metas mais difíceis.
• Aplicabilidade Geral: A abordagem mostra-se eficaz em diferentes domínios (matemática, raciocínio adaptativo, código) e escalas de modelos, sugerindo que a reponderação consciente da saturação é uma estratégia robusta para RLVR multiobjetivo.

Os autores concluem que as futuras estratégias de otimização de múltiplas recompensas devem considerar explicitamente o estado de saturação dos objetivos para evitar o desperdício de capacidade de otimização em restrições já satisfeitas.