Resumo Técnico: Otimização de Política Descorrelacionada por Recompensa (RDPO)

1. Declaração do Problema

Em ambientes complexos de aprendizado por reforço (RL) para Modelos de Linguagem de Grande Escala (LLMs), o treinamento frequentemente envolve configurações de múltiplas tarefas com formulações de recompensa mista. Uma única execução de treinamento pode incorporar objetivos diversos, como correção, seguimento de instruções, satisfação de rubricas, pontuações de modelos de preferência e comprimento da resposta.

A agregação desses sinais de recompensa heterogêneos em um único escalar de vantagem apresenta dois desafios primários que desestabilizam o treinamento:

1. Escalas e Distribuições Heterogêneas: As recompensas variam significativamente em escala (binária, fracionária, contínua) e forma de distribuição (assimétrica, com empates, propensa a outliers). Métodos de agregação padrão frequentemente falham em alocar vantagens de forma robusta ao nível do prompt, levando a situações onde um único rollout domina o sinal de atualização.
2. Correlação de Recompensa: As dimensões de recompensa dentro de uma tarefa são frequentemente correlacionadas (por exemplo, correção de código e comprimento da resposta, ou satisfação de rubricas e pontuações de preferência). Somar recompensas correlacionadas sem ajuste introduz variância redundante, fazendo com que o modelo "conte duas vezes" variações específicas ou cancele sinais úteis, reduzindo assim a eficiência de informação efetiva da vantagem agregada.

Métodos existentes como GRPO (soma direta) obscurecem variações de desempenho relativas, enquanto GDPO (normalização Z-score independente) permanece sensível a distribuições não Gaussianas ao nível do prompt e falha em abordar correlações inter-recompensa.

2. Metodologia: Otimização de Política Descorrelacionada por Recompensa (RDPO)

Os autores propõem o RDPO, um pipeline de processamento de recompensa leve e de dois passos projetado para atacar explicitamente os modos de falha de instabilidade de escala e redundância de correlação.

2.1 Métrica Diagnóstica: Eficiência de Informação Efetiva ($\eta_{eff}$)

Antes de detalhar a solução, o artigo introduz $\eta_{eff}$ como uma medida diagnóstica para avaliar a agregação de recompensa mista. Ela se decompõe em:

• $\eta_{proj}$ (Eficiência de Projeção): Mede o quão bem a agregação se alinha com uma projeção igualmente ponderada no espaço de recompensa padronizado. Penaliza desequilíbrios causados por escalas de recompensa variáveis.
• $\eta_{corr}$ (Eficiência de Correlação): Quantifica a informação independente retida após somar recompensas correlacionadas. Penaliza redundância causada por dependências lineares positivas ou negativas entre dimensões de recompensa.

2.2 Passo 1: Normalização Quantil Consciente de Magnitude (MAQ)

Objetivo: Estabilizar a alocação de vantagem ao nível do prompt através de recompensas binárias, fracionárias e contínuas, abordando as limitações da normalização Z-score sob condições não Gaussianas.

Mecanismo:

• Intervalos Comprimidos por Logaritmo: Em vez de escala linear, o MAQ calcula o espaçamento entre pontuações de rollout ordenadas usando uma função de compressão logarítmica: $gap_j = \log(1 + |r_{j+1} - r_j| / (\beta \cdot \sigma_{global}))$. Isso restringe a influência de outliers extremos enquanto preserva distinções sutis em regiões densas.
• Alocação de CDF: Os intervalos são normalizados para alocar posições da Função de Distribuição Acumulada (CDF) proporcionalmente.
• Mapeamento Inverso Normal: Os valores são mapeados para uma distribuição normal padrão via CDF inversa ($\Phi^{-1}$).

Efeito: O MAQ produz vantagens comparáveis entre dimensões e menos sensíveis a estatísticas de grupo patológicas (empates, assimetria, outliers), garantindo que nenhum único rollout domine desproporcionalmente a atualização ao nível do prompt.

2.3 Passo 2: Branqueamento de Mahalanobis

Objetivo: Mitigar a variância redundante entre dimensões de recompensa co-ocorrentes dentro de um subespaço de tarefa específico.

Mecanismo:

• Seleção de Subespaço: Em configurações de múltiplas tarefas, um rollout raramente observa todas as dimensões de recompensa. O RDPO aplica branqueamento exclusivamente sobre o subespaço de recompensa observado $S$ para uma dada tarefa.
• Estimação de Covariância em Execução: Uma Média Móvel Exponencial (EMA) é usada para estimar a matriz de covariância $\hat{\Sigma}_t$ das vantagens normalizadas por MAQ online, suavizando o ruído ao nível do lote.
• Transformação de Branqueamento: O vetor de vantagem $A^{(i,j)}$ é transformado usando a raiz quadrada inversa da matriz de covariância: $W^{(i,j)} = \hat{\Sigma}_S^{-1/2} A^{(i,j)}$. Isso desloca as dimensões de recompensa ativas em direção a sinais não correlacionados e de variância unitária.
• Agregação: A vantagem escalar final é a soma das dimensões branqueadas, seguida por normalização ao nível do lote.

3. Configuração Experimental

• Modelo: LongCat-Flash (fase de pós-treinamento).
• Tarefas: Uma mistura unificada de quatro tipos de tarefa: Raciocínio Matemático, Geração de Código, Seguimento de Instruções e Escrita Geral.
• Subespaços de Recompensa:
  • Matemática: Correção matemática + Comprimento.
  • Código: Correção de código + Comprimento.
  • Seguimento de Instruções: IFEval + Rubricas.
  • Escrita Geral: Comprimento + RM (Modelo de Recompensa) + Rubricas.
• Baselines: GRPO (soma bruta), GDPO (normalização Z-score) e o modelo de inicialização de RL.
• Validação: Validação em pequena escala em um modelo menor da mesma família para isolar as contribuições do MAQ e do Branqueamento antes de escalar para o LongCat-Flash.

4. Resultados Principais

4.1 Validação em Pequena Escala

Em um modelo interno menor, o pipeline completo de RDPO superou GDPO, GRPO e o modelo de inicialização em várias métricas:

• Seguimento de Instruções: Ganhos significativos no IFEval (83,55% vs. 78,56% para GDPO).
• Raciocínio e Codificação: Melhorias no AIME24, FullStackBench, HumanEval+ e MBPP+.
• Análise de Componentes: Tanto o MAQ (Q) quanto o Branqueamento (M) forneceram benefícios complementares. O MAQ foi particularmente eficaz em métricas sensíveis à distribuição (por exemplo, AH-Creative), enquanto o branqueamento auxiliou em configurações sensíveis à correlação.

4.2 Resultados Escalados do LongCat-Flash

Quando aplicado ao LongCat-Flash, o RDPO demonstrou:

• Seguimento de Instruções e Escrita: O RDPO alcançou as maiores pontuações no IFEval (90,39%), GuideBench, SOP-Maze, WritingBench e em ambos os subconjuntos do ArenaHard v2 (AH-Creative: 89,00%, AH-Hard: 76,10%). Isso confirma a utilidade de estabilizar vantagens ao nível do prompt e reduzir redundância para tarefas abertas e sensíveis à preferência.
• Raciocínio e Codificação: Os resultados foram amplamente competitivos, mas mistos. O RDPO igualou a melhor pontuação no MATH500 (98,60%) e permaneceu competitivo no AIME2025 e GPQA. Na codificação, o RDPO liderou no MBPP+ e LiveCodeBench v6, enquanto o GRPO ou o modelo de inicialização permaneceram mais fortes no FullStackBench e HumanEval+.
• Estabilidade Geral: O método transferiu-se com sucesso da validação em pequena escala para o treinamento em grande escala, mantendo desempenho estável em raciocínio e codificação enquanto impulsionava significativamente o seguimento de instruções e a qualidade da escrita.

5. Significado e Alegações

O artigo alega que o RDPO oferece uma solução robusta para RL multi-objetivo no pós-treinamento de LLMs, abordando explicitamente os modos de falha duplos de instabilidade de escala e redundância de correlação.

• Contribuição Metodológica: Ao combinar normalização Quantil Consciente de Magnitude com branqueamento de Mahalanobis, o RDPO garante que o sinal de vantagem agregada seja geometricamente consistente (contribuição igual entre dimensões) e eficientemente informativo (minimizando variância redundante).
• Impacto Prático: O método permite a otimização simultânea de tarefas heterogêneas (por exemplo, matemática, código, escrita) sem a instabilidade de treinamento tipicamente associada a formulações de recompensa mista.
• Desempenho: Os autores concluem que o RDPO aprimora o seguimento de instruções, a qualidade da escrita e a robustez a prompts difíceis, permanecendo amplamente competitivo em avaliações de raciocínio e codificação, validando sua eficácia como uma estratégia de processamento de recompensa de propósito geral para ambientes complexos de RL.