Resumo Técnico: SMOPD

1. Definição do Problema

O artigo aborda uma limitação fundamental no aprendizado por reforço multi-recompensa com feedback humano (RLHF) para Grandes Modelos de Linguagem (LLMs). Embora métodos existentes como o Group Reward-Decoupled Normalization Policy Optimization (GDPO) tenham melhorado o padrão do Group Relative Policy Optimization (GRPO) ao normalizar as dimensões de recompensa separadamente antes da agregação, eles ainda lutam contra o desequilíbrio de densidade de recompensa.

Em muitos cenários práticos, os modelos são treinados com uma mistura de recompensas densas (que fornecem feedback fino e contínuo, ex: pontuações de precisão de 0,1 a 1,0) e recompensas esparsas (que fornecem feedback binário, tudo ou nada, ex: conformidade de formato de 0 ou 1).

• O Problema Central: Na estimativa de vantagem baseada em grupos, as recompensas densas fornecem variação consistente dentro do grupo, permitindo que o modelo aprenda efetivamente. As recompensas esparsas, no entanto, frequentemente atribuem valores idênticos (ex: 0) à maioria das respostas dentro de um grupo de rollout. Isso resulta em variância zero ou próxima de zero para a dimensão esparsa dentro do grupo.
• Consequência: Mesmo com a normalização por recompensa, o sinal da recompensa esparsa é sobrecarregado pelo sinal da recompensa densa durante a otimização equilibrada. O modelo falha em aprender a capacidade associada à recompensa esparsa (ex: formatação rigorosa de saída) porque o sinal de otimização é insuficiente para impulsionar as atualizações da política, independentemente dos pesos de prioridade atribuídos em uma configuração de política única. Aumentar a prioridade da recompensa esparsa para torná-la aprendível muitas vezes distorce a política final, degradando o desempenho nos outros objetivos.

2. Metodologia: SMOPD

Para resolver essa tensão, os autores propõem o Specialize-and-Merge Online Policy Distillation (SMOPD), um framework de treinamento de dois estágios que desacopla a aquisição de capacidade do equilíbrio de recompensas.

Estágio 1: Especializar (Professores Especializados em Recompensa)

Em vez de treinar uma única política para equilibrar todas as recompensas, o SMOPD treina múltiplas políticas "professor", cada uma especializada para uma dimensão de recompensa específica.

• Mecanismo: A política base é treinada com configurações distintas de prioridade de recompensa; para uma dimensão de recompensa alvo $k$, o peso de prioridade $w_k$ é definido significativamente maior que os outros pesos ($w_k \gg w_j$).
• Efeito: Isso amplifica o sinal de gradiente para a recompensa alvo, permitindo que o professor aprenda efetivamente a distribuição esparsa ou difícil de aprender (ex: um "Professor de Formato" que prioriza a conformidade binária de formato) sem ser abafado por sinais densos.
• Resultado: É produzido um conjunto de professores complementares, onde cada professor se destaca em uma dimensão de recompensa específica, potencialmente às custas de outras, mas cobrindo coletivamente todo o espaço de recompensa.

Estágio 2: Mesclar (Destilação de Política On-Policy)

As capacidades especializadas dos professores são mescladas em uma única política "aluno" através de Destilação de Política On-Policy (OPD).

• Mistura de Professores: Em cada posição de token $t$ em uma sequência gerada pelo aluno, a distribuição alvo é uma mistura das distribuições de próximo token dos professores. O SMOPD utiliza uma mistura uniforme ($\alpha_m = 1/M$) e aproxima a mistura completa do vocabulário usando uma construção top-$\kappa$ (retendo os $\kappa$ principais tokens de cada professor) para garantir eficiência computacional.
• Perda de Destilação: O aluno minimiza a divergência KL direta (Forward KL) entre sua própria distribuição e a mistura dos professores. A Forward KL foi escolhida por ser "cobertora de modos" (mode-covering), incentivando o aluno a colocar massa de probabilidade em todos os tokens de alta probabilidade de qualquer professor (crucial quando diferentes professores são confiantes sobre diferentes tokens, ex: delimitadores de formato vs. argumentos de função).
• Âncora GDPO: Para evitar que o aluno apenas imite os professores e perca a otimização do nível da tarefa, uma perda de âncora GDPO é adicionada. Esta perda utiliza pesos equilibrados para todas as recompensas, fornecendo um sinal de nível de sequência que guia o aluno a otimizar o objetivo original de multi-recompensa.
• Objetivo Total: O aluno otimiza uma combinação da perda de destilação (orientação ao nível de token) e da perda de âncora (direção da tarefa ao nível de sequência).

3. Principais Contribuições

1. Resolução da Tensão de Equilíbrio de Recompensa: O SMOPD aborda o conflito inerente na RL de multi-recompensa de política única, onde recompensas esparsas são impossíveis de aprender sob prioridades equilibradas. Ao especializar os professores, ele torna as distribuições esparsas aprendíveis sem distorcer permanentemente a política final.
2. Framework de Dois Estágios (Especializar e Mesclar): O método introduz um fluxo de trabalho inovador onde a aquisição de capacidade é separada do equilíbrio de recompensas. Os professores aprendem em regimes favoráveis (alta prioridade) e o aluno mescla essas capacidades via destilação ao nível de token.
3. Superioridade em Cenários Complementares e Conflitantes: O artigo demonstra que o SMOPD supera os basais de escalonamento (GRPO, GDPO, GD2PO) em diferentes escalas de modelos (1.5B, 3B, 7B) e estruturas de recompensa (complementares: precisão de ferramenta/formato; conflitantes: utilidade/segurança).
4. A Mesclagem Supera os Professores: A política aluno mesclada não apenas equilibra os objetivos, mas frequentemente supera o desempenho dos professores individuais especializados e dos basais de escalonamento, indicando que o processo de destilação recupera o conhecimento complementar não utilizado pelo treinamento de objetivo único.

4. Resultados Experimentais

Os autores avaliaram o SMOPD em dois cenários principais:

A. Recompensas Complementares (Chamada de Ferramenta)

• Configuração: Treinamento no RLLA-4K com recompensas de precisão (densa) e formato (esparsa binária).
• Descobertas:
  • Falha do GDPO: Sob prioridades equilibradas, o GDPO alcançou apenas 8,8% de conformidade de formato no backbone de 1.5B, pois o sinal esparso foi sobrecarregado.
  • Sucesso do Professor: O professor especializado em Formato (alta prioridade em formato) alcançou 97,5% de conformidade, mas menor precisão.
  • Sucesso do SMOPD: O aluno mesclado alcançou 97,5% de conformidade de formato mantendo alta precisão (pontuação média RLLA de 2,740 vs. 1,849 do GDPO). Isso representa uma melhoria de +48% sobre o baseline GDPO no modelo de 1.5B.
  • Generalização: O SMOPD também mostrou desempenho superior em benchmarks não vistos, como API-Bank (LLM-Judge) e BFCL.

B. Recompensas Conflitantes (Utilidade vs. Segurança)

• Configuração: Treinamento em benchmarks de Safe-RLHF (HH-RLHF, PKU-SafeRLHF, Alpaca) com recompensas de utilidade (helpfulness) e segurança (harmlessness).
• Descobertas:
  • O SMOPD superou consistentemente o GDPO e o GD2PO em backbones de 3B e 7B (Qwen2.5 e Llama-3.2).
  • No Qwen2.5-7B, o SMOPD alcançou uma pontuação Geral de 5,646, excedendo o melhor baseline de escalonamento (GD2PO: 5,571) e ambos os professores individuais.
  • Mesmo quando os professores individuais degradaram (ex: no Llama-3.2-3B), o processo de mesclagem recuperou o desempenho para aproximar ou exceder os basais de escalonamento.

C. Estudos de Ablação

• Necessidade da Âncora: Remover a âncora GDPO (usando apenas OPD) resultou em um aluno que estagnou no nível de desempenho da mistura de professores. A âncora é essencial para levar o aluno além do "teto de imitação" para otimizar a recompensa real da tarefa.
• Forward vs. Reverse KL: A Forward KL mostrou-se superior à Reverse KL neste cenário de múltiplos professores porque preserva os diversos modos da mistura de professores, enquanto a Reverse KL tende a ser buscadora de modo (mode-seeking) e pode perder capacidades especializadas.
• Sensibilidade do Top-$\kappa$: Um $\kappa$ pequeno (ex: 16) foi suficiente, pois reteve ~99,4% da massa de probabilidade dos professores, validando a eficiência da aproximação.

5. Significância e Alegações

O artigo afirma que o SMOPD oferece uma solução robusta para o problema do desequilíbrio de densidade de recompensa no RL multi-recompensa. Sua significância reside em:

• Desacoplar Aprendizado de Equilíbrio: Desafia o paradigma de tentar equilibrar todas as recompensas simultaneamente em um único passo de otimização. Em vez disso, utiliza a especialização para garantir que todos os sinais de recompensa sejam aprendidos efetivamente antes da mesclagem.
• Granularidade ao Nível de Token: Ao utilizar destilação on-policy ao nível de token, o SMOPD fornece supervisão densa para recompensas esparsas (como formatação) que a estimativa de vantagem baseada em grupos não consegue fornecer.
• Escalabilidade e Generalidade: O método é eficaz em vários tamanhos de modelo (1.5B a 7B) e tipos de recompensa (complementares e conflitantes), sugerindo que é uma abordagem generalizável para o alinhamento multi-objetivo em LLMs.

Os autores concluem que o SMOPD produz uma política unificada que retém as forças dos professores especializados enquanto alcança um equilíbrio de otimização de nível de tarefa, superando efetivamente as limitações dos atuais métodos de escalonamento de multi-recompensa.