Resumo Técnico: MDP-GRPO

Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) frequentemente têm dificuldade com o seguimento de instruções de múltiplas restrições, onde um único prompt exige a adesão a múltiplas regras explícitas e determinísticas (ex: formatação específica, palavras proibidas, encerramentos exatos). Embora o Aprendizado por Reforço com Recompensas Verificáveis (RLVR) ofereça uma solução promissora ao utilizar verificadores baseados em regras para fornecer sinais confiáveis e livres de viés, o Group Relative Policy Optimization (GRPO) padrão torna-se instável neste regime.

O problema central surge porque as recompensas de múltiplas restrições são discretas e frequentemente de baixa variância. No início do treinamento ou com restrições rigorosas, grupos de conclusões amostradas frequentemente resultam em recompensas homogêneas (todas as amostras satisfazem ou violam as mesmas restrições). Sob estas condições, a normalização de z-score do GRPO padrão sofre de três patologias específicas:

1. Amplificação de Baixa Variância: Flutuações menores de recompensa são infladas em vantagens desproporcionalmente grandes, causando atualizações frágeis.
2. Cegueira de Centralização de Média: A normalização z-score descarta níveis absolutos de recompensa, tornando impossível distinguir entre um grupo que falha consistentemente e um que tem sucesso consistentemente se suas distribuições relativas forem semelhantes.
3. Colapso de Variância Zero: Quando todas as amostras em um grupo recebem recompensas idênticas, o desvio padrão do grupo ($\sigma_{group}$) aproxima-se de zero. Isso faz com que o sinal de vantagem colapse para zero ou torne-se indefinido, eliminando o sinal de aprendizado por completo.

Metodologia: MDP-GRPO

Para abordar estas instabilidades, os autores propõem o MDP-GRPO, uma variante estabilizada do GRPO que integra três mecanismos complementares:

1. Amostragem de Temperatura Múltipla (Prevenção)

Para evitar a formação de grupos homogêneos, o método substitui a amostragem de temperatura fixa por um cronograma de temperatura ($T = [\tau_1, \dots, \tau_G]$) para o grupo de $G$ conclusões.

• Mecanismo: Temperaturas mais baixas incentivam a explotação (baselines de alta qualidade), enquanto temperaturas mais altas induzem a exploração.
• Objetivo: Isto mistura conclusões de alta qualidade e exploratórias dentro de um único grupo, garantindo dispersão de recompensa suficiente ($\sigma_{group} > 0$) mesmo com tamanhos de lote pequenos, sem alterar o objetivo de RL subjacente.

2. Vantagens de Âncora Dupla (Restauração de Sinal)

Para abordar o colapso de variância zero e a cegueira de centralização de média, o método introduz uma âncora consciente do objetivo ao lado da vantagem relativa ao grupo padrão.

• Mecanismo: Uma baseline neutra é modelada como um processo binomial onde as restrições são satisfeitas com probabilidade $p=0.5$. Isto gera uma vantagem "consciente do objetivo" fixa ($\delta_i$) que escala com o número de restrições.
• Integração: A vantagem final ($A_i$) é uma interpolação ponderada entre a vantagem moldada relativa ao grupo ($\tilde{z}_i$) e a vantagem moldada consciente do objetivo ($\tilde{\delta}_i$):
  $$A_i = (1 - \alpha)\tilde{z}_i + \alpha\tilde{\delta}_i$$
• Benefício: Mesmo quando a variância do grupo é zero, a âncora consciente do objetivo fornece um sinal de aprendizado válido, prevenindo a estagnação do treinamento.

3. Modelagem de Teoria da Perspectiva (Estabilização)

Inspirado pela Teoria da Perspectiva (Kahneman & Tversky, 1979), o método aplica uma função de modelagem assimétrica e limitada às vantagens brutas antes da mistura.

• Mecanismo: Uma transformação tanh escalonada limita as vantagens e impõe aversão à perda ($\lambda_- > \lambda_+$).
• Objetivo: Isto garante que as violações de restrição (resultados negativos) resultem em atualizações de gradiente maiores do que sucessos equivalentes, penalizando severamente a regressão. Simultaneamente, a função de limitação evita gradientes ilimitados causados por baixa variância, estabilizando o treinamento.

4. Regularização KL Assimétrica

O objetivo inclui uma penalidade KL assimétrica onde o coeficiente de penalidade é maior ($\beta_{high}$) quando a vantagem é negativa (queda de desempenho) e menor ($\beta_{low}$) quando positiva, restringindo ainda mais o modelo durante a regressão.

Principais Contribuições

1. Formalização de Patologias: O artigo identifica e formaliza três modos de falha de atualizações de política baseadas em grupos em regimes de recompensa discretos e de baixa dispersão: amplificação de baixa variância, cegueira de centralização de média e colapso de variância zero.
2. Prevenção via Amostragem: Introdução de amostragem de temperatura múltipla para aumentar artificialmente a diversidade de recompensa em configurações de lote pequeno sem alterar a função objetivo.
3. Recuperação de Sinal: Proposta de vantagens de âncora dupla para restaurar sinais de aprendizado em grupos de variância zero e recuperar informações de desempenho absoluto perdidas na normalização padrão.
4. Modelagem Robusta: Aplicação de modelagem baseada na teoria da perspectiva para limitar magnitudes de atualização e priorizar a correção de violações de restrição.
5. Validação Empírica: Demonstração de que estes componentes coletivamente melhoram a estabilidade e o desempenho em tarefas de múltiplas restrições, preservando as capacidades gerais.

Resultados Experimentais

O método foi avaliado no IFEval, FollowBench e um dataset de múltiplas restrições curado, utilizando os modelos Gemma-2-2B e Llama-3.2-3B.

• Ganhos de Desempenho: O MDP-GRPO superou consistentemente o GRPO padrão e a baseline zero-shot. No Llama-3.2-3B, melhorou a satisfação de restrições estritas (HSR) em até 5.0% no dataset customizado.
• Eficiência de Pequenos Lotes: O método provou ser particularmente eficaz com tamanhos de grupo reduzidos ($G=4$). A amostragem de temperatura múltipla permitiu que o MDP-GRPO se aproximasse do desempenho do GRPO padrão treinado com grupos maiores ($G=8$), demonstrando sua utilidade sob orçamentos computacionais restritos.
• Escalabilidade de Dificuldade: As variantes estabilizadas (especificamente aquelas com Âncoras Duplas) degradaram-se mais lentamente que as baselines conforme o número de restrições aumentava, mantendo taxas de sucesso mais altas em prompts complexos (Dificuldade 5-6).
• Capacidades Gerais: Avaliações no MMLU e ARC confirmaram que os ganhos em seguimento de instruções não ocorreram às custas do raciocínio geral ou da retenção de conhecimento.
• Dinâmicas de Treinamento: Diagnósticos mostraram que os métodos propostos reduziram com sucesso a frequência de grupos de variância zero e controlaram o desvio da divergência KL em comparação com o GRPO padrão.

Significância e Alegações

Os autores alegam que o MDP-GRPO fornece um framework estável e confiável para RLVR em configurações de múltiplas restrições, um domínio onde os métodos de normalização de grupo padrão frequentemente falham devido à esparsidade de recompensa. Ao abordar explicitamente as patologias matemáticas da normalização z-score, o método permite:

• Convergência estável mesmo com pequenos tamanhos de grupo.
• Aprendizado eficaz de recompensas discretas e baseadas em regras sem a necessidade de modelos de recompensa treinados ou rótulos de preferência humana.
• Robustez contra a "fragilidade" das atualizações do GRPO padrão quando confrontado com distribuições de recompensa homogêneas.

O artigo conclui que, embora a abordagem seja especificamente desenhada para restrições determinísticas e verificáveis, seus componentes principais (âncora dupla e modelagem de perspectiva) são agnósticos à fonte da recompensa e podem ser adaptados para outros contextos de RL. No entanto, os autores observam modestamente que o método depende de verificadores automáticos e pode não se estender diretamente a restrições subjetivas ou estilísticas sem modelos de recompensa treinados.