Resumo Técnico: Otimização de Política Histerética (HPO) para Treinamento de LLMs com Recompensas Esparsas

1. Declaração do Problema

O artigo investiga um modo de falha específico na Otimização de Política Relativa em Grupo (GRPO) quando aplicada a Modelos de Linguagem de Grande Escala (LLMs) sob regimes de recompensa verificável esparsa (por exemplo, tarefas de raciocínio onde apenas uma pequena fração das respostas amostradas está correta). Os autores identificam dois vieses interdependentes que desestabilizam o treinamento nesse cenário:

1. Desequilíbrio de Sinal (Dominância Negativa): Em cenários de recompensa esparsa, a política inicial frequentemente gera majoritariamente respostas incorretas. Consequentemente, a maioria das trajetórias amostradas fica abaixo da média do grupo, resultando em uma alta frequência de vantagens negativas ($p_- > p_+$). O tratamento simétrico dessas abundantes amostras negativas pode sobrecarregar os sinais positivos raros, suprimindo trajetórias de raciocínio úteis, mas ruidosas.
2. Viés de Comprimento ao Nível da Resposta: O GRPO padrão normaliza a perda pelo comprimento de cada resposta individual ($1/|\tau_i|$). Isso cria uma relação inversa entre o comprimento da resposta e a magnitude da atualização:
   • Respostas corretas curtas recebem gradientes positivos desproporcionalmente grandes, enviesando o modelo para a brevidade.
   • Respostas incorretas longas recebem gradientes negativos desproporcionalmente pequenos, falhando em penalizar adequadamente falhas verbosas.
   • Essa interação torna a pressão de otimização dependente tanto da recompensa quanto do comprimento, o que é particularmente problemático para tarefas de raciocínio onde o comprimento correlaciona-se com a profundidade da busca ou a explicação.

2. Metodologia

Os autores propõem a Otimização de Política Histerética (HPO), uma modificação mínima ao objetivo do GRPO projetada para abordar esses vieses através de dois mecanismos:

2.1 HPO Fixa

A HPO introduz duas alterações estruturais ao objetivo do GRPO:

• Normalização pelo Comprimento Médio: Em vez de normalizar cada resposta pelo seu próprio comprimento ($|\tau_i|$), a HPO normaliza todo o lote pelo comprimento médio da resposta ($|\bar{\tau}|$). Isso remove a escala inversa da magnitude da atualização com o comprimento da resposta, garantindo que respostas incorretas longas sejam penalizadas adequadamente e que respostas corretas curtas não dominem o gradiente.
• Pesagem Histerética Assimétrica: As atualizações do gradiente da política são escaladas de forma assimétrica com base no sinal da vantagem ($\hat{A}_i$):
  • Vantagens positivas ($\hat{A}_i \geq 0$) mantêm o peso total (fator = 1).
  • Vantagens negativas ($\hat{A}_i < 0$) são subponderadas por um fator histerético $\alpha \in [0, 1]$.
  • A função objetivo torna-se:
    $$J_{HPO}(\theta) = \mathbb{E}_X \left[ \frac{1}{N|\bar{\tau}|} \sum_{i=1}^N \sum_{j=1}^{|\tau_i|} w_i \ell_{i,j}(\theta) \right]$$
    onde $w_i = 1$ se $\hat{A}_i \geq 0$, e $w_i = \alpha$ caso contrário.

2.2 HPO Adaptativa (A-HPO)

Reconhecendo que o $\alpha$ ótimo depende do regime de treinamento (exigindo menos histerese à medida que a política melhora), os autores introduzem a A-HPO. Esta variante ajusta dinamicamente $\alpha$ com base nas estatísticas de sinal do lote atual:

• Estima a razão entre as frequências de vantagens positivas e negativas ($\hat{p}_+ / \hat{p}_-$).
• O peso adaptativo é definido como:
  $$\alpha_{adaptive} = \text{clip}\left( \frac{\hat{p}_+}{\hat{p}_- + \epsilon}, \alpha_{min}, 1 \right)$$
• Mecanismo: Quando as amostras negativas dominam (regime esparsa), $\hat{p}_+ / \hat{p}_-$ é pequeno, fazendo com que $\alpha$ diminua e amortize as atualizações negativas. À medida que a política melhora e a distribuição se equilibra, $\alpha$ aproxima-se de 1, recuperando uma atualização simétrica. Isso evita o ajuste manual de um $\alpha$ fixo.

3. Contribuições Principais

1. Identificação de Modos de Falha: O artigo liga explicitamente a instabilidade do GRPO em regimes de recompensa esparsa à combinação da dominância de vantagens negativas e da normalização de comprimento ao nível da resposta.
2. Algoritmo HPO: Uma interpolação de um parâmetro entre o aprendizado "apenas positivo" (que descarta feedback negativo) e atualizações totalmente simétricas. Combina normalização pelo comprimento médio com pesagem assimétrica.
3. A-HPO: Uma regra leve e adaptativa que ajusta automaticamente o peso histerético com base nas estatísticas de sinal ao nível do lote, removendo a necessidade de busca manual de hiperparâmetros.
4. Validação Empírica: Estudos de ablação demonstram que o comportamento ótimo reside entre os extremos de atualizações apenas positivas ($\alpha=0$) e simétricas ($\alpha=1$), validando a necessidade de histerese intermediária.

4. Resultados Experimentais

Os autores avaliaram a HPO e a A-HPO em duas tarefas: TeleLogs (análise de causa raiz de redes 5G) e Countdown (construção aritmética), utilizando modelos que variam de 1,5B a 7B parâmetros.

• TeleLogs (Qwen2.5-1.5B):
  • A A-HPO alcançou uma recompensa final de 0,84, superando o GRPO (0,73, +15%), o GSPO (0,76, +11%) e o SAPO (0,80, +5%).
  • A A-HPO atingiu níveis altos de recompensa significativamente mais rápido (eficiência de amostra) enquanto mantinha um comprimento de resposta comparável às linhas de base, evitando o "colapso de comprimento" observado em métodos apenas positivos.
• Countdown (modelos de 1,5B–7B):
  • Os ganhos foram mais pronunciados no treinamento inicial e em configurações mais difíceis (Countdown-4 com 4 números), onde as recompensas são esparsas.
  • Por exemplo, no Llama3.1-3B com Countdown-4, a A-HPO melhorou a recompensa de 200 passos de 0,40 (GRPO) para 0,54.
  • Em regimes saturados (por exemplo, modelos de 7B em Countdown-3 mais fácil), a lacuna de desempenho estreitou-se, indicando que a A-HPO é mais crítica quando a política ainda está aprendendo.
• Estudos de Ablação:
  • A HPO fixa com $\alpha=0$ (apenas positivo) colapsou para saídas muito curtas (16 tokens) e recompensas mais baixas (0,71).
  • A HPO fixa com $\alpha=1$ (simétrica) teve desempenho inferior (0,72) devido à dominância negativa.
  • O melhor desempenho fixo ocorreu em $\alpha \approx 0,6$, que a A-HPO igualou automaticamente sem ajuste.
  • A análise do "equilíbrio de contribuição substituta" confirmou que a A-HPO equilibra com sucesso a magnitude das contribuições de atualização positiva e negativa, enquanto o GRPO permanece ruidoso e dominado por negativas.

5. Significado e Afirmações

O artigo afirma que a HPO e a A-HPO oferecem uma modificação prática e de baixa sobrecarga ao GRPO que melhora significativamente a estabilidade e a eficiência de amostra no RL com recompensas esparsas para LLMs.

• Princípio Central: Os autores argumentam que, em regimes de recompensa esparsa, as atualizações de vantagem negativa devem ser utilizadas, mas não confiadas simetricamente quando são esmagadoramente frequentes.
• Equilíbrio: O método previne com sucesso a supressão de trajetórias de raciocínio úteis por falhas abundantes, evitando ao mesmo tempo o comportamento degenerado de descartar evidências negativas inteiramente.
• Adaptatividade: A A-HPO é apresentada como uma solução robusta que rastreia automaticamente o regime intermediário entre atualizações apenas positivas e simétricas, adaptando-se à medida que a distribuição de treinamento se desloca de recompensas esparsas para densas.

O trabalho posiciona a HPO como um refinamento necessário para o ajuste fino eficiente em computação de LLMs quando recompensas de processo densas ou feedback de crítico estão indisponíveis.