Resumo Técnico: AdaDPO

1. Declaração do Problema

A Otimização Direta de Preferência (DPO) emergiu como uma alternativa dominante ao Aprendizado por Reforço com Feedback Humano (RLHF) para alinhar Modelos de Linguagem de Grande Escala (LLMs), oferecendo um pipeline simplificado que elimina a necessidade de um modelo de recompensa separado. No entanto, uma análise teórica recente de Feng et al. [2024] identificou uma assimetria estrutural na função de perda da DPO.

A questão central é o desequilíbrio de gradientes. Na DPO padrão, o mesmo coeficiente $\beta$ multiplica os log-ratios tanto das respostas preferidas ($y_w$) quanto das não preferidas ($y_l$). À medida que o treinamento progride e a política se torna mais confiante na resposta preferida, a magnitude do gradiente em relação à probabilidade preferida ($P_w$) diminui significativamente mais rápido do que o gradiente em relação à probabilidade não preferida ($P_l$). Especificamente, a razão dos gradientes $|\partial L / \partial P_w| / |\partial L / \partial P_l|$ cai abaixo de 1, frequentemente aproximando-se de zero.

Consequentemente, o modelo aprende principalmente a suprimir respostas ruins em vez de promover boas. Esse desequilíbrio é uma propriedade estrutural da perda, não um artefato de hiperparâmetros, e torna-se particularmente pronunciado quando as respostas preferidas e não preferidas são semanticamente próximas. Essa dinâmica tem sido associada ao viés de comprimento, onde os modelos exploram a verbosidade para maximizar recompensas sem necessariamente melhorar a qualidade.

2. Metodologia: AdaDPO

Os autores propõem o AdaDPO (Otimização Direta de Preferência Autoadaptativa), uma variante projetada para impor igualdade nas magnitudes dos gradientes entre as probabilidades preferidas e não preferidas em cada etapa de otimização.

Mecanismo Central

Em vez de usar um coeficiente fixo $\beta$ para ambos os termos, o AdaDPO introduz coeficientes por par de preferência, $\beta_w$ e $\beta_l$. A função de perda é modificada da seguinte forma:
$$\Delta_{\text{AdaDPO}} = \beta_w \log \frac{P_w}{R_w} - \beta_l \log \frac{P_l}{R_l}$$
onde $P$ representa as probabilidades da política e $R$ representa as probabilidades do modelo de referência.

Derivação Teórica

Para alcançar gradientes equilibrados ($|\partial L / \partial P_w| = |\partial L / \partial P_l|$), os autores derivam uma condição necessária para a razão dos coeficientes:
$$\frac{\beta_w}{\beta_l} = \frac{P_w}{P_l}$$
(Ou, no espaço de razão de probabilidades: $\frac{\beta_w}{\beta_l} = \frac{P_w R_l}{P_l R_w}$).

Detalhes de Implementação

Para satisfazer essa condição sem quebrar a dinâmica de otimização (ou seja, impedindo que os coeficientes se tornem parâmetros diferenciáveis que propagam gradientes), o AdaDPO emprega um operador de stop-gradient:
$$\beta_w = \beta \cdot \text{sg}\left( \frac{P_w R_l}{P_l R_w} \right)$$
Aqui, $\beta_l$ é mantido igual ao hiperparâmetro padrão da DPO, $\beta$. O operador stop-gradient (sg) garante que a razão seja tratada como uma constante durante a retropropagação, cancelando efetivamente a escala inversa de probabilidade que causa o problema de "promoção que desaparece" na DPO padrão.

AdaDPO Estável:
Para abordar a instabilidade de treinamento em sequências longas, onde log-probabilidades somadas por token podem produzir razões extremas, os autores introduzem uma variante normalizada por comprimento usada em seus principais experimentos. Esta variante calcula a razão adaptativa com base em médias de log-probabilidades por token e aplica um limite de corte numérico ($C=2.0$) ao coeficiente adaptativo. Esta variante mantém a estrutura original de hiperparâmetros da DPO e requer apenas algumas linhas de modificação de código.

3. Contribuições Principais

1. Correção Teórica: O artigo deriva rigorosamente a condição para magnitudes de gradientes iguais em perdas do estilo DPO e prova que o AdaDPO satisfaz essa condição exatamente por meio de operadores stop-gradient, fornecendo uma correção fundamentada para o desequilíbrio de gradientes.
2. Desempenho Empírico: No Llama-3-8B-Instruct treinado no conjunto de dados UltraFeedback, o AdaDPO supera consistentemente a DPO padrão em uma ampla grade de hiperparâmetros.
3. Generalização: O princípio autoadaptativo mostrou-se uma modificação "plug-and-play" aplicável a uma ampla família de perdas contrastivas de preferência em pares, incluindo SimPO, R-DPO, IPO, CPO e ORPO, sem alterar seus hiperparâmetros existentes.

4. Resultados Experimentais

Os autores avaliaram o AdaDPO contra as bases DPO e SFT usando Llama-3-8B-Instruct e o conjunto de dados UltraFeedback, seguindo uma configuração quase idêntica à do SimPO.

Principais Descobertas no AlpacaEval 2:

• Taxa de Vitória Controlada por Comprimento (LC): O AdaDPO alcançou a melhor LC global de 48,3% (vs. 46,4% para DPO).
• Taxa de Vitória Bruta (WR): O AdaDPO alcançou uma WR global de 46,1% (vs. 44,5% para DPO).
• Robustez de Hiperparâmetros: Em 16 combinações diferentes de $(lr, \beta)$:
  • O AdaDPO superou a DPO em 81% das combinações em relação à LC.
  • O AdaDPO produziu uma margem maior de LC sobre WR (indicando redução do viés de comprimento) em 88% das combinações.
  • O AdaDPO alcançou comprimentos médios de resposta menores enquanto mantinha qualidade superior, sugerindo que os ganhos não são impulsionados pela verbosidade.

Outros Benchmarks:

• Arena-Hard: A DPO mostrou uma taxa de vitória bruta marginalmente maior (42,9% vs. 41,5%), mas os intervalos de confiança de 95% se sobrepuseram substancialmente, indicando nenhuma diferença estatisticamente significativa.
• MT-Bench: O AdaDPO (8,03) superou marginalmente a DPO (8,01), uma diferença que os autores observam estar abaixo da resolução da escala do benchmark.

Dinâmica de Otimização:
O AdaDPO demonstrou menor perda de avaliação, maior precisão de recompensa e maiores margens de recompensa em comparação com a DPO, confirmando que atualizações de gradiente equilibradas se traduzem diretamente em qualidade de alinhamento aprimorada.

5. Significado e Alegações

O artigo afirma que o AdaDPO aborda uma falha estrutural fundamental na DPO e suas variantes: a tendência de aprender por supressão em vez de promoção.

• Mecanismo de Melhoria: Os autores afirmam que as melhorias observadas no desempenho controlado por comprimento e a redução no viés de comprimento são consequências diretas da correção do desequilíbrio de gradientes. Ao garantir que o modelo continue a receber um sinal de reforço forte para respostas preferidas mesmo à medida que se torna confiante, o AdaDPO impede que o sinal de otimização estagne.
• Praticidade: O método não requer nova coleta de dados, nenhuma alteração na arquitetura do modelo e nenhum novo hiperparâmetro sensível (além do $\beta$ padrão e de uma constante de corte robusta). É apresentado como uma mudança mínima de código com impacto máximo.
• Escopo: Os autores enquadram modestamente seus resultados como aplicáveis à otimização de preferência offline no contexto de Instrução de LLM. Eles afirmam explicitamente que validação entre modelos, transferência para outros conjuntos de dados e extensão para RL online ou objetivos de segurança são trabalhos futuros, não alegações atuais.

Em conclusão, o artigo postula que o equilíbrio de gradientes, e não o ajuste cuidadoso de hiperparâmetros, é a principal restrição ao desempenho de objetivos do estilo DPO, e que o AdaDPO fornece uma solução geral e teoricamente fundamentada para esse problema.