Resumo Técnico: Margem Adaptativa em RLHF via Preferência sobre Preferências

Declaração do Problema

No Aprendizado por Reforço com Feedback Humano (RLHF), o alinhamento de Grandes Modelos de Linguagem (LLMs) com as preferências humanas depende tipicamente de dados de preferência pareados. Abordagens padrão, como o modelo de Bradley-Terry (BT) e a Otimização de Preferência Direta (DPO), frequentemente tratam todos os pares de preferências de forma igual ou dependem de margens fixas. Embora a otimização baseada em margens seja conhecida por melhorar a generalização e a robustez em tarefas de classificação, os métodos existentes de RLHF enfrentam limitações significativas:

1. Sem Margens ou Margens Fixas: Muitos métodos aplicam nenhuma margem ou uma margem constante, falhando em considerar a força variável de diferentes preferências (ou seja, algumas preferências representam uma distinção clara entre respostas, enquanto outras são ambíguas).
2. Avaliações Escalares Ruidosas: Abordagens de margem adaptativa que existem dependem de pontuações de preferência escalares (ex: escalas Likert) fornecidas por humanos ou LLMs. Essas pontuações são frequentemente mal calibradas, inconsistentes entre anotadores e ruidosas, levando a informações de margem não confiáveis.
3. Dependência de Pontuações Precisas: Métodos que assumem o acesso a pontuações de preferência precisas enfrentam dificuldades na prática, pois os humanos acham difícil fornecer classificações numéricas confiáveis sobre a força da preferência.

O problema central é como inferir margens adaptativas — margens que variam por ponto de dado com base na força da preferência — sem depender de anotações escalares ruidosas.

Metodologia

Os autores propõem um framework chamado RLHF de Margem Adaptativa via Supervisão de Preferência sobre Preferência (PoP). Em vez de pedir aos anotadores que atribuam uma pontuação numérica a uma única preferência, o método pede que eles comparem dois pares de preferências e determinem qual deles reflete uma distinção mais forte.

Conceito Central: Preferência sobre Preferência (PoP)

Dadas duas instâncias de preferência, $A \succ B$ e $C \succ D$, um anotador (humano ou LLM) é solicitado a rotular qual preferência é mais forte. Se $(A \succ B)$ for julgada mais forte que $(C \succ D)$, isso implica que a diferença de recompensa $r(A) - r(B)$ é maior que $r(C) - r(D)$.

• Inferência: A diferença de recompensa da preferência mais fraca serve como um limite inferior (margem) para a preferência mais forte.
• Vantagem: Esta formulação reduz a tarefa de anotação a um julgamento binário sobre magnitudes relativas, o que é cognitivamente natural e fundamentado em princípios de análise de decisão (MACBETH). Ela evita os problemas de calibração das escalas de classificação discretas e fornece informações mais ricas do que as classificações discretas, permitindo a inferência de margens contínuas de valor real.

Algoritmo: DPO-PoP

O artigo instancia este framework dentro do algoritmo de Otimização de Preferência Direta (DPO), resultando no DPO-PoP.

1. Função de Perda: A perda padrão do DPO é modificada para incorporar uma margem adaptativa derivada de um par de preferência mais fraco. Para um par de preferência forte $(x_s, y^+_s, y^-_s)$ e um par fraco $(x_w, y^+_w, y^-_w)$, a perda impõe que a diferença de recompensa implícita do par forte exceda a do par fraco.
   $$\min_{\theta} \mathbb{E}_{D_{PoP}} \left[ -\log \sigma \left( m_\theta(x_s, y^+_s, y^-_s) - \text{sg}[m_{\hat{\theta}}(x_w, y^+_w, y^-_w)] \right) \right]$$
   Onde $m_\theta$ é a margem implícita, e $\text{sg}$ denota o operador de parada de gradiente (stop-gradient) para evitar que o termo de margem influencie diretamente a atualização dos parâmetros da política.
2. Estabilização: Para lidar com gradientes instáveis causados por margens ilimitadas, os autores:
   • Clipam os valores de margem para um intervalo fixo $[0, M_{max}]$.
   • Utilizam uma política alvo atualizada lentamente $\hat{\theta}$ (via média de Polyak) para calcular a margem de referência, evitando flutuações rápidas durante o treinamento.
3. Estratégias de Amostragem: O artigo explora duas estratégias para construir o dataset de PoP ($D_{PoP}$):
   • Amostragem Iterativa: Cada preferência é comparada contra $k$ preferências mais fracas. Isso garante a representação igual de todas as preferências, mas pode super-representar comparações fracas (ruidosas).
   • Amostragem Aleatória: Pares de preferências são selecionados aleatoriamente e comparados. Isso resulta em um dataset onde as preferências mais fortes aparecem com mais frequência.

Principais Contribuições

1. Framework de Supervisão PoP: Um método inovador para derivar margens adaptativas a partir de comparações ordinais entre preferências, em vez de classificações escalares, melhorando a calibração e a robustez.
2. Algoritmo DPO-PoP: Uma extensão concreta do DPO que integra a supervisão PoP, permitindo o alinhamento consciente de margens usando apenas aprendizado supervisionado sem uma fase separada de treinamento de modelo de recompensa.
3. Descoberta de um Trade-off: Os autores identificam um trade-off fundamental entre desempenho discriminativo (acurácia de classificação em rótulos de preferência) e desempenho generativo (qualidade do texto gerado).
   • DPO-PoP-Iter (amostragem iterativa) destaca-se em tarefas discriminativas, classificando corretamente preferências fracas, mas sofre na qualidade generativa, provavelmente devido ao overfitting em sinais fracos e ruidosos.
   • DPO-PoP-Random (amostragem aleatória) alcança desempenho generativo superior e robustez na acurácia discriminativa em benchmarks fora da distribuição (out-of-distribution), pois foca em preferências mais fortes e claras.
4. Insight Teórico: O artigo fornece um limite de generalização para classificadores de margem adaptativa, mostrando que o erro de generalização depende da soma dos inversos dos quadrados das margens ($\sum 1/m_i^2$). Isso explica por que a amostragem Aleatória (com menos margens fracas) produz melhores limites de generalização do que a amostragem Iterativa.

Resultados

Experimentos foram conduzidos no dataset UltraFeedback utilizando modelos Llama-3.2-3b e Llama-3.1-8b, com avaliações no RewardBench, AlpacaEval-2 e taxas de vitória do UltraRM.

• Desempenho Discriminativo: O DPO-PoP-Iter alcançou a maior acurácia de classificação de teste (aprox. 80% no UltraFeedback), superando as linhas de base em ~8 pontos percentuais, inclusive aquelas com acesso às margens reais (ground-truth). No entanto, mostrou menor correlação com as margens reais em preferências fortes.
• Desempenho Generativo: O DPO-PoP-Random superou consistentemente todas as linhas de base, incluindo aquelas com margens reais, em métricas generativas.
  • No AlpacaEval 2.0, o DPO-PoP-Random alcançou uma taxa de vitória de 14,2%, significativamente maior que o competidor mais próximo (12,4%).
  • No RewardBench, o DPO-PoP-Random garantiu a pontuação Geral mais alta, demonstrando estabilidade entre as categorias de Chat, Segurança e Raciocínio.
• Regime de Pequenos Dados: Em cenários de poucos dados, o DPO-PoP-Random melhorou as taxas de vitória em 17 pontos percentuais em relação ao DPO-margin-gt, sugerindo que a anotação PoP é eficaz mesmo com dados limitados.
• Anotação por LLM: Quando os rótulos PoP foram gerados por um LLM (GPT-4.1-mini) em vez de usar pontuações reais, o DPO-PoP-Random ainda manteve um desempenho robusto, validando a viabilidade prática da abordagem.

Significância e Alegações

O artigo afirma que o DPO-PoP oferece uma alternativa prática e eficaz para as anotações de escala de classificação numérica no RLHF. Ao alavancar julgamentos comparativos entre preferências, o método infere informações de margem refinadas que são mais bem calibradas entre os anotadores.

A significância reside na capacidade de navegar o trade-off discriminativo-generativo:

• Praticantes que buscam alta acurácia de classificação in-domain podem utilizar a Amostragem Iterativa.
• Praticantes que priorizam alta qualidade de geração de texto e robustez a mudanças de distribuição podem utilizar a Amostragem Aleatória.

Os autores enfatem que esta abordagem não requer modelos de recompensa complexos ou loops de aprendizado por reforço, integrando-se perfeitamente aos pipelines de DPO existentes com overhead computacional mínimo (um passe forward adicional). O trabalho sugere que "preferências sobre preferências" é um sinal cognitivamente natural e informativo para melhorar o alinhamento de LLMs.