Resumo Técnico: Além do RLHF: Um Quadro Teórico Unificado de Alinhamento

Declaração do Problema

O Aprendizado por Reforço a partir de Feedback Humano (RLHF) tornou-se o paradigma dominante para alinhar Modelos de Linguagem de Grande Escala (LLMs) com preferências humanas. No entanto, o artigo identifica lacunas teóricas significativas na compreensão atual do RLHF e de métodos de alinhamento relacionados:

1. Falta de Justificativa: Teorias existentes frequentemente tratam o objetivo do RLHF como uma tautologia (convergindo para a versão populacional do próprio objetivo) em vez de fornecer uma justificativa teórica de aprendizado sobre por que ele converge para o modelo de linguagem alvo.
2. Quadros Incompatíveis: Diferentes métodos (por exemplo, DPO, RLHF, REBEL) são analisados sob quadros teóricos dispersos, impedindo a comparação direta de suas garantias de convergência.
3. O Dilema do RLHF: O objetivo padrão do RLHF enfrenta um dilema assintótico quanto à força de regularização $\beta$. Se $\beta$ permanecer fixo, o modelo sofre subajuste (permanecendo muito próximo da política de referência); se $\beta$ decair para zero à medida que os dados aumentam, a solução pode degenerar.
4. Lacuna entre Empírico e Teórico: Empiricamente, objetivos on-policy como o RLHF frequentemente superam métodos baseados em verossimilhança como a Otimização Direta de Preferência (DPO), contudo, teorias existentes não conseguem explicar essa superioridade porque oferecem garantias ad hoc para cada método individualmente.

Os autores propõem reformular o alinhamento não como maximização de recompensa, mas como aprendizado de distribuição a partir de preferências pareadas. A questão central é: Sob quais suposições podemos derivar objetivos de treinamento que convergem provavelmentepara um modelo de linguagem alvo ($\pi^*$)?

Metodologia

O artigo postula a existência de um modelo de linguagem alvo (oráculo) $\pi^*$ e modela explicitamente como o feedback de preferência revela informações sobre $\pi^*$.

1. O Modelo de Preferência

Os autores assumem um modelo Bradley-Terry (BT) onde a probabilidade de preferir a resposta $a$ sobre $b$ dado o prompt $x$ é determinada diretamente pelas probabilidades do modelo alvo, em vez de uma função de recompensa externa:
$$P(a \succ b | x) = \frac{\pi^*(a | x)^\gamma}{\pi^*(a | x)^\gamma + \pi^*(b | x)^\gamma}$$
Aqui, $\gamma > 0$ é um hiperparâmetro. Esta suposição implica que o modelo de preferência é explicitamente um modelo de linguagem, contrastando com o DPO, que depende da suposição "all-policy" para derivar uma relação entre recompensas e o LM.

2. Objetivos Propostos

Com base nesta perspectiva de aprendizado de distribuição, os autores derivam três objetivos de alinhamento principiais:

• Estimação de Máxima Verossimilhança de Preferência (PMLE):
  Este objetivo maximiza a verossimilhança das preferências pareadas observadas sob a suposição BT, regularizada por uma divergência KL em relação a uma política de referência $\pi_0$.
  $$L_{PMLE, \beta}(\pi) = \frac{1}{n} \sum -\ln \sigma\left(\gamma \ln \frac{\pi(a^+|x)}{\pi(a^-|x)}\right) + \beta KL(\pi \| \pi_0)$$
  Diferentemente do DPO, que minimiza uma razão de verossimilhança sem um regularizador explícito (potencialmente levando a distribuições degeneradas), o PMLE inclui um termo KL explícito para garantir estabilidade.

• Destilação de Preferência:
  Esta abordagem primeiro aprende um modelo de recompensa $\hat{R}$ (equivalente a aprender um simulador de preferência) e depois destila essa distribuição de preferência no modelo de linguagem. Em vez de usar perda quadrática (como no REBEL), minimiza a divergência KL entre as distribuições de preferência binária do simulador aprendido e a política alvo:
  $$L_{Distill}(\pi) = \frac{1}{n} \sum KL(\text{Bern}(P_{\hat{\pi}}(a^+ \succ a^-|x)) \| \text{Bern}(P_{\pi}(a^+ \succ a^-|x))) + \beta KL(\pi \| \pi_0)$$
  Esta formulação é explicitamente derivada do modelo BT e evita questões de justificação estatística da perda quadrática.

• Minimização de KL Reverso (RKL):
  Reconhecendo que o objetivo é o aprendizado de distribuição, os autores propõem minimizar a divergência KL reversa $E_x[KL(\hat{\pi}(x) \| \pi^*(x))]$. Como $\pi^*$ é desconhecido, eles inserem um estimador $\hat{\pi}$ derivado do modelo de recompensa.
  $$L_{RKL, \beta}(\pi) = \frac{1}{n} \sum \left( -E_{a \sim \pi(x)}[\hat{R}(x, a)] - \gamma H(\pi(x)) + \beta KL(\pi(x) \| \pi_0(x)) \right)$$
  Este objetivo assemelha-se ao RLHF, mas inclui um termo de entropia adicional ($-\gamma H(\pi(x))$). Os autores argumentam que isso atua como uma correção ao RLHF, resolvendo o dilema assintótico onde o RLHF padrão falha em convergir para o verdadeiro $\pi^*$ à medida que $n \to \infty$.

3. Garantias Teóricas

O artigo fornece garantias de convergência não assintóticas de $O(1/n)$ para todos os três métodos. Especificamente, eles provam que o erro de KL direto $E_x[KL(\pi^*(x) \| \hat{\pi}(x))]$ converge para zero a uma taxa de $O(1/n)$, onde $n$ é o tamanho do conjunto de dados.

• PMLE e Destilação de Preferência: Alcançam limites dependentes do coeficiente de cobertura da classe de políticas $\Pi$.
• KL Reverso: Alcança um limite mais apertado que depende do coeficiente de cobertura da classe de modelos induzida pela recompensa $\mathcal{P}_\gamma(\mathcal{R})$, que é frequentemente menor que a de $\Pi$. Isso explica teoricamente por que métodos on-policy (como RKL/RLHF) frequentemente superam empiricamente métodos baseados em verossimilhança (como PMLE/DPO).

Resultados Chave

Achados Teóricos

• Justificativa para o RLHF: O objetivo RKL fornece uma forte justificativa teórica para o objetivo do RLHF, mostrando que é um caso especial (com $\gamma \to 0$) de um objetivo consistente de aprendizado de distribuição, desde que uma correção de entropia seja aplicada.
• Resolução do Dilema: Análise teórica e experimentos com brinquedos (Figura 1) demonstram que, enquanto o RLHF padrão sofre de inconsistência (saturando em erro não nulo) à medida que $n \to \infty$ devido ao dilema de regularização, o método RKL proposto converge para o verdadeiro modelo alvo.
• Superioridade de Métodos On-Policy: A teoria confirma que o KL Reverso (semelhante ao RLHF) desfruta de uma garantia de convergência superior comparada ao PMLE (semelhante ao DPO) porque aproveita a menor complexidade da classe de modelos de recompensa em vez da classe completa de políticas.

Achados Empíricos

Experimentos foram conduzidos em duas tarefas:

1. Resumo TL;DR: Usando os modelos Pythia-2.8B e Pythia-6.9B.
   • Taxas de Vitória: Os métodos propostos (PMLE, Destilação de Preferência, KL Reverso) consistentemente alcançaram taxas de vitória do GPT-4 mais altas em comparação com suas linhas de base (DPO, REBEL, RLHF).
   • Divergência KL: O PMLE alcançou divergência KL significativamente menor em relação ao modelo de referência comparado ao DPO, validando o benefício do regularizador explícito.
2. Chat Geral (UltraFeedback): Usando o LLaMA-3-8B-Instruct.
   • Avaliado em MT-Bench, AlpacaEval 2.0 e Arena Hard.
   • PMLE e Destilação de Preferência superaram DPO e REBEL na maioria dos benchmarks, mostrando ganhos particularmente fortes no AlpacaEval 2.0 e Arena Hard.

Significado e Afirmações

O artigo afirma fornecer o primeiro quadro teórico unificado para alinhamento que trata o problema como aprendizado de distribuição a partir de preferências pareadas. Suas contribuições primárias são:

1. Perspectiva Unificada: Unifica métodos existentes (DPO, RLHF, REBEL) sob uma única suposição probabilística, tornando explícitas suas suposições ocultas.
2. Fundamentação Teórica: Oferece garantias rigorosas, não assintóticas de convergência $O(1/n)$ para aprender uma distribuição alvo a partir de feedback pareado, um resultado anteriormente indisponível para esta configuração.
3. Explicação de Tendências Empíricas: Fornece a primeira confirmação teórica para a observação empírica de que objetivos on-policy (RLHF) frequentemente superam objetivos baseados em verossimilhança (DPO), atribuindo isso às propriedades de cobertura da classe de modelos de recompensa versus a classe de políticas.
4. Correção ao RLHF: Identifica uma deficiência específica no objetivo padrão do RLHF (a falta de um termo de entropia levando à inconsistência) e propõe um objetivo corrigido (RKL) que retém os benefícios práticos do RLHF enquanto garante consistência teórica.

Os autores concluem que, embora seus métodos sejam competitivos com linhas de base fortes, o valor primário reside no quadro teórico que explica por que esses métodos funcionam e como eles podem ser melhorados. Trabalhos futuros sugeridos incluem explorar objetivos de busca de modo versus cobertura de modo e estender o quadro para divergências alternativas.