Resumo Técnico: Recompensas Normalizadas para Otimização de Preferências

Declaração do Problema

Algoritmos de Alinhamento Direto (DAAs - Direct Alignment Algorithms), como o DPO (Direct Preference Optimization) e o SimPO, tornaram-se o padrão para alinhar Grandes Modelos de Linguagem (LLMs) com as preferências humanas devido à sua eficiência computacional em comparação ao RLHF (Reinforcement Learning from Human Feedback). No entanto, trabalhos recentes identificaram uma limitação crítica: os DAAs frequentemente sofrem de sobre-otimização de seus modelos de recompensa implícitos.

Uma manifestação primária disso é o deslocamento de verossimilhança (likelihood displacement), um fenômeno onde as verossimilhanças tanto das respostas preferidas quanto das não preferidas caem simultaneamente durante o treinamento. Isso ocorre porque os objetivos padrão de DAA (DPO, SimPO) otimizam a diferença de recompensas entre pares de respostas, fazendo com que a função de partição $Z(x)$ se cancele matematicamente. Consequentemente, o modelo não é incentivado a manter uma estimativa calibrada da massa de probabilidade total sobre o espaço de respostas. Essa falta de normalização leva a deslocamentos espúrios de probabilidade, particularmente para respostas "não vistas" (aquelas que não estão no par de treinamento), resultando potencialmente em comportamentos indesejáveis ou prejudiciais.

Hipóteses existentes para a sobre-otimização — como alta similaridade de incorporação (embedding) entre pares ou regularização insuficiente — falham em generalizar para ambos os métodos baseados em referência (ex: DPO) e sem referência (ex: SimPO). Além disso, análises anteriores focam frequentemente em instâncias únicas de DAAs, em vez do mecanismo compartilhado de normalização.

Metodologia

Os autores propõem que a sobre-otimização da recompensa decorre de uma falta de normalização na recompensa implícita. Para combater isso, eles introduzem um termo de regularização projetado para conservar a massa de probabilidade total normalizada pelo comprimento das respostas escolhida ($y_w$) e rejeitada ($y_l$) dentro de um par de preferência.

O Termo de Regularização

O insight central é que, para um modelo de linguagem parametrizado aplicando softmax, a distribuição de saída deve permanecer normalizada (função de partição = 1) ao longo do treinamento. Como estimar a função de partição completa sobre todas as respostas possíveis é inviável, os autores impõem a normalização nas respostas vistas.

Eles definem uma penalidade de regularização $R(\pi_\theta, \pi_{ref}, x, y_w, y_l)$:
$$R = \lambda \left( \log \frac{\bar{\pi}_\theta(y_w|x) + \bar{\pi}_\theta(y_l|x)}{\bar{\pi}_{ref}(y_w|x) + \bar{\pi}_{ref}(y_l|x)} \right)^2$$
Onde:

• $\bar{\pi}$ denota probabilidades normalizadas pelo comprimento (para mitigar o viés de comprimento).
• $\lambda$ é um hiperparâmetro.
• O termo minimiza o log-razão ao quadrado da massa de probabilidade total atribuída ao par pelo modelo atual versus o modelo de referência.

Esta penalidade é adicionada aos objetivos padrão:

1. N-DPO: $L_{N-DPO} = L_{DPO} + R$
2. N-SimPO: $L_{N-SimPO} = L_{SimPO} + R$

Análise Mecanística

O artigo fornece uma análise teórica do gradiente deste termo de regularização. O gradiente de $R$ em relação aos parâmetros do modelo $\theta$ é inversamente proporcional à verossimilhança dos tokens individuais.

• Tokens Atípicos (Outlier Tokens): A análise revela que o deslocamento de verossimilhança é impulsionado por um pequeno conjunto de tokens atípicos com verossimilhanças muito baixas. Esses tokens dominam as atualizações de gradiente.
• Mitigação: Quando a verossimilhança total da resposta diminui, o termo de regularização gera gradientes que aumentam primariamente a verossimilhança desses tokens atípicos de baixa verossimilhança. Isso remodela a distribuição de recompensa, prevenindo as quedas massivas de probabilidade associadas ao deslocamento, enquanto realiza mudanças mínimas em tokens de alta verossimilhança relevantes para a geração.

Principais Contribuições

1. Identificação do Déficit de Normalização: Os autores ilustram como a incapacidade de considerar a distribuição de respostas não vistas (devido ao cancelamento da função de partição em objetivos padrão) leva ao deslocamento de verossimilhança.
2. Explicação Mecanística: Eles conectam o deslocamento de verossimilhança à concentração de mudanças de probabilidade nos tokens atípicos e demonstram, via análise de gradiente, que seu regularizador mitiga esses deslocamentos utilizando tokens de baixa verossimilhança.
3. Novos Objetivos: Eles propõem N-DPO e N-SimPO, que incorporam o termo de regularização proposto, aplicáveis tanto a métodos de alinhamento baseados em referência quanto sem referência.
4. Validação Empírica: Demonstram que esses objetivos modificados melhoram o equilíbrio entre qualidade de geração e capacidades gerais de benchmarks.

Resultados Experimentais

Os autores avaliaram N-DPO e N-SimPO no Mistral-7B-Instruct, Llama-3.1-8B-Instruct e OLMo-7B-SFT usando o dataset UltraFeedback.

• Qualidade de Geração (AlpacaEval):

  • No Llama-3.1-8B-Instruct, o N-DPO alcançou um aumento relativo de >20% nos scores do AlpacaEval2 (Controlado por Comprimento) em comparação ao DPO padrão.
  • No OLMo-7B-SFT, o N-SimPO mostrou um aumento relativo de >75% no AlpacaEval2 (Taxa de Vitória Bruta) em comparação ao SimPO.
  • Os métodos propostos geralmente superaram outras linhas de base de regularização, como DPO+SFT e DPOP.

• Desempenho em Benchmarks Gerais:

  • Ao contrário do trade-off típico onde a melhoria na geração degrada as capacidades gerais, N-DPO e N-SimPO mantiveram ou melhoraram os scores em benchmarks de senso comum e raciocínio (MMLU, ARC, HellaSwag, etc.).
  • Para o Llama-3.1-8B-Instruct, o N-DPO melhorou os scores médios de benchmark em mais de 3% enquanto simultaneamente melhorou a qualidade de geração.

• Modelagem de Recompensa:

  • Modelos treinados com o termo de regularização mostraram precisão de modelagem de recompensa melhor ou comparável em datasets não vistos (HH-RLHF, HelpSteer2) em comparação ao DPO/SimPO padrão, enquanto DPO+SFT e DPOP mostraram quedas significativas de precisão.

• Dinâmica de Verossimilhança:

  • Curvas de treinamento confirmaram que a regularização mitiga o deslocamento de verossimilhança. No N-DPO, as verossimilhanças das respostas escolhidas permaneceram estáveis, enquanto no DPO padrão, elas caíram significativamente.
  • Análises ao nível de token confirmaram que a regularização visa especificamente e corrige a distribuição das recompensas mínimas de tokens (atípicos).

Significância e Alegações

O artigo afirma que a normalização de recompensa é um fator crítico e anteriormente negligenciado para o sucesso dos Algoritmos de Alinhamento Direto. Ao impor explicitamente a conservação da massa de probabilidade para as respostas vistas, o método proposto:

1. Mitiga o Deslocamento de Verossimilhança: Evita deslocamentos espúrios de probabilidade que podem levar a comportamentos prejudiciais, particularmente ao corrigir o comportamento de tokens atípicos.
2. Melhora os Equilíbrios (Trade-offs): Permite que os modelos aprendam preferências de forma mais eficaz sem sacrificar capacidades gerais, abordando o problema de "sobre-otimização" que tem limitado a confiabilidade dos DAAs.
3. Generaliza: A abordagem é eficaz tanto em frameworks baseados em referência quanto sem referência, sugerindo um mecanismo unificado para a sobre-otimização.

Os autores concluem que sua análise lança luz sobre o porquê de os DAAs melhorarem a qualidade de geração apesar da diminuição das verossimilhanças (devido aos deslocamentos de tokens atípicos) e demonstra que utilizar tokens de baixa verossimilhança para regularização é uma estratégia eficaz para remodelar distribuições de recompensa. Eles observam que, embora sua análise atual foque em configurações offline, os achados motivam pesquisas futuras sobre o comportamento granular de modelos de recompensa em otimização de preferência.