Resumo Técnico: Otimização de Preferência Offline via Estimativa de Máxima Verossimilhança Marginal

Declaração do Problema

Alinhar Grandes Modelos de Linguagem (LLMs) com as preferências humanas é uma etapa crítica para o implantação no mundo real, tradicionalmente alcançada através do Aprendizado por Reforço com Feedback Humano (RLHF). No entanto, o pipeline padrão do RLHF é complexo e instável, exigindo o treinamento de um modelo de recompensa separado e o uso de algoritmos de gradiente de política sensíveis, como a Otimização de Política Proximal (PPO). Embora a Otimização de Preferência Direta (DPO) tenha simplificado isso ao reformular o alinhamento como um problema de classificação, sua função de perda ainda é derivada do objetivo de RLHF, o que implicitamente encoraja a otimização da entropia do modelo de linguagem. Os autores investigam se o alinhamento eficaz pode ser alcançado sob suposições ainda mais relaxadas, especificamente ao remover a necessidade explícita tanto de uma função de recompensa quanto do termo de maximização de entropia inerente aos objetivos padrão de RLHF.

Metodologia: MMPO

O artigo propõe a Otimização de Preferência por Máxima Verossimilhança Marginal (MMPO), um novo algoritmo de alinhamento de preferência offline.

Fundamentação Teórica

O MMPO recria o problema de alinhamento através da lente da Estimativa de Máxima Verossimilhança Marginal (MML). Em vez de otimizar diretamente para preferências, o método maximiza a verossimilhança marginal do log de uma saída de texto preferida $y$ dado um contexto $x$.

• Formulação: O alvo é maximizar $P_\theta(y|x) = \sum_z \pi_\theta(z|x) \times P^*(y|x, z)$, onde $z$ representa conclusões de texto possíveis e $P^*$ é a distribuição subjacente verdadeira.
• Aproximação: Como a soma sobre todos os $z$ possíveis é intratável, o método aproxima a marginalização usando o par de preferência fornecido $(z_w, z_l)$ (respostas escolhidas e rejeitadas) como amostras.
• Estabilidade: Para garantir a estabilidade numérica durante o treinamento, o objetivo é reformulado usando a operação log-sum-exp.

Conexão Teórica com a Otimização de Preferência

Os autores demonstram (Teorema 3.2) que a otimização do objetivo MML aproximado em um conjunto de dados de preferência realiza implicitamente a otimização de preferência.

• Gradiente Implícito: Mostra-se que a atualização de gradiente resultante é equivalente a uma soma ponderada de gradientes para as respostas escolhidas ($z_w$) e rejeitadas ($z_l$).
• Mecanismo de Ponderação: A atualização naturalmente aumenta o peso da resposta escolhida em relação à rejeitada, modulada por uma função sigmoide de sua diferença de pontuação ($\sigma(s_w - s_l)$).
• Distinção Fundamental: Este processo alcança o alinhamento de preferência sem formular explicitamente uma função de recompensa ou um termo de maximização de entropia.

Implementação do Algoritmo

A função de perda MMPO incorpora várias escolhas de design específicas:

1. Definição de Pontuação: As pontuações $s_w$ e $s_l$ são definidas com base em log-probabilidades e um termo de recompensa (aproximado via log-probabilidades do modelo de referência e um hiperparâmetro $\beta$).
2. Normalização em Lote (In-Batch): Para estabilizar o treinamento e evitar que valores atípicos dominem os gradientes, as recompensas são normalizadas dentro de um mini-lote. Isso garante que as pontuações relativas estejam em uma escala consistente.
3. Objetivo Auxiliar: Um termo auxiliar, $\log \sigma(s_w - s_l)$, é adicionado para reforçar explicitamente a restrição de preferência ($s_w \ge s_l$), fornecendo um sinal de supervisão direto semelhante ao DPO, mas operando em pontuações normalizadas em vez de razões de log-probabilidade em relação a um modelo SFT.

Principais Contribuições

1. Introdução do Algoritmo: A proposta do MMPO, um novo algoritmo de otimização de preferência offline que trata pares de preferência como amostras para estimativa MML.
2. Análise Teórica: Uma prova mostrando que o MMPO em pares de preferência é equivalente a uma atualização de gradiente ponderada que favorece inerentemente as respostas preferidas sem modelos de recompensa explícitos ou termos de entropia.
3. Estabilidade Empírica: Demonstração de que o MMPO é significativamente mais estável em relação ao hiperparâmetro chave $\beta$ comparado ao DPO e SimPO.
4. Preservação de Capacidade: Evidência de que o MMPO preserva melhor as capacidades gerais de linguagem (raciocínio e compreensão) dos modelos base ajustados por instrução em comparação com os baselines existentes.
5. Desempenho em Benchmarks: Alcance de taxas de vitória competitivas ou superiores no benchmark AlpacaEval-2 em modelos variando de 135M a 8B de parâmetros.

Resultados Experimentais

Os autores avaliaram o MMPO em quatro tamanhos de modelo (SmolLM2-135M, SmolLM2-360M, Llama3.2-1B e Llama3-8B) usando os conjuntos de dados Orca DPO Pairs e UltraFeedback-Binarized.

• Estabilidade: Ao contrário do DPO e SimPO, que mostraram sensibilidade significativa ao hiperparâmetro $\beta$, o MMPO manteve o desempenho consistente através de uma gama de valores de $\beta$ (0.01, 0.05, 0.5).
• Alinhamento de Preferência: O MMPO alcançou fortes taxas de vitória no AlpacaEval-2. Por exemplo, no SmolLM2-135M, o MMPO melhorou as taxas de vitória monotonicamente para 67,3%, enquanto o DPO apresentou taxas de vitória muito baixas e o SimPO degradou significativamente ao longo das épocas de treinamento.
• Retenção de Capacidade Geral: Avaliado no benchmark LM Harness (10 tarefas diversas de compreensão de linguagem), o MMPO causou degradação mínima nas capacidades gerais de linguagem. Em contraste, o DPO e o SimPO frequentemente mostraram quedas mais significativas na precisão, particularmente quando ajustados para alto alinhamento de preferência.
• Otimalidade de Pareto: O MMPO demonstrou um perfil de compensação (trade-off) mais favorável, entregando maiores taxas de vitória de preferência com sacrifício mínimo das capacidades gerais de raciocínio em comparação com os baselines.

Estudos de Ablação

Experimentos no modelo SmolLM2-360M revelaram:

• Normalização de Comprimento: Melhorou a precisão geral, mas não impulsionou significativamente as taxas de vitória de preferência.
• Maximização de Entropia: Adicionar explicitamente um termo de entropia degradou o desempenho em ambos os benchmarks, sugerindo que a otimização implícita no MMPO é suficiente e que o incentivo explícito à diversidade é prejudicial neste contexto.
• Perda Auxiliar e Normalização: Remover a perda auxiliar do tipo DPO ou a normalização em lote melhorou ligeiramente as taxas de vitória, mas degradou o pico de precisão geral, indicando um trade-off onde o termo central log-sum-exp impulsiona o desempenho enquanto os componentes auxiliares ajudam a preservar as capacidades gerais.

Significância e Alegações

O artigo afirma que o MMPO oferece uma alternativa mais simples e estável aos paradigmas atuais de alinhamento. Ao recriar o alinhamento como um problema de estimativa MML, ele elimina a necessidade de modelos de recompensa explícitos e regularização de entropia, alcançando implicitamente o desejo de otimização de preferência. Os autores enfatizam que a estabilidade do MMPO é uma propriedade inerente de sua formulação (derivada da normalização em lote e da operação log-sum-exp) e não o resultado de mecanismos de calibração complexos.

O trabalho sugere que o alinhamento eficaz não requer estritamente a maquinaria complexa do RLHF ou as restrições específicas do DPO. Em vez disso, maximizar a verossimilhança marginal das saídas preferidas usando pares de preferência como amostras fornece um caminho robusto para o alinhamento que preserva as capacidades fundamentais de linguagem do modelo. Os autores observam que, embora a avaliação atual seja limitada a configurações offline e modelos de até 8B parâmetros (devido a restrições de recursos), o método representa uma direção promissora para simplificar o pipeline de alinhamento de LLMs.