Resumo Técnico: As Diferenças Entre Algoritmos de Alinhamento Direto são um Borramento

Declaração do Problema

Algoritmos de Alinhamento Direto (DAAs) emergiram como uma alternativa simplificada ao Aprendizado por Reforço a partir de Feedback Humano (RLHF), contornando a modelagem explícita de recompensas e as etapas de aprendizado por reforço para otimizar diretamente as políticas de modelos de linguagem. Apesar de uma proliferação de métodos — variando do paradigma de duas etapas da Otimização de Preferência Direta (DPO) até abordagens de uma etapa baseadas em razão de chances, como a Otimização de Preferência por Razão de Chances (ORPO) e o Ajuste Fino Supervisionado Alinhado (ASFT) —, a literatura permanece fragmentada.

O problema central abordado é a dificuldade em isolar quais escolhas de design específicas realmente impulsionam melhorias na qualidade do alinhamento. As comparações existentes são frequentemente confundidas por protocolos de treinamento diferentes (por exemplo, pipelines de uma etapa versus duas etapas), a presença ou ausência de uma política de referência e espaços de hiperparâmetros variados (especificamente o parâmetro $\beta$). Consequentemente, alegações de superioridade algorítmica são frequentemente baseadas em diferenças marginais que podem derivar de artefatos de configuração em vez de vantagens algorítmicas fundamentais.

Metodologia

Para desvendar esses fatores, os autores propõem um framework de treinamento unificado que coloca todos os DAAs em pé de igualdade. Este framework envolve duas modificações críticas aos métodos existentes:

1. Padronização para um Pipeline de Duas Etapas: Os autores convertem métodos originalmente de uma etapa (ORPO, ASFT) em um pipeline de duas etapas. Isso envolve uma fase explícita de Ajuste Fino Supervisionado (SFT) para obter uma política ($\pi_{SFT}$), seguida por uma fase de otimização de preferência offline. Isso isola a perda de alinhamento da perda de SFT, permitindo uma comparação controlada dos próprios objetivos de alinhamento.
2. Introdução do Parâmetro $\beta$: Os autores introduzem um parâmetro de temperatura/escala $\beta$ aos métodos de razão de chances de uma etapa (ORPO, ASFT), que tradicionalmente carecem deste hiperparâmetro. Isso coloca todos os métodos (incluindo DPO, IPO, SimPO, etc.) em um espaço comum de hiperparâmetros, permitindo uma análise sistemática de sensibilidade.

Dentro deste cenário unificado, os autores analisam os DAAs ao longo de dois eixos principais:

• Família de Pontuação Escalar: A escolha da função de pontuação subjacente, especificamente a razão política-referência ($r^{ref}_\theta$) usada no DPO versus a razão de chances ($r^{odds}_\theta$) usada no ORPO/ASFT.
• Objetivo de Classificação: A formulação estrutural da perda, distinguindo entre objetivos pareados (que otimizam a lacuna relativa entre respostas escolhidas e rejeitadas, por exemplo, DPO, IPO, SimPO, ORPO) e objetivos pontuais (que otimizam a probabilidade absoluta de respostas escolhidas e rejeitadas independentemente, por exemplo, ASFT, NCA, Cal-DPO, APO-Zero).

A avaliação abrange tarefas de seguimento de instruções (AlpacaEval 2, ArenaHard) e benchmarks de raciocínio matemático (GSM8K, MATH500, etc.) em múltiplas escalas de modelo (Llama 3.2 3B, Llama 3.1 8B, Mistral 7B, Qwen 2.5 7B/14B).

Principais Contribuições

1. Protocolo Unificado para DAAs: O artigo estabelece que converter métodos de uma etapa em um pipeline de duas etapas com uma fase explícita de SFT e introduzir o parâmetro $\beta$ é essencial para maximizar o desempenho, mesmo para objetivos de razão de chances.
2. Objetivo de Classificação como Principal Motor: Sob o protocolo unificado, os autores descobrem que as vantagens anteriormente relatadas de DAAs específicos desaparecem em grande parte após o ajuste de hiperparâmetros. O determinante primário da qualidade do alinhamento é o tipo de classificação (pareado versus pontual), e não a escolha da pontuação escalar (política-referência versus razão de chances). Métodos pareados consistentemente superam métodos pontuais, particularmente em dificuldades de tarefa intermediárias e escalas de modelo.
3. Mecanismo das Lacunas de Desempenho: O artigo fornece evidências de que as lacunas de desempenho surgem da interação entre a função objetivo e viéses específicos do prompt.
   • Objetivos pareados são estruturalmente invariantes a deslocamentos uniformes nas pontuações para um dado prompt; eles focam exclusivamente na classificação relativa.
   • Objetivos pontuais geram sinais de gradiente que incentivam o modelo a ajustar os níveis de pontuação absoluta (a pontuação marginalizada) para cada prompt. Em regimes com capacidade limitada, esse "desaprendizado" do viés específico do prompt compete com a tarefa principal de classificação, levando a desempenho subótimo em tarefas mais difíceis.
4. Eficiência de Dados: O estudo demonstra que a maioria dos DAAs é altamente eficiente em termos de dados, exigindo apenas 5–10% do conjunto de dados de SFT para atingir $\ge$95% de seu desempenho com dados completos.

Resultados

• Convergência de Desempenho: Quando comparados sob o protocolo unificado, a maioria dos DAAs desempenha de forma semelhante ou pior do que o DPO padrão. As vantagens distintas alegadas na literatura anterior para algoritmos específicos frequentemente desaparecem.
• Superioridade Pareada: Em benchmarks de seguimento de instruções e raciocínio matemático, métodos pareados (DPO, IPO, SimPO, ORPO) consistentemente alcançam pontuações máximas mais altas do que métodos pontuais (ASFT, NCA, Cal-DPO, APO-Zero). Esta tendência é mais pronunciada na escala de modelo 8B no conjunto de dados UltraFeedback e em tarefas de raciocínio matemático com Qwen 2.5.
• Irrelevância da Pontuação Escalar: A escolha entre razões política-referência e razões de chances produz resultados comparáveis quando o objetivo de classificação e o protocolo de treinamento são controlados.
• Sensibilidade à Dificuldade: A lacuna de desempenho entre métodos pareados e pontuais é negligenciável para tarefas muito fáceis (onde a capacidade é suficiente para lidar com classificação e remoção de viés) e tarefas muito difíceis (onde a capacidade é insuficiente para qualquer uma). A lacuna emerge principalmente em dificuldade intermediária, onde métodos pontuais lutam para equilibrar a remoção de viés com o refinamento da classificação.
• Impacto do $\beta$: A introdução do parâmetro $\beta$ ao ORPO e ASFT melhora significativamente sua qualidade de alinhamento, confirmando seu papel como um mecanismo de temperamento eficaz.

Significado e Alegações

O artigo argumenta que o campo da pesquisa de DAA tem sido prejudicado por protocolos de avaliação fragmentados que obscurecem os verdadeiros impulsionadores do desempenho. Ao unificar a configuração de treinamento, os autores demonstram que a escolha do objetivo de classificação (pareado versus pontual) é o fator estrutural dominante que influencia a qualidade do alinhamento, enquanto parametrizações específicas de pontuação desempenham um papel secundário.

Os autores afirmam que as alegações anteriores de "melhor" DAA frequentemente dependem de detalhes pouco explorados de configuração e viés de dados em vez de superioridade algorítmica fundamental. Suas descobertas enfatizam a necessidade de avaliações nuances e controladas para evitar alegações simplistas. Além disso, a identificação da interação entre objetivos e viéses específicos do prompt oferece uma explicação mecânica para as diferenças de desempenho observadas, sugerindo que objetivos pareados são mais robustos em cenários onde a capacidade do modelo é restrita em relação à dificuldade da tarefa.

O artigo conclui que, embora DAAs de razão de chances (como ORPO) possam ser eficazes, eles se beneficiam significativamente das mesmas ajustes estruturais (separação de SFT e ajuste de $\beta$) que outros métodos, e seu desempenho é, em última análise, governado pelas mesmas dinâmicas pareado versus pontual.