Resumo Técnico: Otimização de Preferência Direta Autoregressiva (ADPO)

Declaração do Problema

A Otimização de Preferência Direta (DPO) tornou-se um método padrão para alinhar Grandes Modelos de Linguagem (LLMs) com as preferências humanas ao derivar analiticamente a política ótima a partir do modelo de Bradley-Terry (BT), eliminando a necessidade de modelagem explícita de recompensa. No entanto, os autores identificam uma limitação teórica na formulação padrão do DPO: embora os LLMs sejam inerentemente autoregressivos (gerando tokens sequencialmente), o objetivo padrão do DPO aplica o modelo BT ao nível de respostas completas após assumir a natureza autoregressiva da política.

Especificamente, o DPO padrão deriva a função de objetivo usando o modelo BT sobre o espaço de saída $\mathcal{Y}$ e, somente subsequentemente, expande as log-probabilidades em uma soma de termos de nível de token. Isso resulta em uma função de perda onde a soma dos termos de log-razão de nível de token ocorre dentro da função log-sigmoide. Os autores argumentam que essa ordenação falha em aproveitar plenamente a suposição autoregressiva durante a derivação do modelo de preferência, o que pode limitar a granularidade e a consistência teórica da otimização.

Metodologia: Otimização de Preferência Direta Autoregressiva (ADPO)

O artigo propõe a Otimização de Preferência Direta Autoregressiva (ADPO), uma nova variante que incorpora explicitamente a suposição autoregressiva antes de aplicar o modelo de Bradley-Terry.

Formulação Teórica

1. Fechamento de Prefixo e Funções de Energia: O ADPO estende o domínio da função de recompensa do espaço de saída completo $\mathcal{Y}$ para seu fechamento de prefixo $\mathcal{Y}^*$ (o conjunto de todas as respostas incompletas). Ele define funções de energia "por prefixo" $E^*_1$ e $E^*_2$ sobre esses prefixos.
2. Modelo de Bradley-Terry por Prefixo: Em vez de modelar preferências sobre sequências completas, o ADPO define um modelo BT por prefixo. A probabilidade de uma sequência preferida $y_w$ sobre uma sequência despreferida $y_l$ é formulada como o produto das probabilidades de preferência em cada etapa de prefixo $i$.
3. Derivação da Perda: Ao aplicar a suposição autoregressiva ao modelo de referência $\pi_{ref}$ e ao modelo aprendível $\pi_\theta$ dentro da estrutura BT por prefixo, os autores derivam uma nova função de perda.
   • Diferença Estrutural Chave: No DPO padrão, a perda é $-\log \sigma(\sum_i \Delta_i)$. No ADPO, a soma é deslocada para fora da função log-sigmoide:
     $$\mathcal{L}_{ADPO} = -\mathbb{E} \left[ \sum_{i=1}^{T'} \log \sigma \left( \beta \log \frac{\pi_\theta(y_{w,i}|y_{w,<i}, x)}{\pi_{ref}(y_{w,i}|y_{w,<i}, x)} - \beta \log \frac{\pi_\theta(y_{l,i}|y_{l,<i}, x)}{\pi_{ref}(y_{l,i}|y_{l,<i}, x)} \right) \right]$$
   • Esta formulação trata a otimização de preferência como uma sequência de decisões de nível de token (ou nível de subsequência), em vez de uma única decisão de nível de sequência.

Análise Teórica: Medidas de Comprimento

O artigo introduz uma distinção teórica entre duas medidas de comprimento, que esclarece a relação entre DPO e ADPO:

• Comprimento de Token ($\mu$): O número de tokens em uma sequência, inerente à natureza autoregressiva do LLM.
• Comprimento de Feedback ($\mu'$): A granularidade na qual o feedback humano é aplicado.
  • O DPO padrão corresponde ao caso especial onde $\mu'(y) = 1$ para todas as sequências (o feedback é dado apenas na resposta completa).
  • O ADPO permite que $\mu'$ seja independente de $\mu$, possibilitando o treinamento em granularidades arbitrárias (por exemplo, nível de token, nível de frase ou níveis de janela fixa).

Os autores provam que qualquer função de recompensa consistente com o modelo BT por prefixo pode ser reparametrizada por um modelo autoregressivo, garantindo que o ADPO permaneça teoricamente consistente com o problema de maximização de recompensa com restrição de KL.

Principais Contribuições

1. Formulação ADPO: A introdução do ADPO, que deriva o objetivo de otimização de preferência estendendo o domínio de energia para o fechamento de prefixo $\mathcal{Y}^*$, integrando explicitamente a suposição autoregressiva ao modelo BT.
2. Inovação na Função de Perda: Derivação de uma função de perda onde a soma das log-razões de nível de token é deslocada para fora da função log-sigmoide, fornecendo uma maneira teoricamente consistente de facilitar o treinamento de granularidade mais fina.
3. Insight Teórico sobre Granularidade: Identificação e distinção entre a medida de comprimento de token ($\mu$) e a medida de comprimento de feedback ($\mu'$). O artigo demonstra que o DPO é um caso especial do ADPO onde $\mu' \equiv 1$, e que variar $\mu'$ permite uma família de algoritmos que variam da otimização de resposta completa até a de nível de token.
4. Completude de Reparametrização: Prova que, sob premissas leves, qualquer função de recompensa pode ser reparametrizada por um modelo autoregressivo dentro da estrutura por prefixo.

Resultados Experimentais

Os autores avaliaram o ADPO em tarefas de raciocínio matemático e conversacionais através de múltiplas arquiteturas de LLM (Llama-3, Qwen, Gemma, DeepSeek-Math).

• Raciocínio Matemático (GSM8K, MATH500):
  • As variantes do ADPO superaram consistentemente o DPO padrão e o método contrastivo de nível de token cDPO em todos os modelos.
  • Os melhores resultados foram alcançados pelo cADPO (ADPO combinado com identificação de tokens críticos), com o Qwen-3-8B atingindo 91,74% de precisão no GSM8K.
  • Análise de Granularidade: Experimentos com as famílias "Estática" (tamanho de janela fixa $k$) e "Adaptativa" (número fixo de segmentos $m$) mostraram que uma granularidade mais fina geralmente melhorou o desempenho. Especificamente, o nível de token ($k=1$) e as configurações adaptativas de alto segmento ($m \ge 128$) produziram resultados superiores em comparação ao DPO de resposta completa.
• Tarefas Conversacionais (AlpacaEval 2, Arena-Hard, MT-Bench):
  • O ADPO superou o DPO e teve desempenho comparável ou superior ao SimPO em todos os benchmarks.
  • A família adaptativa com $m=256$ alcançou a maior Taxa de Vitória Controlada por Comprimento (45,8%) no AlpacaEval 2.
• Dinâmica de Treinamento: A análise das log-probabilidades mostrou que o ADPO amplifica mais efetivamente a distinção entre sequências preferidas e despreferidas, particularmente conforme a granularidade aumenta.
• Eficiência: Os cálculos adicionais por prefixo introduzidos pelo ADPO resultaram em um overhead de treinamento negligenciável (aproximadamente 5,7% de aumento no tempo de execução/wall-clock time).

Significância e Alegações

O artigo afirma que o ADPO fornece uma extensão teoricamente consistente do DPO que se alinha melhor com a natureza autoregressiva dos LLMs. Ao deslocar a soma para fora da função log-sigmoide, o ADPO permite a otimização em granularidades arbitrárias sem violar os princípios fundamentais da otimização de preferência.

Os autores enfatizam que seu trabalho é o primeiro a distinguir explicitamente entre as medidas de comprimento de token e de comprimento de feedback, oferecendo um framework unificado que abrange tanto a otimização de resposta completa (DPO) quanto abordagens de nível de token. Os resultados empíricos sugerem que o aproveitamento dessa granularidade mais fina leva a um alinhamento mais robusto, particularmente em tarefas de raciocínio complexas, sem custo computacional significativo. O artigo conclui observando que, embora o ADPO dependa do framework original de restrição de KL, trabalhos futuros poderiam explorar a generalização das métricas de divergência ou a adaptação das definições de energia para modelos não-autoregressivos.