Resumo Técnico: Rumo ao Alinhamento de Preferências Gerais: Modelos de Difusão em Equilíbrio de Nash

Declaração do Problema

A Aprendizagem por Reforço a partir de Feedback Humano (RLHF) e sua variante computacionalmente eficiente, a Otimização Direta de Preferências (DPO), tornaram-se o padrão para alinhar modelos de difusão texto-para-imagem (T2I) com preferências humanas. No entanto, os métodos existentes baseados em preferências para alinhamento de difusão herdam em grande parte o paradigma do RLHF, dependendo de sinais de recompensa implícitos induzidos pelo modelo Bradley–Terry (BT). Os autores argumentam que a suposição de transitividade do modelo BT (se A > B e B > C, então A > C) falha em capturar a complexidade total das preferências humanas, que podem ser intransitivas (por exemplo, ciclos de pedra-papel-tesoura). Além disso, os métodos atuais frequentemente convertem preferências humanas em uma função induzida por recompensa antes da otimização, em vez de modelar diretamente a relação de preferência. Este artigo postula que uma perspectiva da teoria dos jogos, especificamente a Aprendizagem de Nash a partir de Feedback Humano (NLHF), oferece um quadro mais robusto para alinhamento de difusão, evitando as suposições restritivas de transitividade do modelo BT.

Metodologia: Otimização de Preferência de Nash para Difusão (Diff.-NPO)

Os autores propõem o Diff.-NPO, um quadro geral de otimização de preferências derivado de uma perspectiva de equilíbrio de Nash. Em vez de maximizar uma verossimilhança induzida por BT, o Diff.-NPO formula o alinhamento como um jogo de soma zero de dois jogadores entre a política atual ($\pi$) e uma política anterior ($\pi_{prev}$), regularizado por uma política de referência ($\pi_{ref}$).

Quadro Central

1. Formulação da Teoria dos Jogos: O objetivo é definido como um jogo minimax onde o "jogador max" (política atual) tenta gerar amostras preferidas em relação às do "jogador min" (política anterior), enquanto ambos são regularizados para permanecerem próximos de uma política de referência ($\pi_{ref}$) para evitar deriva distribucional.
2. Descida Espelhada Online (OMD): Para garantir dinâmicas de aprendizado estáveis e evitar a instabilidade de atualizações de melhor resposta gananciosas, o método emprega Descida Espelhada Otimista com regularização de entropia (Hedge). Isso leva a um objetivo de auto-jogo onde a atualização da política é uma melhor resposta à política anterior, restringida pela política de referência.
3. Derivação da Função de Perda:
   • O método eleva preferências ao nível de imagem para o espaço de trajetória reversa.
   • Deriva uma perda logística par a par baseada nos log-ratios das probabilidades de trajetória.
   • O objetivo final, $L_{Diff.-NPO}$, contrasta a política atual ($p_\theta$) contra tanto a política de referência ($p_{ref}$) quanto a política anterior ($p_{prev}$).
   • A perda é formulada como:
     $$L_{Diff.-NPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \left[ \delta_\theta - \frac{\tau}{\eta}\delta_{ref} - \frac{\eta-\tau}{\eta}\delta_{prev} \right] \right) \right]$$
     Onde os termos $\delta$ representam a diferença nas recompensas implícitas (erros de previsão de ruído) entre amostras preferidas ($x^+$) e rejeitadas ($x^-$).
   • O hiperparâmetro $\gamma = \tau/\eta$ controla a interpolação entre a política de referência (estilo DPO, $\gamma=1$) e a política anterior (auto-jogo puro, $\gamma=0$).

Distinções Chave em Relação a Métodos Existentes

• vs. Diffusion-DPO: Enquanto o Diffusion-DPO é offline e contrasta a política atual apenas contra uma referência fixa, o Diff.-NPO é inerentemente online e orientado para auto-jogo, avaliando atualizações contra amostras geradas pela política atual/anterior.
• vs. INPO (Otimização de Política de Nash Iterativa): Ao contrário do INPO, que usa uma perda quadrada justificada por suposições específicas de população que podem não se manter em classificação baseada em oráculo prática, o Diff.-NPO utiliza uma perda logística par a par. Argumenta-se que isso é mais estável quando pares de preferência são ordenados deterministicamente por um oráculo (classificação de amostras geradas) em vez de amostrados de uma distribuição de preferência probabilística.

Contribuições Principais

1. Fundação Teórica: O artigo preenche a lacuna entre a Aprendizagem de Nash a partir de Feedback Humano (NLHF) e o alinhamento de modelos de difusão, formulando o alinhamento de difusão como um jogo geral de preferências que evita a suposição de Bradley–Terry.
2. Proposta de Algoritmo: A introdução do Diff.-NPO, um novo algoritmo de otimização geral de preferências on-policy. Ele unifica os paradigmas padrão de DPO e auto-jogo em uma única formulação, onde o coeficiente de regularização interpola entre esses regimes.
3. Suposições de Modelagem Explícitas: O quadro torna explícitas as suposições por trás da otimização de preferências, interpretando o objetivo como ajustar uma distribuição-alvo construída a partir da política de referência, da política anterior e do sinal de preferência.
4. Validação Empírica: Extensos experimentos no Stable Diffusion 1.5 (SD1.5) e SDXL usando os conjuntos de dados Pick-a-Pic, Parti-Prompts e HPSV2 demonstram a eficácia do método.

Resultados Experimentais

Os autores avaliaram o Diff.-NPO contra baselines incluindo Online-SFT, Online-DPO, SPIN e Seppo.

• Taxas de Vitória: O Diff.-NPO alcançou consistentemente as maiores taxas médias de vitória em todos os conjuntos de dados de avaliação (Pick-a-Pic, Parti-Prompts, HPSV2) tanto para SD1.5 quanto para SDXL.
  • No SDXL com Parti-Prompts, o Diff.-NPO melhorou a taxa de vitória do ImageReward em 8,6% e a taxa de vitória da Pontuação Estética em 10,8% em relação ao Online-Diff-DPO.
  • Também superou o Online-DPO no Pick-a-Pic e no HPSV2.
• Métricas Automáticas: O método mostrou desempenho superior em métricas automáticas (PickScore, HPSV2, CLIP, ImageReward, Pontuação Estética) em comparação com as baselines.
• Estudos de Ablação:
  • Razão $\tau/\eta$: O estudo confirmou que um valor intermediário (especificamente $\tau/\eta = 1/2$) produz o melhor desempenho, validando a hipótese de que confiar apenas na política de referência (DPO) ou apenas na política anterior (auto-jogo puro) é subótimo.
  • Função de Perda: Substituir o objetivo logístico par a par por um objetivo de distância quadrada (como usado no INPO) resultou em uma queda substancial de desempenho, apoiando a escolha de design da perda logística para classificações de oráculo determinísticas.
• Análise Qualitativa: Comparações visuais indicaram que o Diff.-NPO produz imagens com melhor alinhamento semântico, correção anatômica (por exemplo, retratos de corpo inteiro) e coerência visual em comparação com as baselines.

Significado e Afirmações

O artigo afirma que o Diff.-NPO fornece uma abordagem simples e estável para alinhamento online de difusão ao otimizar diretamente probabilidades de preferência relativa através de um objetivo no estilo de auto-jogo com regularização de política de referência.

Os autores afirmam que o aprendizado online no estilo de Nash é uma alternativa promissora às formulações centradas em recompensa para alinhamento de modelos de difusão. Ao afastar-se das suposições transitivas do modelo Bradley–Terry, o método oferece uma perspectiva mais geral sobre o alinhamento de preferências. O trabalho estabelece uma base para pesquisas futuras sobre aprendizado no estilo de Nash para modelos de difusão, demonstrando que unificar DPO e auto-jogo através de uma lente da teoria dos jogos pode produzir qualidade de alinhamento superior.

O artigo nota modestamente uma limitação: a construção de preferência atual depende de uma classificação média de cinco modelos de pontuação, e incorporar um conjunto mais amplo de modelos de pontuação poderia fornecer um sinal mais abrangente. Trabalhos futuros estão planejados para estender o quadro para estratégias mais fortes de coleta de dados online e tarefas mais amplas de geração e edição de difusão.