Resumo Técnico: Otimização de Preferência de Pontuação de Difusão Direta (DDSPO)

Declaração do Problema

Os modelos de difusão alcançaram um sucesso significativo em tarefas generativas, particularmente na síntese de texto para imagem. No entanto, eles frequentemente lutam para alinhar os resultados gerados com a intenção sutil do usuário e para manter consistentemente uma alta qualidade estética. Métodos existentes de treinamento baseados em preferências, como o Diffusion Direct Preference Optimization (Diffusion DPO), tentam abordar esses problemas aprendendo a partir de preferências pareadas sobre amostras finais ($x_0$).

Uma limitação crítica das abordagens atuais como o Diffusion DPO é sua dependência da aproximação das transições de denoising reverso usando o processo direto $q(x_{t-1} | x_t, x_0)$ derivado de amostras terminais ($x_0$). Essa aproximação não reflete o processo real de denoising reverso do modelo durante a inferência. Consequentemente, o sinal de supervisão fornecido está desalinhado com as trajetórias reais de denoising do modelo, falhando em oferecer uma supervisão por etapa eficaz.

Metodologia

Os autores propõem o Direct Diffusion Score Preference Optimization (DDSPO), um framework que formula a supervisão de preferência diretamente no espaço de pontuação (score space) em cada passo de tempo de difusão, em vez de no espaço da amostra final.

Conceito Central: Supervisão de Par de Políticas Contrastivas por Etapa

Ao contrário dos métodos anteriores que definem preferências sobre saídas finais $(x_0^w, x_0^l)$, o DDSPO introduz a supervisão por etapa comparando as pontuações de denoising de um par de políticas contrastivas em cada passo de tempo $t$. Os rótulos de preferência são estendidos para tuplas de transições de denoising $((x_t^w, x_{t-1}^w), (x_t^l, x_{t-1}^l))$, derivadas de políticas de denoising preferidas e despreferidas.

A função objetivo otimiza as previsões de denoising do modelo em direção aos alvos $\boldsymbol{\epsilon}_\star^w$ e $\boldsymbol{\epsilon}_\star^l$, correspondentes aos comportamentos preferidos e despreferidos em cada etapa. A função de perda é definida como:
$$\mathcal{L}_{\text{DDSPO}}(\theta) = - \mathbb{E} \left[ \log \sigma \left( - \beta \cdot \left[ \| \boldsymbol{\epsilon}_\star^w - \boldsymbol{\epsilon}_\theta(x_t^w, t, c) \|_2^2 - \| \boldsymbol{\epsilon}_\star^w - \boldsymbol{\epsilon}_{\text{ref}}(x_t^w, t, c) \|_2^2 - (\| \boldsymbol{\epsilon}_\star^l - \boldsymbol{\epsilon}_\theta(x_t^l, t, c) \|_2^2 - \| \boldsymbol{\epsilon}_\star^l - \boldsymbol{\epsilon}_{\text{ref}}(x_t^l, t, c) \|_2^2) \right) \right) \right]$$
Aqui, $\boldsymbol{\epsilon}_\star^w$ e $\boldsymbol{\epsilon}_\star^l$ são alvos de pontuação de denoising obtidos a partir do par de políticas contrastivas, retendo transições reais de denoising reverso em vez de aproximações do processo direto.

Instanciações do Par de Políticas Contrastivas

O artigo propõe duas formas práticas de instanciar o par de políticas contrastivas:

1. Par de Políticas Contrastivas Baseado em Dados (DD-CPP):

   • Requer um conjunto de dados de pares de imagens rotulados por preferência $(x_0^w, x_0^l, c)$.
   • Dois modelos separados são ajustados (fine-tuned) a partir de uma inicialização pré-treinada: um modelo "vencedor" $\phi^w$ em amostras preferidas e um modelo "perdedor" $\phi^l$ em amostras despreferidas.
   • Os alvos de supervisão são as pontuações de denoising previstas por esses modelos especializados: $\boldsymbol{\epsilon}_\star^w \leftarrow \boldsymbol{\epsilon}_{\phi^w}(x_t, t, c)$ e $\boldsymbol{\epsilon}_\star^l \leftarrow \boldsymbol{\epsilon}_{\phi^l}(x_t, t, c)$.

2. Par de Políticas Contrastivas Livre de Treinamento (TF-CPP):

   • Não requer treinamento adicional ou dados rotulados por preferência.
   • Utiliza um único modelo de referência pré-treinado.
   • Constrói um par contrastivo usando o prompt original $c$ (preferido) e uma variante semanticamente degradada $c^-$ (despreferida).
   • O alvo preferido é $\boldsymbol{\epsilon}_{\text{ref}}(x_t, t, c)$, e o alvo despreferido é $\boldsymbol{\epsilon}_{\text{ref}}(x_t, t, c^-)$.
   • Esta abordagem aproveita a observação de que, em passos de tempo maiores, a atualização reversa é amplamente impulsionada pelo sinal de condicionamento, permitindo que $c^-$ forneça um alvo de pontuação negativo significativo mesmo sem gerar uma imagem despreferida específica $x_0^l$.

Principais Contribuições

1. Framework DDSPO: Um framework de otimização de preferência que permite a supervisão direta sobre etapas intermediárias de denoising no espaço de pontuação via um par de políticas contrastivas, evitando a dependência de aproximações de processos diretos.
2. Instanciações Práticas: A introdução do DD-CPP (aprendendo políticas a partir de dados rotulados) e do TF-CPP (construindo direções contrastivas a partir de um modelo de referência usando degradação de prompt), este último não exigindo modelos de recompensa ou anotações manuais.
3. Validação Empírica: Experimentos extensos demonstrando que a supervisão por etapa derivada de pares de políticas contrastivas é mais eficaz do que a supervisão baseada em processos diretos tanto para tarefas de alinhamento texto-imagem quanto para qualidade estética.

Resultados Experimentais

Os autores avaliaram o DDSPO em tarefas de alinhamento texto-imagem e melhoria de qualidade estética usando variantes do Stable Diffusion (SD-1.4, SD-1.5, SDXL) e modelos baseados em DiT (SANA, SD3-M).

• Alinhamento Texto-Imagem:

  • Usando TF-CPP (sem dados anotados por humanos), o DDSPO alcançou resultados de estado da arte nos benchmarks GenEval e T2I-CompBench em comparação com Diffusion DPO, DSPO e outros baselines.
  • O DDSPO superou métodos SOTA como Itercomp e CaPO no CompBench sem exigir dados de preferência anotados por humanos ou modelos de recompensa.
  • Resultados qualitativos mostraram uma separação mais clara entre distribuições condicionais e uma melhor adesão a prompts complexos em comparação com Diffusion DPO e DSPO.

• Qualidade Estética:

  • Usando DD-CPP no conjunto de dados Pick-a-Pic, o DDSPO melhorou as métricas HPSv2 e PickScore sobre o SD-1.5 e SDXL, superando o Diffusion DPO e o Diffusion KTO.
  • A variante TF-CPP (sem dados humanos) permaneceu competitiva com métodos supervisionados.

• Estudos de Ablação:

  • Diferentes estratégias de degradação de prompt (por exemplo, remoção aleatória de tokens vs. reescrita baseada em LLM) foram testadas. A remoção aleatória teve o melhor desempenho para alinhamento, enquanto a degradação baseada em LLM adaptada para estética teve o melhor desempenho para qualidade estética.
  • Uma variante eficiente do TF-CPP que reutiliza imagens preferidas para alvos negativos (evitando a geração explícita de imagens despreferidas) mostrou desempenho comparável à configuração completa, destacando a flexibilidade do framework.

Significância e Alegações

O artigo afirma que a principal significância do DDSPO reside em sua capacidade de fornecer supervisão por etapa alinhada com o processo real de denoising reverso do modelo. Ao definir preferências diretamente sobre transições reversas locais ($x_t \to x_{t-1}$) em vez de depender de substitutos de processos diretos, o DDSPO oferece uma supervisão mais rica ao nível de transição.

Os autores asseguram que esta abordagem leva a sinais de aprendizado mais robustos ao longo da trajetória de denoising, resultando em melhorias consistentes tanto no alinhamento semântico quanto na qualidade estética. Além disso, o Par de Políticas Contrastivas Livre de Treinamento (TF-CPP) demonstra que uma otimização de preferência de alta qualidade pode ser alcançada sem o custo de coletar anotações de preferência humana ou treinar modelos de recompensa, tornando o método altamente escalável e eficiente em termos de dados. O trabalho posiciona o DDSPO como um framework generalizável aplicável tanto a modelos generativos de difusão quanto de fluxo (flow-based).