Resumo Técnico: Otimização de Preferência por Deriva para Modelos Generativos de Passo Único

Declaração do Problema

Geradores de texto-para-imagem de passo único (ex: SD-Turbo, SDXL-Turbo) são altamente atraentes para implantação devido à sua capacidade de gerar imagens em uma única passagem direta (forward pass), permitindo aplicações de baixa latência e com restrição de recursos. No entanto, alinhar esses modelos com as preferências humanas via pós-treinamento continua sendo um desafio.

Métodos de alinhamento padrão, como o Aprendizado por Reforço com Feedback Humano (RLHF) e a Otimização de Preferência Direta (DPO), dependem tipicamente de probabilidades de políticas estocásticas, razões de densidade ou trajetórias de denoising — estruturas que estão indisponíveis ou mal definidas em geradores determinísticos de passo único. Embora a retropropagação direta de uma recompensa diferenciável através da imagem gerada seja uma alternativa, isso exige que o modelo de recompensa seja diferenciável. Essa abordagem torna-se computacionalmente proibitiva para recompensas baseadas em Modelos de Linguagem-Visão (VLM) de grande escala e é impossível para avaliadores de caixa-preta ou discretos (ex: verificações de correção baseadas em regras). Consequentemente, há uma necessidade de um método de ajuste fino de preferência que:

1. Funcione com geradores determinísticos de passo único.
2. Evite a retropropagação através do modelo de recompensa.
3. Suporte recompensas grandes, de caixa-preta ou não diferenciáveis.
4. Preserve a capacidade de inferência de passagem direta única.

Metodologia: Otimização de Preferência por Deriva (DrPO)

Os autores propõem o DrPO, um método de ajuste fino de preferência online que converte amostras classificadas por recompensa em uma direção de atualização no espaço de características sem exigir gradientes de recompensa. O método inspira-se em "Modelos de Deriva" (Drifting Models), que substituem a estimativa explícita de densidade por campos de deriva no espaço de características.

Mecanismo Central

O DrPO opera construindo um campo de preferência dipolo não paramétrico e um campo de deriva de referência no espaço de características latentes.

1. Amostragem de Candidatos e Classificação:
   Para um determinado prompt, o gerador atual $g_\theta$ amostra um lote de candidatos. Um modelo de recompensa alvo $R$ (que pode ser não diferenciável) classifica esses candidatos. Com base nessa classificação, o método forma pares de amostras positivas (pontuação alta) e negativas (pontuação baixa).

2. Campo de Preferência Dipolo ($V_{pref}$):
   Em vez de usar o gradiente da função de recompensa, o DrPO sintetiza uma direção de atualização usando um mecanismo de atração-repulsão ponderado por kernel.

• Atração: Amostras positivas puxam a representação de característica atual em direção a elas.
• Repulsão: Amostras negativas empurram a representação para longe delas.
  Isso é formalizado como um campo dipolo onde a velocidade de atualização é a diferença entre o deslocamento de média das amostras positivas e o deslocamento de média das amostras negativas no espaço de características. Este campo é local; pontos distantes das amostras observadas recebem atualizações negligenciáveis, reduzindo erros de extrapolação.

3. Deriva de Referência ($V_{ref}$):
   Para evitar que o gerador se desvie demais de sua distribuição original (colapso de modo ou perda de fidelidade), uma deriva de referência é estimada a partir de um gerador base congelado ($g_{ref}$). Isso atua como uma força estabilizadora, semelhante à regularização KL no RLHF padrão, mas estimada via deriva baseada em amostras em vez de razões de verossimilhança.

4. Objetivo de Otimização:
   O campo de atualização total é a soma do campo de preferência e do campo de referência ponderado: $V_{DrPO} = V_{pref} + \lambda V_{ref}$. O gerador é treinado para minimizar a distância entre sua saída de característica atual e um alvo desconectado (detached target):
   $$z^* = \text{sg}(z + \eta V_{DrPO}(z))$$
   onde $z$ é a representação de característica da imagem gerada, $\text{sg}$ denota o operador stop-gradient (parar gradiente) e $\eta$ é uma escala de velocidade. A perda é um simples erro quadrático médio entre as características atuais e o alvo desconectado.

Propriedades Principais

• Agnosticismo de Recompensa: Como o modelo de recompensa é usado apenas para classificar amostras e formar os conjuntos positivo/negativo ($A^+$ e $A^-$), a função de recompensa em si nunca precisa ser diferenciada. Isso permite o uso de recompensas baseadas em VLM (ex: HPSv3) e avaliadores de tarefas discretas (ex: GenEval).
• Inferência de Passo Único: O treinamento modifica os pesos do gerador, mas a inferência permanece uma passagem direta única do gerador atualizado. Nenhuma otimização ou busca em tempo de teste é necessária.
• Extensão Offline: Os autores propõem uma variante offline ingênua onde pares de preferência são extraídos de um conjunto de dados fixo em vez de amostragem online, embora notem que isso requer um tratamento cuidadoso da esparsidade fora da política (off-policy).

Principais Contribuições

1. Algoritmo DrPO: Um novo método de ajuste fino de preferência online para geradores determinísticos de passo único que converte amostras classificadas por recompensa em uma deriva de atualização desconectada, eliminando a necessidade de retropropagação da recompensa.
2. Campo de Preferência Dipolo: Um mecanismo não paramétrico que constrói direções de atualização no espaço latente a partir de amostras positivas e negativas, substituindo gradientes de recompensa tradicionais por atualizações de deriva baseadas em amostras.
3. Validação Empírica: Avaliação abrangente no SD-Turbo e SDXL-Turbo através de múltiplos modelos de recompensa (PickScore, HPSv3, ImageReward, GenEval). O DrPO demonstra desempenho superior entre os baselines livres de gradiente de recompensa.
4. Ganhos de Eficiência: Demonstração de que o DrPO reduz significativamente o custo computacional de treinamento ao remover a necessidade de retropropagação pelo modelo de recompensa.

Resultados Experimentais

Os autores avaliaram o DrPO no SD-Turbo e SDXL-Turbo utilizando benchmarks incluindo Pick-a-Pic v2, Parti-Prompts e GenEval.

• Desempenho: No SDXL-Turbo, o DrPO alcançou os maiores ganhos entre os baselines de passo único livres de gradiente de recompensa (DPO1-step, PSO, GRPO1-step) em termos de PickScore, Pontuação Estética (AES) e ImageReward. Ele aproximou-se ou igualou o desempenho de métodos baseados em gradiente de recompensa (como o DRaFT), evitando o custo computacional de retropropagar através da recompensa.
• Preferência Humana/VLM: Avaliações pareadas usando Qwen3-VL mostraram que as imagens geradas pelo DrPO foram consistentemente preferidas em relação aos métodos de passo único baseline e ao modelo base, indicando melhor fidelidade de prompt e coerência visual.
• Recompensas Não Diferenciáveis: O DrPO utilizou com sucesso pontuações GenEval (uma métrica discreta e não diferenciável para restrições composicionais) para melhorar o desempenho em tarefas como contagem, posicionamento de cores e vinculação de objetos, onde métodos baseados em gradiente falham.
• Eficiência: Ao treinar com o grande modelo de recompensa HPSv3, o DrPO reduziu o tempo de atualização em 3,51× em comparação com um baseline que retropropaga através da recompensa, sob configurações de lote efetivo equivalentes.
• Ablações: Experimentos confirmaram que aumentar o tamanho do pool de candidatos melhora a estabilidade, e que as características do MAE latente superam as características latentes puras para o cálculo da deriva. O método mostrou-se robusto a escolhas de kernel e escalas de velocidade.

Significância e Alegações

O artigo afirma que o DrPO fornece uma solução prática para alinhar modelos generativos de passo único com sinais de recompensa complexos, caros ou não diferenciáveis. Ao desacoplar a avaliação da recompensa da gradiente de otimização, o DrPO permite o uso de modelos de recompensa baseados em VLM de última geração (como o HPSv3) para o ajuste fino de geradores rápidos sem incorrer no custo computacional proibitivo de diferenciar através deles.

Os autores posicionam o DrPO como um passo significativo para tornar a geração de imagens de alta qualidade e baixa latência acessível para aplicações interativas, onde tanto a velocidade quanto o alinhamento com as preferências humanas são críticos. Eles também observam que, embora seus experimentos offline sejam preliminares, a abordagem de síntese de gradiente baseada em amostras oferece uma direção promissora para estender a otimização de preferência para cenários offline onde a amostragem online não é viável.

O trabalho não pretende resolver todos os desafios de alinhamento; reconhece que a qualidade do campo de preferência depende da capacidade do extrator de características de codificar os atributos específicos sendo otimizados e que o método herda as limitações do modelo de recompensa subjacente usado para classificação.