Resumo Técnico: DeDPO: Otimização de Preferência Direta com Viés Corrigido para Modelos de Difusão

1. Declaração do Problema

A Otimização de Preferência Direta (DPO) tornou-se um método padrão para alinhar modelos de difusão com as preferências humanas, oferecendo uma alternativa eficiente ao Aprendizado por Reforço com Feedback Humano (RLHF) ao eliminar a necessidade de um modelo de recompensa separado. No entanto, o DPO enfrenta um gargalo crítico de escalabilidade: ele depende de rótulos de preferência humana de larga escala e alta qualidade, que são proibitivamente caros e demorados para adquirir.

Tentativas recentes de resolver isso usando preferências sintéticas (geradas por modelos de IA) frequentemente falham porque esses rótulos sintéticos podem ser ruidosos, inconsistentes com o julgamento humano real ou introduzir viés sistemático. Treinar diretamente em tal feedback imperfeito leva a um alinhamento instável e à degradação do desempenho. O desafio central é aproveitar grandes volumes de dados sintéticos de baixo custo enquanto se corrige seu ruído e viés inerentes, utilizando apenas um pequeno conjunto de rótulos humanos de alta qualidade.

2. Metodologia: DeDPO (DPO com Viés Corrigido)

Os autores propõem o DeDPO, um framework semissupervisionado que integra uma técnica de estimativa com correção de viés da inferência causal ao objetivo do DPO. O método opera sob um cenário onde um pequeno conjunto de dados é rotulado com preferências humanas reais (ground-truth), e um conjunto maior é rotulado com preferências sintéticas geradas por feedback de IA de baixo custo (ex: Modelos de Visão-Linguagem ou auto-treinamento).

2.1. Reformulando o DPO como Classificação Binária

Os autores primeiro reinterpretam o loss padrão de Diffusion-DPO como um problema de classificação binária. Para um par de imagens $(x_0, x_1)$ e um prompt $c$, um rótulo de preferência $z$ indica qual imagem é preferida. O loss de DPO é reescrito como um loss de entropia cruzada binária $L(G_\theta(y), z)$, onde $G_\theta$ é o preditor de margem implícito do modelo.

2.2. A Função de Loss com Correção de Viés

Os autores propõem um loss com correção de viés (Eq. 8) que combina os dados rotulados e não rotulados, em vez de uma abordagem semissupervisionada ingênua que simplesmente imputaria rótulos humanos ausentes com rótulos sintéticos $\hat{G}(y)$, o que levaria a um estimador de Regressão de Desfecho (OR) enviesado.

$$L_{DeDPO}(\theta) = \mathbb{E}_{n_l+n_u} [L(G_\theta(y), \hat{G}(y))] + \mathbb{E}_{n_l} [L(G_\theta(y_l), z_l) - L(G_\theta(y_l), \hat{G}(y_l))]$$

Onde:

• $n_l$ e $n_u$ são o número de amostras rotuladas e não rotuladas.
• $z_l$ é o rótulo humano real.
• $\hat{G}(y)$ é o rótulo sintético.

Mecanismo de Correção:

• Dados Não Rotulados: O loss utiliza os pseudo-rótulos sintéticos $\hat{G}(y)$ diretamente como sinal de supervisão.
• Dados Rotulados: O loss introduz um termo de correção $(z_l - \hat{G}(y_l))$ que desloca o pseudo-rótulo em direção ao verdadeiro rótulo humano. Esta correção é amplificada por um peso de importância $\frac{n_l + n_u}{n_l}$, que reflete a escassez de dados rotulados.
• Propriedades Teóricas:
  1. Ausência de Viés (Unbiasedness): A esperança do loss de DeDPO é igual ao loss de DPO ao nível da população, independentemente de os rótulos sintéticos estarem corretos ou não. Se os rótulos sintéticos forem perfeitos, ele utiliza todos os dados; se forem completamente errados, ele retorna assintoticamente ao uso apenas dos dados rotulados.
  2. Robustez à Convergência do Modelo Sintético: Os autores provam que o modelo de difusão alvo $\theta$ pode atingir taxas de convergência ótimas mesmo se o modelo de preferência sintético $\hat{G}$ convergir em uma taxa muito mais lenta (especificamente, o termo de erro depende da quarta potência do erro do modelo sintético). Isso permite que o sistema seja robusto mesmo quando o anotador sintético é imperfeito.

2.3. Fontes de Preferência Sintética

O framework suporta duas fontes primárias para rótulos sintéticos:

1. Auto-treinamento (Self-Training): Usando a margem de recompensa implícita da política atual $\theta$ (de iterações anteriores) para gerar rótulos. Os autores observam que, para evitar o overfitting, o modelo sintético deve idealmente ser treinado em dados independentes do conjunto de treinamento de DPO.
2. Modelos de Visão-Linguagem Pré-treinados (VLMs): Usando modelos como Qwen ou CLIP para anotar pares de imagens. Isso é preferível no cenário do artigo, pois evita a violação de independência inerente ao auto-treinamento no mesmo conjunto de dados rotulados.

3. Principais Contribuições

• Estimativa com Correção de Viés para Difusão: O artigo introduz a primeira aplicação de técnicas de estimativa com correção de viés da inferência causal ao problema de otimização de preferência em modelos de difusão.
• Alinhamento Semissupervisionado: Estabelece um framework robusto para alinhar modelos de difusão usando uma pequena fração de rótulos humanos (ex: 25%) aumentada por um grande corpus de rótulos sintéticos, sem exigir um modelo de recompensa separado.
• Garantias Teóricas: Os autores fornecem provas teóricas demonstrando que o loss proposto é imparcial e que o processo de aprendizado é robusto aos erros no modelo de preferência sintética, desde que o modelo sintético seja treinado em dados independentes.

4. Resultados Experimentais

Os autores avaliaram o DeDPO nos datasets FiFA-5K e HPDv2 utilizando backbones SD1.5 e SDXL.

• Desempenho vs. DPO Totalmente Supervisionado: O DeDPO treinado com 25% de rótulos humanos e 75% de rótulos sintéticos consistentemente igualou ou superou ligeiramente o desempenho do DPO treinado com 100% de rótulos humanos.
  • No FiFA-5K com SD1.5, o DeDPO alcançou um PickScore de 21.91 e HPSv2 de 27.80, superando a linha de base do DPO totalmente supervisionado (21.88 PS, 27.79 HPSv2).
  • No SDXL, o DeDPO igualou o desempenho totalmente supervisionado (22.83 PS vs. 22.84 PS).
• Robustez ao Ruído: Em contraste, uma abordagem ingênua de misturar rótulos sintéticos com DPO (sem correção de viés) apresentou consistentemente um desempenho inferior, mostrando que simplesmente adicionar dados sintéticos pode degradar o alinhamento se não houver correção.
• Escalabilidade: À medida que o tamanho do dataset sintético não rotulado aumentava (até 98 mil pares), o DeDPO manteve um desempenho estável, enquanto o desempenho do DPO vanilla degradou significativamente devido ao acúmulo de rótulos ruidosos.
• Melhorias Qualitativas: Comparações visuais mostraram que o DeDPO captura melhor detalhes finos e restrições composicionais (ex: objetos específicos em prompts complexos) comparado a modelos treinados com menos rótulos humanos ou mistura sintética ingênua.
• IA como Juiz (AI-as-a-Judge): Juízes de IA alinhados com humanos (Gemini 2.5 Flash) preferiram o DeDPO sobre o DPO totalmente supervisionado em ~57% dos casos para Preferência Geral e Apelo Visual, e sobre o DPO semissupervisionado em ~76% dos casos.

5. Significância e Alegações

O artigo afirma que o DeDPO fornece uma solução escalável e de baixo custo para o alinhamento entre humanos e IA em modelos de difusão. Ao integrar a estimativa com correção de viés, o método transforma com sucesso o feedback sintético barato e ruidoso em um sinal de treinamento confiável.

Os autores afirmam que o DeDPO:

1. Supera o gargalo de dados: Permite o alinhamento de alta qualidade usando uma pequena fração de rótulos humanos, tornando a otimização de preferência em larga escala viável sem custos proibitivos.
2. Garante robustez: É resiliente às variações e ao ruído inerentes aos anotadores sintéticos (incluindo auto-treinamento e VLMs), evitando a instabilidade frequentemente vista ao treinar com preferências geradas por IA.
3. Alcança eficiência de estado da arte: Atinge desempenho comparável, e ocasionalmente superior, ao de modelos treinados com conjuntos de dados inteiramente rotulados por humanos, estabelecendo um novo padrão para a otimização de preferência eficiente.

O trabalho conclui que o feedback sintético devidamente corrigido de viés é um substituto viável e confiável para a extensa rotulagem humana, oferecendo um caminho prático para alinhar modelos generativos com os valores humanos.