Resumo Técnico: D2PO – Otimizando Amostradores de Difusão via Preferência Dinâmica

1. Definição do Problema

Modelos Probabilísticos de Difusão (DPMs) alcançaram resultados de estado da arte em geração de imagem, texto-para-imagem e vídeo, mas sofrem com altos custos computacionais devido à natureza iterativa de seu processo de amostragem, que requer muitas avaliações de função (NFE). Embora existam vários métodos de aceleração, incluindo solvers numéricos e destilação de conhecimento, uma limitação fundamental persiste nos frameworks de regressão estudante-professor.

Nesses frameworks, um amostrador "estudante" de baixo NFE é treinado para imitar as trajetórias ou saídas de um "professor" fixo de alto NFE usando perdas de regressão (ex: $\ell_2$ ou LPIPS). O artigo identifica um gargalo estrutural crítico: à medida que a lacuna entre o NFE do estudante e o do professor aumenta (um requisito comum para aceleração agressiva), o objetivo de regressão força o estudante a priorizar o alinhamento de baixo nível com a trajetória grosseira do professor. Isso resulta na supressão de texturas de alta frequência e detalhes finos, levando a uma degradação na qualidade perceptual, mesmo quando o modelo professor é de alta fidelidade. Métios existentes falham em aproveitar o potencial total de professores de alta qualidade sob restrições de baixo NFE porque estão presos a um piso de erro estático definido pela discretização do professor.

2. Metodologia: D2PO

Para resolver isso, os autores propõem o D2PO (Dynamic Direct Preference Optimization), um framework que reformula a otimização do amostrador de uma tarefa de regressão para um problema de alinhamento baseado em preferência.

2.1 Surrogato Baseado em Energia para Políticas Determinísticas

Um desafio primário ao aplicar a Otimização Direta de Preferência (DPO) a amostradores de difusão é que a política de amostragem é determinística (induzida por um solver numérico fixo), tornando a verossimilhança da saída degenerada e não diferenciável. O D2PO supera isso modelando a distribuição induzida pela política como um Modelo Baseado em Energia (EBM).

• A política $\pi_\phi$ é definida como um surrogato suave onde a energia $E(\mathbf{x})$ é a distância entre uma amostra candidata $\mathbf{x}$ e a saída do amostrador determinístico $\mathbf{x}_\phi$.
• Esta formulação permite que a razão de log-probabilidade exigida pelo DPO seja expressa como uma diferença nos valores de energia, tornando a otimização tratável.

2.2 Métrica de Distância Baseada em Score Inovadora

Em vez de depender de métricas perceptuais padrão como LPIPS ou $\ell_2$, que frequentemente falham em capturar erros de textura de alta frequência, o D2PO introduz uma métrica de energia baseada em score derivada diretamente da rede de score de difusão pré-treinada $s_\theta$.

• A energia é definida como a discrepância entre as previsões de score de uma amostra candidata e a saída do amostrador através de múltiplos níveis de ruído.
• Especificamente, a distância $d_\theta$ mede a diferença de $\ell_2$ ao quadrado entre as previsões de ruído ($\epsilon_\theta$) em vários passos de tempo.
• Ao integrar essas discrepâncias sobre o cronograma de ruído com uma ponderação específica ($w(t) = \sigma_t^2$), a métrica captura tanto a consistência estrutural grosseira (em níveis de ruído elevados) quanto os detalhes texturais finos (em níveis de ruído baixos), fornecendo um sinal de preferência mais rico do que as métricas convencionais.

2.3 Mecanismo de Preferência Dinâmica

O D2PO substitui a supervisão estática do professor por um mecanismo de referência dinâmico que evolui junto com a política do estudante.

• Amostrador Estudante ($\phi$): A política alvo sendo otimizada (parâmetros: cronograma de passos de tempo $S$ e pesos de CFG $\omega$).
• Amostra Perdedora ($x_l$): Gerada pelo estudante usando um cronograma esparso e rápido, então degradada (ex: via filtragem passa-baixa) para simular uma saída de menor qualidade.
• Amostra Vencedora ($x_w$): Gerada por um professor dinâmico ($\phi'$) derivado dos parâmetros atuais do estudante. O professor dinâmico utiliza um cronograma de passos de tempo mais refinado e denso (ex: $2N$ passos vs. os $N$ passos do estudante) criado por interpolação do cronograma atual do estudante.
• Política de Referência ($\phi_{ref}$): Uma política que rastreia o histórico do estudante (atualizada via EMA para pesos de CFG e cópia por época para passos de tempo) para ancorar a otimização.

Este loop dinâmico encoraja o estudante a se alinhar com sua própria aproximação de maior fidelidade e cronograma mais denso. Teoricamente, isso minimiza o próprio erro de discretização do estudante em vez de convergir para um piso de erro residual fixo imposto por um professor externo.

3. Principais Contribuições

1. Framework D2PO: Um framework de otimização baseado em preferência para amostradores de difusão que estabelece um objetivo de alinhamento tratável ao modelar a política determinística como um surrogato baseado em energia.
2. Métrica de Energia Baseada em Score: Uma métrica de distância inovadora derivada da rede de score pré-treinada que captura discrepâncias estruturais e texturais em múltiplas escalas, superando as perdas perceptuais convencionais na detecção de erros de discretização.
3. Loop de Preferência Dinâmica: Um mecanismo de auto-melhoria onde o "professor" é uma versão dinamicamente refinada da política atual do estudante. Isso elimina o piso de erro fixo da destilação estática e impulsiona o amostrador a minimizar seu próprio erro de discretização.
4. Validação Abrangente: Experimentos extensos demonstrando que o D2PO aprende políticas de amostragem superiores, superando baselines de destilação de estado da arte (ex: LD3, GITS, DMN) em vários solvers e datasets.

4. Resultados Experimentais

Os autores avaliaram o D2PO na síntese de texto-para-imagem usando Stable Diffusion v1.5, ImageNet-256 (espaço latente) e o modelo InstaFlow.

• Desempenho Quantitativo:
  • Baixo NFE (4-5 passos): O D2PO atinge a qualidade perceptual de estado da arte (escores HPSv2 e Estético) e apresenta scores de FID significativamente menores em comparação aos baselines. Ele corrige efetivamente falhas fundamentais como desfoque e artefatos que métodos baseados em regressão introduzem.
  • Alto NFE (6-7 passos): O D2PO mantém uma liderança significativa em scores perceptuais. Embora os scores de FID se tornem comparáveis aos baselines (refletindo o trade-off qualidade-diversidade), a otimização do D2PO para qualidade perceptual permanece superior.
  • Generalização: O método generaliza para diferentes solvers de ODE (iPNDM, UniPC, DPM-Solver++) e backbones modernos (Stable Diffusion 3.5-Medium), superando consistentemente os baselines.
• Estudos de Ablação:
  • Remover a preferência dinâmica (revertendo para um professor fixo) degrada o desempenho, confirmando a necessidade do loop de auto-melhoria.
  • Substituir a energia baseada em score por LPIPS causa uma queda significativa na fidelidade, validando a capacidade da métrica em capturar erros finos.
• Avaliação Humana: Em um estudo de preferência cega, o D2PO recebeu 60,3% dos votos para preferência geral, superando amplamente o LD3 (27,6%) e o GITS (12,1%), confirmando que as melhorias na métrica se traduzem em qualidade percebida pelos humanos.
• Alinhamento Semântico: O D2PO também alcança scores CLIP mais altos que os baselines, sugerindo que a otimização para alinhamento de preferência preserva melhor a relevância do prompt do que a regressão pontual rígida.

5. Significância e Alegações

O artigo afirma que o D2PO aborda um gargalo crítico de desempenho na otimização de amostradores de difusão. Ao mudar do paradigma de regressão-para-professor para um paradigma de alinhamento de preferência dinâmica, o D2PO desbloqueia o potencial total de professores de alta qualidade sem ser limitado por seus erros de discretização estáticos.

Os autores afirmam que sua abordagem é leve e ortogonal aos métodos existentes de ajuste de pesos, pois mantém o backbone generativo congelado e otimiza exclusivamente a política de amostragem de baixa dimensão. O mecanismo de professor dinâmico fornece um sinal de aprendizado teoricamente fundamentado que força o estudante a minimizar seu próprio erro de discretização, levando a trajetórias de amostragem que são mais consistentes com o processo contínuo real e perceptualmente superiores, particularmente sob restrições rigorosas de baixo NFE.