Resumo Técnico: SIPO (Otimização de Preferência Estabilizada e Aprimorada)

1. Declaração do Problema

Embora os modelos de difusão tenham revolucionado a geração de imagens e vídeos, alinhá-los com preferências humanas permanece desafiador. Técnicas de alinhamento existentes, particularmente o Diffusion-DPO (Otimização Direta de Preferência), sofrem de dois problemas fundamentais que impedem um treinamento estável e eficaz:

1. Instabilidade no Treinamento: O processo de remoção de ruído em modelos de difusão envolve trajetórias de longo horizonte com passos de tempo variados. O artigo identifica que a instabilidade no treinamento surge principalmente dos passos de tempo iniciais, que possuem pesos de importância baixos e altas variâncias de gradiente. Isso leva a dinâmicas de perda não monotônicas, sensibilidade de parâmetros (especificamente ao hiperparâmetro de temperatura $\beta$) e possível colapso do treinamento, onde o desempenho se degrada ao longo do tempo.
2. Viés Off-Policy: Os dados de otimização de preferência são tipicamente construídos a partir de um modelo de referência fixo ou fontes fora da distribuição, em vez do modelo de política atual. Isso cria uma lacuna distribucional onde os dados de treinamento capturam um subconjunto restrito do espaço estado-ação, enquanto o modelo deve generalizar através de um espaço mais amplo. Essa incompatibilidade leva a estimativas de pontuação off-policy imprecisas, exploração de recompensas (reward hacking) e generalização degradada, particularmente na geração de vídeos, onde a coerência temporal é crítica.

2. Metodologia: Framework SIPO

Os autores propõem o SIPO (Otimização de Preferência Estabilizada e Aprimorada), um framework projetado para abordar a instabilidade e o viés mencionados através de uma análise sistemática das trajetórias de difusão e da introdução de mecanismos de amostragem por importância.

2.1. Análise de Trajetórias de Difusão

Através de análise sistemática no Stable Diffusion 1.5, os autores observaram que:

• Passos de tempo iniciais (especificamente $t \in [0, 63]$) correspondem a pesos de importância baixos e introduzem gradientes ruidosos que desestabilizam o treinamento.
• Passos de tempo do meio ao final fornecem os sinais mais informativos para o alinhamento de preferências.
• A amostragem uniforme de passos de tempo tem desempenho inferior em comparação com o foco em etapas intermediárias.

2.2. DPO-C&M (Clipping & Mascaramento)

Para abordar a instabilidade, os autores introduzem o DPO-C&M, que modifica o objetivo padrão do Diffusion-DPO:

• Ponderação por Importância: Um peso de importância $w(t)$ é computado comparando a transição reversa aprendida $p_\theta(x_{t-1}|x_t)$ com o posterior forward $q(x_{t-1}|x_t, x_0)$.
• Clipping e Mascaramento: Passos de tempo com pesos de importância baixos (indicando gradientes não confiáveis ou ruidosos) são mascarados ou limitados. Especificamente, os pesos são limitados a um intervalo $[1-\epsilon, 1+\epsilon]$ para prevenir alta variância. Isso atua como uma máscara suave para suprimir gradientes de regiões onde os caminhos forward e reverso divergem significativamente.

2.3. Reponderação por Importância Consciente do Passo de Tempo

Para mitigar o viés off-policy, o SIPO incorpora um esquema de reponderação por importância com clipping passo a passo:

• Correção Off-Policy: O framework reinterpreta o objetivo de otimização de preferência usando amostragem por importância. Ele repondera as atualizações com base na razão de verossimilhança entre a política atual $p_\theta$ e a distribuição de amostragem off-policy $q$.
• Objetivo Regularizado por KL: O método formula a otimização como a minimização da divergência KL entre o modelo atual e uma distribuição alvo "moldada" $p^*$, que equilibra o feedback de recompensa com preferências anteriores.
• Tamanhos de Passo Adaptativos: O termo de razão logarítmica reponderado escala as atualizações adaptativamente. Ele reforça amostras preferidas subestimadas e reduz o peso das amostras excessivamente confiantes. Isso introduz um limite superior suave em torno da distribuição de referência, prevenindo a exploração de recompensas e reduzindo a sensibilidade ao hiperparâmetro $\beta$.

A função de perda final do SIPO integra esses pesos de importância com clipping no sinal de preferência par a par em cada etapa de remoção de ruído, garantindo atualizações estáveis mesmo ao treinar em conjuntos de dados fixos e off-policy.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

1. Análise Sistemática: Uma investigação detalhada sobre as dinâmicas de otimização de preferência baseada em difusão, revelando que os passos de tempo iniciais desestabilizam o treinamento DPO, enquanto os passos do meio ao final impulsionam ganhos de desempenho.
2. Framework SIPO: A proposta de um framework de otimização ponderado por importância, principiado, que estabiliza o treinamento e mitiga a incompatibilidade off-policy ao reponderar gradientes de acordo com a verossimilhança da amostra e a qualidade do passo de tempo.
3. Validação Empírica: Experimentos extensivos demonstrando que o SIPO estabiliza consistentemente o processo de otimização de preferência e supera alternativas existentes (por exemplo, Diffusion-DPO, DPO-C&M) em tarefas de geração tanto de imagens quanto de vídeos.

4. Resultados Experimentais

Os autores avaliaram o SIPO em vários modelos de base, incluindo Stable Diffusion 1.5, SDXL, CogVideoX-2B/5B e Wan2.1-1.3B.

• Texto para Vídeo: No CogVideoX-2B, o Diffusion-DPO mostrou degradação severa após 1000 passos (pontuação Total VBench caindo de 80,91 para 67,28), enquanto o SIPO permaneceu estável e melhorou (81,68). O SIPO superou consistentemente o Diffusion-DPO e o DPO-C&M nas pontuações Total, Qualidade e Semântica em todos os modelos de vídeo testados.
• Texto para Imagem: No SD1.5 e SDXL usando o conjunto de dados Pick-a-Pic, o SIPO alcançou as pontuações mais altas em três de quatro métricas (PickScore, HPSv2, Estética) em comparação com o Diffusion-DPO e outras bases como Diffusion-KTO e SPO.
• Sensibilidade a Parâmetros: O SIPO demonstrou robustez significativamente maior ao parâmetro de temperatura $\beta$. Enquanto o desempenho do Diffusion-DPO flutuou selvagemente com diferentes valores de $\beta$, o SIPO manteve desempenho consistente em uma ampla faixa.
• Avaliação Humana: Em um estudo com 200 prompts e 12 anotadores, o SIPO alcançou uma taxa de vitória de 67% (classificações em primeiro lugar), superando significativamente o Diffusion-DPO e os modelos base.
• Aprendizado Online/Iterativo: Em cenários de treinamento iterativo, o SIPO manteve desempenho estável, enquanto o Diffusion-DPO exibiu degradação devido à exploração de recompensas e deriva distribucional.

5. Significado e Alegações

O artigo alega que o SIPO fornece diretrizes valiosas para otimização de preferência aprimorada, enfatizando a importância do alinhamento consciente do passo de tempo. Os autores afirmam que seu método:

• Estabiliza o Treinamento: Ao identificar e mascarar passos de tempo iniciais não informativos, o SIPO previne o colapso do treinamento frequentemente observado no Diffusion-DPO.
• Mitiga Viés Off-Policy: O esquema de reponderação por importância permite treinamento eficaz em conjuntos de dados fixos e offline, sem a necessidade de exploração complexa on-policy.
• Generaliza Bem: A abordagem é eficaz em diferentes arquiteturas de modelos (incluindo modelos baseados em fluxo como o WanX) e modalidades (imagem e vídeo).

Os autores concluem que o SIPO oferece uma abordagem escalável e principiada para alinhar a geração baseada em difusão com preferências humanas, tornando as saídas mais consistentes e controláveis sem exigir novas capacidades generativas além dos modelos subjacentes. Eles recomendam combinar essa otimização com curadoria cuidadosa de conjuntos de dados e filtragem de segurança.