SAIL: Self-Amplified Iterative Learning for Diffusion Model Alignment with Minimal Human Feedback

Resumo Técnico: SAIL (Self-Amplified Iterative Learning)

1. O Problema (Contexto e Motivação)

O alinhamento de modelos de difusão (como Stable Diffusion) com as preferências humanas é essencial para garantir que as imagens geradas sejam esteticamente agradáveis e semanticamente precisas. Atualmente, existem dois paradigmas principais, ambos com limitações críticas:

• DPO Offline (Direct Preference Optimization): Requer conjuntos de dados massivos de preferências anotadas por humanos (milhões de pares), o que é extremamente caro e lento.
• DPO Online com Modelos de Recompensa Externos: Utiliza modelos de recompensa pré-treinados (como Aesthetic Scorers ou ImageReward). No entanto, esses modelos introduzem vieses secundários, são suscetíveis ao "reward hacking" (quando o modelo explora falhas do avaliador) e sofrem com mudanças de distribuição.

O desafio central é: É possível alinhar modelos de difusão usando apenas um feedback humano mínimo, sem depender de modelos de recompensa externos?

2. Metodologia (O Framework SAIL)

Os autores propõem o SAIL, um framework de aprendizado iterativo de auto-amplificação que permite ao modelo atuar como seu próprio professor através de um ciclo fechado (closed-loop).

O processo funciona em quatro etapas principais (conforme o Algoritmo 1):

1. Inicialização: O processo começa com um conjunto mínimo de dados de preferência anotados por humanos (seed dataset). O modelo base é ajustado usando DiffusionDPO.
2. Geração de Candidatos: Em cada iteração, o modelo atual gera $N$ imagens candidatas para um conjunto de prompts.
3. Ranking de Auto-Recompensa (Self-Rewarding): Em vez de um modelo externo, o SAIL utiliza a própria capacidade discriminativa do modelo de difusão para quantificar a recompensa relativa entre pares de imagens. Eles derivam matematicamente uma função de recompensa baseada na diferença de log-probabilidade entre o modelo atual ($\epsilon_\theta$) e o modelo de referência ($\epsilon_{ref}$). O par de imagens com a maior e a menor pontuação de recompensa é selecionado para formar novos dados de preferência.
4. Mixup de Preferência Ranqueada (Ranked Preference Mixup): Para evitar o colapso da distribuição e o esquecimento catastrófico (onde o modelo esquece as preferências humanas originais ao focar demais em dados sintéticos), os autores introduzem uma estratégia de mixup. Eles combinam os novos dados gerados pelo modelo com o conjunto de dados humano original (proporção $\alpha$).

3. Principais Contribuições

• Framework de Auto-Recompensa Implícita: O primeiro framework que permite o alinhamento de modelos de difusão através de bootstrapping autônomo, eliminando a necessidade de modelos de recompensa externos.
• Estratégia de Mixup para Estabilidade: Um mecanismo de treinamento que equilibra a exploração de novos padrões estéticos com a aderência às preferências humanas iniciais, garantindo estabilidade ao longo de múltiplas iterações.
• Eficiência de Dados Extrema: Demonstra que é possível superar métodos de ponta usando apenas 6% da quantidade de dados de preferência humana exigida pelos métodos tradicionais.

4. Resultados Experimentais

Os experimentos foram realizados utilizando SD1.5 e SDXL nos benchmarks HPSv2, Pick-a-Pic e PartiPrompts.

• Desempenho Superior: O SAIL superou consistentemente o DiffusionDPO e o MaPO. No SDXL, o SAIL alcançou ganhos significativos em todas as métricas (PickScore, ImageReward, Aesthetics e HPSv2).
• Escalabilidade Iterativa: Os gráficos de resultados mostram que o desempenho do modelo melhora de forma constante a cada iteração, provando a eficácia do aprendizado em ciclo fechado.
• Qualidade Visual: As comparações qualitativas mostram melhorias notáveis na coerência estrutural, detalhes de textura e alinhamento textual em comparação com o modelo base.
• Robustez: O estudo de ablação confirmou que a estratégia de mixup é vital; sem ela, o modelo sofre de sobreajuste (overfitting) a pares de alta confiança e perde diversidade de geração.

5. Significância e Impacto

O trabalho do SAIL é significativo porque redefine o alinhamento de modelos generativos. Ele prova que modelos de difusão possuem uma capacidade latente de auto-melhoria. Ao transformar o modelo de um "aprendiz passivo" em um "agente ativo" que gera, avalia e aprende com seus próprios erros, o SAIL oferece um caminho muito mais escalável e econômico para criar IAs generativas de alta qualidade, reduzindo drasticamente a dependência de rotulagem humana em larga escala.