Resumo Técnico: Faça Menos, Alcance Mais: Precisamos de Otimização Passo a Passo para o Ajuste Fino com RL de Modelos de Difusão?

1. Declaração do Problema

Os modelos de difusão alcançaram desempenho de última geração na geração de imagens, mas são otimizados principalmente para reconstrução de dados, frequentemente falhando em alinhar-se com preferências humanas específicas (por exemplo, estética, intenção semântica). O Aprendizado por Reforço (RL) foi introduzido para ajustar finamente esses modelos usando sinais de recompensa explícitos. No entanto, os paradigmas atuais de ajuste fino com RL enfrentam três desafios críticos:

1. Desalinhamento Temporal (Preenchimento Retroativo de Recompensa): Como as recompensas estão disponíveis apenas após a geração da imagem final, os métodos existentes retropropagam essa única recompensa para todas as etapas de remoção de ruído para garantir a treinabilidade. Isso rompe a causalidade temporal; as etapas iniciais, onde as estruturas da imagem são caóticas e instáveis, recebem sinais de orientação fracamente correlacionados. Isso leva a alta variância, direções de gradiente aleatórias e atualizações ineficientes.
2. Agravamento do "Hacking" de Recompensa: Os métodos existentes assumem valor de otimização igual em todas as etapas de remoção de ruído. Nas etapas tardias, onde a estrutura da imagem é estável e o sinal de recompensa convergiu em grande parte, o treinamento contínuo oferece retornos marginais decrescentes. Forçar atualizações nesses intervalos de baixo valor aumenta o risco de sobreajuste a detalhes locais e amplifica o "hacking" de recompensa (onde o modelo explora a função de recompensa para gerar imagens com pontuação alta, mas de baixa qualidade ou distorcidas).
3. Desperdício Computacional: A combinação de treinamento em etapas iniciais instáveis e superotimização de etapas tardias estáveis resulta em sobrecarga computacional significativa sem ganhos proporcionais na qualidade de geração.

2. Metodologia: AdaScope

Os autores propõem o AdaScope, um plug-in aprimorado por RL que seleciona adaptativamente os pontos ótimos de intervenção e término para o ajuste fino com RL, em vez de otimizar toda a trajetória de remoção de ruído. O método fundamenta-se na observação de que o impacto do RL varia significativamente entre as etapas de remoção de ruído.

Fundamentação Teórica

Os autores estabelecem um vínculo teórico entre os processos de difusão direta e reversa. Eles provam que a correlação entre variáveis latentes em diferentes instantes de tempo diminui monotonicamente à medida que a geração progride. Isso implica que a incerteza diminui ao longo do tempo, e a etapa de "incerteza moderada" representa a janela ótima para otimização, equilibrando estabilidade estrutural e sensibilidade à recompensa.

Mecanismo Adaptativo

O AdaScope determina dinamicamente o intervalo de treinamento $[t_{start}, t_{end}]$ com base em dois critérios:

1. Percepção de Tendência Estrutural Semântica ($t_{start}$):

   • Objetivo: Pular a etapa inicial caótica onde o ruído domina e as estruturas semânticas estão subdesenvolvidas.
   • Mecanismo: O método reconstrói imagens intermediárias $\hat{x}_0$ a partir de etapas adjacentes e calcula o Ganho Estrutural ($\Delta S_t$) usando pontuações CLIP entre a imagem reconstruída e o prompt.
   • Gatilho: O treinamento começa quando a flutuação no ganho estrutural se estabiliza (ou seja, a derivada do ganho se aproxima de zero), indicando que a estrutura semântica se formou e está pronta para otimização de preferências.

2. Percepção de Tendência de Ganho de Recompensa ($t_{end}$):

   • Objetivo: Terminar o treinamento antes da etapa tardia onde os ganhos de recompensa saturam para prevenir sobreajuste e "hacking" de recompensa.
   • Mecanismo: O método monitora o Ganho de Preferência ($\Delta P_t$), definido como a mudança na pontuação de recompensa (por exemplo, pontuação estética) entre etapas adjacentes.
   • Gatilho: O treinamento para quando a flutuação no ganho de preferência se estabiliza, indicando que o modelo atingiu o ponto de saturação para o prompt dado e atualizações adicionais produzem melhorias negligenciáveis.

Ao restringir as atualizações de RL ao intervalo $[t_{start}, t_{end}]$, o AdaScope foca a otimização na região de "alto valor" onde as estruturas semânticas são estáveis e os ganhos de recompensa são significativos.

3. Contribuições Principais

• Análise Teórica: O artigo fornece derivações teóricas (Teoremas 1 e 2, Lema 1) demonstrando a dinâmica de correlação entre imagens intermediárias durante a geração, validando a existência de uma janela ótima de intervenção.
• Otimização Dual: O AdaScope alcança um "duplo benefício":
  • Melhoria de Qualidade: Ao filtrar amostras de estágio inicial com grave incompatibilidade de atribuição ação-recompensa, ele estabiliza a estimativa do gradiente de política. Ao eliminar amostras de estágio tardio propensas a sobreajuste, ele fortalece a generalização e a fidelidade de distribuição.
  • Melhoria de Eficiência: Ao identificar adaptativamente intervalos de RL eficazes, ele evita atualizações ineficazes em estágios de alto ruído e saturação, reduzindo significativamente as etapas de treinamento.
• Design Plug-and-Play: O método é projetado como um plug-in compatível com várias abordagens existentes de ajuste fino com RL (por exemplo, DDPO, DPOK, D3PO) e arquiteturas de base (SDv1.4, SDv2.1, SDXL).

4. Resultados Experimentais

Os autores avaliaram o AdaScope em múltiplos conjuntos de dados (HPSv2, Pick-a-Pic, Simple Animals) e objetivos de recompensa (Pontuação Estética, PickScore, ImageReward, combinações de múltiplos objetivos).

• Ganhos de Desempenho: Comparado a métodos de última geração, o AdaScope melhorou o desempenho em 66% em seis métricas (incluindo PickScore, Pontuação Estética e ImageReward), enquanto reduziu os custos computacionais em 59%.
• Eficiência: O método reduziu significativamente o tempo necessário para atingir limiares específicos de recompensa (por exemplo, atingir PickScore=22 ou Estética=7) em comparação com as linhas de base.
• Robustez: A abordagem demonstrou superioridade consistente em diferentes modelos de base (SDv1.4, SDv2.1, SDXL) e funções de recompensa, incluindo recompensas de múltiplos objetivos.
• Preservação de Diversidade: Visualizações (t-SNE) e métricas quantitativas (Coeficiente de Silhueta) mostraram que o AdaScope mantém uma distribuição gerativa mais ampla em comparação com linhas de base como o DDPO, que tendiam a colapsar em clusters compactos e menos diversos. Isso indica mitigação eficaz do "hacking" de recompensa.
• Alinhamento Qualitativo: Resultados visuais demonstraram alinhamento superior com prompts complexos em relação a composição, cor, contagem e localização, bem como melhor manipulação de prompts inéditos e complexos.

5. Significado e Alegações

O artigo alega que o paradigma "Faça Menos, Alcance Mais" desafia a suposição predominante de que a otimização de trajetória completa é necessária para um ajuste fino eficaz com RL de modelos de difusão.

• Racionalidade da Otimização Seletiva: O trabalho demonstra que nem todas as etapas de remoção de ruído contribuem igualmente para o alinhamento de preferências. Otimizar toda a trajetória introduz ruído (estágios iniciais) e riscos de sobreajuste (estágios tardios).
• Eficiência sem Compromisso: O AdaScope prova que eficiência computacional e qualidade de geração não são mutuamente exclusivas; ao podar etapas não informativas, o método reduz simultaneamente o custo e melhora a qualidade da saída.
• Generalizabilidade: O mecanismo adaptativo é apresentado como uma solução agnóstica ao modelo que pode ser integrada em vários pipelines de ajuste fino baseados em RL para abordar os problemas fundamentais de recompensas esparsas e "hacking" de recompensa.

Os autores concluem que o AdaScope fornece uma solução eficiente e escalável para o ajuste fino com RL, garantindo que a otimização se concentre no intervalo crítico onde as estruturas semânticas se estabilizam e os ganhos de recompensa são significativos.