Resumo Técnico: Alinhamento e Segurança de Modelos de Difusão via Aprendizado por Reforço e Modelagem de Recompensa

1. Declaração do Problema

Os modelos de difusão estabeleceram-se como o paradigma dominante para geração de imagens de alta qualidade e multimodal. No entanto, seu treinamento padrão via máxima verossimilhança em dados amplos da internet frequentemente resulta em saídas que não se alinham com a intenção humana, preferências estéticas ou restrições de segurança. Questões específicas incluem:

• Desalinhamento de Prompt: Falha em seguir instruções complexas com precisão (por exemplo, contagem de objetos, cores).
• Conteúdo Indesejado: Geração de imagens ofensivas, violentas ou enviesadas devido a vieses nos dados de treinamento.
• Degradação da Qualidade: Produção de imagens borradas ou repletas de artefatos quando métricas de qualidade específicas não são explicitamente otimizadas.

O desafio central no alinhamento de modelos de difusão reside na natureza do processo de geração: é uma trajetória iterativa de remoção de ruído de alta dimensão onde o feedback é tipicamente esparsa (disponível apenas na saída final) e o sinal de recompensa (preferência humana) é frequentemente não diferenciável. Incorporar diretamente valores humanos no loop de treinamento exige adaptar técnicas de aprendizado por reforço (RL) e modelagem de recompensa aos vieses indutivos específicos dos processos de difusão.

2. Metodologia e Taxonomia

A pesquisa organiza a literatura em cinco eixos principais: a fonte do feedback, a forma do sinal de recompensa, o mecanismo de otimização, o tratamento da mudança de distribuição e o tratamento explícito da segurança. As metodologias são categorizadas da seguinte forma:

2.1 Aprendizado por Reforço a partir de Feedback Humano (RLHF)

Essas abordagens tratam o processo de amostragem de difusão como um Processo de Decisão de Markov (MDP) onde a política é o modelo de difusão.

• Pipeline: Feedback humano é coletado (por exemplo, comparações em pares), usado para treinar um modelo de recompensa escalar ($r_\phi$) e, em seguida, o modelo de difusão é ajustado para maximizar essa recompensa.
• Algoritmos: Trabalhos iniciais como Lee et al. [2023] usaram verossimilhança ponderada por recompensa. DPOK [Fan et al., 2023] introduziu RL online com gradientes de política regularizados por KL (semelhante ao PPO) para evitar o desvio do modelo base.
• Variantes Avançadas: Para abordar instabilidade e ineficiência de amostragem, métodos mais recentes como variantes de GRPO (Otimização de Política Relativa em Grupo) (por exemplo, DanceGRPO, Flow-GRPO) amostram grupos de trajetórias para calcular vantagens relativas sem um crítico de valor separado. TDPO-R [Zhang et al., 2024] aborda o "hacking de recompensa" introduzindo vieses indutivos temporais e redefinindo neurônios críticos superativos.

2.2 Otimização Direta de Preferência (DPO) e Variantes

Esses métodos contornam o treinamento explícito de um modelo de recompensa, otimizando a política diretamente em dados de preferência.

• Mecanismo: Ao tratar o modelo base como um prior, esses métodos derivam uma função de perda a partir de preferências em pares (por exemplo, $A \succ B$) que atualiza o modelo para aumentar a verossimilhança de saídas preferidas.
• Adaptações: Diffusion-DPO [Wallace et al., 2023a] e D3PO [Yang et al., 2024b] adaptam o DPO à natureza multi-etapa da difusão, frequentemente decompondo o sinal de preferência ao longo dos passos de tempo para gerenciar memória e atribuição de crédito. Diffusion-KTO [Li et al., 2024a] estende isso para feedback binário por imagem (curtidas/dislikes), utilizando sinais fracos do comportamento do usuário.
• Personalização: Métodos como PPD [Dang et al., 2025] e C-DPO [Dunlop et al., 2026] aprendem embeddings específicos do usuário para personalizar o alinhamento sem retreinar todo o modelo.

2.3 Ajuste Fino com Recompensa Diferenciável

Esta categoria assume que a função de recompensa é diferenciável (ou aproximada por um substituto) e retropropaga gradientes através do processo de amostragem.

• Abordagem: Em vez de tratar o gerador como uma caixa preta, esses métodos tratam a trajetória de remoção de ruído como um grafo de computação. AlignProp [Prabhudesai et al., 2024] e DRaFT [Clark et al., 2024] realizam a retropropagação de ponta a ponta do gradiente de recompensa através dos passos de difusão.
• Otimizações: Para gerenciar memória, as técnicas incluem checkpointing de gradiente, adaptadores de baixo rank e truncamento da retropropagação para os passos finais. LaSRO [Jia et al., 2025a] aprende uma recompensa substituta diferenciável no espaço latente para lidar com recompensas não diferenciáveis em modelos altamente destilados.

2.4 Técnicas Específicas de Segurança e Conscientes de Região

Enquanto o alinhamento genérico melhora a qualidade, a segurança frequentemente exige restrições explícitas.

• Alinhamento Direcionado: AlignGuard [Liu et al., 2025b] treina especialistas em segurança usando perdas estilo DPO em pares rotulados de segurança.
• Específicos de Região: Focus-N-Fix [Xing et al., 2024] identifica regiões problemáticas (por exemplo, conteúdo NSFW) via máscaras de atenção e ajusta finamente apenas essas áreas espaciais específicas, preservando a fidelidade e o estilo do restante da imagem.

3. Contribuições Principais

O artigo fornece um mapa técnico coerente do campo emergente do alinhamento de modelos de difusão. Suas contribuições principais incluem:

1. Taxonomia Estruturada: Uma classificação de métodos de alinhamento baseada em fontes de feedback, formas de recompensa e mecanismos de otimização, esclarecendo as relações entre RLHF, DPO e abordagens diferenciáveis.
2. Explicações Tutorial: Inclusão de explicações fundamentais para amostragem de difusão, modelagem de recompensa e otimização de preferência para tornar a pesquisa acessível a um público mais amplo.
3. Análise Comparativa: Uma comparação sistemática de métodos representativos (resumidos na Tabela 1) em dimensões como requisitos de feedback, custo computacional, escalabilidade, suscetibilidade ao hacking de recompensa e adequação à segurança.
4. Síntese de Desafios Abertos: Identificação de cinco lacunas de pesquisa críticas:
   • Alinhamento Multi-objetivo: Equilibrar objetivos conflitantes (por exemplo, segurança vs. fidelidade ao prompt) sem esquecimento catastrófico.
   • Eficiência de Feedback: Reduzir a dependência de dados humanos caros via aprendizado ativo e feedback sintético (RLAIF).
   • Robustez Adversarial: Desenvolver mecanismos de segurança robustos a prompts adversariais e mudanças de distribuição.
   • Alinhamento Contínuo: Adaptar modelos a normas e preferências do usuário em evolução sem retreinamento completo.
   • Interpretabilidade: Ir além de modelos de recompensa de caixa preta para sinais de preferência decomponíveis e auditáveis.

4. Resultados e Tendências

A pesquisa sintetiza descobertas da literatura para destacar várias tendências:

• Mudança de RL para Otimização Direta: Enquanto métodos iniciais de RLHF (por exemplo, Lee et al., 2023) provaram a viabilidade do alinhamento, métodos diferenciáveis mais recentes (AlignProp, DRaFT) e métodos de preferência direta (variantes DPO) frequentemente demonstram eficiência de amostragem e estabilidade de treinamento superiores.
• Tratamento de Hacking de Recompensa: RL ingênuo frequentemente leva ao hacking de recompensa (explorar peculiaridades do modelo de recompensa). Técnicas como TDPO-R (correção de viés temporal) e regularização KL em DPOK mostraram-se eficazes para mitigar isso.
• Convergência de Dados e Modelos: O campo está convergindo para conjuntos de dados padrão (por exemplo, Pick-a-Pic, HPSv2) e modelos de recompensa (por exemplo, ImageReward, PickScore) para avaliação, permitindo testes de referência mais rigorosos.
• Arquiteturas Híbridas: As abordagens mais eficazes frequentemente combinam métodos, como usar recompensas diferenciáveis para velocidade enquanto aplicam restrições estilo RL para evitar mudança de distribuição, ou sobrepor correções de segurança específicas de região em cima de modelos alinhados globalmente.

5. Significado

O artigo afirma que, embora progresso significativo tenha sido feito no alinhamento de modelos de difusão, a implantação confiável em contextos críticos de segurança ou em evolução no mundo real permanece um desafio aberto. O significado desta pesquisa reside em:

• Identificação de Lacunas Metodológicas: Destaca que os métodos atuais frequentemente lutam com trade-offs multi-objetivo, robustez adversarial e o alto custo do feedback humano.
• Fornecimento de um Roteiro: Ao sintetizar a literatura em um conjunto de desafios abertos, guia a pesquisa futura para frameworks unificados para alinhamento multi-objetivo, aprendizado ativo para eficiência de dados e modelagem de recompensa interpretável.
• Contextualização da Segurança: Enfatiza que a segurança não pode ser tratada meramente como uma preferência genérica, mas frequentemente requer estratégias de alinhamento explícitas, conscientes de região ou baseadas em restrições para prevenir saídas prejudiciais sem degradar a utilidade geral.

A pesquisa conclui que alinhar IA generativa com valores humanos é um pré-requisito para mover esses modelos de configurações de laboratório para fluxos de trabalho profissionais e criativos diários. As direções de pesquisa identificadas visam garantir que os futuros modelos generativos não sejam apenas capazes, mas também confiáveis, robustos e alinhados com normas éticas humanas.