Resumo Técnico: Um Framework Unificado para Esquecimento em Modelos de Difusão com Divergência-f

1. Declaração do Problema

Modelos de difusão (DMs) de texto para imagem (T2I), treinados em conjuntos de dados raspados da internet em grande escala (por exemplo, LAION-5B), demonstraram capacidades generativas notáveis, mas também herdam propriedades indesejáveis, incluindo a capacidade de gerar conteúdo Não Seguro para Trabalho (NSFW), estilos artísticos protegidos por direitos autorais e informações pessoais. Embora o retreinamento de modelos em conjuntos de dados curados seja a solução teórica para apagar conceitos específicos, é computacionalmente proibitivo e frequentemente impraticável devido à exclusão de dados ou restrições de recursos.

Algoritmos de esquecimento existentes geralmente dependem de um paradigma em que a geração do modelo para um conceito "alvo" (a ser apagado) é alinhada a um conceito "âncora" (por exemplo, um conceito nulo, superclasse ou conceito semanticamente relacionado). Esse alinhamento é quase exclusivamente alcançado minimizando o Erro Quadrático Médio (MSE) entre as saídas do denoiser do alvo e do âncora. Teoricamente, essa minimização de MSE corresponde à minimização da divergência de Kullback-Leibler (KL) entre duas distribuições gaussianas condicionadas aos respectivos conceitos. No entanto, essa abordagem limita o espaço de otimização a uma única métrica de divergência, potencialmente subótima para equilibrar a eficácia do esquecimento com a preservação da fidelidade generativa para conceitos não-alvo.

2. Metodologia

Os autores propõem o f-DMU, um framework unificado que generaliza o objetivo de esquecimento da divergência KL padrão para qualquer divergência-f. O framework é construído sobre a observação de que o problema de esquecimento pode ser formulado como a minimização da divergência entre as distribuições de probabilidade do modelo original $\Phi$ (condicionado ao conceito âncora $c$) e do modelo esquecido $\hat{\Phi}$ (condicionado ao conceito alvo $c^*$) em passos de tempo específicos do processo de difusão.

O objetivo central é definido como:
$$\min_{\hat{\Phi}} \mathbb{E}_{c^*, c, t} \left[ D_f \left( p_{\Phi}(x_{t-1}|x_t, c) \parallel p_{\hat{\Phi}}(x_{t-1}|x_t, c^*) \right) \right]$$

O framework oferece duas abordagens distintas para resolver esse objetivo, dependendo das propriedades da divergência-f escolhida:

A. Funções de Perda de Forma Fechada

Para um subconjunto de divergências-f onde uma expressão de forma fechada existe para distribuições gaussianas (especificamente quando as variâncias são fixas, uma prática padrão em DMs), os autores derivam funções de perda específicas. Instâncias chave incluem:

• Distância de Hellinger Quadrada ($H^2$): Gera uma função de perda envolvendo um decaimento exponencial do MSE: $J_{H^2} \propto -\exp(-\text{MSE})$. Isso resulta em gradientes limitados que diminuem à medida que o MSE aumenta, mitigando o impacto de outliers e prevenindo mudanças abruptas no modelo.
• Divergência $\chi^2$ de Pearson: Gera uma função de perda envolvendo um crescimento exponencial do MSE: $J_{\chi^2} \propto \exp(\text{MSE})$. Isso resulta em gradientes ilimitados e de crescimento rápido para grandes erros, levando a atualizações mais agressivas.
• Divergência de Jeffreys: Reduz-se a uma formulação padrão de MSE sob suposições específicas.

B. Funções de Perda Variacionais

Para divergências-f que carecem de uma expressão de forma fechada (por exemplo, Variação Total, ou quando uma formulação mais geral é desejada), os autores utilizam a representação variacional das divergências-f. Isso transforma o problema em um jogo de otimização min-max:
$$\min_{\hat{\Phi}} \max_{T} \mathbb{E} \left[ \mathbb{E}_{p_{\Phi}}[T(\Phi)] - \mathbb{E}_{p_{\hat{\Phi}}}[f^*(T(\hat{\Phi}))] \right]$$
Aqui, $T$ atua como um discriminador (parametrizado por uma rede neural) estimando a divergência, enquanto $\hat{\Phi}$ atua como o gerador tentando minimizá-la. Essa abordagem permite que o framework aplique qualquer divergência-f à tarefa de esquecimento.

3. Análise Teórica

O artigo fornece uma análise teórica rigorosa do framework proposto:

• Dinâmica de Gradientes: Os autores analisam as magnitudes dos gradientes das funções de perda de forma fechada. Eles demonstram que $H^2$ e $\chi^2$ exibem comportamentos opostos em comparação com o KL/MSE padrão. $H^2$ suprime gradientes para grandes erros (outliers), enquanto $\chi^2$ os amplifica. Esse ponderamento por amostra é uma propriedade inerente à escolha da divergência-f, distinta dos agendadores padrão de taxa de aprendizado.
• Propriedades de Convergência: Usando a teoria de sistemas dinâmicos não lineares, os autores provam a estabilidade exponencial local da formulação variacional em torno de pontos de equilíbrio. Eles derivam limites na taxa de convergência com base nos autovalores da matriz Jacobiana. Crucialmente, eles mostram que a escolha da divergência-f impacta a velocidade de convergência; especificamente, divergências com maiores segundas derivadas de seus conjugados de Fenchel no equilíbrio (por exemplo, $H^2$ e Jensen-Shannon) convergem teoricamente mais rápido do que outras como KL ou $\chi^2$.
• Busca de Modo vs. Cobertura de Modo: O artigo discute como diferentes divergências afetam a distribuição das imagens geradas. $H^2$ e Jensen-Shannon exibem propriedades de "busca de modo" de "médio", enquanto KL e $\chi^2$ são de "cobertura de modo", potencialmente atribuindo maior probabilidade a áreas entre modos.

4. Resultados Experimentais

O framework foi avaliado em modelos Stable Diffusion (v1.4, v1.5, v2.1, XL e 3) e FLUX, visando a eliminação de objetos (por exemplo, R2D2), estilos artísticos (por exemplo, Van Gogh, Monet) e nudez.

• Estabilidade de Gradiente: A validação empírica confirma que o $H$-DMU (usando $H^2$) mantém gradientes limitados durante todo o treinamento, evitando a geração degenerada súbita de imagens observada em métodos baseados em MSE durante estágios intermediários de ajuste fino.
• Eficácia de Esquecimento vs. Preservação:
  • Forma Fechada: O $H$-DMU consistentemente supera o MSE padrão na preservação de conceitos não-alvo (medido pela Distância de Inception Kernel, KID), enquanto alcança apagamento comparável ou melhor de conceitos alvo. Por outro lado, o $\chi^2$-DMU alcança apagamento mais forte, mas frequentemente às custas da qualidade generativa e da preservação do prior.
  • Variacional: Métodos variacionais (por exemplo, $H_v$-DMU) tendem a ser mais "agressivos", alcançando apagamento rápido em menos iterações, mas frequentemente resultando em pontuações KID mais altas (qualidade de imagem inferior) devido a estimativas de divergência grosseiras em pequenos lotes.
• Robustez: No contexto de apagamento de nudez, o $H$-DMU demonstrou robustez superior contra prompts adversariais (por exemplo, Ring-A-Bell, MMA-Diffusion) em comparação com métodos state-of-the-art como CAbl, DoCo e SLD, gerando significativamente menos imagens NSFW sob ataque.
• Apagamento de Múltiplos Conceitos: O framework lidou com sucesso com o apagamento sequencial de 10 estilos artísticos, com o $H$-DMU mostrando trade-offs superiores entre apagamento e preservação em comparação com o MSE.

5. Significado e Alegações

O artigo alega apresentar o primeiro framework unificado para esquecimento em modelos de difusão baseado em divergências-f. Suas principais contribuições são:

1. Generalização: Ir além da suposição implícita de KL/MSE para uma família flexível de divergências, permitindo que praticantes selecionem o objetivo ótimo com base em metas de aplicação específicas (por exemplo, apagamento agressivo vs. preservação de alta fidelidade).
2. Fundamentação Teórica: Fornecer uma análise teórica da escala de gradientes e propriedades de convergência, vinculando a escolha da divergência à estabilidade e velocidade algorítmica.
3. Utilidade Prática: Demonstrar que instâncias específicas, particularmente a distância de Hellinger quadrada de forma fechada ($H$-DMU), oferecem uma escolha padrão superior para a maioria das tarefas de esquecimento, equilibrando a remoção eficaz de conceitos com a preservação das capacidades generativas do modelo.

Os autores enfatizam que seu framework é agnóstico ao modelo (aplicável também a modelos baseados em fluxo) e não requer retreinamento do zero, oferecendo uma alternativa computacionalmente eficiente e teoricamente sólida às técnicas existentes de eliminação de conceitos.