Resumo Técnico: Memórias Quebradas: Detecção e Mitigação de Memorização em Modelos de Difusão com Gerações Degradadas

Declaração do Problema

Os modelos de difusão alcançaram sucesso notável na geração de imagens de alta qualidade, mas enfrentam um desafio crítico de privacidade e direitos autorais: a memorização. Esses modelos replicam inadvertidamente ou produzem imagens altamente semelhantes a dados específicos de treinamento, levando a potenciais vazamentos de dados. As estratégias existentes de mitigação sofrem com duas limitações primárias:

1. Dependência de Re-geração: A maioria dos métodos atuais opera com base em "detectar e depois tentar novamente". Ao detectar memorização, eles abortam a geração atual e reiniciam com entradas modificadas (por exemplo, prompts ou embeddings alterados), aumentando significativamente a latência e o custo computacional.
2. Intervenções Heurísticas ou Estáticas: A mitigação frequentemente depende de regras fixas ou ajustes estáticos (por exemplo, reduções fixas da escala de orientação) que falham em se adaptar à natureza dinâmica da trajetória de geração, comprometendo frequentemente a fidelidade semântica ou a qualidade da imagem.

Além disso, embora alguns métodos detectem memorização por meio de sinais internos (por exemplo, pesos de atenção ou magnitudes de orientação), eles geralmente carecem de um vínculo teórico principiado entre esses sinais e a degradação visual frequentemente observada nas saídas memorizadas.

Metodologia

Os autores propõem um framework principiado para detecção e mitigação adaptativa em tempo real, baseado na observação de que a memorização induz instabilidade numérica na dinâmica latente dos modelos de difusão.

1. Insight Teórico: Instabilidade Numérica

O artigo identifica que, ao gerar amostras memorizadas, a trajetória de remoção de ruído frequentemente se desvia do comportamento estável do modelo, manifestando-se visualmente como artefatos "quebrados" (por exemplo, detalhes distorcidos). Baseando-se na análise numérica, os autores postulam que:

• Memorização como Instabilidade: Prompts memorizados causam que o modelo superajuste a pontos de dados específicos, resultando em gradientes excessivamente grandes no mecanismo de orientação sem classificador (CFG).
• Anomalias na Atualização Latente: Em solucionadores de alta ordem como PNDM (usado no Stable Diffusion v1), esses grandes gradientes fazem com que o passo de atualização latente ($\delta_t = z_t - z_{t+1}$) exceda os limites de uma variedade estável, levando a oscilação ou divergência na trajetória.
• Agnosticismo em Relação ao Amostrador: Essa instabilidade não se limita ao PNDM; mesmo com amostradores determinísticos como DDIM, onde as imagens finais podem parecer visualmente plausíveis, a trajetória latente interna ainda exibe desvios significativos da estabilidade.

2. Regiões de Estabilidade Empírica

Para quantificar esse comportamento sem calcular autovalores de Jacobiano intratáveis, os autores definem Regiões de Estabilidade Empíricas:

• Norma de Atualização Latente ($\|\delta_t\|$): Uma região estatística $R^{(t)}_\delta = [\mu_t - \gamma\sigma_t, \mu_t + \gamma\sigma_t]$ é construída usando a média ($\mu_t$) e o desvio padrão ($\sigma_t$) das normas de atualização latente de um pequeno conjunto de prompts não memorizados (normais).
• Latente Inicial Reconstruído ($\|\hat{z}^{(t)}_0\|$): Da mesma forma, uma região de estabilidade é definida para o latente inicial reconstruído no DDIM para servir como um proxy de estabilidade semântica.

3. Mecanismo de Detecção

O sistema monitora a trajetória de geração passo a passo. Em cada passo $t$, ele calcula um escore Z ($s_t$) medindo o desvio da norma de atualização latente atual em relação à região de estabilidade empírica:
$$s_t = \frac{|\|\delta_t\| - \mu_t|}{\sigma_t}$$
Um $s_t$ alto indica uma atualização anômala, sinalizando potencial memorização. O escore Z máximo nos passos iniciais serve como a métrica de detecção.

4. Estratégia de Mitigação Adaptativa

Diferentemente dos métodos estáticos, este framework intervém em tempo real sem reiniciar a geração. Ele emprega uma estratégia adaptativa de dois níveis baseada na gravidade da instabilidade detectada:

• Memorização Leve: Se o desvio for moderado, o método aplica restrições de magnitude latente (redimensionando $\hat{z}^{(t)}_0$ para a média empírica) principalmente nos passos iniciais para regularizar a trajetória.
• Memorização Forte: Se o desvio for severo, restrições conjuntas mais estritas são aplicadas ao longo de toda a trajetória, impondo que tanto a norma latente ($\|z_t\|$) quanto a norma de atualização ($\|\delta_t\|$) permaneçam dentro de suas respectivas regiões de estabilidade.

Esse processo atua como um filtro de fluxo contínuo, projetando o estado latente de volta para a variedade estável imediatamente após a detecção de instabilidade, garantindo uma geração contínua.

Contribuições Principais

1. Análise Sistemática: O primeiro trabalho a vincular sistematicamente a geração degradada de memorização à instabilidade numérica na amostragem de difusão, revelando anomalias distintas nas magnitudes de atualização latente.
2. Regiões de Estabilidade Empíricas: Introdução de um conceito fundamentado na teoria de estabilidade numérica para caracterizar e diagnosticar geração normal versus memorizada, aplicável a diferentes amostradores (PNDM, DDIM).
3. Framework em Tempo Real: Desenvolvimento de um framework orientado por diagnóstico que restringe adaptativamente as trajetórias de geração apenas quando a instabilidade é detectada, superando métodos heurísticos ou estáticos existentes.
4. Desempenho: Alcançamento de precisão de detecção superior e eliminação completa de gerações memorizadas, preservando a qualidade da imagem com sobrecarga negligenciável.

Resultados Experimentais

Os experimentos foram conduzidos no Stable Diffusion 1.4 (e estendidos para 1.5 e 2.1 nos apêndices) usando conjuntos de dados de prompts memorizados (provenientes do LAION) e prompts não memorizados.

• Desempenho de Detecção: O método alcança um AUC > 0,999 e uma alta Taxa de Verdadeiros Positivos em 1% de Taxa de Falsos Positivos (TPR@1%FPR), superando as bases de referência mais avançadas (por exemplo, Ren et al., Wen et al., Jeon et al.) em várias configurações de semente e tipos de agendadores (PNDM e DDIM).
• Desempenho de Mitigação:
  • Taxa de Memorização: O método reduz a taxa de memorização para 0,0% no modelo SD 1.4 pré-treinado.
  • Qualidade da Imagem: Preserva alta fidelidade semântica (Pontuação CLIP) e realismo da imagem (FID), superando as bases de referência que frequentemente sofrem de super-mitigação (desvio semântico) ou sub-mitigação (retenção de artefatos).
  • Eficiência: A abordagem incorre em sobrecarga computacional negligenciável (≈0,01s por imagem), evitando as penalidades de latência associadas à re-geração ou otimização iterativa encontradas em outros métodos.

Significado e Alegações

O artigo afirma que seu principal significado reside na mudança da perspectiva da mitigação de memorização da supressão heurística de sinais para a estabilidade numérica principiada. Ao fundamentar a detecção nas leis estatísticas da dinâmica de geração de imagens normais, o método fornece um padrão robusto, agnóstico em relação ao modelo e invariante no tempo para identificar anomalias.

Os autores enfatizam que sua abordagem combina unicamente detecção, mitigação em tempo real e adaptatividade em um único framework. Isso elimina a necessidade de re-geração custosa e permite uma intervenção contínua que preserva a intenção semântica e a qualidade visual da saída. O trabalho sugere que visualizar a memorização como um problema de desvio de trajetória oferece uma nova direção principiada para a construção de modelos generativos confiáveis.