Cyclic Denoising Reveals Ultrastable Memories in Diffusion Models

Resumo Técnico: O Desnoising Cíclico Revela Memórias Ultrastáveis em Modelos de Difusão

Definição do Problema
Grandes modelos generativos, particularmente modelos de difusão, são treinados em conjuntos de dados massivos de escala web, criando riscos onde os modelos podem reter e reproduzir exemplos específicos do treinamento, incluindo obras de arte protegidas por direitos autorais, mídia proprietária e dados pessoais sensíveis. Ataques de extração existentes (ex: "gerar-e-filtrar") dependem fortemente de sinais externos, como legendas conhecidas do treinamento, acesso ao conjunto de dados ou classificadores auxiliares para identificar conteúdo memorizado. Esses métodos frequentemente exigem geração em larga escala seguida de filtragem post-hoc ou inferência de pertencimento. Há uma necessidade de um método de extração que dependa exclusivamente da dinâmica de amostragem interna do modelo, não exija conhecimento prévio de dados ou prompts de treinamento e possa operar sem inspeção de pesos ou acesso a gradientes.

Metodologia: Desnoising Cíclico
Os autores introduzem o desnoising cíclico, um protocolo inspirado na física de sistemas desordenados dirigidos (especificamente organização aleatória e recozimento mecânico). O método trata o modelo de difusão como um sistema dinâmico, em vez de apenas um amostrador.

1. Protocolo: Partindo de um estado inicial (imagem ou latente), o modelo passa por ciclos repetidos de:

   • Noising Direto (Forward Noising): Adição de ruído ao estado até uma amplitude intermediária controlada $\gamma$ (onde $\gamma \in [0, 1]$ representa a fração da trajetória de inferência percorrida).
   • Desnoising Reverso (Reverse Denoising): Desnoising completo do estado de volta a uma imagem limpa ($\gamma=0$).
   • Iteração: A saída de um ciclo inicializa o próximo, criando uma trajetória estroboscópica observada ao final de cada ciclo.

2. Parâmetro de Controle: A amplitude de ciclagem $\gamma$ atua como uma amplitude de direção (drive amplitude). Um $\gamma$ baixo aplica perturbações fracas, enquanto um $\gamma$ alto aplica perturbações fortes. O processo utiliza amostradores padrão (DDPM) com ruído Gaussiano novo em cada etapa, tornando-o um processo de direção estocástica cíclica.

3. Mecanismo de Detecção: Os autores monitoram a similaridade de cosseno entre estados estroboscópicos consecutivos ($z_n$ e $z_{n-1}$).

   • Episódios de Absorção: Longos patamares de similaridade próxima à unidade indicam que a trajetória travou em um poço de atrator estável.
   • Salto entre Basins (Basin Hopping): Quedas abruptas na similaridade indicam transições entre poços de atração.
   • Ultrestabilidade: Atratores que persistem por centenas a milhares de ciclos, mesmo após corrupção severa (alto $\gamma$), são identificados como "ultrastáveis".

Principais Contribuições

1. Sonda Dinâmica de Paisagens Generativas: O artigo estabelece o desnoising cíclico como uma ferramenta inspirada na física para percorrer a paisagem generativa aprendida. Diferente da amostragem padrão que extrai pontos independentes, este método transforma a amostragem em um sistema dinâmico controlado por $\gamma$, revelando a estrutura de estabilidade do modelo.
2. Caracterização de Dinâmicas de Longo Prazo: Os autores identificam um rico espectro de comportamentos dinâmicos:
   • Estados Absorventes Triviais: Em amplitudes baixas, as trajetórias colapsam em pontos fixos sem características ou ciclos limite (padrões oscilantes).
   • Salto entre Basins (Basin Hopping): Em amplitudes intermediárias, o sistema explora a paisagem, saltando entre poços de atração.
   • Atratores Ultrastáveis: Em amplitudes mais altas, o sistema se estabelece em atratores profundos e de longa duração que resistem à mudança.
3. Transição Semelhante ao Yielding (Escoamento): O estudo demonstra uma transição análoga ao yielding em sólidos desordenados. À medida que $\gamma$ aumenta, o sistema move-se de uma fase "travada" (estados absorventes) para uma fase exploratória (salto entre basins), eventualmente isolando os atratores mais profundos.
4. Ataque de Extração Livre de Prompt: Os autores demonstram que muitos desses atratores ultrastáveis correspondem a imagens de treinamento memorizadas (ex: fotos de estoque, marcas d'água de marcas, artefatos de web-crawl). Isso constitui um ataque de extração que requer apenas controle ao nível do amostrador, sem acesso aos dados de treinamento, sem legendas e sem gradientes.
5. Estabilidade como Diagnóstico de Memorização: Em configurações condicionadas por prompt, os autores mostram que remover o prompt e continuar o ciclo revela a estabilidade intrínseca da imagem recuperada. Imagens genuinamente memorizadas permanecem travadas (ultrastáveis) mesmo sem condicionamento, enquanto basins baseados em conceitos decorrelacionam rapidamente.

Resultos

• Stable Diffusion v1.4 (Espaço Latente): O método recuperou com sucesso imagens memorizadas, incluindo templates específicos de fotografia de estoque (ex: salas com cadeiras amarelas, sofás brancos) e logotipos de marcas. A busca reversa de imagem confirmou que estes eram duplicatas de artefatos de web-crawl presentes no conjunto de treinamento. Os atratores recuperados formaram uma "impressão digital dinâmica" do modelo, recorrendo através de diferentes sementes aleatórias e condições iniciais.
• CIFAR-10 DDPM (Espaço de Pixels): O fenômeno foi replicado em um modelo menor, em espaço de pixels. O desnoising cíclico direcionou o sistema para imagens de treinamento memorizadas do CIFAR-10 (ex: um carro específico), que foram verificadas contra benchmarks conhecidos de memorização. A dinâmica exibiu comportamento de "sistemas de dois níveis", saltando entre uma imagem memorizada e sua variante com espelhamento horizontal (provavelmente devido a aumentos de treinamento).
• Dependência de Amplitude:
  • $\gamma$ Baixo: Pontos fixos triviais ou ciclos limite.
  • $\gamma$ Intermediário: Artefatos simples e repetitivos (logos, templates da web).
  • $\gamma$ Alto: Imagens memorizadas ricas e complexas (fotos de produtos, cenas detalhadas).
• Experimentos de Remoção de Prompt: Ao ciclar com prompts de memorização conhecidos, o sistema convergiu para a imagem memorizada. Ao remover o prompt, essas imagens permaneceram ultrastáveis (persistindo por milhares de ciclos), enquanto prompts para conceitos não memorizados (ex: "Abbey Road") resultaram em atratores de conceitos flutuantes que decorrelacionaram imediatamente após a remoção do prompt.

Significância e Alegações
O artigo afirma que o desnoising cíclico fornece uma nova rota dinâmica para investigar a memorização. Ele postula que exemplos memorizados não são meramente saídas raras de uma amostragem padrão, mas sim atratores profundos e ultrastáveis na paisagem generativa que são raramente visitados, a menos que o modelo seja dirigido por perturbações cíclicas.

• Privacidade e Auditoria: O método serve como uma ferramenta prática para auditoria de memorização, capaz de identificar conteúdo de treinamento protegido por direitos autorais ou sensível sem exigir conhecimento dos dados de treinamento ou prompts específicos.
• Modelo de Ameaça: Os autores argumentam que a amostragem padrão pode subestimar significativamente os riscos de memorização. Um adversário com acesso ao nível do amostrador pode usar o forçamento cíclico para extrair conteúdo sensível que permanece oculto durante a operação normal.
• Conexão com a Física: O trabalho une IA generativa e física estatística, mostrando que a estabilidade das representações aprendidas em modelos de difusão espelha as transições de yielding observadas em sólidos desordenados dirigidos.

Os autores mantêm modéstia quanto às limitações, observando que o ataque requer controle ao nível do amostrador (não aplicável a endpoints de API padrão que apenas retornam amostras finais) e que a caracterização sistemática da distribuição de atratores (ex: a fração de dados memorizados totais recuperáveis) requer investigação quantitativa adicional.