Resumo Técnico: A Memorização no Stable Diffusion é Imprevistamente Impulsionada por Embeddings do CLIP

Declaração do Problema

Modelos de difusão texto-para-imagem, particularmente o Stable Diffusion, exibem um risco crítico de privacidade conhecido como memorização, onde o modelo reproduz imagens específicas de seu conjunto de treinamento em resposta a certos prompts. Isso levanta preocupações significativas quanto a violações de direitos autorais e vazamento de dados privados. Embora pesquisas anteriores tenham investigado a memorização através de duplicação de conjuntos de dados, tokens gatilho e padrões de atenção cruzada, o papel do espaço de embedding de texto — especificamente como diferentes componentes da sequência de embedding contribuem para a memorização — permanece subexplorado. Este artigo postula que a causa raiz da memorização no Stable Diffusion v1.4 não reside meramente nos próprios tokens, mas em um desalinhamento estrutural entre a dinâmica de treinamento do codificador de texto CLIP e os mecanismos de inferência do modelo de difusão.

Metodologia

Os autores conduzem uma investigação detalhada dos vetores de embedding do Stable Diffusion, categorizando os tokens de entrada em quatro tipos: <startoftext> ($v_{sot}$), tokens <prompt> ($v_{pr}$), <endoftext> ($v_{eot}$) e tokens <pad> ($v_{pad}$).

1. Análise Empírica das Contribuições de Embedding

O estudo emprega intervenções controladas no momento da inferência para quantificar a influência de cada componente de embedding em prompts memorizados. Os experimentos envolvem:

• Mascaramento e Substituição: Mascaramento sistemático ou substituição de vetores de embedding específicos (por exemplo, definir $v_{pr}$ ou $v_{pad}$ como vetores nulos, ou substituí-los por $v_{eot}$).
• Avaliação de Métricas: Uso do SSCD (Distância Contrastiva Auto-supervisionada) para medir a memorização (similaridade com a imagem original de treinamento), CLIPScore para alinhamento texto-imagem e Aesthetic Score para qualidade visual.
• Curadoria de Conjunto de Dados: Os autores curaram um conjunto robusto de 458 prompts "Verbatim Correspondentes" (MV) de Webster [35] e Membench [13], filtrando casos instáveis ou degradados para garantir análise confiável.

2. Análise Comparativa (v1.4 vs. v2.1)

O artigo compara o Stable Diffusion v1.4 (que utiliza o codificador de texto CLIP original) com o v2.1 (que utiliza OpenCLIP). Os autores hipotetizam que diferenças na forma como esses modelos lidam com tokens de preenchimento explicam a variância nas taxas de memorização entre as versões.

3. Estratégias de Mitigação

Com base nas descobertas, duas estratégias de mitigação no momento da inferência são propostas:

1. Correção no Nível do Tokenizador: Substituir o token <pad> padrão (que é <eot> no v1.4) por um token semanticamente neutro (por exemplo, !) antes do embedding, e mascarar o único $v_{eot}$.
2. Mascaramento Parcial: Mascarar parcialmente os embeddings $v_{pad}$ (especificamente 70%) para reduzir a redundância sem colapsar a qualidade da geração.

Principais Descobertas e Contribuições

1. A Dominância dos Embeddings de Preenchimento

Contrariando a suposição de que os tokens de prompt ($v_{pr}$) são os principais impulsionadores da geração, os autores encontram que $v_{pr}$ contribuem minimamente para a memorização. De fato, mascarar $v_{pr}$ ou substituí-los por $v_{eot}$ preserva a estrutura da imagem gerada. Por outro lado, os embeddings de preenchimento ($v_{pad}$) desempenham um papel dominante. Quando $v_{pad}$ são mascarados, a geração colapsa, indicando que eles são críticos para reproduzir conteúdo memorizado.

2. Duplicação Estrutural de $v_{eot}$

O mecanismo central identificado é a duplicação estrutural do embedding <endoftext>.

• No Stable Diffusion v1.4, prompts mais curtos que o comprimento fixo (77 tokens) são preenchidos repetindo o token <eot>.
• Como o CLIP é treinado via aprendizado contrastivo para otimizar $v_{eot}$ como representante da semântica ao nível de frase, os tokens <eot> repetidos resultam em múltiplos vetores $v_{eot}$ quase idênticos (como $v_{pad}$).
• Essa duplicação não intencional amplifica a influência de $v_{eot}$ durante o processo de difusão, fazendo com que o modelo dependa excessivamente deste embedding específico e levando à memorização.

3. Explicação do Comportamento do Stable Diffusion v2.1

O artigo observa que o Stable Diffusion v2.1 exibe taxas de memorização significativamente menores. Os autores atribuem isso não à deduplicação do conjunto de dados, mas ao uso do OpenCLIP, que utiliza um token neutro ! para preenchimento em vez de duplicar <eot>. Essa mudança estrutural remove a amplificação de $v_{eot}$, reduzindo assim a memorização.

4. Estratégias de Mitigação Propostas

Os autores propõem duas estratégias eficazes, plug-and-play, que não exigem retreinamento do modelo:

• Estratégia 1: Substituir o <pad> padrão do tokenizador por um token neutro (!) e mascarar o $v_{eot}$ original. Isso desacopla $v_{pad}$ de $v_{eot}$.
• Estratégia 2: Mascarar parcialmente 70% dos embeddings $v_{pad}$.
  Ambos os métodos reduzem significativamente as pontuações SSCD (indicando redução da memorização) enquanto mantêm altos CLIPScore e Aesthetic Scores, restaurando efetivamente a diversidade entre diferentes sementes aleatórias.

Resultados

• Supressão da Memorização: Os métodos propostos reduzem as pontuações SSCD de ~0,5 (indicando memorização) para ~0,08–0,10, prevenindo efetivamente a reprodução de imagens de treinamento.
• Preservação da Qualidade: Diferentemente de métodos anteriores (por exemplo, Ren et al. [24], Wen et al. [36]) que frequentemente degradam a qualidade visual ou falham em suprimir a memorização consistentemente, as estratégias propostas mantêm o alinhamento do prompt e a qualidade da imagem.
• Eficiência: A mitigação adiciona sobrecarga computacional negligenciável, com tempos de inferência quase idênticos à geração padrão.
• Robustez: Os métodos performam consistentemente em prompts memorizados e não memorizados, não mostrando degradação significativa na qualidade geral de geração.

Significado e Alegações

O artigo afirma mudar a perspectiva sobre a memorização de internos do modelo (por exemplo, padrões de atenção cruzada) para as propriedades estruturais dos embeddings de texto. Argumenta-se que o descompasso entre o objetivo de treinamento do CLIP (otimizando apenas $v_{eot}$) e a inferência do modelo de difusão (condicionando-se na sequência completa, incluindo $v_{eot}$ duplicado) cria um viés estrutural que impulsiona a memorização.

O significado reside na identificação de um mecanismo previamente negligenciado: a amplificação não intencional do embedding <endoftext> devido ao design do tokenizador. Ao abordar essa falha estrutural, os autores fornecem soluções simples, eficazes e implantáveis que mitigam a memorização sem a necessidade de filtragem de conjunto de dados, ajuste de prompt ou retreinamento do modelo. As descobertas sugerem que modelos de difusão futuros devem considerar cuidadosamente estratégias de tokens de preenchimento para evitar vieses estruturais semelhantes.