Filtering Memorization from Parameter-Space in Diffusion Models

Resumo Técnico: Filtragem de Memorização no Espaço de Parâmetros em Modelos de Difusão

Definição do Problema

A Adaptação de Baixo Posto (LoRA - Low-Rank Adaptation) tornou-se o mecanismo padrão para a customização de modelos de difusão, permitindo que usuários injetem novos estilos ou conceitos por meio de atualizações leves de parâmetros. No entanto, existe um risco significativo de que as LoRAs memorizem imagens de treinamento, levando à reprodução de conteúdo protegido por direitos autorais ou sensível. Este problema é particularmente agudo em ecossistemas abertos (ex: Hugging Face, CivitAI), onde os usuários distribuem pesos de LoRA treinados sem liberar os dados de treinamento subjacentes.

As estratégias de mitigação existentes são amplamente inaplicáveis neste cenário de "caixa-preta":

• Intervenções em tempo de treinamento (ex: deduplicação de dados, privacidade diferencial) exigem acesso ao pipeline e aos dados de treinamento, o que não está disponível para usuários finais ou plataformas de hospedagem.
• Defesas em tempo de inferência (ex: otimização de prompt, orientação anti-memorização) frequentemente exigem conhecimento do conteúdo memorizado ou controle sobre o processo de amostragem, o que não pode ser imposto ao nível da plataforma.
• Abordagens no espaço de parâmetros (ex: apagamento de conceito) tipicamente requerem conhecimento prévio dos conceitos ou prompts específicos a serem apagados.

O desafio central abordado por este artigo é: Como a memorização pode ser identificada e filtrada quando apenas os pesos da LoRA liberados e o backbone pré-treinado estão disponíveis, sem acesso aos dados de treinamento, ao procedimento de treinamento ou ao conteúdo específico memorizado?

Metodologia: Filtragem Ancorada na Base (BAF - Base-Anchored Filtering)

Os autores propõem o Base-Anchored Filtering (BAF), uma estrutura livre de treinamento (training-free) e livre de dados (data-free) que opera diretamente no espaço de parâmetros. O método baseia-se em um insight geométrico relativo à estrutura espectral dos pesos do modelo.

1. Insight Geométrico
Os autores hipotetizam que adaptações generalizáveis (ex: um novo estilo artístico) alinham-se com as direções espectrais dominantes (subespaço principal) do backbone pré-treinado, enquanto a memorização introduz direções específicas de instâncias que possuem um alinhamento fraco.

• Adaptação Generalizável: Reside em subespaços de baixa dimensão alinhados com as direções principais do modelo pré-treinado.
• Memorização: Manifesta-se como canais espectrais que são fracamente alinhados com o backbone pré-treinado.

2. Pontuação de Ancoragem (Anchoring Score)
Para quantificar esse alinhamento, o método decompõe a matriz de atualização da LoRA $\Delta W$ via Decomposição de Valores Singulares (SVD) em canais espectrais. Para cada canal $i$ com vetores singulares $u_i$ e $v_i$, uma pontuação de ancoragem $a_i$ é calculada:
$$a_i = \|P_L u_i\|_2 \cdot \|P_R v_i\|_2$$
onde $P_L$ e $P_R$ são projeções ortogonais nos top-$K$ subespaços principais à esquerda e à direita da matriz de peso pré-treinada $W^*$.

• Uma pontuação alta ($a_i \approx 1$) indica que o canal reside dentro do subespaço pré-treinado (generalizável).
• Uma pontuação baixa ($a_i \approx 0$) indica que o canal é ortogonal à estrutura pré-treinada (potencial memorização).
• Uma linha de base de projeção aleatória ($a_{null} = K^2/mn$) serve como um limiar para distinguir o alinhamento estruturado do ruído.

3. Algoritmo de Filtragem
O BAF aplica uma função de portão (gating function) aos canais espectrais da atualização da LoRA:

• BAF-Hard: Um portão binário que remove canais onde $a_i < a_{null}$.
• BAF-Soft: Um portão contínuo $g(a_i) = a_i^\alpha$ que suprime canais de baixo alinhamento em vez de removê-los inteiramente, permitindo um compromisso entre a força de supressão e a qualidade de geração.

4. Seleção de Subespaço Adaptativa
Para lidar com o decaimento espectral heterogêneo através de diferentes camadas e arquiteturas, a dimensão $K$ do subespaço principal é selecionada de forma adaptativa com base em uma regra de energia adaptativa. $K$ é escolhido de modo que a energia cumulativa dos top-$K$ valores singulares dos pesos pré-treinados exceda um limiar $\tau_{energy}$.

Principais Contribuições

1. Formulação do Problema: Os autores formulam a mitigação de memorização post-hoc para LoRAs de difusão sob restrições estritas de inacessibilidade de dados, um cenário relevante para os atuais ecossistemas de compartilhamento de modelos.
2. Insight Geométrico: Eles validam a hipótese de que a memorização está concentrada em direções espectrais fracamente alinhadas com o subespaço principal pré-treinado, enquanto as adaptações generalizáveis são fortemente alinhadas.
3. Estrutura BAF: Eles introduzem um método livre de treinamento e livre de dados que suprime seletivamente as direções espectrais relacionadas à memorização usando apenas a estrutura do espaço de parâmetros.
4. Validação Empírica: Experimentos extensos demonstram que o BAF reduz a memorização enquanto preserva ou melhora a qualidade de geração, superando estratégias existentes que dependem de informações indisponíveis.

Resultos Experimentais

Os autores avaliaram o BAF no Stable Diffusion v1.5 e SDXL usando LoRAs treinadas nos conjuntos de dados Pokémon, CelebA-HQ e LAION-Art. A memorização foi simulada duplicando imagens "canário" durante o treinamento.

• Redução de Memorização: As variantes do BAF (Hard e Soft) alcançaram consistentemente as menores pontuações SSCD (Similarity to Self-Consistent Detection) entre métodos comparáveis, reduzindo significativamente a reprodução de imagens de treinamento.
• Qualidade de Geração: Ao contrário de muitas estratégias de mitigação que degradam a qualidade do resultado, o BAF frequentemente melhorou as pontuações estéticas (AES) e as pontuações CLIP. Os autores sugerem que a remoção de canais fracmente ancorados elimina direções de parâmetros ruidosas.
• Comparação: O BAF superou baselines de tempo de inferência (RTA, Otimização de Prompt, CFG-Reverse) e baselines de tempo de treinamento (Deduplicação, DP-LoRA) no cenário de inacessibilidade de dados. Aproximou-se do desempenho do AMG (Anti-Memorization Guidance), que requer acesso às imagens de treinamento, mas sem essa dependência de dados.
• Simulação do Mundo Real: Em 20 LoRAs reais protegidas por direitos autorais baixadas do CivitAI (abrangendo personagens de anime, celebridades e estilos), o BAF foi classificado por avaliadores humanos como o método mais eficaz para suprimir a reprodução de personagens mantendo a qualidade visual, superando todos os baselines de tempo de inferência.

Significância e Alegações

O artigo afirma que a estrutura do espaço de parâmetros por si só fornece sinais fortes para distinguir a memorização da adaptação útil. Ao aproveitar a relação geométrica entre as atualizações de LoRA e o backbone pré-treinado, o BAF oferece uma solução prática para mitigar riscos de direitos autorais e privacidade em ecossistemas de modelos abertos onde os dados de treinamento não estão disponíveis.

Os autores posicionam este trabalho como um passo em direção a mecanismos de segurança livres de dados para ecossistemas abertos. Eles enfatizam que sua abordagem não requer retreinamento, acesso aos dados originais ou conhecimento do conteúdo específico memorizado, tornando-a diretamente aplicável tanto a plataformas de hospedagem quanto a usuários finais que desejam implantar LoRAs de forma segura.