Resumo Técnico: Avaliação de Marca d'Água em Conjuntos de Dados para Rastreabilidade de Ajuste Fino de Modelos de Difusão Personalizados

1. Declaração do Problema

A rápida adoção de técnicas de ajuste fino (por exemplo, DreamBooth, LoRA, Inversão Textual) para modelos de difusão permitiu a geração de conteúdo que imita identidades específicas e estilos artísticos. No entanto, essa capacidade introduz riscos significativos de segurança e éticos, principalmente relacionados à violação de direitos autorais (uso não autorizado de imagens proprietárias para treinamento) e responsabilização (rastrear a origem de conteúdo gerado prejudicial ou inadequado).

Para abordar isso, foi proposta a marcação d'água em conjuntos de dados, onde marcas d'água imperceptíveis são incorporadas às imagens de treinamento. Teoricamente, essas marcas d'água deveriam persistir durante o processo de ajuste fino e permanecer detectáveis nas saídas do modelo, permitindo a atribuição post-hoc. No entanto, as abordagens existentes sofrem com a falta de um framework de avaliação unificado, tornando difícil avaliar sua eficácia em diversos cenários do mundo real. Além disso, a robustez desses métodos contra ataques de remoção adversarial permanece amplamente inexplorada.

2. Metodologia

2.1. Modelo de Ameaça Unificado e Framework de Avaliação

Os autores formalizam um modelo de ameaça universal envolvendo duas partes: o Proprietário da Imagem (que incorpora marcas d'água para proteção de direitos autorais e rastreabilidade) e o Usuário da Imagem (que pode usar conjuntos de dados mistos ou aplicar pós-processamento para remover marcas d'água).

Com base nesse modelo, o artigo propõe um framework de avaliação abrangente composto por três dimensões:

1. Universalidade: A capacidade dos métodos de marcação d'água de funcionar em diversos paradigmas de ajuste fino (por exemplo, Inversão Textual, DreamBooth, LoRA, Full-UNet) e tarefas de geração (rosto, objetos virtuais, estilos artísticos).
2. Transmissibilidade: A capacidade do sinal da marca d'água de se propagar através do processo de ajuste fino, mesmo quando apenas um subconjunto dos dados de treinamento está marcado (por exemplo, proporções de mistura de 20%–80%).
3. Robustez: A resiliência da marca d'água contra operações comuns de processamento de imagem (ruído gaussiano, desfoque, compressão JPEG) e ataques direcionados de remoção adversarial.

2.2. Benchmark Abrangente

Os autores construíram um benchmark avaliando quatro métodos de marcação d'água em conjuntos de dados de última geração e código aberto: DIAGNOSIS, DiffusionShield, SIREN e WatermarkDM.

• Conjuntos de Dados: CelebA-HQ (identidade facial), Pokémon (objetos virtuais) e WikiArt (estilos artísticos).
• Métricas: Qualidade de geração (FID, CLIP-T) e precisão de detecção da marca d'água (Acc).
• Configurações: Os experimentos foram conduzidos no Stable Diffusion v1.4 (SD1.4) com várias configurações de ajuste fino, incluindo congelamento ou treinamento do codificador de texto.

2.3. Abordagem de Remoção Proposta (DeAttack)

Para avaliar a dimensão de robustez, o artigo introduz o DeAttack, um framework prático de remoção de marcas d'água.

• Mecanismo: O DeAttack utiliza uma espinha dorsal de autoencoder unificada que combina degradações multi-domínio (espaço de pixels e espaço latente) com restauração de alta qualidade.
• Processo: Simula degradação (por exemplo, desfoque gaussiano, injeção de ruído) seguida por restauração adaptativa usando redes pré-treinadas (IRNeXt para remoção de desfoque, SwinIR para remoção de ruído e correção de artefatos JPEG).
• Objetivo: Estimar uma reconstrução limpa que minimize a energia residual da marca d'água, preservando a qualidade perceptual da imagem.

3. Resultados Principais

3.1. Universalidade e Transmissibilidade

• Universalidade: O DiffusionShield demonstrou a maior universalidade, alcançando precisão de detecção próxima a 100% em todos os métodos de ajuste fino e conjuntos de dados. O SIREN teve desempenho pobre (~50% de precisão, equivalente a um palpite aleatório), enquanto DIAGNOSIS e WatermarkDM mostraram desempenho variável dependendo do método específico de ajuste fino (por exemplo, o desempenho caiu significativamente quando o codificador de texto foi treinado).
• Transmissibilidade: Ao usar conjuntos de dados mistos (por exemplo, 20% de imagens marcadas), o DiffusionShield manteve alta precisão de detecção (aproximando-se de 100%), enquanto DIAGNOSIS e WatermarkDM apresentaram quedas significativas na precisão à medida que a proporção de imagens marcadas diminuía.

3.2. Robustez contra Distorções Comuns

Os métodos existentes geralmente exibiram resiliência contra operações comuns de processamento de imagem, como desfoque gaussiano, compressão JPEG e ruído gaussiano. A precisão de detecção permaneceu alta para DiffusionShield e WatermarkDM nessas condições.

3.3. Vulnerabilidade à Remoção Direcionada

A descoberta mais crítica concerne à dimensão de Robustez contra ataques adversariais.

• Eficácia do DeAttack: O método DeAttack proposto removeu com sucesso as marcas d'água em conjuntos de dados de todos os métodos avaliados, reduzindo a precisão de detecção para níveis próximos ao aleatório (por exemplo, ~50-55% para DiffusionShield, que anteriormente era ~100%).
• Preservação da Qualidade: Crucialmente, o DeAttack alcançou essa remoção mantendo a qualidade perceptual das imagens e o desempenho dos modelos ajustados finamente (os escores FID e CLIP-T permaneceram comparáveis às bases limpas).
• Generalização: A eficácia do DeAttack foi validada em diferentes arquiteturas de difusão (SD1.4 e SDXL) e várias estratégias de ajuste fino, indicando que os designs atuais de marcação d'água não são robustos contra ataques de remoção principistas.

4. Significado e Contribuições

O artigo faz três contribuições principais:

1. Fundamento de Avaliação Principista: Estabelece um modelo de ameaça unificado e um framework de avaliação tridimensional (Universalidade, Transmissibilidade, Robustez) para avaliar sistematicamente a marcação d'água em conjuntos de dados para modelos de difusão.
2. Benchmark Abrangente: Fornece um benchmark rigoroso revelando que, embora os métodos existentes (particularmente DiffusionShield) sejam eficazes em universalidade e transmissibilidade, carecem de robustez contra remoção direcionada.
3. Exposição de Vulnerabilidades: Ao propor o DeAttack, o artigo demonstra que as técnicas atuais de marcação d'água em conjuntos de dados são frágeis contra estratégias avançadas de remoção. Isso destaca uma lacuna crítica nos designs atuais e sublinha a necessidade urgente de desenvolver estratégias de marcação d'água mais robustas e conscientes de adversários.

Os autores concluem que, embora a marcação d'água em conjuntos de dados mostre promessa para rastreabilidade, suas implementações atuais são insuficientes para cenários de segurança do mundo real onde atores maliciosos podem empregar técnicas de remoção direcionadas. O trabalho serve como um chamado à ação para a comunidade desenvolver métodos de marcação d'água que possam resistir a tais pressões adversariais.