Resumo Técnico: Aprendendo a Marcar com Água no Espaço Latente de Modelos Generativos

Declaração do Problema

O rápido avanço dos modelos generativos (difusão e autorregressivos) permitiu a criação de conteúdo sintético altamente realista, levantando preocupações relativas ao uso indevido, deepfakes e violações de propriedade intelectual. Embora a marca d'água invisível ofereça uma solução para a proveniência, as abordagens existentes enfrentam limitações significativas:

1. Métodos Post-hoc no Espaço de Pixels: Estes modificam imagens já geradas no espaço de pixels. Embora sejam flexíveis e agnósticos ao modelo, incorrem em um overhead computacional substancial devido ao processamento de alta resolução (ex: $512 \times 512 \times 3$) e introduzem latência. Além disso, oferecem uma segurança fraca para implantações de código aberto, pois os usuários podem facilmente contorná-los removendo uma única linha de código.
2. Métodos Intra-modelo: Embora mais seguros, tentativas anteriores de integrar marcas d'água diretamente nos pesos do modelo carecem de robustez ou exigem modificações complexas no processo de amostragem.

O desafio central é desenvolver um framework unificado de marca d'água que opere diretamente no espaço latente de modelos generativos, permitindo uma marca d'água intra-modelo (incorporando a marca d'água nos pesos do modelo) que seja computacionalmente eficiente e robusta contra remoção, sem introduzir penalidades de latência.

Metodologia: DISTSEAL

Os autores introduzem o DISTSEAL, um framework unificado para marca d'água no espaço latente aplicável tanto a modelos de difusão quanto autorregressivos. A abordagem consiste em duas etapas primárias:

1. Marca d'Água Latente Post-hoc

A primeira etapa envolve o treinamento de um par de incorporador-extrator de marca d'água ($W_\theta, E_\theta$) que opera no espaço latente do modelo generativo em vez do espaço de pixels.

• Incorporação (Embedding): O incorporador recebe uma representação latente $z$ e uma mensagem binária $m$, produzindo uma latente com marca d'água $z_w = z + \epsilon W_\theta(z, m)$.
  • Para modelos de difusão (latentes contínuos), a perturbação é aplicada diretamente a $z$.
  • Para modelos autorregressivos (tokens discretos), o incorporador pode operar tanto antes da quantização (modificando latentes contínuos) quanto após a quantização (modificando embeddings de tokens). Os autores utilizam estimativa de passagem direta (straight-through estimation) para retropropagar através do passo de quantização.
• Objetivo de Treinamento: O modelo é treinado usando uma combinação de perda de extração de marca d'água ($L_w$) e uma perda de discriminador ($L_{disc}$) aplicada no espaço de pixels para garantir a imperceptibilidade. Ao contrário de alguns trabalhos anteriores, os autores evitam perdas de reconstrução ou perceptuais para o incorporador, confiando apenas na força da marca d'água $\epsilon$ e no discriminador para restringir a saída.
• Aumento (Augmentation): O treinamento envolve várias aumentações de métrica de valor, geométricas e de compressão para simular edições de usuários e garantir robustez.

2. Destilação para Marca d'Água Intra-modelo

A segunda etapa destila o marcador de água latente post-hoc treinado para o próprio modelo generativo ou para seu decodificador latente, eliminando a necessidade de um passo de pós-processamento separado.

• Destilação no Modelo Generativo: O modelo generativo pré-treinado (transformer de difusão ou transformer autorregressivo) é ajustado para reconstruir ou prever as latentes com marca d'água $z_w$ em vez das latentes limpas originais $z$. Isso força o modelo a gerar inerentemente saídas com marca d'água.
• Destilação no Decodificador Latente: O decodificador latente $D$ é ajustado para reconstruir imagens com marca d'água a partir de latentes sem marca d'água. A função de perda combina uma perda de reconstrução ($L_{rec}$) e uma perda de extração de marca d'água ($L_w$) para guiar o decodificador a produzir saídas que contenham o sinal da marca d'água.

Principais Contribuições

1. Framework Unificado (DISTSEAL): Uma abordagem única que lida tanto com espaços latentes contínuos (modelos de difusão) quanto sequências de tokens discretos (modelos autorregressivos).
2. Eficiência e Robustez: O método alcança um aceleração de até 20× na inferência em comparação com baselines de espaço de pixels ao operar em representações latentes comprimidas (ex: $8 \times 8 \times 128$ vs. $512 \times 512 \times 3$), mantendo uma robustez competitiva contra ataques.
3. Destilação Eficaz: Os autores demonstram que marcadores de água latentes podem ser efetivamente destilados nos pesos do modelo. Crucialmente, eles mostram que destilar marcadores de água latentes supera a destilação de marcadores de água de espaço de pixels. Marcadores de espaço de pixels frequentemente falham ao serem destilados em decodificadores latentes devido à dificuldade de reconstruir perturbações de alta frequência, enquanto as perturbações latentes são mais estruturadas e mais fáceis para o decodificador aprender.
4. Análise Abrangente: O artigo fornece um estudo detalhado dos trade-offs entre métodos post-hoc e intra-modelo, compatibilidade de múltiplas marcas d'água e esquecimento de marca d'água (suscetibilidade ao ajuste fino via LoRA).

Resultados Experimentais

Os autores avaliaram o DISTSEAL no DCAE (um modelo de difusão) e no RAR-XL (um modelo autorregressivo).

• Desempenho Post-hoc: A marca d'água latente alcançou precisão média de bits de 95,18% (DCAE) e 93,96% (RAR-XL) sob ataques combinados, comparável aos baselines de espaço de pixels (97,78% e 97,27% respectivamente). A qualidade visual (FID) permaneceu alta, com degradação mínima.
• Desempenho Intra-modelo (Destilação):
  • Destilação do Decodificador Latente: Destilar a marca d'água latente no decodificador alcançou 96,77% (DCAE) e 90,57% (RAR-XL) de precisão média de bits, muitas vezes superando o modelo post-hoc professor. Em contraste, destilar marcadores de água de pixels resultou em robustez significativamente menor (ex: 65,69% para DCAE) e FID mais alto.
  • Destilação do Modelo Generativo: O ajuste fino do modelo generativo diretamente rendeu resultados robustos (94,78% para DCAE, 89,13% para RAR-XL) com qualidade visual ligeiramente superior à destilação do decodificador.
• Velocidade: A abordagem latente proporcionou uma aceleração de 20× para o DCAE e de 2,4× para o RAR-XL em comparação com métodos de espaço de pixels.
• Limitações Observadas:
  • Esquecimento de Marca d'Água: Modelos generativos destilados são suscetíveis ao esquecimento da marca d'água quando ajustados finamente em dados sem marca d'água (ex: via LoRA), enquanto decodificadores destilados permanecem robustos a tais mudanças.
  • Ataques Fortes: O método ainda não é totalmente robusto contra transformações geométricas muito fortes, uma limitação que os autores reconhecem.

Significância e Alegações

O artigo afirma que o DISTSEAL fornece uma solução prática e eficiente para incorporar marcas d'água robustas diretamente em modelos generativos. Ao mover a marca d'água do espaço de pixels para o espaço latente, os autores alcançam:

• Redução de Overhead: Economias computacionais significativas e redução de latência, tornando a implantação em tempo real ou em larga escala mais viável.
• Segurança Aprimorada para Código Aberto: Ao integrar a marca d'água nos pesos do modelo (via destilação), a marca d'água não pode ser desativada trivialmente pela remoção de um script de pós-processamento, abordando uma lacuna crítica de segurança em lançamentos de modelos de código aberto.
• Destilação Superior: A descoberta de que marcadores de água latentes se destilam de forma mais eficaz que os de espaço de pixels sugere um novo paradigma para criar modelos generativos "projetados com marca d'água" que mantêm alta fidelidade e robustez.

Os autores posicionam este trabalho como um passo em direção a mecanismos de proveniência confiáveis para conteúdo gerado por IA, equilibrando a necessidade de responsabilidade com a preservação da qualidade do conteúdo e da velocidade de geração. Eles observam que, embora o método seja robusto, não é imune à remoção, e trabalhos futuros explorarão a combinação de marca d'água latente com métodos de sincronização post-hoc para lidar com ataques geométicos mais fortes.