DiffusionPrint: Learning Generative Fingerprints for Diffusion-Based Inpainting Localization

1. O Problema: Localização de Falsificação em Inpainting Generativo

O artigo aborda um desafio crítico na forense digital: a detecção e localização de manipulações em imagens realizadas por modelos de inpainting baseados em difusão (como Stable Diffusion, FLUX e Adobe Firefly).

• Limitação dos Métodos Atuais: As técnicas tradicionais de Localização de Falsificação de Imagem (IFL) dependem de padrões de ruído de câmera (ruído de sensor) ou artefatos de compressão que permanecem intactos fora da região manipulada. No entanto, os modelos modernos de difusão operam em um espaço latente e utilizam um decodificador VAE (Autoencoder Variacional) para reconstruir toda a imagem, não apenas a área editada.
• O Efeito de Reconstrução Global: Esse processo de "reconstrução totalmente regenerativa" altera estatisticamente todos os pixels da imagem, destruindo os padrões de ruído locais que os métodos forenses tradicionais usam para distinguir áreas reais de áreas falsificadas. Isso cria uma mudança espectral global que confunde os detectores existentes, tornando-os ineficazes.

2. Metodologia: DiffusionPrint

Os autores propõem o DiffusionPrint, um framework de aprendizado contrastivo em nível de patch (pedaço da imagem) projetado para aprender uma "impressão digital generativa" robusta a essas distorções espectrais.

A. Estratégia de Construção de Pares Positivos

O núcleo da metodologia é uma estratégia de pareamento assimétrica desenhada para ensinar o modelo a ignorar artefatos de reconstrução e focar na assinatura do gerador:

1. Pares Gerados (Dentro da Máscara): Para imagens geradas por um modelo $g_i$, aplica-se inpainting usando a mesma variante do modelo. O patch original gerado e o novo patch sintetizado (na mesma posição) formam um par positivo. Isso ensina o encoder a capturar a impressão digital generativa compartilhada pelo mesmo modelo.
2. Pares Autênticos (Fora da Máscara): Para imagens reais, aplica-se inpainting usando múltiplos modelos diferentes. Os patches fora da máscara (que sofrem reconstrução latente, mas não são editados semanticamente) são pareados com suas versões reconstruídas. Isso força o encoder a aprender representações invariantes aos artefatos de reconstrução do VAE, reconhecendo que, embora a imagem tenha sido processada, ela não contém a "impressão digital" de um conteúdo gerado.

B. Arquitetura e Treinamento

• Backbone: Utiliza uma rede DnCNN (Rede Neural Convolucional de Remoção de Ruído) que preserva as dimensões espaciais, produzindo um mapa de características denso.
• Objetivo MoCo (Momentum Contrast): Adota uma abordagem estilo MoCo com um codificador de momento (momentum encoder) atualizado por média móvel exponencial para estabilizar o treinamento.
• Mineração de Negativos Difíceis (Hard Negative Mining):
  • Cross-category: Os negativos são extraídos exclusivamente da categoria oposta (ex: se o âncora é um patch gerado, os negativos são patches reais).
  • Top-k: Seleciona os $k$ negativos mais similares no espaço de embedding para focar o gradiente nos casos mais desafiadores (onde a aparência visual é enganosa).
• Cabeça de Classificação Consciente do Gerador: O modelo é treinado com um objetivo conjunto que inclui a perda contrastiva (InfoNCE) e uma perda de classificação que identifica não apenas se a imagem é real/falsa, mas qual modelo generativo a criou (ex: SD 2.1, SDXL, Flux). Isso ajuda a aprender impressões digitais específicas do gerador.

3. Principais Contribuições

1. Novo Framework Forense: O DiffusionPrint é o primeiro método projetado especificamente para lidar com o cenário de inpainting totalmente regenerativo, onde a distinção baseada em ruído de sensor falha.
2. Estratégia de Pareamento Assimétrica: Uma abordagem inovadora de construção de pares positivos que separa a invariância a artefatos de reconstrução da sensibilidade à impressão digital generativa.
3. Generalização Robusta: O método demonstra capacidade de generalizar para arquiteturas generativas não vistas durante o treinamento (Zero-shot), capturando uma assinatura fundamental do processo de difusão.

4. Resultados Experimentais

O DiffusionPrint foi integrado e avaliado em três frameworks de fusão baseados em IFL: TruFor, MMFusion e uma Base Leve (Lite Baseline), substituindo o sinal forense anterior (Noiseprint++).

• Desempenho Geral: O DiffusionPrint superou consistentemente o Noiseprint++ em todos os frameworks e modelos generativos testados (SD 2.1, SDXL, Flux).
• Ganhos Significativos: Houve melhorias de até +28% no F1-score, especialmente em tipos de máscaras não vistos durante o ajuste fino (subconjunto de máscaras aleatórias).
• Generalização Cruzada: Quando treinado apenas em SD 2.1 e SDXL (sem ver Flux), o modelo ainda conseguiu desempenho competitivo ou superior em variantes do Flux, provando que aprendeu uma impressão digital genérica de difusão e não apenas memorizou modelos específicos.
• Análise Qualitativa: Os mapas de localização gerados pelo DiffusionPrint são mais limpos e precisos, com menos falsos positivos em regiões autênticas em comparação com métodos baseados em ruído.

5. Significância e Conclusão

O trabalho é significativo porque redefine o paradigma de detecção de falsificações para a era da IA generativa. À medida que os modelos de difusão evoluem para reconstruir imagens inteiras, os métodos forenses baseados em ruído de sensor tornam-se obsoletos.

O DiffusionPrint demonstra que é possível aprender uma assinatura forense invariante que sobrevive à reconstrução latente global. Ao focar na "impressão digital" do próprio processo de geração em vez de artefatos de aquisição, o método oferece uma solução escalável e plug-and-play para frameworks de detecção existentes. Isso é crucial para combater a desinformação e a fabricação de evidências visuais em um cenário onde a edição de imagens se torna acessível e indistinguível para o olho humano.

Disponibilidade: O código está disponível publicamente no repositório do GitHub da equipe MEVER.