DiffusionPrint: Learning Generative Fingerprints for Diffusion-Based Inpainting Localization

1. Il Problema: Localizzazione di Forgery nelle Inpainting Generative

Il lavoro affronta una sfida critica nell'analisi forense delle immagini: la localizzazione delle manipolazioni (Image Forgery Localization - IFL) in contesti di inpainting guidato da testo basato su modelli di diffusione (es. Stable Diffusion, FLUX, Adobe Firefly).

• Limitazione degli approcci esistenti: I metodi forensi tradizionali si basano sull'analisi delle tracce di acquisizione della fotocamera (come il rumore del sensore o i pattern CFA) e sulle discontinuità locali. Questi metodi funzionano bene per il "splicing" (dove solo una parte dell'immagine viene sostituita), ma falliscono con l'inpainting moderno.
• La natura rigenerativa: I modelli di diffusione latente operano in uno spazio compresso e ricostruiscono l'intera immagine tramite un decoder VAE, anche nelle regioni esterne alla maschera di inpainting (quelle semanticamente invariate).
• Conseguenza: Questo processo di ricostruzione globale distrugge le statistiche del rumore originale e induce uno spostamento spettrale pervasivo su tutti i pixel. Di conseguenza, le regioni autentiche appaiono statisticamente simili a quelle generate, rendendo inefficaci i segnali forensi basati sul rumore (come Noiseprint++) che dipendono dal contrasto tra aree manipolate e non manipolate.

2. Metodologia: DiffusionPrint

Gli autori propongono DiffusionPrint, un framework di apprendimento contrastivo a livello di patch progettato per apprendere un "impronta digitale generativa" (generative fingerprint) robusta.

A. Concetto Chiave: Invarianza e Impronta Digitale

L'obiettivo è apprendere un segnale forense che sia:

1. Invariante agli artefatti di ricostruzione latente sulle regioni autentiche (che subiscono comunque la decodifica VAE).
2. Sensibile all'impronta digitale condivisa dalle regioni inpainted, poiché tutte le patch generate dallo stesso modello condividono le stesse caratteristiche statistiche latenti.

B. Costruzione delle Coppie Positive (Positive Pair Construction)

Il cuore del metodo risiede nella strategia di creazione delle coppie di addestramento, illustrata nella Figura 1 del paper:

• Coppie Generate (Inside-mask): Si parte da un'immagine generata da un modello $g_i$, si applica un inpainting con la variante di inpainting dello stesso modello $g_i$. La patch originale e quella appena sintetizzata (nella stessa posizione spaziale) formano una coppia positiva. Questo insegna al modello a riconoscere l'impronta digitale condivisa dello stesso generatore.
• Coppie Autentiche (Outside-mask): Si parte da un'immagine reale e si applica l'inpainting con vari modelli. Le patch esterne alla maschera (che sono state ricostruite dal VAE ma non generate ex-novo) vengono accoppiate tra la versione originale e le versioni ricostruite. Questo insegna al modello a essere invariante agli artefatti di ricostruzione VAE.
• Negativi Hard Cross-Category: Vengono estratti negativi "difficili" (hard negatives) dalla categoria opposta (es. una patch generata che assomiglia molto a una reale) per affinare il confine decisionale.

C. Architettura e Addestramento

• Backbone: Utilizza una rete DnCNN (De-noising CNN) che produce una mappa di feature densa, preservando le dimensioni spaziali necessarie per la localizzazione.
• Obiettivo di Addestramento: Adotta un approccio stile MoCo (Momentum Contrast).
  • Utilizza un momentum encoder per generare embedding stabili.
  • Mantiene una coda (queue) di negativi cross-category.
  • Applica il Top-k Hard Negative Mining (selezionando i negativi più simili alla query) per massimizzare la discriminatività.
  • Minimizza la perdita InfoNCE.
• Head di Classificazione: Viene aggiunto un head di classificazione "consapevole del generatore" (generator-aware) che aiuta il backbone a imparare impronte specifiche per modello (SD 2.1, SDXL, Flux), migliorando la generalizzazione.

3. Contributi Chiave

1. Framework Contrastivo Asimmetrico: Progettazione di una strategia di pairing asimmetrica che separa l'impronta generativa dagli artefatti di ricostruzione globale, risolvendo il problema della perdita di contrasto statistico nelle immagini rigenerative.
2. Addestramento con Negativi Difficili: Introduzione di una procedura di addestramento MoCo con estrazione di negativi hard cross-category, essenziale per distinguere contenuti generati da contenuti reali ricostruiti.
3. Segnale Forense Modulare: DiffusionPrint funziona come un estrattore di feature "plug-and-play" che può sostituire i moduli basati sul rumore (come Noiseprint++) in framework di fusione esistenti.

4. Risultati Sperimentali

Il metodo è stato valutato sul benchmark TGIF (Text-guided Inpainting Forgery) su modelli come SD 2.1, SDXL e Flux.

• Integrazione in Framework di Fusione: DiffusionPrint è stato integrato in tre framework: TruFor, MMFusion e una Lightweight Baseline.
• Prestazioni:
  • Ha mostrato miglioramenti consistenti rispetto a Noiseprint++ su tutti i framework.
  • I guadagni sono stati particolarmente elevati sui tipi di maschera non visti durante l'addestramento (maschere casuali vs maschere semantiche), con incrementi fino al +28% nel F1-score.
  • Ha dimostrato una forte capacità di generalizzazione su architetture non viste (es. addestrato su SD 2.1/SDXL, ha funzionato bene su Flux).
• Analisi Qualitativa: Le mappe di localizzazione prodotte da DiffusionPrint sono più pulite e precise, con meno falsi positivi sulle regioni autentiche rispetto ai metodi basati sul rumore, che tendono a attivarsi erroneamente a causa dello spostamento spettrale globale.

5. Significato e Impatto

Il lavoro di DiffusionPrint è significativo perché:

• Ridefinisce il paradigma forense: Sposta l'attenzione dalla ricerca di "rumore residuo" (che viene distrutto dalla rigenerazione) all'identificazione di "impronte digitali generative" intrinseche al processo di sintesi.
• Robustezza: Dimostra che è possibile localizzare manipolazioni anche quando l'intera immagine è stata ricostruita, un caso di studio precedentemente considerato molto difficile o impossibile per i metodi tradizionali.
• Generalizzazione: La capacità di funzionare su modelli generativi mai visti durante l'addestramento suggerisce che il segnale appreso cattura caratteristiche fondamentali del processo di diffusione latente, rendendolo uno strumento forense di prossima generazione per l'era dell'IA generativa.

In sintesi, DiffusionPrint fornisce una soluzione efficace per il problema della localizzazione delle forgery in immagini generate da modelli di diffusione, superando i limiti dei metodi basati sul rumore attraverso un apprendimento contrastivo intelligente e specifico per il dominio.