Spectral Forensics of Diffusion Attention Graphs for Copy-Move Forgery Detection

1. Il Problema: Falsificazione Copy-Move

La falsificazione copy-move (CMF) è una delle forme più comuni e insidiose di manipolazione delle immagini, in cui una regione di un'immagine viene duplicata e incollata in un'altra posizione all'interno dello stesso file per nascondere o fabbricare contenuti.

• Sfide attuali: I metodi tradizionali si basano su caratteristiche manuali (come il matching di blocchi o descrittori di punti chiave) o su reti neurali profonde addestrate specificamente. Questi ultimi richiedono grandi dataset etichettati e spesso non generalizzano bene su tipi di manipolazione non visti durante l'addestramento (es. trasformazioni geometriche, compressione, blending).
• Obiettivo: Sviluppare un rilevatore senza addestramento (training-free) che possa identificare queste manipolazioni sfruttando le proprietà intrinseche dei modelli generativi pre-addestrati, senza bisogno di dati di falsificazione etichettati.

2. Metodologia: GraphSpecForge

Gli autori introducono GraphSpecForge, un framework forense che analizza direttamente la struttura spettrale delle mappe di attenzione di un modello Stable Diffusion pre-addestrato (U-Net v1.5), senza utilizzare il modello come estrattore di feature per un classificatore supervisionato.

A. Ipotesi Teorica Fondamentale

L'idea centrale è che una manipolazione copy-move induce una duplicazione approssimata di sottografi nel grafo di affinità dell'attenzione self-attention del modello.

• Questa duplicazione altera la struttura del grafo, causando una ridistribuzione spettrale rilevabile nello spettro degli autovalori del Laplaciano normalizzato del grafo.
• Teoricamente, la duplicazione comprime gli spaziamenti locali degli autovalori e sposta la massa spettrale, un fenomeno quantificabile tramite la distanza di trasporto di Wasserstein ($W_1$) rispetto a una distribuzione di riferimento autentica.

B. Pipeline Tecnica

Il processo si articola in quattro fasi principali:

1. Estrazione dell'Attenzione: Esecuzione di un singolo passaggio in avanti (forward pass) su un'immagine tramite Stable Diffusion v1.5. Vengono catturate le matrici di affinità di attenzione da tutti i 16 livelli transformer (encoder, bottleneck, decoder).
2. Costruzione del Grafo: Le matrici di attenzione vengono simmetrizzate per formare grafi pesati non diretti. Da questi, si calcola il Laplaciano normalizzato ($L = I - D^{-1/2}AD^{-1/2}$).
3. Estrazione delle Feature Spettrali: Si calcolano gli autovalori del Laplaciano. Vengono estratte diverse feature:
   • Trasporto: Distanza di Wasserstein-1 tra lo spettro dell'immagine test e una distribuzione di riferimento (calcolata solo su immagini autentiche).
   • Filtri Spettrali: Traccia termica, entropia spettrale, momenti spettrali.
   • Feature Sensibili alla Duplicazione: Massa vicina a $\lambda=1$, compressione degli spaziamenti locali.
   • Controlli Non Spettrali: Statistiche sul grado, raggio spettrale, ecc.
4. Selezione e Fusione (FSEL): Non tutti i livelli sono ugualmente informativi. Viene definita una metrica Forgery Spectral Expert Layer (FSEL) che combina separazione distribuzionale, sensibilità causale e stabilità per selezionare i livelli migliori (tipicamente quelli del decoder). I punteggi dei livelli selezionati vengono fusi per produrre un punteggio finale di anomalia a livello di immagine.

3. Contributi Chiave

• Quadro Teorico: Collega formalmente la falsificazione copy-move alla perturbazione spettrale dei grafi derivati dall'attenzione, basandosi su teoremi classici di interlacciamento degli autovalori (Weyl) e teoria delle perturbazioni.
• Approccio Training-Free: Il sistema non richiede alcun addestramento su dati di falsificazione. Utilizza solo statistiche di riferimento calcolate su immagini autentiche per la calibrazione.
• Superiorità del Laplaciano Normalizzato: Dimostrano che la normalizzazione del grado nel Laplaciano isola la struttura di connettività dalla magnitudine dell'attenzione, ottenendo prestazioni superiori rispetto agli spettri di attenzione "raw" (grezzi).
• Validazione Multi-Benchmark: Il metodo è stato testato su quattro dataset pubblici (RecodAI-LUC, MICC-F220, CoMoFoD, COVERAGE) senza riaddestramento, dimostrando la portabilità del meccanismo spettrale.

4. Risultati Sperimentali

I risultati sono stati valutati su quattro benchmark, con particolare attenzione al dataset su larga scala RecodAI-LUC (5.128 immagini).

• RecodAI-LUC (Dataset Principale):

  • La configurazione migliore (Laplaciano normalizzato, fusione top-k, feature complete) raggiunge un AUROC di 0.606 (IC 95%: 0.580–0.638).
  • Il valore è statisticamente significativo ($p=0.005$).
  • Il Laplaciano supera costantemente gli spettri grezzi di circa +0.057 AUROC.
  • A un tasso di falsi positivi del 1% (TPR@1%FPR), il rilevatore individua il 12.1% delle falsificazioni.

• Validazione Cross-Dataset:

  • Su MICC-F220: AUROC = 0.752.
  • Su CoMoFoD: AUROC = 0.774, AUPRC = 0.833, MCC = 0.499, TPR@1%FPR = 32.5%.
  • Su COVERAGE: AUROC = 0.673.
  • Nota: Le prestazioni su dataset più piccoli e specifici (come CoMoFoD) sono superiori a quelle su RecodAI-LUC, suggerendo che il metodo è robusto ma che la difficoltà del benchmark principale (rumore, varietà di manipolazioni) pone limiti operativi.

• Analisi dei Livelli: I livelli del decoder (in particolare up_blocks.2 e up_blocks.3) sono risultati i più informativi per il rilevamento, confermando che le rappresentazioni a risoluzione intermedia catturano meglio le anomalie strutturali locali.

• Esperimenti di Falsificazione:

  • Il segnale è specifico per la manipolazione copy-move e non risponde a semplici auto-similarità naturali o corruzioni generiche (sfocatura, rumore, JPEG) con la stessa intensità.
  • Esiste una correlazione monotona tra la severità della manipolazione e il punteggio di anomalia.

5. Significato e Limiti

Significato:
Il lavoro rappresenta un passo avanti significativo verso la forensica digitale "zero-shot" o non supervisionata. Dimostra che i modelli di diffusione, progettati per la generazione, contengono impronte digitali strutturali (nel loro spazio di attenzione) che possono essere sfruttate per rilevare manipolazioni senza mai aver visto un'immagine falsificata durante l'addestramento. Il metodo offre un paradigma teorico solido che collega la teoria dei grafi alla sicurezza delle immagini.

Limiti:

• Accuratezza Moderata: Un AUROC di ~0.60-0.77 è inferiore ai rilevatori supervisionati di stato dell'arte (che spesso superano 0.90), ma è notevole considerando l'assenza totale di addestramento su dati di falsificazione.
• Localizzazione: Il metodo attuale opera a livello di immagine (global graph eigenvalues) e non fornisce la localizzazione pixel-per-pixel della regione falsificata.
• Costo Computazionale: Il calcolo della decomposizione spettrale completa su grafi grandi (fino a 4096 nodi) è computazionalmente costoso.
• Confusione con Auto-Similarità: Il rilevatore mostra una certa confusione con immagini autentiche che possiedono naturalmente strutture ripetitive (es. piastrelle, simmetrie), sebbene i punteggi siano inferiori rispetto alle falsificazioni reali.

In conclusione, GraphSpecForge stabilisce un nuovo paradigma per la rilevazione di falsificazioni basato sull'analisi spettrale dei grafi di attenzione, offrendo una soluzione portabile e teoricamente fondata che non dipende da dataset di addestramento specifici per la manipolazione.