Can Image Splicing and Copy-Move Forgery Be Detected by the Same Model? Forensim: An Attention-Based State-Space Approach

Riassunto Tecnico: Forensim

1. Il Problema (Problem Statement)

La ricerca tradizionale sulla rilevazione di manipolazioni di immagini (IMDL - Image Manipulation Detection and Localization) si è concentrata prevalentemente sulla splicing forgery (inserimento di patch da immagini esterne), utilizzando modelli addestrati con maschere binarie (tampered vs. pristine). Questo approccio presenta due limiti critici:

1. Mancanza di contesto: I modelli non identificano la regione "sorgente" (source), il che è fondamentale per comprendere la natura della frode.
2. Incapacità di generalizzazione: I modelli ottimizzati per la splicing spesso falliscono nella rilevazione della copy-move forgery (CMFD), dove una parte dell'immagine viene duplicata e spostata all'interno della stessa immagine, poiché non vi è un'origine esterna da rilevare.

L'obiettivo del paper è rispondere alla domanda: È possibile rilevare sia la splicing che la copy-move forgery con lo stesso modello?

2. Metodologia (Methodology)

Gli autori introducono Forensim, un framework basato su modelli di spazio di stato (SSM - State-Space Models) che riformula il problema come un compito di segmentazione a tre classi: pristine (originale), source (sorgente) e target (manipolato).

Architettura Core:
Il modello utilizza un backbone Vision Transformer (DINO) per l'estrazione delle feature, seguito da due moduli di attenzione specializzati basati su SSM (che offrono complessità lineare e dipendenze a lungo raggio):

• Similarity State Space Attention (Sim Attn): Progettato per la CMFD. Calcola una matrice di affinità esplicita per identificare pattern di auto-similarità all'interno dell'immagine. Utilizza una normalizzazione bidirezionale (BiSoftmax) e l'incorporazione di Rotary Positional Embeddings (RoPE) per catturare relazioni spaziali globali.
• Manipulation State Space Attention (MSSA): Progettato per la rilevazione di artefatti. Utilizza un meccanismo di attenzione multi-scala per distinguere le regioni manipolate dai pattern naturali ripetitivi, integrando Locally Enhanced Positional Encoding (LePE) per migliorare l'aggregazione delle feature locali.
• Non-Local Refinement (NLR) Module: Un modulo di fusione che integra le mappe di similarità e manipolazione attraverso un'aggregazione pesata non locale, garantendo coerenza semantica tra le regioni rilevate.

3. Contributi Chiave (Key Contributions)

1. Nuovo Paradigma di Addestramento: Il passaggio dalla supervisione binaria alla supervisione a tre classi, permettendo un framework unificato per splicing e copy-move.
2. Architettura Forensim: Un modello basato su SSM che combina efficienza computazionale (complessità lineare) e capacità di modellazione di dipendenze a lungo raggio.
3. Dataset "CMFD Anything": Un nuovo benchmark ad alta risoluzione derivato da immagini Segment Anything (SA-1B). Rispetto ai dataset esistenti (come USC-ISI), questo è molto più realistico, complesso e include campioni "pristine" per calibrare i falsi positivi.

4. Risultati (Results)

Forensim ha dimostrato prestazioni allo stato dell'arte (State-of-the-Art) su diversi benchmark:

• Performance CMFD: Nei test su dataset come CASIA, CoMoFoD e il nuovo CMFD Anything, Forensim supera costantemente i modelli precedenti (come BusterNet, DOA-GAN e TruFor) sia in termini di localizzazione (F1-score, AUC) che di rilevazione a livello di immagine.
• Generalizzazione: Il modello si è dimostrato estremamente robusto anche su dataset di manipolazione diversi (NIST, Columbia, Coverage), dimostrando che l'addestramento a tre classi favorisce una comprensione più profonda della struttura della frode.
• Robustezza: Il framework mantiene alte prestazioni anche sotto attacchi di compressione JPEG, rumore, sfocatura (blur) e trasformazioni tipiche dei social media.
• Efficienza: Nonostante la complessità, il modello è efficiente in termini di parametri (36.7M) e FLOPs rispetto a modelli basati su Transformer più pesanti.

5. Significato e Conclusioni (Significance)

Il lavoro di Nandi e Natarajan segna un cambio di passo nella forense digitale: non si tratta più solo di trovare "dove" un'immagine è stata alterata, ma di ricostruire la "logica" della manipolazione (identificando la sorgente). La capacità di unire due tipi di frode apparentemente diversi in un unico modello coerente rende Forensim uno strumento potente e interpretabile per investigatori digitali e per il contrasto alla disinformazione generata da modelli AI.