SurFITR: A Dataset for Surveillance Image Forgery Detection and Localisation

1. Il Problema

L'avvento di modelli di generazione di immagini open-access (come DALL-E 3, Stable Diffusion, Flux) ha democratizzato la creazione di contenuti fotorealistici, sollevando gravi preoccupazioni riguardo alla falsificazione delle prove visive. Sebbene esistano numerosi dataset e metodi per il rilevamento di falsificazioni, la maggior parte si concentra su immagini centrate sull'oggetto o sul viso (es. FaceForensics++, GenImage).

Questi approcci esistenti falliscono negli scenari di videosorveglianza per diverse ragioni fondamentali:

• Natura delle manipolazioni: Nelle immagini di sorveglianza, le falsificazioni sono tipicamente localizzate e sottili (es. rimuovere una persona, sostituire un oggetto), a differenza delle sintesi complete o delle manipolazioni massive presenti nei dataset attuali.
• Qualità e Contesto: Le immagini di sorveglianza presentano risoluzioni variabili, soggetti piccoli o occlusi, angolazioni ampie e qualità visiva inferiore, il che indebolisce i segnali forensi tradizionali.
• Mancanza di Dati: Non esisteva un dataset su larga scala specifico per la sorveglianza che includesse maschere a livello di pixel per l'addestramento e la valutazione di modelli di localizzazione fine.

2. Metodologia: Il Dataset SurFITR

Per colmare questo divario, gli autori hanno introdotto SurFITR (Surveillance Forgery Image Test Range), un dataset specializzato contenente oltre 137.000 immagini falsificate (e le corrispondenti immagini originali e maschere).

2.1 Struttura del Dataset

SurFITR è costruito su 6 corpus di sorveglianza esistenti (UCF-Crime, NTU-Fight, ShanghaiTech, CUHK-Avenue, UCSD-Ped1/2) e copre:

• Tipi di manipolazione: Rimozione (RM), Sostituzione Mirata (RE(T)), Sostituzione Aperta (RE(O)), e Aggiunta (ADD).
• Entità manipolate: Sia esseri umani che oggetti.
• Generazione: Utilizza 5 modelli di editing di immagini all'avanguardia (SOTA), inclusi Flux, SD3.5, Qwen-Image, ecc.
• Split: Il dataset è diviso in SurFITR-Base (per addestramento e test principale) e SurFITR-Transfer (per valutare la generalizzazione cross-dominio e cross-modello).

2.2 Pipeline di Generazione Automatizzata

Il dataset è stato generato tramite una pipeline automatizzata guidata da Modelli Linguistici Multimodali (MLLM) e modelli di grounding, progettata per simulare falsificazioni realistiche:

1. Selezione dei Frame: Un detector open-vocabulary (YOLO-World) e un modello di segmentazione (SAM 2.1) identificano oggetti di interesse. Un MLLM (Qwen2.5-VL) genera descrizioni strutturate della scena per selezionare i frame più "valori forensi".
2. Generazione delle Istruzioni:
   • Per la rimozione e la sostituzione aperta, le istruzioni derivano direttamente dalle maschere.
   • Per la sostituzione mirata e l'aggiunta, un MLLM genera descrizioni contestuali dettagliate. Un LLM testuale razionalizza queste descrizioni per proporre sostituzioni coerenti con il contesto.
   • Per l'aggiunta, il sistema garantisce la plausibilità fisica (supporto, prospettiva) e genera maschere di silhouette realistiche adattando template di segmentazione.
3. Manipolazione Localizzata: Le modifiche vengono applicate solo alle regioni definite dalle maschere (patch-based), preservando il resto dell'immagine.
4. Verifica e Controllo Qualità: Un processo di verifica automatizzato (usando detector e MLLM) controlla l'assenza dell'oggetto rimosso o la presenza di quello aggiunto. Inoltre, un sistema di punteggio valuta il realismo e la rilevabilità (artefatti visibili), scartando campioni di bassa qualità.

3. Contributi Chiave

1. Primo Dataset Specializzato: SurFITR è il primo dataset su larga scala dedicato specificamente al rilevamento e alla localizzazione di falsificazioni in immagini di sorveglianza, con maschere a livello di pixel.
2. Pipeline MLLM-Driven: Sviluppo di un metodo automatizzato per la generazione di falsificazioni semanticamente fondate e contestualmente coerenti, permettendo la simulazione di scenari reali su larga scala.
3. Valutazione delle Lacune: Dimostrazione empirica che i metodi forensi attuali falliscono in scenari di sorveglianza, mentre l'addestramento su SurFITR porta a miglioramenti significativi.

4. Risultati Sperimentali

Gli autori hanno valutato 13 modelli baselines (rilevatori forensi CNN/Transformer e MLLM pre-addestrati) su SurFITR.

• Performance Zero-Shot (Senza Addestramento):

  • I modelli esistenti mostrano prestazioni disastrose su SurFITR. Sebbene alcuni raggiungano un AUROC moderato (>0.5), i punteggi F1 sono estremamente bassi (spesso vicini a zero), indicando una scarsa calibrazione e incapacità di rilevare manipolazioni sottili.
  • La localizzazione (P-IoU e P-F1) è quasi inesistente per tutti i modelli, con punteggi prossimi allo zero, confermando che le tecniche attuali non catturano le manipolazioni localizzate tipiche della sorveglianza.
  • I MLLM pre-addestrati (es. Qwen, Gemini) non riescono a rilevare le falsificazioni in zero-shot.

• Performance con Addestramento su SurFITR:

  • L'addestramento (fine-tuning) su SurFITR-Base porta a miglioramenti sostanziali. Modelli come PSCC-Net, HiFi-Net e Qwen3-VL-8B raggiungono AUROC e F1 molto elevati (>0.9) nel dominio interno.
  • Generalizzazione Cross-Dominio: I modelli addestrati su SurFITR mantengono buone prestazioni anche su dati generati da modelli diversi (Transfer), sebbene con un leggero calo.
  • Limitazioni: Rimangono sfide significative nella generalizzazione tra scene diverse (cross-scene) e nella localizzazione di manipolazioni molto piccole o sottili. La variazione della scena è la causa principale di instabilità nel rilevamento.

5. Significato e Impatto

• Benchmark Necessario: SurFITR funge da banco di prova critico per evidenziare il divario tra i dataset attuali e le esigenze reali della sicurezza pubblica e dell'analisi forense.
• Risorsa per l'Addestramento: Dimostra che l'addestramento su dati specifici per la sorveglianza è essenziale per sviluppare modelli forensi robusti, superando i limiti dei modelli addestrati su immagini naturali o facciali.
• Sfide Future: Il dataset evidenzia la necessità di sviluppare modelli capaci di apprendere segnali invarianti rispetto alla scena e di eseguire una localizzazione fine-grained, aprendo nuove direzioni di ricerca.
• Considerazioni Etiche: Il dataset è rilasciato con licenza solo per la ricerca. Gli autori hanno omesso dettagli critici della pipeline di generazione per prevenire l'uso malevolo, concentrandosi sullo sviluppo di strumenti di rilevamento e mitigazione.

In sintesi, SurFITR rappresenta un passo fondamentale verso la comprensione e la difesa contro la falsificazione delle prove visive in ambienti di sorveglianza, fornendo sia i dati necessari per l'addestramento che le metriche per valutare l'efficacia dei futuri sistemi di difesa.