SurFITR: A Dataset for Surveillance Image Forgery Detection and Localisation

Probleemstelling

Bestaande methoden voor het detecteren en lokaliseren van beeldvervalsing (forgery) presteren slecht op surveillancebeelden. De huidige benchmarks en datasets (zoals FaceForensics++ of GenImage) zijn voornamelijk gericht op object-gecentreerde beelden of volledige beeldsynthese. Surveillance-scenario's verschillen echter fundamenteel:

• Karakteristieken: Ze hebben vaak een wijder gezichtsveld, kleinere of verduisterde onderwerpen, lagere beeldkwaliteit en variërende perspectieven.
• Vervalsingstypen: Vervalsingen in surveillance zijn meestal lokaal en subtiel (bijv. het verwijderen van een persoon of het toevoegen van een object), in plaats van grootschalige manipulaties.
• Gevolg: Modellen getraind op bestaande datasets generaliseren niet naar deze complexe, heterogene omgevingen, waardoor forensische analyses in de praktijk onbetrouwbaar worden. Er ontbreekt een geschikte dataset om deze specifieke uitdagingen te evalueren en modellen te trainen.

Methodologie: De SurFITR Dataset

Om deze kloof te dichten, stellen de auteurs SurFITR (Surveillance Forgery Image Test Range) voor. Dit is een dataset met meer dan 137.000 gemanipuleerde beelden gegenereerd via een geautomatiseerd, multimodaal LLM-gedreven proces.

1. Dataset Structuur:

• Bronnen: Gebaseerd op zes bestaande surveillance-datasets (UCF-Crime, NTU-Fight, ShanghaiTech, CUHK-Ave, UCSD-Ped1/2).
• Manipulaties: Vier typen bewerkingen op zowel menselijke als object-entiteiten:
  • Verwijdering (Removal): Een bestaand entiteit verwijderen.
  • Gerichte vervanging (Targeted Replacement): Vervangen door een specifiek, context-consistent alternatief.
  • Open vervanging (Open-ended Replacement): Vervangen door een semantisch gerelateerd object.
  • Toevoeging (Addition): Een nieuw entiteit in de scène invoegen.
• Generatiemodellen: Gebruik van vijf state-of-the-art (SOTA) beeldbewerkingsmodellen (o.a. FLUX, Qwen-Image, SD3.5) om cross-domein generalisatie te testen.
• Splits: De dataset bestaat uit een Base-collectie (voor training en evaluatie) en een Transfer-collectie (voor cross-domein evaluatie met andere generatiemodellen).

2. Generatiepijplijn (MLLM-gedreven):
De auteurs ontwikkelden een drie-staps proces om realistische vervalsingen te creëren:

• Stap 1: Frame-selectie en begrip: Een open-vocabulary detector (YOLO-World) en segmentatiemodel (SAM 2.1) lokaliseren objecten. Een Multimodal LLM (Qwen2.5-VL) genereert gestructureerde beschrijvingen van de scène (objecten, relaties, belichting) en selecteert frames met hoge forensische waarde.
• Stap 2: Instructiegeneratie: Het systeem genereert semantisch onderbouwde instructies voor de manipulatie. Voor complexe taken (zoals gerichte vervanging) wordt een redeneerproces gebruikt om context-consistente suggesties te doen. Voor toevoegingen wordt fysieke plausibiliteit (diepte, perspectief) afgedwongen.
• Stap 3: Lokale manipulatie: De daadwerkelijke bewerking gebeurt op pixel-niveau binnen een masker, waarbij de rest van de afbeelding intact blijft. Dit resulteert in naadloze composities met precieze ground-truth maskers.

3. Kwaliteitsborging:
Een verificatiestap met open-vocabulary detectoren en LLM's filtert mislukte bewerkingen. Een subset van 5% is handmatig geverifieerd om de kwaliteit van de geautomatiseerde selectie te valideren.

Belangrijkste Bijdragen

1. SurFITR Dataset: De eerste grote dataset specifiek gericht op lokale, subtiele vervalsingen in surveillance-scènes, inclusief pixel-niveau maskers voor 137k+ beelden.
2. Geautomatiseerde Pijplijn: Een innovatieve pipeline die Multimodal LLMs en open-world grounding-modellen combineert om semantisch onderbouwde, realistische vervalsingen op schaal te genereren.
3. Uitgebreide Evaluatie: Een grondige analyse van bestaande forensische modellen en MLLMs, die aantoont dat deze modellen falen in surveillance-omgevingen, en dat training op SurFITR aanzienlijke verbeteringen oplevert.

Resultaten

De auteurs hebben 13 basismodellen (bestaande forensische detectors en MLLMs) getest:

• Zero-Shot Evaluatie (Bestaande modellen):
  • Bestaande modellen presteren zeer slecht op SurFITR. Hoewel sommige een redelijke AUROC scoren (>0.5), zijn de F1-scores extreem laag, wat wijst op slechte kalibratie en een groot domeinverschil.
  • Lokalisatieprestaties (P-IoU) zijn nagenoeg nihil (vaak <0.05), wat aangeeft dat modellen geen subtiele, lokale manipulaties kunnen detecteren.
• Training op SurFITR:
  • Modellen die zijn fine-tuned op SurFITR laten aanzienlijke verbeteringen zien in zowel in-domein als cross-domein settings.
  • Bijvoorbeeld: PSCC-Net en HiFi-Net bereiken AUROC-waarden boven de 0.98 en F1-scores boven de 0.90 op de Base-testset na training.
  • Zelfs grote multimodale modellen (zoals Qwen3-VL-8B) presteren na training op SurFITR vergelijkbaar met gespecialiseerde detectors, wat aantoont dat de dataset effectief is voor het verbeteren van forensische vaardigheden in generieke modellen.
• Kloven en Uitdagingen:
  • Ondanks verbeteringen blijft de prestatie gevoelig voor scènevariatie (cross-dataset prestaties dalen).
  • Lokalisatie van zeer kleine manipulaties blijft een groot probleem; de prestatie daalt sterk naarmate het gemanipuleerde gebied kleiner wordt.

Significantie en Conclusie

SurFITR is een cruciale mijlpaal voor het veld van beeldforensiek. Het paper demonstreert dat:

1. Bestaande benchmarks ontoereikend zijn voor surveillance-toepassingen.
2. De dreiging van realistische, lokale vervalsingen in surveillancebeelden reëel is en huidige AI-systemen kwetsbaar zijn.
3. Het trainen op een gespecialiseerde, semantisch onderbouwde dataset essentieel is om robuuste detectoren te bouwen.

De dataset dient als zowel een benchmark om de huidige staat van de techniek te testen als een trainingsbron voor het ontwikkelen van gespecialiseerde forensische modellen die bestand zijn tegen de complexiteit van echte surveillance-scènes. De auteurs benadrukken dat de dataset alleen voor onderzoek is vrijgegeven om misbruik te voorkomen, en dat ze specifieke implementatiedetails van de generatiepijplijn hebben weggelaten.