SEED: A Large-Scale Benchmark for Provenance Tracing in Sequential Deepfake Facial Edits

Probleemstelling

De opkomst van diffusiemodellen heeft de creatie van hyperrealistische deepfakes mogelijk gemaakt. Een kritieke, maar vaak genegeerde nuance is dat deepfakes op sociale media zelden het resultaat zijn van één enkele manipulatie. In plaats daarvan ondergaan beelden vaak een sequentiële reeks bewerkingen (bijv. eerst lippenstift aanpassen, dan een hoed toevoegen, vervolgens de ogen veranderen).

Bestaande datasets en detectiemethoden richten zich voornamelijk op:

1. Eenmalige manipulaties: Ze behandelen een afbeelding als het resultaat van één bewerking.
2. Globale authenticiteit: Ze voorspellen alleen of een afbeelding "echt" of "nep" is, zonder inzicht te geven in de bewerkingsgeschiedenis.

Dit creëert een gat in de forensische analyse: wanneer meerdere bewerkingen opeenvolgend worden uitgevoerd, kunnen latere bewerkingen eerdere sporen (artefacten) overschrijven of verwarren. Het herstel van de volledige bewerkingsgeschiedenis (provenance tracing), inclusief de volgorde en de specifieke attributen, is essentieel voor misinformatie-auditing en moderatie, maar is extreem moeilijk vanwege de cumulatieve en subtiele aard van diffusie-artefacten.

Methodologie

Het paper introduceert twee hoofdcomponenten om dit probleem aan te pakken: een nieuw dataset-benchmark en een nieuwe modelarchitectuur.

1. SEED: De Dataset Benchmark

SEED (Sequential Editing in Diffusion) is het eerste grote benchmark voor sequentiële provenance-tracing in gezichtsafbeeldingen, specifiek gericht op diffusie-modellen.

• Data-constructie: De dataset bevat 91.526 gezichtsafbeeldingen gegenereerd uit hoogwaardige realistische datasets (FFHQ en CelebAMask-HQ).
• Sequentiële bewerking: Elke afbeelding ondergaat een keten van 1 tot 4 opeenvolgende attributen-bewerkingen (bijv. lippen, ogen, haar, brillen, hoeden) met behulp van moderne diffusie-editors zoals LEDITS, SDXL en SD3.
• Metadata: Elke stap in de keten wordt gedetailleerd gelogd, waaronder:
  • De volgorde van bewerkingen.
  • Tekstuele instructies (prompts).
  • Ruimtelijke manipulatiemasks.
  • Het gebruikte generatiemodel.
• Taken: SEED ondersteunt drie complementaire taken:
  1. Authenticiteitsanalyse: Echt vs. sequentieel bewerkt onderscheiden.
  2. Bewerkingsvolgordetrace: Voorspellen welke attributen zijn bewerkt en in welke volgorde.
  3. Ruimtelijke bewijsanalyse: Lokaliseren van de gemanipuleerde gebieden.

2. FAITH: Het Basismodel

Om de uitdagingen van SEED te benchmarken, stellen de auteurs FAITH (Frequency-Aware Identification Transformer for Sequential Editing Detection) voor.

• Inspiratie: Ruimtelijke kenmerken alleen blijken onvoldoende bij subtiele diffusie-artefacten, vooral wanneer deze zich over meerdere stappen ophopen. Frequentiedomein-signalen (zoals ruispatronen en textuurafwijkingen) blijven echter vaak informatief.
• Architectuur: FAITH is een Encoder-Decoder Transformer die ruimtelijke en frequentie-gebaseerde kenmerken combineert.
  • Ruimtelijke Extractie: Een CNN (ResNet-50) extraheren ruimtelijke tokens.
  • Frequentie-Extraction: Een Discrete Wavelet Transform (DWT) wordt toegepast op de invoer om het HH-subband (hoge frequentie, horizontaal en verticaal) te isoleren. Deze hoge-frequentie componenten bevatten vaak de subtiele artefacten van manipulatie.
  • Cross-Attention Guidance: De frequentie-kenmerken worden omgezet in een leidingsmap ($M^f$) die als een additieve bias wordt ingebracht in de cross-attention van de decoder. Dit helpt het model om aandacht te richten op gebieden met verdachte hoge-frequentie signalen, zelfs als de ruimtelijke signalen verzwakt zijn door latere bewerkingen.
• Training: Het model wordt getraind om een sequentie van attributen-token te voorspellen (van $\langle SOS \rangle$ tot $\langle EOS \rangle$) met behulp van cross-entropy loss.

Belangrijkste Resultaten

De auteurs hebben FAITH getest tegen bestaande detectoren (zoals SeqFakeFormer, FreqNet) en verschillende frequentietransformaties (DCT, FFT, DWT) op de SEED-dataset.

1. Prestatieverval bij lange ketens: De prestaties van alle modellen dalen naarmate het aantal bewerkingen ($L$) toeneemt. Vooral bij $L=4$ daalt de nauwkeurigheid drastisch, wat aantoont dat het herstel van volledige geschiedenissen een aanzienlijke uitdaging blijft.
2. Superioriteit van Frequentie-informatie: Modellen die frequentie-informatie gebruiken (FAITH) presteren consequent beter dan modellen die alleen op ruimtelijke kenmerken vertrouwen.
   • DWT (Discrete Wavelet Transform) bleek de meest effectieve transformatie te zijn, vooral voor de "Full-Acc" (exacte volgorde en inhoud). Dit komt omdat DWT lokale hoge-frequentie details beter behoudt dan DCT of FFT.
3. Robuustheid: FAITH (met DWT) toont een hogere weerstand tegen post-processing zoals JPEG-compressie en Gaussisch ruis. Bestaande baselines falen vaak door voortijdige stopzetting (het model stopt te vroeg met het voorspellen van stappen) of door verwarring in de volgorde van attributen.
4. Foutanalyse: Bij langere ketens ($L=3, 4$) is de dominante foutmodus "Swap-only" (de juiste attributen worden voorspeld, maar in de verkeerde volgorde). Dit bevestigt dat latere bewerkingen de tijdspecifieke sporen van eerdere bewerkingen verdoezelen.

Bijdragen en Significantie

De paper levert drie belangrijke bijdragen aan het veld van deepfake-detectie en forensiek:

1. SEED Benchmark: Het introduceert de eerste grote-scale dataset die specifiek is ontworpen voor sequentiële provenance-tracing in diffusie-modellen. Het vult het gat tussen bestaande datasets (die enkelvoudige manipulaties behandelen) en de realiteit van meervoudige, opeenvolgende bewerkingen.
2. Systematische Evaluatie: Het paper demonstreert dat bestaande detectoren slecht generaliseren naar sequentiële taken en dat het herstel van volledige bewerkingsgeschiedenissen aanzienlijk moeilijker is dan alleen het detecteren van manipulatie.
3. FAITH Baseline: Het stelt een nieuw paradigma voor waarbij frequentiedomein-signalen (via DWT) essentieel zijn voor het traceren van sequentiële bewerkingen. Het bewijst dat het combineren van ruimtelijke en frequentie-kenmerken nodig is om de cumulatieve artefacten van diffusie-modellen te doorgronden.

Conclusie:
Dit werk is een mijlpaal voor de ontwikkeling van betrouwbare tools voor het analyseren van AI-genererde media. Door te focussen op de geschiedenis van een afbeelding in plaats van alleen het eindresultaat, en door gebruik te maken van frequentie-analyse, biedt SEED en FAITH een robuustere basis voor het bestrijden van misinformatie in een wereld waar deepfakes steeds complexer en meer gelaagd worden.