Spectral Forensics of Diffusion Attention Graphs for Copy-Move Forgery Detection

Titel: Spectrale Forensiek van Diffusie-Attention Graphs voor Detectie van Copy-Move Vervalsing

Auteurs: H. M. Shadman Tabib, Tasriad Ahmed Tias, Nafis Tahmid (BUET, Bangladesh)

1. Het Probleem

Copy-move vervalsing (CMF) is een veelvoorkomende vorm van beeldmanipulatie waarbij een gebied binnen een afbeelding wordt gekopieerd en ergens anders in dezelfde afbeelding geplakt om inhoud te verbergen of te vervalsen. Deze vervalsingen ondergaan vaak geometrische transformaties, compressie-artefacten of menging, wat detectie moeilijk maakt.

• Huidige beperkingen: Traditionele methoden gebruiken handgemaakte features (zoals blokmatching of SIFT) of diepe leermodellen die specifiek getraind moeten worden op vervalsingsdata. Deze getrainde modellen generaliseren vaak slecht over verschillende soorten manipulaties en vereisen grote, gelabelde datasets.
• Doel: Ontwikkeling van een trainingsvrij (training-free) forensisch kader dat vervalsingen kan detecteren zonder gebruik te maken van gelabelde vervalsingsdata.

2. Methodologie: GraphSpecForge

De auteurs introduceren GraphSpecForge, een framework dat de spectrale eigenschappen van attention-graafstructuren analyseert die worden gegenereerd door een voorgeprogrammeerd Stable Diffusion U-Net (versie 1.5).

Kernhypothese: De "Gedupliceerde Subgraaf"-theorie

De centrale theoretische inzichten zijn:

1. Copy-move vervalsing induceert een ongeveer gedupliceerde subgraaf in de zelf-attention-affiniteitsgraaf van het diffusiemodel.
2. Deze duplicatie veroorzaakt een waarneembare spectrale herverdeling in de genormaliseerde grafische Laplace-operator (Normalized Graph Laplacian).
3. Volgens perturbatietheorie comprimeert subgraafduplicatie de lokale eigenwaarde-afstanden en verplaatst het spectrale gewicht, wat meetbaar is via de Wasserstein-afstand tussen de spectrale verdeling van een testafbeelding en een referentie van authentieke afbeeldingen.

Het Pipeline-proces

1. Attention Extractie: Er wordt één forward pass uitgevoerd door een voorgeprogrammeerd Stable Diffusion v1.5 U-Net. Zelf-attention-matrices worden geëxtraheerd uit 16 lagen (encoder, bottleneck en decoder).
2. Graafconstructie: De attention-matrices worden gesymmetriseerd en omgezet in genormaliseerde grafische Laplace-matrices ($L = I - D^{-1/2}AD^{-1/2}$).
   • Belangrijk: Het gebruik van de genormaliseerde Laplace-operator is cruciaal omdat het de structurele connectiviteit isoleert van de ruwe magnitude van de attention, wat robuuster is tegen variaties in beeldinhoud.
3. Spectrale Feature Extractie: Voor elke laag worden de eigenwaarden (het spectrum) berekend. Er worden vier soorten features gegenereerd:
   • Transport features: De Wasserstein-1 afstand ($W_1$) tussen het spectrum van de testafbeelding en een vooraf berekende referentieverdeling van authentieke afbeeldingen.
   • Spectrale filterbank: Warmte-trace, band-pass samenvattingen, spectrale entropie en momenten.
   • Duplicatie-gevoelige features: Massa dicht bij $\lambda=1$ en compressie van lokale afstanden.
   • Niet-spectrale graafcontroles: Statistieken zoals graadverdeling en spectrale straal (als baseline).
4. Lageselectie en Fusie: Niet alle lagen zijn even informatief. De auteurs introduceren de Forgery Spectral Expert Layer (FSEL) score om de meest gevoelige lagen te selecteren op basis van distributie-scheiding, causale sensitiviteit en stabiliteit. De scores van de top-$k$ lagen worden gefuseerd tot een einddetectiescore.
5. Detectie: Een drempelwaarde wordt bepaald op basis van de verdeling van authentieke validatie-afbeeldingen (one-class anomaly detection), zonder ooit vervalsingslabels te gebruiken.

3. Belangrijkste Bijdragen

• Theoretisch Kader: Een nieuwe link tussen copy-move vervalsing en spectrale perturbatie in diffusie-attention-graafstructuren, gebaseerd op klassieke resultaten over graafduplicatie en eigenwaarde-interlacing.
• Trainingsvrij Detector: Een volledig trainingsvrij systeem dat geen gelabelde vervalsingsdata vereist voor kalibratie of training.
• Empirische Validatie: Succesvolle toepassing op vier verschillende benchmarks (RecodAI-LUC, MICC-F220, CoMoFoD, COVERAGE) met consistente resultaten.
• FSEL-methode: Een nieuwe methode om de meest forensisch informatieve lagen in een diffusiemodel te identificeren, waarbij decoder-lagen consistent als het belangrijkst worden aangetoond.

4. Resultaten

De prestaties zijn gemeten op vier benchmarks zonder enige retraining op vervalsingsdata:

• RecodAI-LUC (Grootste benchmark, n=5.128):
  • Beste configuratie (Genormaliseerde Laplace + Top-k fusie): AUROC = 0.606 (95% CI: 0.580–0.638).
  • De genormaliseerde Laplace-operator presteerde consistent beter dan ruwe attention-spectra (+0.057 AUROC).
  • Statistische significantie: Permutatie-p-waarde = 0.005.
• Cross-Dataset Validatie:
  • MICC-F220: AUROC = 0.752.
  • CoMoFoD: AUROC = 0.774, AUPRC = 0.833, MCC = 0.499, en TPR@1%FPR = 32.5%.
  • COVERAGE: AUROC = 0.673.
• Ablatiestudies:
  • De genormaliseerde Laplace-operator overtrof ruwe spectra in alle configuraties.
  • De Wasserstein-afstand droeg het grootste deel van het detectiesignaal bij.
  • Decoder-lagen (vooral up_blocks.2 en up_blocks.3) waren consistent de meest informatieve lagen.
  • Foutieve detectie (falsificatie-experimenten) toonde aan dat de detector specifiek reageert op copy-move structuren en niet op willekeurige ruis of natuurlijke zelfgelijkendheid, hoewel er enige overlap is bij afbeeldingen met veel herhaling.

5. Betekenis en Conclusie

• Nieuwe Paradigma: Dit werk verschuift de focus van het gebruik van diffusiemodellen als feature-extractoren voor een classifier, naar het direct analyseren van de structurele eigenschappen van hun interne representaties.
• Robuustheid: Het bewijst dat spectrale anomalieën veroorzaakt door subgraafduplicatie een universeel signaal zijn dat overdraagbaar is tussen verschillende datasets en manipulatie-types, zonder dat het model opnieuw getraind hoeft te worden.
• Beperkingen: Hoewel de resultaten statistisch significant zijn, is de absolute nauwkeurigheid (AUROC ~0.60-0.77) lager dan die van volledig getrainde, gesuperviseerde state-of-the-art modellen. De methologie biedt echter geen pixel-precieze lokalisatie van de vervalsing, maar slechts een beeldniveau-detectie.
• Toekomstperspectief: De auteurs suggereren dat dit spectrale kader kan dienen als een krachtige, onafhankelijke kanaal in multi-modale detectiesystemen of als basis voor toekomstige theoretische grenzen in beeldforensiek.

Kortom, GraphSpecForge demonstreert dat de interne wiskundige structuur van generatieve AI-modellen (specifiek de spectrale eigenschappen van hun attention-graaf) een krachtige, trainingsvrije bron is voor het opsporen van beeldmanipulatie.