LaP-Forensics: Latent-Pixel Consistency Guided Multimodal Reasoning for Deepfake Detection

Technische Samenvatting: LaP-Forensics

Probleemstelling
Recente generatieve AI-modellen (bijv. Flux, Stable Diffusion 3.5) hebben zichtbare visuele artefacten aanzienlijk verminderd, waardoor synthetische afbeeldingen steeds coherenter worden op zowel semantisch als lokaal niveau. Deze evolutie verzwakt traditionele forensische detectoren en verklaringen die uitsluitend vertrouwen op oppervlakkige uiterlijke kenmerken. Bestaande benaderingen kampen met een dichotomie: detectoren op beeldniveau bieden een beperkte semantische interpretatie, terwijl Multimodale Large Language Model (MLLM)-agenten vaak menselijk leesbare verklaringen genereren die een gebrek hebben aan fundering in expliciet forensisch bewijs. Gevolgd kan dit leiden tot modellen die overtuigende maar ononderbouwde rationales produceren, waarbij ze voorspellingen toeschrijven aan ogenschijnlijke anomalieën die niet daadwerkelijk aanwezig zijn of niet worden ondersteund door onderliggende forensische signalen. Er is een kritieke behoefte aan forensische modellen die niet alleen authenticiteit voorspellen, maar hun verklaringen ook funderen in expliciet, ruimtelijk gelokaliseerd bewijs.

Methodologie
LaP-Forensics (Latent-Pixel Forensics) is een duaal-stroom multimodale framework ontworpen om hoogwaardige RGB-semantiek te integreren met reconstructie-gebaseerde compatibiliteitskenmerken. De architectuur bestaat uit twee primaire componenten:

1. Duaal-stroom Visuele Representatie:

   • RGB Semantische Stroom: Gebruikt een bevroren CLIP-ViT-L/14 encoder om patch-niveau kenmerken te extraheren die scène-begrip en object-semantiek vertegenwoordigen.
   • Latent-Pixel Consistentie Stroom: Maakt gebruik van een bevroren Stable Diffusion v1.5 model om deterministische DDIM-inversie en reconstructie uit te voeren. Dit proces genereert een vaste reconstructie-referentie ($\hat{x}$) vanuit de invoerafbeelding ($x$). Het systeem berekent een elementgewijze compatibiliteitsresidustabel ($R = |x - \hat{x}|$). Regio's met hogere residuen duiden op een mismatch met de reconstructie-referentie, wat potentieel synthetische of bewerkte structuren blootlegt.
   • Fusie: Beide stromen worden gecodeerd via onafhankelijke projectoren en geconcateneerd naar een gemeenschappelijke token-dimensie voor de MLLM-backbone (LLaMA-2-7B).

2. Gestructureerde Redenering en Lokalisatie:

   • Het model hanteert een Waar–Wat–Waarom redeneerparadigma. Het genereert gestructureerde tekst die observeerbare anomalieën analyseert, deze relateert aan de consistentietabel en een authenticiteitsoordeel produceert.
   • Om pixel-niveau artefact-lokalisatie te triggeren, geeft het model een [SEG] token uit, dat wordt gedecodeerd door een bevroren Segment Anything Model (SAM) om een artefact-masker te produceren.

3. Tweefasige Training:

   • Fase I (Supervised Fine-Tuning - SFT): Het model wordt getraind op gecureerde Chain-of-Thought (CoT) data. De verliesfunctie optimaliseert gezamenlijk de taalmodellering (cross-entropy) en artefact-segmentatie (Dice en Binary Cross-Entropy).
   • Fase II (Outcome-Driven Alignment): Een Group Relative Policy Optimization (GRPO) fase brengt de outputs van het model in lijn met het bewijs. De beloningsfunctie ($R_{total}$) combineert:
     • Masker Beloning ($R_{mask}$): Gebaseerd op Intersection over Union (IoU) met grondwaarheid-maskers.
     • Formaat en Bewijs-Referentie Beloning ($R_{format}$): Bestraft ongeldige structuren en beloont expliciete referenties naar de consistentietabel en geldige conclusies. Cruciaal is dat deze term de structuur en het refereren van de tekst reguleert, maar niet de semantische waarheid van vrije tekstverklaringen verifieert.

4. Standalone Detector: Een aparte beeldniveau classificatiekop concateneert de [CLS] tokens van zowel de RGB- als de residustabel, geoptimaliseerd via cross-entropy voor binaire detectie.

Belangrijkste Bijdragen

• Duaal-stroom Framework: Stelt een nieuwe architectuur voor die RGB-semantiek integreert met DDIM-afgeleide reconstructie-residuen voor gezamenlijke detectie, redenering en artefact-lokalisatie.
• Forensisch Protocol: Introduceert een "Waar–Wat–Waarom" redeneerprotocol en een GRPO-doelstelling die de lokalisatiekwaliteit, outputstructuur en bewijsreferentie gezamenlijk optimaliseren.
• Empirische Validatie: Valideert de effectiviteit van de residustabel en de ontwerpkeuzes door middel van uitgebreide experimenten op cross-generator detectie en artefact-lokalisatie.

Experimentele Resultaten

• Artefact Lokalisatie: Op de SynthScars benchmark (officieel protocol) bereikt La-Forensics concurrerende prestaties en presteert het beter dan baselines zoals LEGION, HiFi-Net en TruFor in termen van mIoU en F1-scores over diverse categorieën (Mens, Object, Dier, Scène).
• Cross-Generator Detectie: Geëvalueerd op UniversalFakeDetect, bereikt de standalone detector een hoge nauwkeurigheid over diverse generator-families, inclusief GANs (97,23%), Diffusion (92,18%), CRN (98,98%) en IMLE (98,62%). Het vertoont sterke generalisatie, hoewel gespecialiseerde baselines sterker blijven voor specifieke families zoals Deepfakes en SAN.
• Ablatie-studies: Gecontroleerde experimenten op een gecureerde subset van SynthScars-CoT bevestigen dat:
  • De residustabel het meest kritieke component is; het verwijderen ervan veroorzaakt een significante daling in mIoU (van 72,19% naar 61,83%) en F1.
  • Multi-step DDIM-inversie ($T=50$) een betere balans biedt tussen sensitiviteit en betrouwbaarheid dan single-step VAE-residuen of langere horizonten ($T=100$).
  • De volledige GRPO-beloning (masker + formaat + bewijs-referentie) noodzakelijk is voor optimale prestaties; het optimaliseren voor enkel maskerkwaliteit leidt tot instabiele outputs.
  • Counterfactual interventies (het op nul zetten of verwisselen van de consistentietabel) degraderen de prestaties aanzienlijk, wat de afhankelijkheid van het model van de residustabel voor ruimtelijke voorspellingen bevestigt.

Betekenis en Beperkingen
Het artikel beweert dat La-Forensics het vakgebied vooruit helpt door verder te gaan dan oppervlakkige uiterlijke kenmerken en gebruik te maken van reconstructie-gebaseerde compatibiliteitssignalen voor verklaarbare forensica. Het demonstreert dat het integreren van een vaste reconstructie-referentie modellen in staat stelt om te redeneren over waar artefacten voorkomen en waarom dit een oordeel ondersteunt, gegrond in een specifieke consistentietabel.

De auteurs behouden echter een bescheiden houding ten aanzien van beperkingen:

• Semantische Getrouwheid: De tekstzijde beloningsfunctie moedigt het refereren aan de bewijskaart aan, maar garandeert niet de semantische waarheid of getrouwheid van de gegenereerde vrije tekstverklaringen.
• Robuustheid: De DDIM-residustabel is gekoppeld aan een specifieke Stable Diffusion-referentie en kan worden beïnvloed door nabewerking, subtiele bewerkingen of natuurlijke hoogfrequente texturen (bijv. haar, gebladerte), wat potentieel tot spuriose lokalisatie kan leiden.
• Generaliseerbaarheid: De optimale inversie-horizon ($T=50$) en prestatie-metrieken zijn specifief voor de geëvalueerde backbones en protocollen en mogelijk niet universeel generaliseerbaar over alle datasets of nabewerkingcondities.

De broncode en modellen zijn bedoeld voor publieke release om verdere research op dit gebied te faciliteren.