Technische Samenvatting: CUPID – Het reconstrueren van UV-textuurkaarten voor interpreteerbare deepfake-detectie van personen van belang (Person-of-Interest)

Probleemstelling

De proliferatie van generatieve AI heeft de creatie van zeer realistische deepfakes mogelijk gemaakt die gericht zijn op specifieke hoogprofielpersonen, bekend als Persons-of-Interest (POI). Deze synthetische media vormen aanzienlijke bedreigingen voor democratische processen en het maatschappelijk vertrouwen. Hoewel de forensische gemeenschap gespecialiseerde methoden heeft ontwikkeld om POI-deepfakes te detecteren, kampen bestaande oplossingen met een kritieke triade van uitdagingen:

1. Robuustheid: Veel methoden hebben moeite om prestaties te behouden onder veelvoorkomende post-processing operaties zoals compressie en downscaling.
2. Efficiëntie: Huidige detectoren vereisen vaak computationeel dure inferentie, met name diegene die gebruikmaken van sliding-window strategieën.
3. Interpreteerbaarheid: Weinig methoden bieden intuïtieve visuele verklaringen voor waarom een video als nep wordt gemarkeerd, wat hun nut bij forensische analyse beperkt.

Bovendien vereisen bestaande POI-specifieke benaderingen vaak het trainen van een apart model voor elke doelidentiteit (wat grote hoeveelheden specifieke data vereist) of generaliseren ze slecht naar ongeziene identiteiten zonder uitgebreide kalibratie.

Methodologie

De auteurs stellen CUPID voor (ReConstructing UV texture maps for Person-of-Interest Deepfake detection), een visuele-only detector die opereert zonder dat er tijdens de training deepfake-samples nodig zijn en die POI-agnostisch blijft tijdens de trainingsfase. De pipeline bestaat uit drie hoofdfasen:

1. UV-textuurkaartextractie

In plaats van ruwe videoframes te verwerken, zet CUPID het gezicht uiterlijk om in UV-textuurkaarten.

• Proces: Voor elk frame wordt een 3D Morphable Model (3DMM) op het gezicht gefit. Het model projecteert de gezichtstextuur op een canonieke 2D UV-ruimte.
• Voordeel: Deze representatie vestigt een dichte semantische correspondentie; specifieke pixelcoördinaten in de UV-kaart komen overeen met dezelfde gezichtsregio (bijv. neustip, ogen) over alle identiteiten, poses en expressies heen. Dit ontkoppelt identiteitskenmerken van pose- en expressievariaties, wat zorgt voor een gestandaardiseerde input die de robuustheid tegen post-processing verhoogt.

2. Masked Autoencoder (MAE) Training

Een Vision Transformer (ViT)-gebaseerde Masked Autoencoder wordt uitsluitend getraind op echte videodata (VoxCeleb2) om een algemene latente ruimte van gezichtsidentiteit te leren.

• Architectuur: De encoder verwerkt zichtbare patches van de UV-textuurkaart, terwijl een lichtgewicht decoder de gemaskeerde patches reconstrueert.
• Trainingsdoel: Het model wordt geoptimaliseerd met een gezamenlijke verliesfunctie bestaande uit:
  • Masked Reconstruction Loss ($L_{rec}$): Per-pixel MSE op gemaskeerde patches om rijke textuurrepresentaties te leren.
  • Contrastive Loss ($L_{cont}$): Een multi-layer NT-Xent loss die embeddings van dezelfde identiteit clusteren en verschillende identiteiten over meerdere encoder-dieptes scheidt.
  • Perceptual Loss ($L_{perc}$): Een VGG-16 gebaseerde loss om perceptueel coherente reconstructies te waarborgen en grid-artefacten te onderdrukken.
• Resultaat: De resulterende encoder produceert identiteits-onderscheidende embeddings die generaliseren naar ongeziene subjecten.

3. Inferentie en Detectie

Tijdens de testfase opereert het systeem in een open-set scenario:

• Constructie van de Referentieset: Een set zuivere referentievideo's van de doel-POI wordt gecodeerd in de latente ruimte om een referentieverdeling te vormen (vertegenwoordigd door het zwaartepunt van de CLS-embeddings).
• Gelijkenis-scoring: Een testvideo wordt gecodeerd, en de embeddings worden vergeleken met de referentieverdeling met behulp van een pairwise gelijkenisfunctie (maximum inner product).
• Beslissing: Als de gelijkenis-score onder een drempelwaarde $\gamma$ valt, wordt de video als nep geclassificeerd.

4. Interpreteerbaarheidsmechanisme

CUPID maakt gebruik van de gestructureerde aard van UV-kaarten en de latente ruimte om residuele kaarten te genereren:

• Het systeem decodeert de latente discrepantie tussen de testvideo en het referentiezwaartepunt.
• Door de "natuurlijke" variabiliteit te subtraheren die in de referentieset wordt waargenomen, produceert de methode een kaart die specifieke gezichtsregio's highlight waar de testvideo het meest afwijkt van de authentieke identiteit van de POI. Dit biedt visueel bewijs van manipulatie (bijv. blending-artefacten rond de mond of ogen).

Belangrijkste Bijdragen

1. Nieuwe POI-detector: Introductie van CUPID, dat UV-textuurkaarten combineert met een MAE die uitsluitend op echte data is getraind. Het leert een algemene identiteitsbewuste representatie die tijdens de inferentie bruikbaar is voor ongeziene POI's.
2. Interpreteerbaarheidsframework: Een procedure die de UV-ruimte en latente representaties gebruikt om subject-specifieke residuele kaarten te genereren, wat intuïtieve visuele verklaringen biedt voor detectiebeslissingen.
3. Uitgebreide Evaluatie: Uitgebreide benchmarking tegen state-of-the-art algemene detectoren en een POI-specifieke baseline over vier datasets (DF-TIMIT, FakeAVCeleb, KoDF, DeepSpeak) onder zowel High Quality (HQ) als Low Quality (LQ) instellingen.

Experimentele Resultaten

Experimenten tonen aan dat CUPID superieure prestaties levert op verschillende belangrijke gebieden:

• Robuustheid: CUPID presteert beter dan huidige state-of-the-art methoden, met name onder sterke compressie en downscaling (LQ instellingen). Terwijl algemene baselines een gemiddelde prestatiedaling van ~24 punten vertonen in LQ instellingen, degradeert de prestatie van CUPID met slechts ~3,2 punten.
• Prestaties: Het bereikt de beste algehele robuustheid en competitieve nauwkeurigheid in HQ instellingen, waarbij het vaak de POI-specifieke baseline (POI-Forensics) verslaat over de meeste datasets.
• Efficiëntie: CUPID is aanzienlijk sneller en bereikt inferentiesnelheden die 32 keer sneller zijn dan die van POI-Forensics. Dit wordt toegeschreven aan de strategie om een vast, klein aantal frames (10) per video te bemonsteren, onafhankelijk van de clipduur, terwijl concurrenten sliding-window benaderingen gebruiken die schalen met de videolengte.
• Drempelwaarde Stabiliteit: De methode vertoont een compactere distributie van optimale beslissingsdrempels over subjecten, wat aangeeft dat het minder per-subject kalibratie vereist vergeleken met bestaande POI-detectoren.
• Interpreteerbaarheid: Kwalitatieve analyse van residuele kaarten bevestigt dat fake video's hogere activatiewaarden produceren in specifieke gezichtsregio's die consistent zijn met de gebruikte manipulatietechnieken (bijv. blending-artefacten bij face-swaps).

Betekenis en Beperkingen

Het artikel stelt dat CUPID aantoont dat identiteit-contextuele reconstructie en gelijkenis-signalen afgeleid van UV-gezichtsrepresentaties een sterk signaal bieden voor deepfake-detectie, zelfs zonder blootstelling aan valse data tijdens de training. Dit suggereert dat de gestructureerde aard van UV-kaarten identiteitskenmerken effectief isoleert van manipulatie-artefacten.

De auteurs erkennen twee primaire beperkingen:

1. Temporele Dynamiek: De huidige video-only representatie is identiteitsgericht en modelleert niet expliciet temporele expressiviteit, wat de effectiviteit tegen LipSync-manipulaties potentieel kan beperken.
2. Etnische Bias: De methode liet iets zwakkere resultaten zien op de KoDF dataset (gericht op Koreaanse subjecten), wat wijst op een gevoeligheid voor etniciteit-gerelateerde distributieverschuivingen door de trainingdata (VoxCeleb2) die onvoldoende demografische diversiteit mist.

De auteurs concluderen dat toekomstig werk zich zal richten op het integreren van subject-specifieke dynamiek en het trainen op etnisch diversere datasets om eerlijkheid en generalisatie te verbeteren.