Interpretable facial dynamics as behavioral and perceptual traces of deepfakes

Probleemstelling

De huidige diepe nepvideo's (deepfakes), met name die gemaakt met gezichtswisseltechnieken (face-swapping), vormen een groeiende bedreiging voor de samenleving. Hoewel detectiemethoden gebaseerd op Deep Learning (DL) zoals Convolutionele Neural Networks (CNN's) hoge prestaties behalen op benchmarks, lijden ze onder drie kritieke beperkingen:

1. Gebrek aan interpreteerbaarheid: Ze fungeren als "black boxes", wat het moeilijk maakt om te begrijpen waarom een video als nep wordt bestempeld. Dit is problematisch voor forensische en juridische toepassingen.
2. Gebrek aan correlatie met menselijke perceptie: Er is weinig onderzoek gedaan naar de overeenkomst tussen modelvoorspellingen en menselijke oordelen, wat essentieel is voor mens-machine detectieworkflows.
3. Onbegrip van gedragspatronen: Bestaande methoden negeren vaak de bio-gedragsmatige aspecten van gezichtsanimatie. Het is onduidelijk welke specifieke dynamische kenmerken van het gezicht (bijv. tijdens emoties) door generatieve modellen worden verstoord.

Methodologie

De auteurs hebben een interpreteerbare aanpak ontwikkeld die zich baseert op de temporale dynamiek van gezichtsbewegingen, in plaats van op ruwe pixeldata of complexe latent spaces.

1. Dataset:

   • Gebruik van de Google DeepFakeDetection (DFD) dataset (een subset van FaceForensics++).
   • 363 unieke echte video's, elk gekoppeld aan één gegenereerde deepfake (FaceSwap autoencoder).
   • Video's zijn gefilterd op kwaliteit en gelabeld op basis van de aanwezigheid van emotie (bijv. blij, boos) versus geen emotie.

2. Feature Extractie en Dimensiereductie:

   • OpenFace 2.0: Extractie van intensiteitsdata van 17 Action Units (AUs) per frame.
   • Non-Negative Matrix Factorization (NMF): Toepassing op de AU-data om de complexe, hoog-dimensionele tijdreeksen te reduceren tot drie interpreteerbare, laag-dimensionele componenten van gecoördineerde gezichtsbeweging:
     • Component 1: Ondergezicht (wangoptrekken, mondhoeken).
     • Component 2: Ondergezicht (kinoptrekken, lippen strakken).
     • Component 3: Bovengezicht (wenkbrauwen optrekken, oogleden).
   • Representatieve AU-selectie: In plaats van features te extraheren uit de NMF-activaties (wat informatieverlies veroorzaakt), werd voor elke component de AU met de hoogste lading geselecteerd als representatieve proxy (AU01, AU12, AU17).

3. Tijdreeks Feature Engineering:

   • Uit de representatieve AU-tijdreeksen werden 111 temporale kenmerken geëxtraheerd met de CMFTS-library. Deze kenmerken meten kinematische eigenschappen zoals snelheid, versnelling, gladheid, ritme en autocorrelatie (niet de bewegingsgrootte zelf).
   • Boruta Feature Selection: Een algoritme dat 8 statistisch belangrijke kenmerken selecteerde die de "bio-behavioral fingerprint" van deepfakes het beste karakteriseren.

4. Classificatie en Validatie:

   • Vier traditionele machine learning-classifiers werden getraind: Random Forest, C5.0 Boosted Decision Trees, SVM en Logistic Regression.
   • Menselijke Validatie: Een perceptie-experiment met 89 deelnemers die video's beoordeelden in de vorm van Point Light Displays (alleen bewegende punten, geen textuur), om puur te focussen op de ruimtetemporale dynamiek.

Belangrijkste Bijdragen

1. Interpreteerbare Detectie: Het introduceren van een pipeline die deepfake-detectie baseert op begrijpelijke, bio-gedragsmatige kenmerken (temporale onregelmatigheden in spieractivatie) in plaats van ondoorzichtige neurale netwerken.
2. Emotie-afhankelijkheid: Het aantonen dat deepfakes detecteerbaarder zijn bij video's met emotionele expressies dan bij neutrale video's.
3. Mens-Machine Vergelijking: Een gedetailleerde analyse van de convergentie en divergentie tussen menselijke waarneming en modelvoorspellingen, wat inzicht geeft in complementaire detectiestrategieën.

Resultaten

• Detectieprestaties:

  • De Random Forest-classifier bereikte een ROC-AUC van 0.694 en een nauwkeurigheid van 66,0% op de testset. Dit is significant boven het toevalsniveau, maar lager dan state-of-the-art DL-methoden (wat een bewuste afweging is voor interpreteerbaarheid).
  • De detectie werd gedreven door hogere-orde temporale onregelmatigheden (bijv. voorspelbaarheid van snelheid en versnelling) in plaats van statische artefacten.

• Invloed van Emotie:

  • Emotionele video's: De nauwkeurigheid steeg naar 72,4% (MCC = 0.453).
  • Neutrale video's: De nauwkeurigheid daalde naar 55,6% (niet significant boven toeval).
  • Oorzaak: Een analyse van de emotionele valentie (positief, neutraal, negatief) toonde aan dat deepfakes systematisch de complexe, gecoördineerde dynamiek van emoties degraderen. De modelprestatie voor het voorspellen van valentie daalde significant bij nepvideo's, wat bevestigt dat de face-swap-procedure de fijne motorische patronen van emoties verstoort.

• Mens-Machine Overeenkomst:

  • Er was een significante overeenkomst in de uitkomst (label) tussen mens en model voor emotionele video's (81,2% overeenkomst).
  • Echter, de onderliggende strategieën verschilden: Menselijke nauwkeurigheid correleerde niet met de belangrijkste features van het model. Mensen en modellen werden door verschillende stimuli "gebluft".
  • Dit suggereert dat menselijke en machine detectie complementair zijn in plaats van redundant.

Betekenis en Conclusie

De studie toont aan dat face-swapped deepfakes een meetbaar "bio-behavioral vingerafdruk" achterlaten in de temporale structuur van gezichtsbewegingen. Dit vingerafdruk is het meest zichtbaar tijdens emotionele expressies, omdat generatieve modellen moeite hebben om de complexe, gecoördineerde spieractivatie van emoties perfect na te bootsen.

De belangrijkste implicaties zijn:

1. Interpreteerbaarheid: Het is mogelijk om deepfakes te detecteren met transparante modellen die inzicht geven in welke gedragskenmerken verdacht zijn.
2. Context-afhankelijkheid: Detectiesystemen moeten rekening houden met de emotionele inhoud van video's; de signalen zijn sterker bij expressieve content.
3. Human-in-the-Loop: Omdat mensen en machines verschillende signalen gebruiken om nepvideo's te detecteren (hoewel ze soms tot dezelfde conclusie komen), kunnen geïntegreerde systemen die beide benaderingen combineren, robuuster en betrouwbaarder zijn dan systemen die op slechts één methode vertrouwen.