Face2Parts: Exploring Coarse-to-Fine Inter-Regional Facial Dependencies for Generalized Deepfake Detection

Hieronder volgt een gedetailleerde technische samenvatting van het artikel "Face2Parts: Exploring Coarse-to-Fine Inter-Regional Facial Dependencies for Generalized Deepfake Detection" in het Nederlands.

Probleemstelling

De opkomst van generatieve modellen, zoals Generative Adversarial Networks (GANs), heeft de creatie van realistische "deepfakes" (gevalideerde vervalsingen van afbeeldingen en video's) mogelijk gemaakt. Hoewel er reeds talloze forensische methoden zijn ontwikkeld om deze vervalsingen te detecteren, kampen deze vaak met ernstige generalisatieproblemen.

• Beperking van bestaande methoden: De meeste state-of-the-art (SoTA) methoden focussen uitsluitend op het gezicht als één enkel gebied (medium-grained). Ze missen vaak de subtiele artefacten die specifiek zijn voor bepaalde manipulaties (zoals lip-sync of oogbewegingen) of falen wanneer ze worden getest op datasets die verschillen van de trainingsdata.
• De uitdaging: Deepfakes kunnen verschillende delen van het gezicht op verschillende manieren manipuleren. Een methode die alleen op het volledige gezicht kijkt, mist vaak de fijne details (fine-grained) die cruciaal zijn voor detectie, terwijl een methode die alleen op één specifiek deel kijkt, geen globale context heeft. Er is behoefte aan een robuuste aanpak die zowel lokale als globale afhankelijkheden kan modelleren om generalisatie over diverse datasets en manipulatie-types te garanderen.

Methodologie: Face2Parts

De auteurs stellen een nieuwe hybride aanpak voor, genaamd Face2Parts, gebaseerd op Hiërarchische Feature Representatie (HFR). Deze methode combineert informatie op verschillende niveaus van detail (van grof naar fijn) en gebruikt een diep leerframework om de onderlinge afhankelijkheden tussen deze gebieden te benutten.

De architectuur bestaat uit drie fasen:

1. Hiërarchische Feature Extractie (Coarse-to-Fine):
   In plaats van alleen het gezicht te analyseren, worden features geëxtraheerd uit zes specifieke gebieden:

   • Niveau 1 (Coarse): Het volledige frame ($I_{Frame}$). Dit biedt globale context.
   • Niveau 2 (Medium): Het ingeknipte gezicht ($I_{Face}$).
   • Niveau 3 (Fine): Specifieke gezichtskenmerken: linker oog, rechter oog, lippen en neus.
     Deze gebieden worden geïsoleerd met behulp van een 81-punts gezichtslandmark-detector (Dlib) en vervolgens verwerkt door een vooraf getrainde encoder (bijv. CLIP ViT-modellen).

2. Relatie-Modellering met Triplet Learning en Channel-Attention:
   De geëxtraheerde features van de verschillende niveaus worden niet onafhankelijk behandeld, maar geïntegreerd via een Deep Triplet Learning framework.

   • Triplet Learning: Het model leert om de afstand tussen "anker" (A), "positief" (P, zelfde klasse) en "negatief" (N, andere klasse) samples te optimaliseren. Dit versterkt de discriminatie tussen echte en neppe content.
   • Channel-Attention MLP (CA-MLP): Een speciaal ontworpen module die bepaalt welke feature-niveaus het meest informatief zijn voor een specifieke detectie. Door middel van global average en max pooling worden attention weights gegenereerd om het model te laten focussen op de meest relevante gebieden (bijv. lippen bij lip-sync manipulaties).

3. Classificatie:
   De geleerde discriminatieve embeddings worden doorgegeven aan een classifier (een Fully Connected layer) voor de uiteindelijke voorspelling (echt vs. nep).

Kernbijdragen

• Nieuwe Hiërarchische Architectuur: De introductie van Face2Parts, die voor het eerst systematisch coarse-, medium- en fine-grained features combineert om inter-regionale afhankelijkheden in gezichten te modelleren.
• Verbeterde Generalisatie: Door gebruik te maken van een channel-attention mechanisme binnen een triplet learning framework, kan het model dynamisch focussen op de meest betrouwbare gezichtsgebieden, afhankelijk van het type manipulatie. Dit lost het probleem op van methoden die te specifiek zijn voor één type deepfake.
• Uitgebreide Evaluatie: De methode is getest op acht verschillende benchmark-datasets (waaronder FF++, Celeb-DF, DFDC, PDD, WLDR) in intra-dataset, inter-dataset en inter-manipulatie scenario's.

Resultaten

De experimenten tonen aan dat Face2Parts significant beter presteert dan bestaande SoTA-methoden, vooral in generalisatie-scenario's.

• Intra-dataset prestaties: Op de FF++ dataset bereikte de methode een gemiddelde AUC van 98,42%. Op andere datasets zoals DTIM en WLDR werden perfectie (100%) of zeer hoge scores behaald.
• Inter-dataset prestaties (Generalisatie): Wanneer getraind op FF++ en getest op andere datasets, behaalde Face2Parts:
  • 79,80% op CDF1
  • 85,34% op CDF2
  • 89,41% op DFD
  • 84,07% op DFDC
  • 95,62% op DTIM
  • 80,76% op PDD (een dataset met lip-sync manipulaties, waar traditionele methoden vaak falen)
  • 100% op WLDR
• Vergelijking: De methode overtreft bestaande technieken zoals EfficientNet, Xception, F3Net en DSM, vooral in uitdagende cross-dataset scenario's. De ablatiestudies bevestigen dat de combinatie van alle drie de niveaus (frame + gezicht + specifieke delen) de beste resultaten oplevert vergeleken met het gebruik van slechts één niveau.

Betekenis en Conclusie

Het artikel demonstreert dat het analyseren van diepe vervalsingen niet alleen moet gebeuren door naar het "gezicht" te kijken, maar door de complexe interacties tussen verschillende gezichtsgebieden te begrijpen.

• Robuustheid: De aanpak is minder gevoelig voor het type manipulatie omdat het meerdere perspectieven (globaal en lokaal) combineert.
• Toekomstperspectief: Hoewel de methode zeer succesvol is, brengt het extraheren van meerdere gebieden een bepaalde rekenkracht mee. De auteurs plannen om de efficiëntie te optimaliseren en de robuustheid te testen onder adversariële omstandigheden (zoals compressie of filtering).

Samenvattend biedt Face2Parts een krachtige, generaliseerbare oplossing voor deepfake-detectie die de beperkingen van eerdere, enkelvoudige benaderingen overwint door gebruik te maken van hiërarchische informatie en geavanceerde leermechanismen.