Deepfake Detection in Social Media: A Temporal Artifact Analysis Using 3D Convolutional Neural Networks

Technische Samenvatting: Detectie van Deepfakes op Sociale Media via Analyse van Temporele Artefacten

Probleemstelling
De proliferatie van synthetische gezichtsvideo's op sociale media heeft de moderatiecapaciteiten van platformen ingehaald, waardoor de risico's van desinformatie en aanvallen op basis van identiteit toenemen. Hoewel bestaand detectieonderzoek uitgebreid de ruimtelijke dimensie heeft aangepakt (analyse van individuele frames), lijden detector op frame-niveau aan scherpe prestatiedegradatie naarmate de kwaliteit van de generator verbetert. Specifiek verminderen hoogwaardige 128×128 GAN-outputs de detectienauwkeurigheid op basis van alleen ruimtelijke informatie met ongeveer vijf procentpunten. Bovendien worden fijne ruimtelijke details vaak verwijderd bij hercodering op sociale media, terwijl temporele inconsistenties—zoals onregelmatige knipperogen, stotterende micro-expressies en niet-uitgelijnde overgangen in hoofdpositie—vaak de compressie doorstaan. Huidige modellen vertonen vaak overfitting op generator-specifieke ruimtelijke texturen, wat leidt tot slechte generalisatie over verschillende datasets.

Methodologie
De auteurs stellen een deepfake-detectiekader voor op basis van 3D Convolutional Neural Networks (3D CNN's) om temporele artefacten in videosequenties te analyseren in plaats van statische frames.

• Architectuur: Het kernmodel maakt gebruik van een R3D-18-architectuur, voorgetraind op het Kinetics-400-dataset voor actieherkenning. Deze transfer-learningstrategie benut de bestaande priors van het model met betrekking tot natuurlijke menselijke beweging om onnatuurlijke patronen in gemanipuleerde video's beter te identificeren.
• Invoerbewerking: Het systeem verwerkt clips van 16 frames die uit video's zijn geëxtraheerd. Preprocessing omvat gezichtsdetectie en -tracking met behulp van Haar-cascades om consistente uitlijning te garanderen, gevolgd door herschaling naar een resolutie van 128×128 en normalisatie.
• Trainingsdoel: Het model wordt getraind met een samengestelde verliesfunctie:
  $$L = L_{BCE} + \lambda L_{tc}$$
  Waarbij $L_{BCE}$ de standaard binary cross-entropy-verliesfunctie is, en $L_{tc}$ een temporele consistentieregularisator. Deze regularisator straft grote variaties in tussenliggende feature-kaarten ($\phi_t$) tussen opeenvolgende frames af, waardoor het model wordt aangemoedigd om temporeel coherente features te leren. De regularisatieweeg $\lambda$ is ingesteld op 0,1.
• Datasets: De primaire training en evaluatie vinden plaats op het DeepfakeTIMIT-dataset (620 video's, 32 onderwerpen, GAN-gebaseerde gezichtswisseling). Generalisatie over datasets wordt getest op een subset van FaceForensics++ (DeepFakes en Face2Face-manipulaties) zonder fine-tuning (zero-shot) en met minimale fine-tuning.
• Experimentele Opstelling: Experimenten werden uitgevoerd met PyTorch op NVIDIA RTX 3090 GPU's. De training omvatte curriculum learning, gebalanceerde sampling en uitgebreide data-augmentatie (croppen, spiegelen, temporele jittering).

Belangrijkste Bijdragen

1. Temporele Detector met Samengestelde Verliesfunctie: De auteurs presenteren een temporele deepfake-detector op basis van R3D-18 die binary cross-entropy combineert met een straffing voor feature-consistentie per frame. Deze aanpak verbetert de nauwkeurigheid op hoogwaardige deepfakes met 4,5 procentpunten ten opzichte van een frame-level XceptionNet-baseline.
2. Identificatie van Discriminerende Artefacten: De studie identificeert kwantitatief oogknipperingsequenties en overgangen in micro-expressies als de meest discriminerende temporele artefacten. Deze kenmerken zijn voor generators moeilijk na te bootsen met natuurlijke timing en synchronisatie.
3. Generalisatie over Datasets: Het artikel toont aan dat temporele signalen breder generaliseren dan ruimtelijke signalen. Het model bereikt 76,4% zero-shot nauwkeurigheid op FaceForensics++ en 92,8% nauwkeurigheid bij evaluatie binnen de dataset voor hoogwaardige (128×128) deepfakes.
4. Ablatie-analyse: De auteurs bieden een decompositie van prestatiewinsten, waaruit blijkt dat transfer learning +7,2 procentpunten bijdraagt, gezichtstracking +3,5 punten toevoegt, en de term voor temporele consistentie aanvullende winst biedt, specifiek op hoogwaardige vervalsingen.

Resultaten

• Prestaties binnen Dataset: Op de DeepfakeTIMIT-testset bereikt de voorgestelde 3D CNN 94,2% nauwkeurigheid, wat significant beter is dan de XceptionNet-baseline (89,7%), CNN+LSTM (91,3%) en methoden op basis van optische flow (87,6%).
• Robuustheid bij Hoogwaardige Kwaliteit: Voor hoogwaardige (128×128) deepfakes behoudt de voorgestelde methode 92,8% nauwkeurigheid, terwijl de XceptionNet-baseline daalt naar 84,5%. De prestatiedegradatie voor de voorgestelde methode is slechts 1,4 procentpunt in vergelijking met 5,2 punten voor de ruimtelijke baseline.
• Transfer over Datasets: Zonder fine-tuning bereikt het model 76,4% nauwkeurigheid op FaceForensics++, wat beter is dan frame-voor-frame baselines die pieken op 70,8%.
• Ablatiebevindingen:
  • Transfer learning vanuit Kinetics-400 is cruciaal en biedt een boost van +7,2 punten.
  • Gezichtscropping/tracking verbetert de prestaties met +3,5 punten ten opzichte van verwerking van het volledige frame.
  • Een sequentielengte van 16 frames bleek optimaal; kortere sequenties verlaagden de nauwkeurigheid met 2,7 punten, terwijl langere sequenties geen significante winst opleverden maar wel de rekenkosten verhoogden.

Betekenis en Claims
Het artikel stelt dat temporele artefacten breder generaliseren dan ruimtelijke artefacten, waardoor een detectiesignaal ontstaat dat sociale media-hercodering en hoogwaardige generatie doorstaat. Door de focus te verschuiven van analyse van statische frames naar spatio-temporele modellering, adresseert de voorgestelde methode de generalisatiekloof die huidige detectors teistert. De auteurs stellen dat hun aanpak een efficiëntere oplossing biedt dan recente transformer-gebaseerde methoden, waarbij vergelijkbare of superieure nauwkeurigheid wordt bereikt met lagere rekenkosten, waardoor het geschikt is voor real-time contentmoderatie. Het werk vestigt dat analyse van temporele inconsistentie een cruciaal onderdeel is voor deepfake-detectiesystemen van de volgende generatie, met name voor het detecteren van geavanceerde manipulaties die ruimtelijke-only-detectoren ontlopen.