💻 computer science

Beyond Deepfake vs Real: Facial Deepfake Detection in the Open-Set Paradigm

Dit artikel introduceert een robuust open-set deepfake-detectiemodel op basis van supervised contrastive learning dat niet alleen bekende vervalsingen herkent, maar ook nieuwe, onbekende deepfake-technieken effectief identificeert als 'onbekend' in plaats van ze ten onrechte als echt te classificeren.

Oorspronkelijke auteurs: Nadarasar Bahavan, Sachith Seneviratne, Sanjay Saha, Ken Chen, Sanka Rasnayaka, Saman Halgamuge

Gepubliceerd 2026-03-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nadarasar Bahavan, Sachith Seneviratne, Sanjay Saha, Ken Chen, Sanka Rasnayaka, Saman Halgamuge

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🕵️‍♂️ De Grootste Uitdaging: "De Onbekende Dief"

Stel je voor dat je een veiligheidsagent bent op een vliegveld. Je hebt een lijst met foto's van bekende criminelen (de "deepfakes" die we al kennen). Als iemand door de scanner loopt die op de lijst staat, slaat het alarm af.

Het probleem met de oude methode (Gesloten Systeem):
De huidige veiligheidsagents zijn getraind om alleen die specifieke criminelen te herkennen. Als er een nieuwe, onbekende dief voorbij komt die er heel anders uitziet dan degenen op je lijst, denkt de agent: "Die staat niet op mijn lijst, dus hij is onschuldig." De dief loopt er dan gewoon doorheen. In de wereld van deepfakes betekent dit dat een nieuw type nepvideo er doorheen komt en als "echt" wordt bestempeld.

De oplossing in dit artikel (Open Systeem):
De onderzoekers van de Universiteit van Melbourne hebben een nieuwe soort agent bedacht. Deze agent zegt niet alleen: "Is dit een bekende dief of niet?" Hij zegt ook: "Ik zie hier iets vreemds. Dit lijkt niet op een echte persoon, maar ook niet op een van de bekende dieven. Dit is een onbekende verdachte."

In plaats van een onbekende nepvideo per ongeluk als "echt" te bestempelen, flagt het systeem deze als "Onbekend / Verdacht". Zo blijft het veilig, zelfs als de dieven nieuwe trucs verzinnen.

🧠 Hoe werkt het? (De Drie Stappen)

De onderzoekers hebben een slimme manier bedacht om dit te leren, in drie fasen:

1. De "Spiegelzaal" (Supervised Contrastive Learning)

Stel je voor dat je een klaslokaal hebt met drie groepen mensen:

Echte mensen (Real).
Bekende nep-mensen (bijv. gemaakt met DeepFake-techniek A).
Nog een soort bekende nep-mensen (bijv. gemaakt met DeepFake-techniek B).

In de oude methoden werden de echte mensen vaak als een rommelige groep behandeld, terwijl de nep-mensen in strakke groepjes zaten. Het was lastig om ze uit elkaar te houden.

De onderzoekers hebben de regels aangepast:

Ze dwingen de echte mensen om heel dicht bij elkaar te gaan staan (een strak groepje).
Ze dwingen de nep-mensen om in hun eigen strakke groepjes te staan, ver weg van de echte mensen.
Het resultaat: Er ontstaat een grote, duidelijke ruimte (een "latente ruimte") waar de echte mensen en de nep-mensen ver uit elkaar liggen.

2. De "Veiligheidszone" (Decision Boundaries)

Nu dat de groepen duidelijk zijn, trekken ze een onzichtbare lijn (een grens) om de bekende groepen heen.

Als iemand binnen de lijn van "Bekende Nep" valt -> Alarm: Deepfake!
Als iemand binnen de lijn van "Echt" valt -> Alarm: Echt.

3. De "Rode Vlag" voor Onbekenden (Open-Set Detection)

Dit is het magische deel. Wat gebeurt er als er iemand binnenkomt die niet in een van die strakke groepjes past?

De oude agent zou zeggen: "Hij staat niet op de lijst, dus hij is echt."
De nieuwe agent kijkt naar de afstand. "Hij staat niet dicht genoeg bij de 'Echte' groep, en ook niet bij de 'Bekende Nep' groep. Hij zit ergens in het niets."
Actie: De agent zwaait met een Rode Vlag en zegt: "Onbekend!"

Dit is cruciaal. Het is beter om te zeggen "Ik weet niet wat dit is, wees voorzichtig" dan om foutief te zeggen "Dit is echt".

🏆 Wat hebben ze bewezen?

De onderzoekers hebben hun systeem getest met de beroemde FaceForensics++ dataset (een verzameling van echte en nep-gezichten).

Tegen onbekende nep-technieken: Toen ze het systeem testten met een nep-techniek die het nooit eerder had gezien, was de oude methode (Xception) vaak slordig en dacht dat het echt was. Hun nieuwe systeem zag het direct als "Onbekend/Verdacht".
Tegen bekende nep-technieken: Zelfs als ze alleen moesten zoeken naar bekende nep-technieken, deed hun systeem het net zo goed als de beste systemen die er nu zijn.
Tegen nieuwe datasets: Ze testten het ook op een heel andere dataset (CelebDF). Hoewel het daar iets minder goed deed (omdat de "echte" foto's er anders uitzagen), was het nog steeds beter dan veel andere bestaande methoden.

💡 Waarom is dit belangrijk voor jou?

Deepfakes worden steeds slimmer en sneller. Vandaag leren we een systeem om deepfakes van gisteren te herkennen. Morgen maken hackers een nieuwe deepfake die er anders uitziet.

Oude systeem: "Ik ken deze nieuwe deepfake niet, dus ik denk dat het echt is." (Gevaarlijk!)
Nieuw systeem: "Ik ken deze specifieke deepfake niet, maar ik zie wel dat het nep is. Ik waarschuw je." (Veilig!)

Het is alsof je een alarm hebt dat niet alleen afgaat als je de bekende inbreker hoort, maar ook als je hoort dat er iemand is die niet bij de bewoners hoort, zelfs als je die persoon nog nooit hebt gezien.

Kortom: Ze hebben een slimme manier bedacht om deepfakes te vangen, zelfs als de daders hun vermomming veranderen. Ze zeggen niet alleen "Nee, dit is nep", maar ook "Hé, dit is iets vreemds dat we nog niet kennen, laat ons voorzichtig zijn."

Probleemstelling

Bestaande methoden voor het detecteren van gezichtsdeepfakes opereren voornamelijk binnen het gesloten-set (closed-set) paradigma. Dit betekent dat modellen worden getraind om alleen bekende vervalsingsmethoden (bijv. DeepFakes, FaceSwap) te onderscheiden van echte beelden. De fundamentele aanname is dat testdata dezelfde vervalsingstechnieken bevat als de trainingsdata.

In de realiteit is dit echter onhoudbaar:

Nieuwe technieken: Generatieve AI evolueert snel, wat leidt tot nieuwe, onbekende vervalsingsmethoden die niet in de trainingsset voorkomen.
Foutieve classificatie: Een gesloten-set model zal een onbekende deepfake vaak ten onrechte als "echt" (real) classificeren, omdat het model geen kennis heeft van deze nieuwe manipulaties.
Beperkte robuustheid: Heuristieken gebaseerd op bestaande methoden werken vaak niet voor opkomende technologieën.

Het paper stelt dat er een verschuiving nodig is naar het open-set paradigma, waarbij modellen niet alleen bekende vervalsingen moeten herkennen, maar ook onbekende vervalsingen moeten kunnen identificeren en markeren als "onbekend" (in plaats van ze per ongeluk als echt te bestempelen).

Methodologie

De auteurs stellen een drie-fasen pipeline voor die is gebaseerd op Supervised Contrastive Learning (SupCon), aangepast voor het open-set detectieprobleem.

Fase 1: Gewogen Supervised Contrastive Learning (Representation Learning)

Doel: Het creëren van een latente ruimte waarin manipulatiespecifieke kenmerken worden geïsoleerd van irrelevante details (zoals identiteit, achtergrond of belichting).
Aanpassing: In standaard SupCon vormen echte data vaak geen compacte cluster in de feature space, wat het onderscheid met vervalsingen bemoeilijkt. De auteurs introduceren een gewogen verliesfunctie.
- Ze geven een hogere weging aan paren van echte data om deze strakker te clusteren.
- Ze gebruiken een paar-voor-paar similariteitsfactor $s(i, j)$ die prioriteit geeft aan het samenvoegen van echte samples, terwijl vervalsingen (ongeacht de specifieke methode) verder uit elkaar worden geduwd.
Architectuur: Een encoder (DenseNet) en een projectiehoofd worden getraind om 128-dimensionale embeddings te genereren.

Fase 2: Supervised Fine-tuning

De encoder wordt "bevroren" (gebruikmakend van Stochastic Weight Averaging voor betere generalisatie).
Een classifier wordt bovenop de embeddings getraind met cross-entropy loss om de bekende klassen (Real, DeepFake A, DeepFake B, etc.) te onderscheiden.

Fase 3: Open-Set Detectie Algorithm

Drempelwaarden (Thresholds): Voor elke bekende klasse worden drempelwaarden berekend op basis van de confidence scores (softmax probabilities) van de trainingsdata.
Detectie: Tijdens het testen wordt een steekproef vergeleken met deze drempels. Als de confidence score voor geen enkele bekende klasse de drempel overschrijdt, wordt de steekproef gemarkeerd als "onbekend" (een nieuwe vervalsingsmethode).
Dit elimineert de noodzaak om extra data van nieuwe klassen te verzamelen voor fine-tuning.

Belangrijkste Bijdragen

Eerste Open-Set Deepfake Classificatie: Dit is, naar kennis van de auteurs, het eerste werk dat het open-set classificatieprobleem specifiek voor deepfakes onderzoekt, waarbij drie groepen worden onderscheiden: Real, Bekende Deepfakes, en Onbekende Deepfakes.
Aangepast SupCon: Een variant van Supervised Contrastive Learning die specifiek is ontworpen om de verspreide representatie van echte data te corrigeren, wat essentieel is voor het onderscheiden van echte beelden van onbekende vervalsingen.
Superieure Prestaties: De methode presteert beter dan bestaande baselines (zoals Xception) in het detecteren van onbekende deepfakes en is concurrerend bij het detecteren van bekende deepfakes.
Robuustheid: Het model leert een generaliseerbare latente ruimte die effectief is over verschillende manipulatieprotocollen heen.

Resultaten

De evaluatie is uitgevoerd op het FaceForensics++ (FF++) dataset en de CelebDF dataset.

Detectie van Onbekende Deepfakes (Cross-manipulatie):
- Het model presteert significant beter dan de Xception-baseline.
- Bij het testen op een onbekende methode (bijv. DeepFakes) terwijl getraind op andere methoden, bereikte het model een AUROC van 0,7189 (tegenover 0,5184 voor Xception).
- Voor NeuralTextures (NT) als onbekende klasse werd een AUROC van 0,8233 behaald.
Detectie van Bekende Deepfakes:
- Het model behaalt concurrerende resultaten met state-of-the-art gesloten-set detectoren (bijv. Face X-ray, S-MIL-T), met AUROC-waarden rond de 98-99% voor bekende methoden zoals FaceSwap en DeepFakes.
Algemene Deepfake Detectie (TOSC):
- Bij het onderscheiden van "echt" versus "alles wat vervalst is" (bekend + onbekend), behaalde het model State-of-the-Art (SOTA) resultaten op het True Open-Set Classification (TOSC) criterium, met scores tot 83,95% voor onbekende DeepFakes, wat hoger is dan eerdere werken zoals Fusion [49].
Cross-Dataset Evaluatie:
- Hoewel er sprake is van prestatieverlies bij cross-dataset testen (vanwege domeinverschillen in belichting/compressie), blijft het model concurrerend ten opzichte van andere detectoren op de CelebDF dataset.

Significantie

Dit paper markeert een paradigmaverschuiving in de deepfake-detectie. In plaats van te proberen elke nieuwe vervalsingsmethode te leren (wat onmogelijk is vanwege de snelheid van AI-ontwikkeling), biedt de open-set aanpak een robustere verdediging.

Veiligheid: Het voorkomt dat nieuwe, geavanceerde vervalsingen ongemerkt als "echt" worden doorgelaten.
Forensische Toepasbaarheid: Het stelt forensische experts in staat om onbekende bedreigingen te flaggen, waarna ze middels "few-shot learning" snel kunnen worden geanalyseerd en in het model kunnen worden opgenomen.
Toekomstperspectief: De auteurs wijzen erop dat toekomstig werk zich moet richten op het verminderen van de gevoeligheid voor domeinverschillen (bijv. door video-gebaseerde benaderingen of betere priors voor gezichtskenmerken) om de prestaties over verschillende datasets te verbeteren.