💻 computer science

Why Fake ? Unveiling the Semantic Vocabulary of Deepfake Detectors

Dit artikel introduceert een post-hoc verklaarbare AI-framework met behulp van Encoding-Decoding Direction Pairs (EDDP) om de impliciete semantische vocabulaire en besluitvormingsmechanismen van black-box deepfake-detectoren te onthullen, waardoor gegronde, ruimtelijk bewuste verklaringen worden geboden die de beperkingen van bestaande binaire voorspellings- en oppervlakkige verklarmingsmethoden overwinnen.

Oorspronkelijke auteurs: Vazgken Vanian, Alexandros Doumanoglou, Dimitris Zarpalas

Gepubliceerd 2026-07-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Vazgken Vanian, Alexandros Doumanoglou, Dimitris Zarpalas

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Probleem: De "Magic 8-Ball" Detector

Stel je voor dat je een beveiligingsbeambte hebt (een Deepfake Detector) wiens enige taak het is om naar een foto te kijken en "Echt!" of "Nep!" te roepen.

De huidige situatie: De meeste van deze bewakers zijn als een Magic 8-Ball. Ze geven je het antwoord, maar ze vertellen je niet waarom. Als ze "Nep" zeggen, weet je niet of dat komt omdat de ogen er vreemd uitzien, de huidtextuur niet klopt of de belichting vreemd is.
Waarom dit ertoe doet: In het echte leven (zoals in een rechtszaal) is een simpel "Schuldig" of "Onschuldig" niet genoeg. Je moet weten welk bewijs heeft geleid tot het vonnis. Huidige methoden die proberen dit uit te leggen, wijzen vaak vaag naar het hele gezicht of verzinnen een verhaal dat eigenlijk niet overeenkomt met wat de computer zag.

De Oplossing: De "Vertaler" (EDDP)

De auteurs van dit paper hebben niet geprobeerd om de beveiligingsbeambte opnieuw te bouwen. In plaats daarvan bouwden ze een vertaler die de interne gedachten van de bewaker kan lezen nadat de bewaker al een beslissing heeft genomen.

Ze gebruikten een techniek genaamd Encoding-Decoding Direction Pairs (EDDP). Denk aan het brein van de detector als een enorme bibliotheek van onzichtbare "concepten".

De analogie: Stel je voor dat het brein van de detector een chef-kok is die duizenden nep en echte gezichten heeft geproefd. De chef weet het verschil, maar kan niet praten. De EDDP-techniek is als een vertaler die de chef vraagt: "Welke specifieke ingrediënten proef je op dit moment?"
Het resultaat: De vertaler onthult de "Semantische Vocabulaire" van de chef. In plaats van alleen "Nep", denkt de detector eigenlijk aan specifieke dingen zoals "vreemde mond", "onnatuurlijke huid" of "realistische ogen".

Wat ze ontdekten: De "Woordenschat" van Leugens

Door deze vertaler te gebruiken, ontdekten de onderzoekers 16 specifieke "concepten" (of woorden uit de woordenschat) die de detector gebruikt om zijn beslissing te nemen. Ze gaven deze concepten namen op basis van hoe ze er in werkelijkheid uitzien:

"Fake-Mouth" & "Fake-Skin": De detector heeft geleerd dat bepaalde soorten nepvideo's vaak specifieke foutjes rond de mond of de huidtextuur hebben.
"Real-Eyes" & "Real-Nose": Omgekeerd kijkt hij naar specifieke, natuurlijke kenmerken in de ogen en neus om te bevestigen dat een foto echt is.
De "Ghost" Concepten: Sommige concepten die de detector zou kunnen zien, maar die hij negeert omdat ze hem niet helpen te beslissen of iets nep is.

De Grote Onthulling: De detector raadt niet zomaar iets; hij kijkt naar zeer specifieke, kleine delen van het gezicht (zoals de ooghoek of de textuur van een lip) die mensen misschien over het hoofd zien.

Bewijzen dat de Vertaler Nauwkeurig is

Hoe weten we dat deze vertaler niet zomaar dingen verzint? De auteurs hebben twee "stress-tests" uitgevoerd:

De "Kopieer-Plak" Test (Concept Transfer):
- Ze namen de "gedachten" (de specifieke concepten) van een foto die de detector correct als "Nep" had geïdentificeerd.
- Ze "kopieerden" die gedachten en "plakten" ze in een foto van een totaal ander persoon die de detector als "Echt" beschouwde.
- Resultaat: De detector veranderde onmiddellijk van mening en noemde de nieuwe foto "Nep". Dit bewijst dat de detector daadwerkelijk vertrouwt op die specifieke concepten om zijn beslissing te nemen.
De "Wat als"-Test (Counterfactuals):
- Ze namen een foto die de detector "Nep" noemde en zeiden: "Oké, laten we doen alsof het 'Fake-Mouth' concept er niet is."
- Ze verwijderden dat specifieke "ingrediënt" uit het brein van de computer.
- Resultaat: Het vertrouwen van de detector in "Nep" daalde, en hij begon richting "Echt" te leunen.
- Analogie: Het is alsoals het weghalen van het "verdachte bewijsmateriaal" uit het dossier van een detective. Als je de enige reden wegneemt waarom de detective dacht dat de verdachte schuldig was, verandert de detective zijn oordeel.

De Kernboodschap

Dit paper bouwt geen nieuwe detector of een nieuwe app. In plaats daarvan fungeert het als een röntgenmachine voor AI-breinen.

Het laat zien dat deepfake-detectoren geen mysterieuze zwarte dozen zijn. Ze zoeken eigenlijk naar zeer specifieke, begrijpelijke aanwijzingen (zoals "nep huid" of "vreemde ogen"). Door de interne wiskunde van de detector te vertalen naar een voor mensen leesbare lijst van "woorden uit de woordenschat", hebben de auteurs deze beveiligingsbeambten veel transparanter en betrouwbaarder gemaakt.

Genoemde beperkingen in het paper:

Deze vertaler moet voor elke specifieke detector en dataset worden "getraind". Het is als een vertaler die slechts één specifiek dialect spreekt; je kunt dezelfde vertaler niet gebruiken voor een volledig ander type AI zonder hem eerst opnieuw te trainen.
Het aantal "woorden" in de woordenschat (16 in dit geval) werd door de onderzoekers gekozen, wat een beetje een handmatige gok is.

Kortom: Dit paper leert ons hoe we de AI kunnen vragen: "Waarom dacht je dat het nep was?" en een eerlijk, specifiek antwoord te krijgen op basis van de werkelijke visuele aanwijzingen die de AI vond.

Technische Samenvatting: Het Onthullen van het Semantische Vocabulaire van Deepfake-detectoren

Probleemstelling
Deepfake (DF)-technologie vormt een kritieke bedreiging voor de integriteit van informatie, wat robuuste detectiemethoden noodzakelijk maakt. De heersende aanpak in deepfake-detectie vertrouwt echter op binaire classificatie (echt versus nep), wat een gebrek heeft aan de transparantie en rechtvaardiging die vereist is voor toepassingen met hoge belangen, zoals juridische procedures. Hoewel Explainable Deepfake Detection (XDFD) is voortgekomen om dit aan te pakken, kampen bestaande technieken met significante beperkingen: methoden voor spatio-temporele lokalisatie produceren vaak grove visuele bewijslast (bijv. het highlighten van het hele gezicht in plaats van specifieke artefacten), en tekstuele verklaringen missen vaak nauwkeurige ruimtelijke gronding of slagen er niet in de onderliggende bewijslast van de detector te reflecteren. Bov�woordenschat is bovendien dat veel huidige XDFD-benaderingen architecturale wijzigingen, aanvullende trainingsdoelstellingen of menselijke annotaties vereisen, wat leidt tot afruil tussen interpreteerbaarheid en voorspellende prestaties.

Methodologie
Dit werk stelt een post-hoc Explainable AI (XAI) raamwerk voor dat de staat-van-de-kunst black-box deepfake-detectoren analyseert zonder hun architectuur te wijzigen of hertraining te vereisen. De kern van de technische aanpak maakt gebruik van Encoding-Decoding Direction Pairs (EDDP), een techniek die gebaseerd is op de lineaire representatiehypothese.

Conceptextractie: De methode gaat ervan uit dat concepten (kenmerken die indicatief zijn voor echte of nepafbeeldingen) binnen de latente ruimte van het model zijn gecodeerd als lineaire combinaties van concept-embeddings. Door EDDP toe te passen op de activaties van een specifieke laag (de 12e residual block van een op FaceForensics++ getraind Xception-netwerk), leren de auteurs gezamenlijk:
- Decoding Directions ( $W$ ): Vectoren die fungeren als concept-detectoren.
- Encoding Directions ( $S$ ): Vectoren die de specifieke richtingen in de latente ruimte vertegenwoordigen waar concepten worden gecodeerd.
- Thresholds ( $b$ ): Beslissingsgrenzen voor concept-activatie.
Visualisatie en Kwantificering:
- Concept Presence Maps (CPMs): Binaire kaarten gegenereerd door decoding-richtingen toe te passen op ruimtelijke patches, die vervolgens worden opgeschaald om te tonen waar specifieke concepten aanwezig zijn.
- Concept Contribution Maps (CCMs): Ruimtelijk bewuste heatmaps die de invloed van elk concept op de uiteindelijke voorspellingslogit kwantificeren, waarbij onderscheid wordt gemaakt tussen louter aanwezigheid en causale bijdrage.
Validatie en Analyse:
- RCAV-gevoeligheid: Relative Concept Activation Vector-scores worden gebruikt om te bepalen of een concept het model richting "Echt" of "Nep" biasert.
- Semantische Mapping: Intersection over Union (IoU)-scores brengen abstracte concept-richtingen in kaart naar grondwaarheid gezichtsregio's (bijv. neus, ogen, mond).
- Getrouwheidsbeoordeling (Faithfulness Assessment): De auteurs gebruiken concept-cloning (het transplanteren van concept-coëfficiënten van een doelmonster naar een bronbasis) en gerichte interventies (het toevoegen of verwijderen van concepten om voorspellingen te keren) om te verifiëren dat de geïdentificeerde concepten de primaire drijvers zijn van de beslissing van het model.

Belangrijkste Bijdragen

Eerste Post-Hoc Concept-gebaseerde XAI voor Deepfakes: Dit is de eerste toepassing van post-hoc, concept-gebaseerde XAI specifiek binnen het domein van deepfake-detectie, waarbij de noodzaak voor modelhertraining of artefact-niveau supervisie wordt vermeden.
Ontdekking van een Semantisch Vocabulaire: Het werk slaagt erin een "semantisch vocabulaire" van 16 interne concepten te ontdekken die door de detector zijn geleerd, waarbij abstracte latente activaties worden gekoppeld aan menselijk interpreteerbare kenmerken (bijv. "nep-mond", "echte-ogen", "nep-nek").
Globaal en Lokaal Begrip: Het raamwerk maakt globaal modelbegrip mogelijk door te identificeren welke concepten voorspellingen drijven, terwijl CCM's ruimtelijk bewuste, concept-gebaseerde lokale verklaringen bieden die specifieke manipulatie-artefacten aanwijzen.
Counterfactual Analyse: De methode faciliteert "wat-als"-analyse, waarbij causale relaties tussen specifieke concepten en modeloutputs worden gedemonstreerd door middel van systematische interventie.

Resultaten

Conceptidentificatie: De analyse onthulde onderscheidende concepten die het model consistent richting "Nep" biaseren (bijv. $c_1, c_3, c_9, c_{10}, c_{12}, c_{14}$ ) en andere richting "Echt" (bijv. $c_0, c_5, c_7, c_8, c_{11}$ ). Sommige concepten bleken niet-discriminatief te zijn.
Semantische Gronding: Kwantitatieve mapping via IoU bevestigde dat concepten overeenkomen met specifieke gezichtsregio's (bijv. $c_5$ correleert met de neus, $c_{12}$ met nep ogen).
Getrouwheid (Faithfulness): Het concept-cloning experiment bereikte een nauwkeurigheid van 87,34% in het reproduceren van doelvoorspellingen, en gerichte interventies op foutief geclassificeerde monsters bereikten een succespercentage van 99,8% bij het corrigeren van de output van het model. Dit bevestigt dat de geleerde concept-coëfficiënten de essentiële kenmerken bevatten die voor classificatie worden gebruikt.
Manipulatie-specificiteit: De studie observeerde dat bepaalde concepten een hoge specificiteit vertonen voor specifieke deepfake-generatietechnieken (bijv. $c_3$ en $c_9$ zijn zeer prevalent in DeepFakes en Face2Face), wat aangeeft dat de detector artefacten leert die inherent zijn aan specifieke generatieve processen.

Significantie en Claims
Het artikel claimt dat deze aanpak een dieper begrip biedt van deepfake-detectiestrategieën door verder te gaan dan binaire voorspellingen en de intrinsieke kenmerken te onthullen die tijdens de training zijn geleerd. Door classificatielogica te funderen in identificeerbare gezichtsregio's en een mechanisme te bieden om modelvoorspellingen te sturen, maakt het werk meer transparante en betrouwbare detectiesystemen mogelijk. De auteurs benadrukken dat hun methode een nauwe afstemming biedt tussen de verklaring en de beslissingsfunctie, wat de getrouwheid verbetert zonder de operationele overhead van hertraining of architecturale beperkingen.

Beperkingen
De auteurs erkennen bescheiden enkele beperkingen:

Hoewel de detector zelf niet wordt hertraind, moet het EDDP-model nog steeds worden geleerd op de specifieke representatieruimte van het doelmodel.
Het aantal concepten is een handmatig gedefinieerde hyperparameter, wat het risico loopt op redundantie of onvoldoende signaal als deze niet correct wordt gekozen.
De geïdentificeerde concepten zijn geoptimaliseerd voor de specifieke modelarchitectuur (Xception) en dataset (FaceForensics++) die worden gebruikt; ze zijn mogelijk niet direct overdraagbaar naar andere modellen of datasets zonder een apart trainingsproces.