Cross-Domain Generalization Limits of Vision Foundation Models in Facial Deepfake Detection

Dit artikel evalueert systematisch de grenzen van cross-domein generalisatie van Vision Foundation-modellen bij de detectie van gezichtsdeepfakes en onthult dat deze modellen, hoewel ze uitstekend presteren bij het identificeren van volledige gezichtssynthese, moeite hebben met gelokaliseerde bewerkingsmethoden vanwege inherente afwegingen tussen pre-trainingsparadigma's en lineaire probe-evaluatiestructuren.

De kern

Stel je voor dat je een beveiligingsagent bent bij een zeer exclusieve club. Je taak is het opsporen van nep-identiteitsbewijzen. Jarenlang ben je getraind om te zoeken naar specifieke vlekken of inktvlekken achtergelaten door een bepaalde printer (de "oude" deepfake-generatoren). Maar nu is er een nieuwe, ultra-intelligente printer aangekomen die helemaal geen vlekken achterlaat; hij print perfecte, hyperrealistische ID's. Je oude training faalt volledig omdat je naar de verkeerde aanwijzingen zocht.

Dit artikel is als een rapport van een onderzoeksteam dat een nieuwe generatie "superzintuigen" test om te zien of ze deze nieuwe, perfecte vervalsingen kunnen opsporen zonder dat ze voor elke nieuwe printer opnieuw getraind hoeven te worden.

Het Probleem: De "Vingerafdruk"-Val

Traditionele beveiligingssystemen (oude AI-detectoren) zijn als detectives die de specifieke vingerafdruk van één crimineel hebben gememoriseerd. Als er een nieuwe crimineel opduikt met een andere vingerafdruk, raakt de detective in de war en faalt hij. In de wereld van AI raken deze detectoren "vast" op kleine, specifieke fouten die zijn achtergelaten door oude nep-afbeeldingsmakers, waardoor ze nieuwe soorten vervalsingen niet kunnen herkennen.

De Oplossing: De "Superzintuigen" (Vision Foundation Models)

De onderzoekers besloten drie verschillende soorten "superzintuigen" (zogenaamde Vision Foundation Models) te testen. Dit zijn enorme AI-geesten die al hebben geleerd de wereld te begrijpen door naar miljarden foto's te kijken. De onderzoekers leerden hen niet om vervalsingen op te sporen; ze vroegen alleen: "Kun je beschrijven wat je ziet?" en gebruikten vervolgens een zeer eenvoudige, snelle test (een "lineaire sonde") om te zien of je beschrijving het verschil kon maken tussen een echt gezicht en een nepgezicht.

Ze testten drie verschillende "superzintuigen":

1. De Strenge Leraar (RoPE-ViT): Deze werd getraind door een strenge leraar die hem dwong om precies te memoriseren hoe een "kat" of een "hond" eruitziet. Hij is uitstekend in het herkennen van grote, duidelijke vormen, maar mist mogelijk kleine details.
2. De Zelfgeleerde Ontdekker (DINOv3): Deze leerde door naar miljoenen foto's te kijken zonder leraar, en bedacht zelf hoe dingen bij elkaar passen. Hij is zeer goed in het begrijpen van geometrie en hoe licht op een gezicht valt.
3. De Alwetende Bibliothecaris (NVIDIA C-RADIOv4-H): Dit is een gigantisch brein dat luisterde naar drie verschillende leraren tegelijk: één die hem leerde over vormen, één over woorden, en één over randen en contouren. Hij probeert alles tegelijk te begrijpen.

De Test: De "DF40"-Uitdaging

De onderzoekers stelden deze superzintuigen op de proef met een enorme uitdaging genaamd DF40. Deze uitdaging bestond uit twee zeer verschillende soorten nepgezichten:

• De "Geheel Nieuwe Persoon"-Vervalsingen: Dit zijn afbeeldingen waarbij de AI een heel gezicht van scratch heeft gegenereerd (zoals MidJourney of DALL-E).
• De "Gezichtswissel"-Vervalsingen: Dit zijn afbeeldingen waarbij slechts een klein deel van het gezicht is bewerkt of gewisseld (zoals het veranderen van iemands ogen of mond).

Wat Ze Vonden

1. Wanneer het hele gezicht nep is (De "Geheel Nieuwe Persoon"-Test):
De resultaten waren indrukwekkend. De "Alwetende Bibliothecaris" en de "Strenge Leraar" deden het fantastisch. Omdat deze vervalsingen vreemde, globale vervormingen hebben (het hele gezicht ziet er iets "verkeerd" uit), konden de superzintuigen ze gemakkelijk opsporen. Het was als het opsporen van een pop in een menigte; de hele vorm was verkeerd, dus de AI wist dat het nep was.

2. Wanneer slechts een klein deel nep is (De "Gezichtswissel"-Test):
Hier werd het lastig. Toen de onderzoekers de AI testten op vervalsingen waarbij slechts een klein deel van het gezicht was bewerkt (met tools zoals StyleCLIP), crashten de meeste superzintuigen.

• De Mislukking: De "Strenge Leraar" en de "Zelfgeleerde Ontdekker" gaven in feite op en gokten willekeurig. Ze waren zo gefocust op het grote geheel dat ze de kleine, lokale bewerkingen misten.
• De Overlevende: De "Alwetende Bibliothecaris" (NVIDIA C-RADIOv4-H) was de enige die standhield. Omdat hij was getraind om aandacht te besteden aan randen en contouren (zoals een bibliothecaris die precies weet waar de rug van een boek zit), kon hij nog steeds de subtiele naden opsporen waar het gezicht was bewerkt, zelfs als de rest van het gezicht perfect leek.

3. Het "Vage Foto"-Probleem:
De onderzoekers ontdekten ook een groot zwak punt. Als het nepbeeld zeer lage resolutie had (klein en wazig) voordat het werd uitgerekt om in het zicht van de AI te passen, faalden bijna alle superzintuigen. Het is als proberen een vervalsing op te sporen op een foto die zo sterk is uitgerekt dat hij bepixelde is; de aanwijzingen worden weggespoeld. Een specifiek hulpmiddel dat is ontworpen om naar "frequenties" te kijken (zoals een radio-tuner) deed het hier goed, maar de grote superzintuigen hadden moeite.

De Conclusie

Het artikel concludeert dat hoewel deze enorme, vooraf getrainde AI-geesten krachtig zijn, ze nog geen wondermiddel zijn.

• Ze zijn uitstekend in het opsporen van wanneer een heel gezicht een nepcreatie is.
• Ze worstelen wanneer de vervalsing een kleine, lokale bewerking is op een echt gezicht.
• De "Alwetende Bibliothecaris" (multi-leraar model) is momenteel het meest veerkrachtig, waarschijnlijk omdat hij heeft geleerd om de wereld vanuit meerdere hoeken (randen, vormen en woorden) tegelijkertijd te bekijken.

Kortom: Als je een nep wilt opsporen dat eruitziet als een geheel nieuwe persoon, zijn deze superzintuigen geweldig. Maar als je een kleine bewerking op een echt gezicht wilt opsporen, moeten we ze nog steeds leren om dichter naar de kleine details te kijken.

Technische samenvatting

Technische Samenvatting: Grenzen van Cross-Domein Generalisatie van Vision Foundation Models bij Detectie van Faciale Deepfakes

Probleemstelling

De snelle evolutie van generatieve modellen, met name Denoising Diffusion Probabilistic Models (DDPM's) en Generative Adversarial Networks (GAN's), heeft hyperrealistische faciale deepfakes voortgebracht die een kritieke kwetsbaarheid in digitale forensiek blootleggen: het onvermogen van detectoren om te generaliseren naar onbekende manipulatietechnieken. Traditionele detectienetwerken lijden vaak onder "representatie-instorting", waarbij ze overfitten op het specifieke bemonsteringsruis of lokale artefactenafdrukken van de trainingsgenerator in plaats van een robuuste representatie van "echtheid" te leren. Bijgevolg falen detectoren die zijn getraind op GAN-gebaseerde synthese vaak wanneer ze worden geconfronteerd met artefacten van moderne Diffusion-gebaseerde modellen of lokale gezichtsbewerkingstechnieken. Dit artikel onderzoekt of moderne Vision Foundation Models (VFMs) kunnen dienen als generaliseerbare, direct inzetbare feature-extractoren die in staat zijn forensische anomalieën te volgen over volledig onbekende generatieve manifolds.

Methodologie

De studie hanteert een systematisch cross-domein evaluatiekader om de beschrijvende capaciteit van bevroren Vision Foundation Models te testen op de DF40-benchmark. De methodologie isoleert de ruwe representatieruimte van voorgetrainde backbones door hun interne gewichten te bevriezen en een lichtgewicht downstream lineaire probe-strategie toe te passen.

1. Preprocessing

Om achtergrondverstorende factoren uit te sluiten, isoleren de auteurs het gezichtsgebied van belang (Region of Interest, ROI) uit invoerafbeeldingen voordat feature-extractie plaatsvindt. Dit zorgt ervoor dat de modellen authentieke anomalieën in gezichtssynthese beoordelen in plaats van te vertrouwen op globale omgevingskorte wegen.

2. Geëvalueerde Foundation Model-Paradigma's

Drie verschillende structurele configuraties die verschillende voortrainingsparadigma's vertegenwoordigen, zijn geëvalueerd:

• Superviserend Macro-Semantisch Paradigma: Een RoPE-ViT-architectuur voorgetraind op ImageNet-1k. Dit model optimaliseert harde semantische klassengrenzen, prioriteert globale object-symmetrie en negeert omgevingsvariaties.
• Zelftoezichthoudend Geometrisch Paradigma: Meta's DINOv3, voorgetraind op de LVD-1689M collectie van natuurlijke webafbeeldingen. Met behulp van gemaskerde afbeeldingsmodellering behoudt het lokale ruimtelijke relaties en is het gevoelig voor architecturale symmetrie en continuïteit van het lichtveld.
• Agglomeratief Multi-Leraar Paradigma: NVIDIA's C-RADIOv4-H, een massieve architectuur die meerdere leraren simultaan distilleert: geometrische tokens (van DINOv3), semantische tekstaligneringen (van SigLIP2) en expliciete randgrenzen (van SAM3).

3. Downstream Lineaire Probing

Voor elke bevroren backbone $B_\theta$ mapt een lineaire probedag, geparametriseerd door een gewichtsmatrix $W$ en bias $b$, het geëxtraheerde feature-vector $f$ naar een binaire authenticiteitsscalar met behulp van een sigmoid-activatiefunctie. De optimalisatie maakt gebruik van een Binary Cross-Entropy-verliesfunctie.

4. Experimentele Opstelling

De evaluatie maakt gebruik van een diverse trainingsset van ongeveer 21.000 authentieke en 20.000 gemanipuleerde gezichten, afkomstig uit CelebA-HQ, FFHQ, LaPa en verschillende generatieve repositories (100KFake, ThisPersonDoesNotExist). Het testprotocol omvat:

• In-Distribution: Standaard testsets die overeenkomen met de trainingsdistributie.
• Out-of-Distribution (OOD): Specifieke benchmarks uit de DF40-suite, waaronder:
  • Gehele Gezichtssynthese: MidJourney en WhichFaceIsReal.
  • Lokale Gezichtsbewerking: CollabDiff en StyleCLIP.

Belangrijkste Resultaten

In-Distribution Prestaties

Op in-distribution data presteren de meeste modellen goed. FreqNet behaalt de hoogste precisie (0,9936), terwijl DINOv3 de hoogste alomvattende prestatie levert met een F1-score van 0,9930 en een nauwkeurigheid van 0,9920. Dit bevestigt dat zowel expliciete lokale frequentieafdrukken als massale zelftoezichthoudende geometrische feature-ruimtes de authenticiteit van deepfakes effectief kunnen in kaart brengen wanneer trainings- en testdistributies overeenkomen.

Cross-Domein Generalisatie (OOD)

De resultaten tonen een scherp verschil in prestaties op basis van het vervalsingsmechanisme:

1. Lokale Gezichtsbewerking (CollabDiff & StyleCLIP):

   • Modelinstorting: Standaard lineaire probes (ViT LP, DINOv3 LP) en standaard CNN's (EfficientNet-B0) ondergaan ernstige functionele degradatie en convergeren naar een nauwkeurigheid van ongeveer 0,5000. Dit duidt op een totale modelinstorting waarbij classifiers geen zinvolle representaties kunnen mappen en terugvallen op raden (het voorspellen van alle invoer als nep).
   • Resolutiegevoeligheid: Een primaire drijfveer voor dit falen is de lage native patch-resolutie (≈90×120 pixels) van bronafbeeldingen in deze datasets. Het opschalen van deze tensors verslechtert micro-texturele forensische grenzen, waardoor standaardmodellen falen.
   • Frequentie versus Multi-Leraar: FreqNet slaagt op CollabDiff (0,8645 nauwkeurigheid) dankzij zijn gespecialiseerde frequentievolging, maar stort in op de complexere StyleCLIP-pijplijn (0,2605 nauwkeurigheid). Daarentegen komt NVIDIA C-RADIOv4-H naar voren als de meest veerkrachtige baseline, met behoud van een nauwkeurigheid van 0,6403 op StyleCLIP door gebruik te maken van zijn multi-leraar rand- en segmentatietokens.

2. Gehele Gezichtssynthese (MidJourney & WhichFaceIsReal):

   • In deze scenario's laat volledige synthese globale geometrische markers achter. Standaard visuele featurelagen bereiken sterke prestaties.
   • Superviserend ViT presteert foutloos op MidJourney (0,9907 nauwkeurigheid), gelijkend aan InceptionResNet.
   • DINOv3 fungeert als de beslissende winnaar op WhichFaceIsReal (0,9055 nauwkeurigheid), en presteert beter dan zowel superviserende opstellingen als de multi-leraar lay-outs.

Betekenis en Claims

Het artikel claimt de intrinsieke trade-offs tussen voortrainingsparadigma's en parameterschaal in kaart te brengen in de context van deepfake-detectie. De primaire betekenis van het werk ligt in het blootleggen van de grenzen van lineaire probe-evaluatiestructuren:

• Paradigma-gevoeligheid: Bevroren fundamentele features vangen globale structurele vervormingen in uitdagingen voor gehele gezichtssynthese gemakkelijk op, maar ondergaan aanzienlijke degradatie wanneer ze worden geconfronteerd met lokale gezichtsbewerkingstechnieken.
• Veerkracht van Multi-Leraar Architecturen: De agglomeratieve multi-leraar representatie (NVIDIA C-RADIOv4-H) wordt geïdentificeerd als de meest veerkrachtige baseline onder extreme domeinverschuivingen, waarbij het succesvol rand- en semantische grenzen behoudt waar traditionele CNN's en standaard zelftoezichthoudende modellen instortten. Dit onderstreept de kritieke waarde van multi-taak voortrainingsdoelen bij het genereren van robuuste, algemeen toepasbare forensische beschrijvers.
• Beperkingen van Huidige Benaderingen: De studie benadrukt dat huidige lineaire probe-configuraties, die vertrouwen op globaal gepoolde tokenrepresentaties, fundamenteel fijne ruimtelijke relaties en lokale patch-niveau inconsistenties verwerpen. Deze structurele bottleneck verklaart het falen om micro-blending-artefacten in lokale bewerkingsdatasets robuust te volgen.

De auteurs concluderen dat foundation modellen, hoewel ze hoge discriminatiecapaciteiten bieden voor gehele gezichtssynthese, lokale bewerkingstechnieken fundamentele grenzen blootleggen in huidige detectiearchitecturen. Dit vereist toekomstig werk dat verder gaat dan globale pooling om token-niveau consistentie en cross-attention-mechanismen te verkennen die ruimtelijke features combineren met lokale frequentiebeschrijvers.