CausalCLIP: Causally-Informed Feature Disentanglement and Filtering for Generalizable Detection of Generated Images

CausalCLIP is een nieuw raamwerk dat door middel van causale inferentie en feature-disentangling forensische kenmerken van gegenereerde afbeeldingen scheidt van irrelevante patronen, waardoor de generalisatievermogen van detectiemodellen aanzienlijk wordt verbeterd.

De kern

Stel je voor dat er een nieuwe soort "kunstvervalsers" is opgestaan: kunstmatige intelligentie (AI) die foto's maakt die zo echt lijken, dat je ze nauwelijks van de werkelijkheid kunt onderscheiden. Dit is geweldig voor creatieve projecten, maar het is ook een nachtmerrie voor veiligheid, omdat nepnieuws en valse bewijsstukken hiermee gemaakt kunnen worden.

De grote vraag is: Hoe bouw je een detector die elke nepfoto herkent, zelfs als de vervalser een nieuwe, nog onbekende AI-methode gebruikt?

Het oude antwoord was: "Laten we een agent opleiden die let op specifieke foutjes, zoals een rare pixelpatroon bij de ene AI of een vreemde kleur bij de andere." Het probleem hiermee is dat deze agent te veel leert op die specifieke foutjes. Zodra de vervalser een nieuwe trucje gebruikt, is de agent blinde.

CausalCLIP is een nieuwe, slimme aanpak die dit probleem oplost. Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het probleem: De "Vervuilde" Zolder

Stel je voor dat je een grote zolder hebt vol met spullen (de data). Je zoekt naar één specifiek voorwerp: een echte sleutel (het bewijs dat een foto nep is).

• De oude methode: Je laat een hondje de hele zolder doorzoeken. De hond leert dat "als er een blauwe doos staat, is het nep". Maar als de vervalser straks een rode doos gebruikt, ziet de hond het neppe niet meer. De hond is verward door alle rommel (de "spookfactoren" of non-causal features) die niets met de nepheid te maken hebben, zoals de stijl van de foto of de camera-instellingen.
• Het resultaat: De hond werkt perfect in de oude zolder, maar faalt volledig in een nieuwe zolder.

2. De oplossing: CausalCLIP als een Slimme Sorteerder

CausalCLIP doet iets anders. In plaats van de hele zolder te laten doorzoeken, heeft het twee slimme stappen:

Stap 1: De Grote Sorteerder (Disentanglement)

Stel je voor dat je een magische machine hebt die alle spullen op de zolder in twee bakken gooit:

• Bak A (De Echte Sleutel): Dit zijn de dingen die altijd bewijzen dat iets nep is, ongeacht hoe de nepmaker het doet. Bijvoorbeeld: de manier waarop licht op een nepgezicht valt, of een subtiele onnatuurlijke textuur die in elke nepfoto zit. Dit noemen ze causale kenmerken.
• Bak B (De Rommel): Dit zijn de dingen die alleen toevallig bij de oude nepfoto's hoorden, zoals "deze foto had een blauwe rand" of "deze had een vreemde JPEG-kwaliteit". Dit noemen ze niet-causale kenmerken.

CausalCLIP scheidt deze twee bakken strikt van elkaar. Het kijkt niet naar de rommel, maar alleen naar de echte sleutel.

Stap 2: De Tegenstander (Adversarial Masking)

Nu hebben we de bak met de echte sleutels, maar er zit misschien nog wel wat rommel in die we niet hebben gezien. Hoe zorgen we dat de detector zich alleen op de sleutel richt?

Hier komt een slimme truc om de hoek kijken:

• We trainen een hoofd-detector om de sleutel te vinden.
• Tegelijkertijd trainen we een slimme tegenstander (een soort "tegen-agent") die probeert de sleutel te vinden in de rommel-bak.
• Als de tegenstander het neppe kan vinden in de rommel, dan betekent dat dat er nog te veel rommel in de sleutel-bak zit.
• De machine leert dan: "Weg met die rommel!" en past de filter aan zodat de tegenstander niets meer kan vinden in de rommel-bak.

Dit dwingt het systeem om zich 100% te focussen op wat echt belangrijk is: de onwrikbare bewijzen dat een foto nep is.

Waarom is dit zo goed?

Stel je voor dat je een detective bent die altijd nepfoto's opspoort.

• De oude detectives leerden: "Als de foto een blauwe rand heeft, is het nep." Zodra de vervalser een foto met een rode rand maakt, is de detective verdwaasd.
• CausalCLIP leert: "Kijk naar de manier waarop de huid eruitziet; dat is altijd onnatuurlijk bij nepfoto's, of de rand nu blauw, rood of groen is."

Het Resultaat

In de tests van het paper bleek CausalCLIP een echte superheld te zijn:

1. Alles zien: Het werkt niet alleen op de AI's die het heeft gezien tijdens het leren, maar ook op volledig nieuwe, onbekende AI's die nog nooit bestaan hebben.
2. Robuust: Zelfs als je de foto's een beetje verwazigt of comprimeert (zoals op WhatsApp), blijft het systeem werken, terwijl andere systemen dan in de war raken.
3. Beter dan de rest: Het scoorde aanzienlijk beter dan de beste huidige methoden, met name in het herkennen van nepfoto's van nieuwe generaties AI.

Kort samengevat:
CausalCLIP is als een detective die stopt met kijken naar de kleding van de verdachte (de stijl, de randen, de specifieke foutjes) en zich puur richt op de motief en de handtekening van de misdaad. Daardoor kan hij elke nieuwe vervalser opsporen, ongeacht welke nieuwe kleding ze dragen.

Technische samenvatting

Probleemstelling

De snelle vooruitgang van generatieve modellen (zoals GANs en Diffusiemodellen) heeft de drempel voor het maken van hyperrealistische valse afbeeldingen verlaagd, wat een ernstig risico vormt voor de publieke veiligheid en mediavertrouwen. Bestaande methoden voor het detecteren van gegenereerde afbeeldingen hebben echter twee grote beperkingen:

1. Overfitting op specifieke artefacten: Traditionele methoden leren vaak generator-specifieke artefacten (zoals upsample-traces of frequentie-anomalieën) die niet generaliseren naar nieuwe, onbekende generatiemodellen.
2. Verstrengelde representaties: Zelfs geavanceerde methoden die gebruikmaken van voorgeprogrammeerde visueel-taalmiddelen (zoals CLIP) werken in sterk verstrengelde feature-ruimtes. Hierin zijn causale forensische aanwijzingen (de ware reden waarom een afbeelding nep is) vermengd met spurious (schijnbare) patronen of dataset-specifieke bias. Dit leidt tot een gebrek aan robuustheid bij distributiewisselingen (bijv. van GAN naar Diffusie).

Methodologie: CausalCLIP

CausalCLIP is een raamwerk dat causale inferentie toepast om verstrengelde features expliciet te ontwarren en te filteren. Het doel is om alleen de stabiele, overdraagbare causale features te behouden en niet-causale (generator-specifieke) ruis te onderdrukken.

Het proces bestaat uit de volgende kernmodules:

1. Feature Extractie:

   • Een bevroren CLIP-encoder (ViT-L/14) verwerkt de invoerafbeelding om hoogwaardige semantische features te extraheren. Deze features bevatten echter zowel causale als niet-causale componenten.

2. Factorisatiemodule (Disentanglement):

   • Deze module probeert de verstrengelde CLIP-features ($E$) te splitsen in twee complementaire delen: causale features ($Z_c$) en niet-causale features ($Z_{nc}$).
   • Er wordt een Feature Mask ($M$) geleerd via een Gumbel-Softmax-functie. Dit masker selecteert elementen om de causale subspace te isoleren: $\tilde{Z}_c = M \odot E$.
   • Het masker wordt geoptimaliseerd om statistische onafhankelijkheid tussen de causale en niet-causale subspace te maximaliseren, gebruikmakend van de Hilbert-Schmidt Independence Criterion (HSIC).

3. Adversarial Masking Module (Filtering):

   • Om ervoor te zorgen dat de classifier zich uitsluitend op de stabiele causale features baseert, wordt een minimax-spel gebruikt:
     • Een Classifier probeert "Real vs. Fake" te voorspellen op basis van de gemaskerde (causale) features.
     • Een Adversariaal Netwerk probeert "Real vs. Fake" te voorspellen op basis van de uitgefilterde (niet-causale) features.
   • Het doel is om het masker zo te trainen dat de adversariale classifier faalt (de niet-causale features zijn dan onbruikbaar voor detectie), terwijl de hoofdclassifier succesvol blijft. Dit forceert het model om alleen causale cues te gebruiken.

4. Counterfactual Interventies:

   • Om de robuustheid te vergroten, worden willekeurige dimensies in de causale features gemaskeerd (simulatie van distributieperturbaties). De classifier wordt getraind om consistente voorspellingen te doen ondanks deze verstoringen, wat zorgt voor causale invariantie.

5. Optimalisatie:

   • De totale loss-functie combineert classificatie-verlies, adversariaal verlies, masker-regulering (sparsiteit en HSIC) en counterfactual consistentie-verlies.

Belangrijkste Bijdragen

• Paradigmaverschuiving: In plaats van alleen irrelevante features te onderdrukken in een verstrengelde ruimte (zoals bij VIB-Net), stelt CausalCLIP een "ontwarren-én-filteren" paradigma voor. Dit behoudt stabiele forensische bewijzen die effectief blijven over verschillende generatiemodellen heen.
• Causale Architectuur: Het introduceert een expliciete structuur met een factorisatiemodule en een adversariaal maskeringsmechanisme, gebaseerd op structurele causale modellen (SCM), om causale van niet-causale factoren te scheiden.
• State-of-the-Art Generalisatie: Het framework bereikt aanzienlijke verbeteringen in cross-model generalisatie, zelfs wanneer getest op volledig onzichtbare generatiemodellen die niet in de trainingsdata zaten.

Resultaten

De auteurs hebben CausalCLIP getest op diverse datasets, waarbij ze trainden op één type generator (bijv. ProGAN of Stable Diffusion v1.4) en testten op 15 andere modellen (inclusief GANs, Diffusiemodellen en DeepFakes).

• Prestatieverbetering:
  • In vergelijking met de state-of-the-art methoden (zoals UnivFD, CLIPping, VIB-Net) boekte CausalCLIP een verbetering van 6,83% in nauwkeurigheid (ACC) en 4,06% in gemiddelde precisie (AP) bij het testen op onzichtbare generatiemodellen.
  • Bij training op Diffusiemodellen en testen op GANs (en vice versa) bleef de prestatie van CausalCLIP consistent hoog, terwijl andere methoden vaak met meer dan 40% inzakte.
• Ablatie-studies:
  • Het combineren van zowel de disentanglement-module als het masking-module leverde de beste resultaten op, met een absolute winst van +24,27% in ACC ten opzichte van de baseline (UnivFD).
  • Visualisaties (UMAP) tonen aan dat CausalCLIP een duidelijke scheiding creëert tussen echte en neppe afbeeldingen, zelfs in onzichtbare domeinen, terwijl CLIP-features en VIB-Net nog steeds overlap vertonen.
• Robuustheid:
  • Het model toont superioriteit tegenover veelvoorkomende verstoringen zoals JPEG-compressie en Gaussische blur, waarbij de prestaties stabiel blijven terwijl andere methoden sterk degraderen.

Betekenis

CausalCLIP biedt een theoretisch onderbouwde oplossing voor het fundamentele probleem van generalisatie in AI-detectie. Door expliciet te focussen op causale forensische cues en te vermijden dat het model afhankelijk wordt van spurious correlaties (zoals specifieke texturen van een bepaalde generator), creëert het een robuustere detector voor de toekomst. Dit is cruciaal voor de beveiliging tegen misbruik van generatieve AI, aangezien nieuwe generatiemodellen voortdurend worden ontwikkeld en bestaande detectoren snel verouderd raken. De methode legt een sterke basis voor toekomstig forensisch onderzoek dat gericht is op causale representatielearning.