LAKAN: Landmark-assisted Adaptive Kolmogorov-Arnold Network for Face Forgery Detection

Deze paper introduceert LAKAN, een nieuw gezichtsforgery-detectiemodel dat Kolmogorov-Arnold-netwerken combineert met gezichtspunten om via adaptieve, leerbare splines de meest informatieve gebieden met vervalsingsartefacten effectiever te identificeren dan bestaande methoden.

De kern

Stel je voor dat er een nieuwe soort "digitale vervalsing" is ontstaan: Deepfakes. Dit zijn foto's en video's van mensen die er zo echt uitzien, dat je ze niet kunt onderscheiden van de werkelijkheid. Het is alsof iemand een perfecte masker maakt en er een ander gezicht op plakt. Dit is gevaarlijk voor de veiligheid van onze samenleving.

Deze paper introduceert een slimme nieuwe manier om deze nepbeelden te ontmaskeren, genaamd LAKAN. Laten we uitleggen hoe het werkt met een paar simpele vergelijkingen.

1. Het oude probleem: De starre detective

Vroeger gebruikten computers (zoals CNN's en Transformers) om nepbeelden te vinden. Denk hierbij aan een detective die een lijstje met vaste regels heeft. Bijvoorbeeld: "Als er een rare schaduw is, is het nep." of "Als de huid te glad is, is het nep."

Het probleem is dat nepmakers steeds slimmer worden. Ze veranderen hun trucs. Een detective met een star lijstje kan die nieuwe trucs niet altijd zien, omdat de regels niet flexibel genoeg zijn. Ze kijken overal even goed naar, maar missen soms de kleine details die echt belangrijk zijn.

2. De nieuwe oplossing: LAKAN (De slimme, aanpasbare detective)

De auteurs van dit paper hebben een nieuw type "detective" bedacht, gebaseerd op iets dat een KAN (Kolmogorov-Arnold Network) heet.

• De KAN: In plaats van starre regels, heeft deze detective een kleine, aanpasbare gereedschapskist. Hij kan zijn eigen regels veranderen terwijl hij kijkt. Als hij een rare schaduw ziet, past hij zijn gereedschap aan om die schaduw beter te begrijpen. Hij is veel flexibeler dan de oude detectives.
• Het probleem met de KAN: Zelfs deze slimme detective kijkt soms naar de verkeerde plek. Hij kijkt naar de achtergrond, de kleding of de lucht, terwijl het nepje eigenlijk zit in de neus of de ogen van het gezicht. Hij weet niet precies waar hij moet zoeken.

3. De magische toevoeging: De Landmark-assistent

Hier komt de echte innovatie van LAKAN (Landmark-Assisted KAN) om de hoek kijken.

Stel je voor dat je een detective hebt die blind is voor gezichten, maar hij krijgt een schets van een gezicht (de "landmarks" of gezichtspunten) als hulpmiddel. Deze schets toont precies waar de ogen, neus, mond en kaaklijn zitten.

• Hoe het werkt: LAKAN gebruikt deze schets om de detective te sturen. Het zegt: "Kijk niet naar de achtergrond! Kijk hier, bij de rand van de lippen, en hier, bij de ooghoeken. Daar zitten de neppe details!"
• De adaptieve kracht: Voor elk gezicht dat de detective ziet, maakt LAKAN een unieke schets en past de gereedschapskist (de KAN) direct aan die specifieke persoon aan. Het is alsof de detective voor elke verdachte een nieuwe, op maat gemaakte loep pakt om precies op de plekken te kijken waar de nepmaker waarschijnlijk fouten heeft gemaakt.

4. Wat levert dit op?

In de experimenten hebben de auteurs hun nieuwe detective getest op duizenden nepvideo's van verschillende makers.

• Resultaat: LAKAN was veel beter in het vinden van nepbeelden dan de oude methoden.
• De reden: Omdat hij niet blindelings overal naar kijkt, maar slim gebruikmaakt van de structuur van het gezicht (de landmarks) om zijn "oog" te richten op de plekken waar de nepmakers het vaakst fout gaan.

Samenvatting in één zin

LAKAN is als een super-detective die niet alleen slimme regels heeft om nep te herkennen, maar ook een magische bril draagt die hem precies laat zien waar hij moet kijken op een gezicht, zodat hij geen enkel nepje kan ontsnappen.

Dit maakt het een krachtig wapen in de strijd tegen digitale vervalsingen, omdat het zich aanpast aan elke nieuwe manier waarop nepmakers proberen te bedriegen.

Technische samenvatting

Probleemstelling

De snelle vooruitgang in deepfake-generatietechnieken heeft geleid tot vervalsingen met een uitzonderlijk hoge perceptuele kwaliteit, wat een ernstige bedreiging vormt voor de sociale veiligheid. Bestaande detectiemethoden, voornamelijk gebaseerd op Convolutionele Neurale Netwerken (CNN's) en Transformers, presteren goed, maar hebben beperkingen:

• Ze maken gebruik van vaste activatiefuncties (zoals ReLU of GELU).
• Deze vaste functies passen een uniforme transformatie toe op alle kenmerken, wat suboptimaal kan zijn voor het modelleren van de uiterst complexe, niet-lineaire en subtiele patronen van vervalsingsartefacten.
• Algemene beeldencoders missen vaak specifieke richtlijnen om zich te focussen op de kritieke gezichtsgebieden waar vervalsingssporen het meest waarschijnlijk voorkomen.

Methodologie

De auteurs stellen LAKAN (Landmark-assisted Adaptive Kolmogorov-Arnold Network) voor, een nieuw detectiemodel dat twee kerninnovaties combineert:

1. Kolmogorov-Arnold Netwerk (KAN):

   • In plaats van vaste activatiefuncties op de knooppunten (zoals bij MLP's), gebruikt KAN leerbare B-spline-functies op de randen (edges) van het netwerk.
   • Dit biedt superieure flexibiliteit en functionele benaderingscapaciteit, waardoor het netwerk beter in staat is om de complexe, niet-lineaire verdelingen van vervalsingsartefacten te modelleren.

2. Landmark-geassisteerde Adaptiviteit:

   • Het model gebruikt gezichtspunten (facial landmarks) als structurele prior.
   • Een LAKAN-module wordt geïntegreerd in de verschillende stadia van een beeldencoder (bijv. ConvNeXt).
   • Werkingsprincipe:
     • De coördinaten van de 68 gezichtspunten worden verwerkt via een sinusoidale positionele embedding en een lichtgewicht MLP.
     • Dit genereert een dynamische "guidance vector" die wordt omgezet in specifieke parameters voor de KAN-laag: spline-weights ($W_{spline}$) en spline-scales ($S_{spline}$).
     • Deze parameters worden in real-time gegenereerd voor elke afzonderlijke afbeelding, waardoor de activatiefuncties van het netwerk zich aanpassen aan de specifieke structuur van het gezicht.
   • Gating-mechanisme: De output van de dynamische KAN-laag wordt gesigmoidiseerd om een gating-signaal te creëren. Dit signaal wordt vermenigvuldigd met de originele feature map, waardoor het model zijn aandacht dynamisch richt op de meest informatieve gezichtsregio's (waar artefacten waarschijnlijk zitten) en minder relevante gebieden onderdrukt.

Belangrijkste Bijdragen

• Introductie van KAN voor Deepfake-detectie: Het is de eerste toepassing die KAN gebruikt om de uitdaging van het vangen van subtiele, niet-lineaire vervalsingsartefacten aan te pakken.
• Ontwikkeling van de LAKAN-module: Een nieuwe, plug-and-play module die gezichtspunten gebruikt om de interne parameters van een KAN dynamisch te genereren. Dit creëert een krachtige combinatie tussen geometrische priors en het leerproces van het netwerk.
• Adaptieve Focus: Het model genereert instance-specifieke parameters die een algemene beeldencoder sturen naar de meest relevante gezichtsgebieden, ongeacht het type vervalsing.

Resultaten

De auteurs hebben hun methode uitgebreid getest op meerdere publieke datasets (CDF2, DFDC, DFDCP, FFIW) en vergeleken met state-of-the-art (SOTA) methoden.

• Cross-Dataset Evaluatie: LAKAN behaalde de beste resultaten op alle geteste datasets. Bijvoorbeeld, op de CDF2-dataset behaalde het een AUC van 96,63%, wat hoger is dan de vorige beste methoden (zoals RAE met 95,50%).
• Cross-Manipulatie Evaluatie: Opgeschoold op alleen echte gezichten (FF++), toonde LAKAN uitstekende generalisatievermogen voor onbekende vervalsingstechnieken (DeepFakes, Face2Face, FaceSwap, NeuralTextures), met een AUC van 100% op DeepFakes en Face2Face.
• Ablatie-studies:
  • Het verwijderen van ofwel de KAN-component ofwel de landmark-informatie leidde tot een daling in prestaties, wat aantoont dat beide componenten noodzakelijk zijn voor de optimale werking.
  • Het gating-mechanisme bleek superieur aan alternatieve fusiestrategieën zoals optelling, vermenigvuldiging of concatenatie.
  • LAKAN verbeterde de prestaties aanzienlijk op verschillende beeldencoders (EfficientNet, Swin Transformer, ConvNeXt), waarbij ConvNeXt als backbones de beste resultaten leverde.
• Visuele Analyse: Grad-CAM visualisaties bevestigden dat LAKAN bij vervalste afbeeldingen de aandacht richt op gezichtscontouren met artefacten, terwijl het bij echte afbeeldingen geen specifieke gebieden activeert.

Betekenis

LAKAN vertegenwoordigt een significante doorbraak in het veld van deepfake-detectie door:

1. De beperkingen van vaste activatiefuncties in traditionele netwerken te overwinnen door het gebruik van leerbare splines.
2. Geometrische structuur (landmarks) effectief te integreren in het leerproces om de modelfocus te sturen, wat essentieel is voor het detecteren van subtiele manipulaties.
3. Een hoog generalisatievermogen te bieden, wat cruciaal is voor de praktijk waar verdedigers vaak niet weten welke specifieke vervalsingstechniek een aanval gebruikt.

Het paper toont aan dat het combineren van wiskundig geavanceerde netwerkbouwstenen (KAN) met domeinspecifieke priors (landmarks) een robuuste oplossing biedt voor de toenemende complexiteit van face forgery.