R-FLoRA: Residual-Statistic-Gated Low-Rank Adaptation for Single-Image Face Morphing Attack Detection

1. Het Probleem

Gezichtsherkenningssystemen (FRS) worden veel gebruikt bij grenscontrole en digitale identiteitsverificatie. Een grote bedreiging voor deze systemen zijn gezichtsmorphing-aanvallen. Hierbij worden de gezichten van twee of meer personen samengevoegd tot één plausibel beeld dat door zowel mensen als algoritmen als een geldige identiteit wordt herkend.

Het detecteren van deze aanvallen is complex, vooral in het Single-Image Face Morphing Attack Detection (S-MAD) scenario. In tegenstelling tot Differential MAD (waarbij een live foto wordt vergeleken met een referentie in een paspoortchip), moet S-MAD een morphing-aanval detecteren op basis van één enkele afbeelding, zonder toegang tot een vertrouwde bron. Dit maakt het extreem moeilijk om artefacten te onderscheiden van natuurlijke variaties, vooral gezien de diversiteit aan generatiemethoden (van traditionele landmerken tot geavanceerde diffusion-modellen). Bestaande methoden kampen vaak met gebrek aan generalisatie naar onbekende morphing-technieken en datasets.

2. Methodologie: Het R-FLoRA Framework

De auteurs stellen een nieuw framework voor dat Laplacian-residu-statistieken combineert met een bevroren foundation-scale Vision Transformer (ViT). Het doel is om lokale, hoogfrequente artefacten te detecteren zonder de semantische context van het grote model te verliezen.

De architectuur bestaat uit de volgende kerncomponenten:

• Bevroren Backbone (Frozen ViT): Het model gebruikt een vooraf getrainde Vision Transformer (bijv. CLIP ViT-L/14) waarvan de gewichten tijdens het trainen vrij zijn. Dit behoudt de rijke semantische representaties en voorkomt overfitting.
• Laplacian Residual Branch: Een aparte tak verwerkt de invoerafbeelding via een Laplacian-filter (na grijstint-conversie en Gaussische smoothing). Dit creëert een residukaart die hoogfrequente onregelmatigheden en textuurartefacten benadrukt die kenmerkend zijn voor morphing. Per patch worden statistieken berekend (gemiddelde, variantie en energie).
• R-FLoRA (Residual-Statistic-Gated Low-Rank Adaptation):
  • Dit is een lichtgewicht aanpassingsmechanisme dat de attention-projecties (Query en Value) van de laatste $k$ lagen van de ViT aanpast.
  • In plaats van statische fine-tuning, worden de low-rank updates (LoRA) dynamisch gemoduleerd door een scalair "gate"-signaal. Dit signaal wordt afgeleid van de globale Laplacian-residu-statistieken van de specifieke invoerafbeelding.
  • Hierdoor kan het model per sample beslissen hoeveel het zich moet richten op morphing-gerelateerde cues.
• Res-FiLM (Residual Feature-wise Linear Modulation): Een gedeeld netwerk fuseert de patch-gebaseerde residu-statistieken met de token-embeddings van de backbone. Dit injecteert lokale forensische bewijzen in de globale representatie zonder de semantische structuur te verstoren.
• Cross-Attention Pooling: In plaats van eenvoudige gemiddelde pooling, wordt een cross-attention mechanisme gebruikt met geleerde queries. Dit zorgt voor een adaptieve aggregatie van de tokens, waarbij het model zich kan focussen op de patches met de sterkste morphing-evidence.
• Trainingsdoel (Loss Function): Het model wordt getraind met een combinatie van:
  • Binary Cross-Entropy (voor classificatie).
  • Sparse Multiple Instance Learning (MIL) voor patch-niveau detectie.
  • Residual-Contrastive Alignment (RCA): Een nieuwe loss-functie die ervoor zorgt dat de gefuseerde tokens voor "echte" (bona fide) afbeeldingen dicht bij de originele backbone-features blijven, terwijl ze voor morphs worden gescheiden.

3. Belangrijkste Bijdragen

1. Residu-geconditioneerde integratie: Het koppelen van interpreteerbare hoogfrequente Laplacian-cues aan een bevroren foundation model, wat de generalisatie naar onbekende morphing-technieken verbetert.
2. R-FLoRA Module: Een innovatieve, statische LoRA-aanpassing die wordt gestuurd door een dynamische gate op basis van residu-statistieken. Dit zorgt voor content-afhankelijke focus op artefacten.
3. Res-FiLM Fusie: Een efficiënte manier om lokale residu-informatie te fuseren met globale tokens via feature-wise modulation.
4. RCA Loss: Een regularisatiestrategie die de consistentie tussen de originele en aangepaste token-ruimte bewaakt, wat cruciaal is voor robuustheid bij domeinverschuivingen.
5. Uitgebreide Validatie: Het framework is getest op vier ICAO-compliant datasets met zeven verschillende morphing-generatietechnieken, inclusief diffusion-modellen.

4. Resultaten

De prestaties zijn geëvalueerd volgens ISO/IEC standaarden (MACER, BSCER, D-EER) in strikte cross-dataset scenario's (trainen op dataset A, testen op volledig onbekende dataset B).

• Superieure Generalisatie: De voorgestelde methode overtreft consistent negen state-of-the-art S-MAD-algoritmen (waaronder diffusion-modellen, few-shot learning en andere foundation-model benaderingen) op alle vier de testdatasets.
• Kerncijfers:
  • Op het MD#3 dataset (getraind op MD#1, gevalideerd op MD#2): D-EER van 7.14% (tegenover ~12-57% voor concurrenten).
  • Op het MD#4 dataset: D-EER van 15.31%, wat aanzienlijk lager is dan de beste concurrenten.
• Efficiëntie: Omdat de backbone bevroren is, zijn er slechts ongeveer 2,1% van de parameters trainbaar (ongeveer 9,3 miljoen parameters). De inferentie-tijd is ongeveer 13 ms per afbeelding op een moderne GPU, wat real-time toepassing mogelijk maakt.
• Robuustheid: Het model toont sterke prestaties onder gecontroleerde degradaties (Gaussische blur, ruis, JPEG-compressie) zonder hertraining, wat aantoont dat het leert op basis van fundamentele forensische cues in plaats van dataset-specifieke artefacten.

5. Betekenis en Impact

Dit paper biedt een belangrijke doorbraak in de beveiliging van biometrische systemen:

• Praktische Toepasbaarheid: De combinatie van hoge nauwkeurigheid, lage rekentijd en het gebruik van een bevroren foundation model maakt het systeem ideaal voor implementatie in grenscontroles en paspoortverificatie.
• Generalisatie: De methlose lost het probleem op van het detecteren van "onzichtbare" of nieuwe morphing-technieken door te vertrouwen op fundamentele beeldstatistieken (residuen) in plaats van louter op het leren van specifieke patronen uit de trainingsdata.
• Interpreteerbaarheid: Door het gebruik van Laplacian-residuen en gated adapters is het model transparanter dan veel "black-box" deep learning benaderingen, wat essentieel is voor forensische acceptatie.

Kortom, R-FLoRA stelt een nieuwe standaard voor single-image morphing-detectie door de kracht van foundation models te combineren met traditionele, interpreteerbare forensische signaalanalyse.