Continual Few-shot Adaptation for Synthetic Fingerprint Detection

Titel: Continual Few-shot Adaptation voor Detectie van Synthetische Vingerafdrukken

Auteurs: Joseph Geo Benjamin, Anil K. Jain, en Karthik Nandakumar (Michigan State University)

---

1. Probleemstelling

De kwaliteit en realisme van synthetisch gegenereerde vingerafdrukbeelden zijn de afgelopen tien jaar aanzienlijk verbeterd door de vooruitgang in generatieve kunstmatige intelligentie (GenAI), zoals GANs en diffusion-modellen. Dit creëert een ernstig beveiligingsrisico voor vingerafdrukherkenningsystemen (FRS): data-injectie-aanvallen.

Bij deze aanvallen worden synthetische vingerafdrukken kwaadwillig ingebracht in het systeem (tijdens registratie of authenticatie), vaak om sensors te omzeilen of onbevoegde toegang te verkrijgen.

• De uitdaging: Hoewel het relatief eenvoudig is om een diep neurale netwerk (DNN) te trainen om bekende synthetische beelden te onderscheiden van echte beelden, falen deze modellen vaak bij generalisatie. Zodra een aanvaller een nieuw GenAI-model gebruikt dat niet in de trainingsdata zat, daalt de detectieprecisie drastisch (catastrophal collapse).
• Het doel: Er is een methode nodig die snel kan adaptieren naar nieuwe, onbekende stijlen van synthetische vingerafdrukken met slechts een klein aantal voorbeelden (few-shot), zonder dat het model vergeet wat het eerder heeft geleerd (catastrophic forgetting).

2. Methodologie

De auteurs formuleren het probleem als een continual few-shot adaptation taak. Het doel is om een basisdetector dynamisch aan te passen aan nieuwe stijlen terwijl kennis van eerdere stijlen behouden blijft.

Het voorgestelde raamwerk bestaat uit drie hoofdcomponenten:

1. Pre-processing en Feature Extractie:

   • Een invoerbeeld wordt gepreprocessed (foreground detectie en bijsnijden) tot een vaste grootte.
   • Een vooraf getrainde DNN-backbone (bijv. ViT-Small) fungeert als feature extractor om een vectorrepresentatie ($z$) te genereren.
   • Een classifier-head voorspelt de kans dat het beeld synthetisch is.

2. Trainingsstrategie (Base Detector):

   • De basisdetector wordt eerst getraind op een grote dataset van echte vingerafdrukken en synthetische vingerafdrukken van bekende stijlen (bijv. GenPrint) met behulp van Binary Cross-Entropy (CE) loss.

3. Continual Few-shot Adaptatie:
   Wanneer een nieuwe dataset met een onbekende stijl ($c_k$) wordt geïntroduceerd, wordt het model aangepast met twee cruciale innovaties om vergeten te voorkomen:

   • Experience Replay: Een kleine buffer van voorbeelden van alle eerder bekende stijlen wordt bewaard. Tijdens het fine-tunen op de nieuwe stijl worden deze oude voorbeelden opnieuw afgespeeld (replayed) om de beslissingsgrenzen voor de oude stijlen te stabiliseren.
   • Supervised Contrastive (SC) Loss: Naast de standaard CE-loss wordt een SC-loss toegepast op de feature-representaties. Deze loss trekt representaties van dezelfde klasse (bijv. alle synthetische beelden) naar elkaar toe en duwt verschillende klassen (echt vs. synthetisch) uit elkaar. Dit helpt het model om robuustere features te leren, zelfs met weinig data.

   De optimale parameters worden gevonden door het minimaliseren van een gecombineerde loss-functie:
   $$L = L_{CE} + \lambda L_{SC}$$
   Waarbij $\lambda$ de balans regelt tussen de twee losses.

3. Belangrijkste Bijdragen

• Eerste studie: Dit is het eerste werk dat synthetische vingerafdrukdetectie als een specifiek probleem behandelt en het formuleert als een continual learning taak.
• Nieuwe Loss-strategie: De combinatie van Binary Cross-Entropy en Supervised Contrastive loss, gecombineerd met experience replay, biedt een effectieve methode om snelle adaptatie mogelijk te maken zonder catastrophic forgetting.
• Empirische validatie: Uitgebreide experimenten met diverse DNN-backbones (ResNet, ViT, ConvNeXt) en een breed scala aan datasets tonen aan dat de methode een goede balans vindt tussen snelle aanpassing aan nieuwe stijlen en het behoud van kennis.

4. Resultaten

De experimenten zijn uitgevoerd op een reeks datasets, waaronder echte vingerafdrukken (FVC, NIST, IIITD) en synthetische datasets gegenereerd door verschillende modellen (SFinGe, GANs, Diffusion/GenPrint).

• Zero-shot Generalisatie: De basisdetector (zonder adaptatie) presteerde slecht op onbekende stijlen (TDR daalde naar bijna 0% bij nieuwe GAN-modellen), wat aantoont dat zero-shot generalisatie niet haalbaar is.
• Effect van Few-shot Adaptatie: Na adaptatie met slechts een klein aantal voorbeelden (bijv. 100 samples) verbeterde de detectie van de nieuwe stijl aanzienlijk.
• Vergelijking CE vs. CE+SC: Het model dat gebruikmaakte van zowel CE als SC loss (ViT-CE+SC) overtrof consistent het model dat alleen CE gebruikte. De SC-loss stabiliseerde de representatielearning en verbeterde de generalisatie.
• Impact van Replay: Zonder replay daalde de prestatie op oude stijlen direct tot bijna nul na adaptatie aan een nieuwe stijl. Met replay bleef de prestatie op oude stijlen behouden, met soms zelfs een lichte verbetering door "backward knowledge transfer".
• Aantal samples: De grootste winst werd geboekt bij het verhogen van het aantal voorbeelden van 10 naar 50. Verdere verhoging naar 100 of 200 leverde marginale extra verbeteringen op.
• Backbones: De strategie was onafhankelijk van de gebruikte backbone, maar geavanceerdere modellen (zoals ViT-Base met CLIP/DINOv2 pre-training) leverden hogere detectieprecisie op, zij het tegen een hogere rekenkosten.

5. Betekenis en Conclusie

Dit onderzoek biedt een cruciale oplossing voor de beveiliging van biometrische systemen in het tijdperk van GenAI. De snel evoluerende aard van generatieve modellen maakt statische detectiemodellen verouderd.

De voorgestelde aanpak van continual few-shot adaptation stelt systemen in staat om:

1. Snel te reageren op nieuwe generatieve technieken met minimale data.
2. Catastrophic forgetting te voorkomen, waardoor het systeem robuust blijft voor zowel oude als nieuwe dreigingen.
3. Een praktische verdediging te bieden tegen data-injectie-aanvallen in scenario's waar end-to-end beveiliging van de sensor niet gegarandeerd kan worden (zoals bij remote authenticatie).

De studie benadrukt dat de combinatie van contrastief leren en experience replay de sleutel is tot het bouwen van toekomstbestendige detectiesystemen voor synthetische biometrie.