Continual Few-shot Adaptation for Synthetic Fingerprint Detection

1. Problématique

L'article aborde la vulnérabilité croissante des systèmes de reconnaissance d'empreintes digitales (FRS) face aux attaques par injection de données. Avec les avancées récentes de l'intelligence artificielle générative (GenAI), il est désormais possible de créer des images d'empreintes synthétiques d'un réalisme extrême (par exemple, via des modèles de diffusion comme GenPrint). Ces images peuvent être injectées dans le pipeline d'authentification (avant l'extraction des caractéristiques) pour contourner les capteurs, entraînant des accès non autorisés ou de fausses pistes dans les enquêtes policières.

Le défi principal identifié par les auteurs est le suivant :

• Les détecteurs classiques (réseaux de neurones profonds ou DNN) entraînés sur un ensemble de données spécifique échouent à généraliser aux styles de synthèses générés par des modèles de GenAI non vus auparavant (problème de zero-shot).
• L'évolution rapide des générateurs crée des décalages de domaine (domain shifts) importants, provoquant un effondrement catastrophique de la précision de détection lorsque le détecteur rencontre un nouveau type d'empreinte synthétique.
• Il existe un besoin urgent d'une méthode capable de s'adapter rapidement à de nouveaux styles de synthèses avec très peu d'exemples (few-shot), tout en conservant la capacité de détecter les styles précédemment appris (continual learning).

2. Méthodologie

Les auteurs proposent un cadre d'apprentissage basé sur l'adaptation continue en peu d'exemples (Continual Few-shot Adaptation). La méthode se décompose en trois étapes clés :

A. Architecture du Détecteur

Le système utilise un réseau de neurones profond (DNN) composé de :

1. Prétraitement : Extraction et recadrage de la région de l'empreinte pour obtenir une image fixe (RGB).
2. Extracteur de caractéristiques (Backbone) : Un modèle pré-entraîné (ex: ViT-Small, ResNet50) qui transforme l'image en un vecteur de caractéristiques de dimension fixe.
3. Classifieur : Une tête de classification (MLP) qui mappe les caractéristiques vers un score de probabilité (réel vs synthétique).

B. Stratégie d'Adaptation Continue

Le problème est formulé comme une séquence de tâches où le détecteur doit apprendre progressivement de nouveaux styles synthétiques ($D_1, D_2, ... D_K$) avec un nombre limité d'échantillons ($N_k$). Pour éviter l'oubli catastrophique (catastrophic forgetting), deux mécanismes sont combinés lors du fine-tuning :

1. Rejeu d'expérience (Experience Replay) : Un tampon mémoire conserve un petit nombre d'échantillons de chaque style précédemment connu. Lors de l'adaptation à un nouveau style, le modèle est entraîné sur les nouveaux échantillons mélangés à ces échantillons de replay.
2. Combinaison de Fonctions de Perte :
   • Perte d'entropie croisée binaire (CE) : Pour la classification standard (réel vs synthétique).
   • Perte de contraste supervisé (SC) : Appliquée sur les représentations de caractéristiques. Cette perte rapproche les vecteurs de la même classe et éloigne ceux de classes différentes, stabilisant l'espace d'embedding même avec peu de données.

L'optimisation vise à minimiser la somme pondérée de ces deux pertes :
$$\theta_k \leftarrow \arg \min_\theta \mathcal{L}_{CE}(\tilde{D}_k) + \lambda \mathcal{L}_{SC}(\tilde{D}_k)$$
où $\tilde{D}_k$ inclut les nouveaux échantillons et les échantillons de replay, et $\lambda$ est un hyperparamètre de balance.

3. Contributions Clés

1. Première étude sur la détection d'empreintes synthétiques : Les auteurs formulent ce problème comme une tâche d'adaptation continue en peu d'exemples, visant à faire évoluer un détecteur de base pour reconnaître des styles non vus.
2. Approche hybride d'optimisation : L'introduction de la perte de contraste supervisé (SC) couplée au rejeu d'expérience pour faciliter une évolution plus fluide du détecteur et réduire l'oubli catastrophique.
3. Validation empirique robuste : Des expériences menées sur plusieurs architectures de backbones (ViT, ResNet, etc.) et une variété de jeux de données réels et synthétiques (SFinGe, GANs, Diffusion) prouvent l'efficacité de l'approche.

4. Résultats Expérimentaux

Les expériences ont été menées en adaptant séquentiellement le détecteur à des styles synthétiques générés par SFinGe, IBG-Novetta, IWGAN, PrintsGAN et FPGAN, après un entraînement initial sur GenPrint.

• Échec de la généralisation Zero-Shot : Le détecteur de base (entraîné uniquement sur GenPrint) affiche une performance quasi nulle (TDR $\approx$ 0%) sur les styles synthétiques non vus, confirmant la difficulté de la généralisation sans adaptation.
• Efficacité de l'adaptation Few-Shot : L'adaptation avec peu d'échantillons (ex: 100 images) améliore significativement la détection du nouveau style. Par exemple, le taux de détection vrai (TDR) passe de <1% à >90% pour le style ciblé après adaptation.
• Supériorité de la perte SC : Le modèle utilisant la combinaison CE + SC (ViT-CE+SC) surpasse systématiquement le modèle utilisant uniquement la perte CE (ViT-CE), démontrant que la perte de contraste stabilise l'apprentissage des représentations.
• Rôle crucial du Rejeu (Replay) : Sans rejeu, la performance sur les styles précédents s'effondre à zéro dès l'adaptation à un nouveau style. Avec le rejeu, le modèle conserve ses performances antérieures, avec parfois même un transfert de connaissances positif (rétroactif) vers des styles similaires.
• Impact de la taille de l'échantillon : L'augmentation du nombre d'échantillons d'adaptation (de 10 à 50) apporte des gains majeurs, tandis que les gains deviennent marginaux au-delà de 100 échantillons.
• Généralisation aux Backbones : La stratégie fonctionne sur diverses architectures, avec des modèles plus avancés (ViT-Base pré-entraîné avec CLIP ou DINOv2) offrant une précision supérieure, bien qu'à un coût computationnel plus élevé.

5. Signification et Conclusion

Ce travail établit un nouveau paradigme pour la sécurité biométrique face aux menaces générées par l'IA. Il démontre qu'il est impossible de compter sur des détecteurs statiques face à l'évolution rapide des générateurs d'images.

La contribution majeure réside dans la démonstration qu'une adaptation continue en peu d'exemples, soutenue par des techniques de régularisation (perte contrastive) et de mémoire (rejeu), permet de maintenir un détecteur efficace face à des attaques de synthèse jamais vues auparavant. Cette approche offre une défense viable contre les attaques par injection de données, en particulier dans des scénarios d'authentification à distance où la sécurité du capteur physique ne peut être garantie.

En résumé, l'article propose une solution pratique pour faire évoluer dynamiquement les systèmes de détection d'empreintes, assurant ainsi la résilience des infrastructures biométriques à long terme.