🤖 machine learning

LoRA-based Adaptation Alone Is Not Enough: Understanding the Limits of Foundation Models for Face Presentation Attack Detection

Cette étude évalue systématiquement 32 modèles de fondation pour la détection d'attaques par présentation de visage et conclut que, bien que l'adaptation basée sur LoRA atteigne une forte performance intra-jeu de données, elle ne parvient pas à résoudre les problèmes de généralisation inter-jeux de données, indiquant que les représentations pré-entraînées et les données d'adaptation sont plus critiques que les stratégies de réglage fin léger.

Auteurs originaux : Peter Lorenz, Anjith George, Marcel Sébastien

Publié 2026-08-11

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Peter Lorenz, Anjith George, Marcel Sébastien

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à repérer une fausse carte d'identité. Vous lui montrez mille photos de vraies personnes et mille photos de gens tenant des photos imprimées ou diffusant des vidéos de visages sur leurs téléphones. Le robot devient très doué pour repérer les faux dans cette pièce spécifique, sous cette lumière spécifique, avec ces caméras spécifiques. Mais dès que vous emmenez le robot dans une autre pièce, que vous changez l'éclairage ou que vous changez de caméra, le robot oublie soudainement tout et commence à deviner au hasard. C'est la réalité frustrante de la « Détection d'Attaque de Présentation de Visage » (PAD). C'est une branche de la vision par ordinateur dédiée à la sécurisation des systèmes de reconnaissance faciale contre les ruses comme les photos, les masques ou les vidéos de rejeu. Le grand rêve est de construire un détecteur qui fonctionne partout, peu importe la caméra ou l'éclairage. Récemment, des scientifiques ont tenté d'utiliser les « Modèles de Fondation » — de gigantesques cerveaux d'IA super intelligents entraînés sur des milliards d'images et de textes provenant d'Internet — pour résoudre ce problème. L'espoir était que ces cerveaux géants connaissent déjà tellement de choses sur le monde qu'ils pourraient facilement apprendre à repérer les faux avec un tout petit peu d'entraînement supplémentaire.

Cette étude met ce espoir à l'épreuve avec une expérience massive. Les chercheurs ont pris 32 types différents de ces cerveaux d'IA géants (incluant des modèles célèbres comme CLIP et DINO) et ont tenté de leur apprendre à repérer les faux visages en utilisant une astuce ingénieuse et légère appelée « LoRA ». Considérez LoRA comme un petit collier d'entraînement ajustable pour un chien géant ; vous ne réentraînez pas tout le chien, vous ajustez simplement une infime fraction de son cerveau (moins de 1 %) pour qu'il apprenne un nouveau tour. Les résultats sont un mélange de succès incroyable et de retour brutal à la réalité. Lorsque l'IA est testée sur les mêmes données que celles sur lesquelles elle a été entraînée, elle devient une superstar, repérant les faux avec une précision quasi parfaite (moins de 2 % d'erreur). Cependant, lorsque les chercheurs demandent à l'IA de repérer des faux dans un nouvel environnement qu'elle n'a pas vu auparavant, ses performances s'effondrent. Le taux d'erreur grimpe entre 20 % et 43 %, ce qui est à peine meilleur que de lancer une pièce de monnaie. L'article conclut que si LoRA est excellent pour polir un modèle pour une tâche spécifique, cela ne suffit pas pour résoudre le problème plus profond de rendre l'IA capable de fonctionner à travers différents mondes. Le « cerveau » du modèle compte plus que la taille du modèle, et les données sur lesquelles il a été entraîné comptent encore plus.

L'histoire du robot intelligent et des faux visages fuyants

Plongeons dans l'aventure. Les scientifiques ont commencé par poser une question simple : Un petit supplément d'entraînement (LoRA) est-il suffisant pour rendre ces cerveaux d'IA géants assez robustes pour repérer les faux visages partout ?

Pour le découvrir, ils ont organisé un tournoi massif. Ils ont rassemblé 32 différents « Encodeurs de Vision » — ce sont les yeux de l'IA, les parties qui regardent réellement les images. Certains de ces yeux provenaient de modèles entraînés uniquement sur des images, tandis que d'autres étaient les « tours de vision » extraites de gigantesques « Modèles Vision-Langage » (VLM), qui sont des cerveaux d'IA capables de voir des images et de lire du texte en même temps. Ils ont également testé 9 de ces VLM géants en mode « zero-shot ». Le « zero-shot » est comme donner un examen à un étudiant sans l'avoir laissé étudier le sujet au préalable ; vous lui demandez simplement : « Est-ce un vrai visage ou un faux ? » et vous voyez ce qu'il répond.

La surprise du Zero-Shot
D'abord, ils ont testé l'approche zero-shot. Ils ont demandé aux VLM géants de repérer les faux en utilisant un prompt simple, comme un professeur posant une question. Le résultat ? L'IA était complètement perdue. Elle affichait environ 50 % de précision, ce qui revient à deviner « pile ou face » en lançant une pièce. Même les modèles les plus intelligents et les plus coûteux avec des milliards de paramètres ne pouvaient pas comprendre sans un entraînement spécifique. Cela a indiqué aux chercheurs qu'avoir un cerveau intelligent ne suffit pas ; le cerveau doit être spécifiquement réglé pour la tâche de détection des faux.

La magie de LoRA (et ses limites)
Ensuite, ils ont testé la méthode LoRA. Ils ont pris les yeux figés de ces 32 modèles et y ont ajouté ces petits colliers d'entraînement ajustables. Ils les ont entraînés sur quatre ensembles de données différents (des collections de photos de visages prises avec différentes caméras et éclairages).

La bonne nouvelle : Lorsqu'ils testaient l'IA sur le même ensemble de données qu'elle avait appris, c'était incroyable. La plupart des modèles voyaient leur taux d'erreur descendre en dessous de 2 %. Certains, comme le CLIP ViT-B/32, descendaient jusqu'à 0,3 %. C'était comme si l'IA était soudainement devenue un détective expert pour cette pièce spécifique.
La mauvaise nouvelle : Lorsqu'ils déplaçaient l'IA vers un autre ensemble de données (une autre pièce, une autre caméra), la magie disparaissait. Les taux d'erreur grimpaient en flèche entre 19,8 % et 42,6 %.

Les chercheurs ont réalisé que LoRA agissait comme un très bon tailleur. Il pouvait parfaitement ajuster un costume pour qu'il convienne à une personne (un ensemble de données) en ajustant quelques boutons. Mais il ne pouvait pas faire en sorte que ce costume convienne à une personne totalement différente (un autre ensemble de données) simplement en ajustant les boutons. Le costume était toujours façonné pour la première personne.

La taille ne compte pas (beaucoup)
Une croyance commune en l'IA est que « plus c'est gros, mieux c'est ». Les chercheurs ont testé cela en comparant des modèles minuscules à des modèles massifs. Ils ont découvert qu'un modèle relativement petit appelé CLIP ViT-B/32 (avec seulement 0,09 milliard de paramètres) était en fait plus performant que certains modèles massifs de plus de 8 milliards de paramètres. En fait, le minuscule modèle CLIP était l'un des meilleurs pour repérer les faux à travers différents ensembles de données, tandis qu'un énorme modèle appelé InternViT-6B (avec 5,54 milliards de paramètres) était l'un des pires pour franchir le fossé entre les ensembles de données.

Cela suggère que le type d'entraînement initial reçu par le modèle compte bien plus que sa taille. Les modèles entraînés avec des méthodes « contrastives » (apprendre à faire correspondre des images avec leurs descriptions textuelles) ou par « auto-distillation » (apprendre à être cohérent avec soi-même) fonctionnaient mieux que les modèles entraînés uniquement pour remplir les parties manquantes d'une image.

Le « régime de données » compte
L'équipe a également examiné la quantité de données que les modèles avaient « mangées » lors de leur entraînement original. Ils ont constaté que consommer un régime « à l'échelle du web » (des milliards d'images provenant d'Internet) était nécessaire pour obtenir de bons résultats, mais que manger plus que cela n'aidait pas beaucoup. Une fois qu'un modèle avait vu une grande partie d'Internet, ajouter plus de données ne le rendait pas meilleur pour repérer les faux dans de nouveaux contextes. C'était comme un étudiant qui aurait lu tous les livres de la bibliothèque ; en lire quelques de plus ne ferait pas de lui soudainement un génie dans un nouveau sujet spécifique.

L'indice caché : La « Pièce » vs le « Visage »
La découverte la plus fascinante est venue de l'observation de la façon dont l'IA « voyait » les images. Les chercheurs ont utilisé une technique appelée t-SNE pour visualiser les pensées internes de l'IA. Ils ont découvert que même après l'entraînement LoRA, l'IA continuait de regrouper les images en fonction de l'endroit où elles avaient été prises (l'ensemble de données) plutôt que de ce qu'elles étaient (réel ou faux).
Imaginez que vous essayez de trier une pile de photos en « Personnes Réelles » et « Personnes Fausses ». Mais l'IA continue de les trier en « Photos prises au Laboratoire » et « Photos prises dans la Rue ». L'entraînement LoRA l'a aidée à trier parfaitement les photos du « Laboratoire », mais lorsqu'elle voit une photo de la « Rue », elle est confuse car elle cherche toujours des indices du « Laboratoire ». L'IA n'avait pas appris le concept universel d'un « faux visage » ; elle avait simplement appris à reconnaître les particularités de l'éclairage et de la caméra du laboratoire de formation.

Le Verdict
L'article conclut que l'adaptation par LoRA seule ne suffit pas pour résoudre le problème de la détection de visages entre différents ensembles de données. Bien qu'elle rende les modèles incroyablement précis dans l'environnement pour lequel ils ont été entraînés, elle ne parvient pas à les rendre assez robustes pour gérer de nouvelles caméras, de nouvelles lumières ou de nouvelles méthodes d'attaque. Le « score de généralisation » (une nouvelle métrique inventée par les auteurs pour mesurer la capacité d'un modèle à fonctionner dans les deux scénarios) a montré que même les meilleurs modèles luttaient encore pour combler le fossé.

Les auteurs suggèrent que le problème n'est pas la taille du modèle ou l'ingéniosité de l'astuce LoRA. Le problème est que les modèles sont encore trop dépendants de la « saveur » spécifique des données sur lesquelles ils ont été entraînés. Pour véritablement résoudre cela, nous devrons peut-être changer la façon dont nous entraînons ces modèles dès la base, peut-être en leur apprenant à ignorer la « pièce » pour se concenter uniquement sur le « visage », ou en utilisant des stratégies d'entraînement différentes qui forcent l'IA à apprendre des règles universelles plutôt que des habitudes spécifiques.

En résumé, nous avons construit des détectives IA qui sont brillants dans leur propre quartier, mais qui se perdent dès qu'ils franchissent la porte. Le petit collier LoRA les aide à mieux marcher, mais il ne leur donne pas de carte pour le reste du monde.

Résumé technique : L'adaptation par LoRA seule ne suffit pas : Comprendre les limites des modèles de fondation pour la détection des attaques de présentation faciale

Énoncé du problème
La détection des attaques de présentation faciale (PAD - Presentation Attack Detection) vise à distinguer les utilisateurs authentiques des entrées usurpées (par exemple, des photos imprimées, des vidéos rejouées). Bien que les méthodes d'apprentissage profond atteignent une grande précision sur des jeux de données spécifiques, elles souffrent d'un écart de performance significatif lors d'évaluations sur différents jeux de données (évaluation croisée de jeux de données). Cette dégradation est due aux variations de capteurs, de conditions d'éclairage et de types d'attaques. Bien que les modèles de fondation (FM - Foundation Models) pré-entraînés sur des données à l'échelle du web offrent des priors visuels plus riches que les jeux de données limités de la PAD, la recherche actuelle s'est principalement concentrée sur les modèles de type CLIP. Il reste incertain de savoir si les stratégies d'adaptation économes en paramètres, telles que l'adaptation de bas rang (LoRA - Low-Rank Adaptation), peuvent efficacement combler l'écart entre les jeux de données à travers diverses architectures de modèles de fondation et paradigmes d'entraînement.

Méthodologie
Les auteurs présentent un benchmark systématique évaluant 32 encodeurs de vision pré-entraînés et 9 modèles vision-langage (VLM) sous un protocole unifié. L'étude utilise les quatre jeux de données MCIO standards : MSU-MFSD, CASIA-FASD, Replay-Attack et OULU-NPU.

Stratégie d'adaptation : La méthode principale employée est LoRA, appliquée aux projections de requête (query) et de valeur (value) des blocs d'attention (ou équivalents dans ConvNeXt) avec un rang de 8 et un facteur d'échelle de 16. Cela met à jour moins de 1 % des paramètres du modèle tout en maintenant les poids du backbone gelés. Une tête linéaire est entraînée conjointement avec les adaptateurs.
Diversité des modèles : L'évaluation couvre cinq catégories de pré-entraînement :
1. Apprentissage contrastif vision-langage (ex. : CLIP, SigLIP, EVA-CLIP).
2. Auto-distillation (ex. : DINOv2, DINOv3).
3. Modélisation d'image masquée (ex. : BEiT, ViT-MAE, ViT-MSN).
4. Modèles convolutifs auto-supervisés à imagerie masquée (ex. : ConvNeXt-V2).
5. Tours de vision extraites de modèles de langage multimodaux (ex. : Qwen-VL, LLaVA, DeepSeek-VL2).
Lignes de base (Baselines) : Les résultats sont comparés au prompting zero-shot de VLM et à quatre lignes de base spécialisées en PAD (DeepPixBiS, FSFM-FAS, variantes de FLIP, et FoundPAD) qui utilisent un fine-tuning complet ou des architectures spécialisées.
Métriques : La performance est mesurée par le taux d'erreur de classification moyen (ACER) pour les scénarios intra-jeu de données (ID) et croisés (CD). Un nouveau « score de généralisation sans biais » ( $G$ ) est proposé, défini comme la moyenne géométrique de la compétence (distance par rapport à 50 % de chance) dans les contextes ID et CD.

Résultats clés

Limites du Zero-Shot : Le prompting zero-shot des VLM sans entraînement spécifique à la tâche produit une performance proche du hasard (ACER moyen entre 35 % et 50 %), indiquant que le raisonnement sémantique seul ne peut résoudre la PAD.
Succès Intra-jeu de données : L'adaptation LoRA est très efficace au sein du domaine d'entraînement. La plupart des backbones adaptés atteignent un ACER intra-jeu de données inférieur à 2 %, les meilleurs performeurs comme CLIP ViT-B/32 atteignant 0,3 %. Cela démontre que l'adaptation légère est suffisante pour une performance robuste lorsque la distribution de test correspond à la distribution d'entraînement.
Échec Croisé de jeux de données : Malgré de solides résultats intra-jeu de données, l'ACER croisé reste élevé, variant de 19,8 % à 42,6 % pour tous les modèles. L'adaptation LoRA ne parvient pas à surmonter le biais des jeux de données. Par exemple, InternViT-6B atteint un ACER intra-jeu de données de seulement 0,7 % mais un médiocre 39,8 % en AC de croisé.
Rôle du Pré-entraînement et de l'Échelle :
- L'objectif prime sur l'échelle : L'objectif de pré-entraînement importe plus que la taille du modèle ou l'échelle des données. Les modèles contrastifs vision-langage (CLIP, EVA-CLIP) et les modèles d'auto-distillation (DINOv2-R) surpassent systématiquement les modèles de modélisation d'image masquée (ViT-MAE, ViT-MSN) et les grandes tours de vision des VLM.
- Échelle des données : Bien qu'un pré-entraînement à l'échelle du web (au-delà de 100 millions d'images) soit nécessaire pour une meilleure performance croisée, augmenter simplement l'échelle des données au-delà d'un certain seuil (ex. : les ~10 milliards d'images de SigLIP contre les 400 millions de paires de CLIP) ne garantit pas d'amélioration supplémentaire. La curation et l'objectif de pré-entraînement sont les facteurs dominants.
Géométrie des caractéristiques : L'analyse t-SNE révèle que même après l'adaptation LoRA, l'espace des caractéristiques reste structuré par le domaine d'acquisition (jeu de données source) plutôt que par la classe d'attaque de présentation. Cela explique pourquoi les seuils calibrés sur un jeu de données échouent à se généraliser à d'autres.

Signification et Revendications
L'article affirme que l'adaptation LoRA seule est insuffisante pour une PAD robuste entre les jeux de données. L'étude remet en question l'hypothologie selon laquelle le réglage efficace en paramètres des grands modèles de fondation résout automatiquement le problème de la généralisation. Au lieu de cela, les auteurs soutiennent que les limitations primaires résident dans la sélection de l'architecture du backbone, l'objectif de pré-entraînement et le jeu de données d'entraînement spécifique utilisé pour l'adaptation, plutôt que dans la stratégie d'adaptation elle-même.

Les auteurs proposent que les travaux futurs se concentrent sur des mécanismes allant au-delà de l'adaptation légère, tels que des pertes invariantes au domaine ou l'alignement avec les données du domaine cible, afin de traiter l'écart persistant entre les jeux de données. Ils introduisent également le score de généralisation $G$ comme une métrique pour évaluer conjointement les capacités intra et croisées, empêchant les modèles qui excellent dans l'un mais échouent dans l'autre d'être surévalués. L'étude conclut que bien que les modèles de fondation offrent des représentations puissantes, leur application directe à la PAD via LoRA ne résout pas encore le problème fondamental du biais des jeux de données.

L'histoire du robot intelligent et des faux visages fuyants

Articles similaires