Imaginez que vous soyez le chef de la sécurité d'un château technologique massif. Chaque jour, des milliers de personnes tentent d'entrer, et votre travail est de vous assurer que seules les bonnes entrent. Vous possédez un miroir magique capable de reconnaître les visages, mais il n'est pas parfait. Parfois, il prend un étranger pour un résident (une « fausse correspondance »), et parfois, il prend un résident pour un étranger (une « fausse non-correspondance »). Pour garder le château en sécurité, vous devez établir une règle très stricte : « Ne laissez entrer les gens que si le miroir est presque sûr à 100 % qu'ils appartiennent au lieu. » Cette règle est appelée un « seuil ». Si vous placez la barre trop bas, des imposteurs entrent ; si vous la placez trop haut, vos propres amis se voient refuser l'entrée.

Imaginez maintenant que vous vouliez tester votre miroir avant l'ouverture du château. Vous ne pouvez pas simplement attendre que de vraies personnes arrivent et commettent des erreurs ; ce serait trop dangereux. Alors, vous décidez de construire une multitude de « faux » humains parfaits, générés par ordinateur, pour tester votre miroir. C'est le monde des données synthétiques : des visages numériques créés par l'IA qui ont l'air réels mais ne le sont pas. La grande question que les scientifiques se posent est la suivante : « Pouvons-nous faire confiance à ces faux visages pour nous dire exactement où placer la barre de sécurité ? » Si les faux visages se comportent différemment des vraies personnes, votre système de sécurité pourrait être un désastre annoncé. Cette étude plonge précisément dans ce problème, spécifiquement pour les nouveaux systèmes de contrôle des frontières européens qui doivent être incroyablement précis.

---

Le répétition générale numérique qui a échoué

Dans cette étude, Arto Apila, de l'Université d'Oulu, a décidé de jouer le rôle de pilote d'essai pour un garde-frontière. L'objectif était de voir si l'utilisation de données faciales synthétiques (visages générés par ordinateur) pour définir le « seuil » de sécurité des systèmes de contrôle des frontières fonctionnerait dans le monde réel. Pensez-y comme à un simulateur de vol. Les pilotes s'entraînent dans des simulateurs pour apprendre à voler, mais si la physique du simulateur est légèrement erronée, le pilote pourrait s'écraser lorsqu'il montera enfin dans un véritable avion. Les chercheurs voulaient savoir : Le « simulateur » (les données synthétiques) est-il assez bon pour définir les règles du « véritable avion » (le contrôle frontalier réel) ?

Ils ont utilisé un type spécifique de modèle d'IA appelé EdgeFace, qui est une version légère et rapide d'un détecteur de visage très intelligent, conçu pour fonctionner sur de petits appareils comme ceux que l'on trouve aux portes d'un aéroport. Ils ont testé ce modèle en utilisant deux ensembles différents de « faux » visages (jeux de données synthétiques) et les ont comparés à des ensembles de visages « réels » (photos prises dans des conditions contrôlées et dans le monde réel, plus désordonnées).

La « queue » de l'histoire

Voici la partie délicate que l'article met en lumière. Lorsque vous observez comment un système de reconnaissance faciale évalue les gens, cela ressemble à un graphique. La plupart des gens obtiennent des scores au milieu (clairement une correspondance ou clairement pas une correspondance). Mais la zone de danger se trouve à l'extrémité même du graphique, dans les « queues ». C'est là que le système s'embrouille et peut confondre un étranger avec un ami.

Les chercheurs ont découvert que, bien que les données synthétiques soient excellentes au milieu du graphique, elles se trompent complètement sur les queues. C'est comme essayer de prédire le comportement d'une foule pendant une panique en observant un exercice de répétition calme. Les faux visages n'avaient pas les mêmes « scénarios catastrophes » que les vrais humains.

Lorsque les chercheurs ont essayé d'utiliser les règles (seuils) apprises grâce aux faux visages sur de vraies personnes, les choses ont mal tourné :

• Le problème de la « trop grande sévérité » : Parfois, le système fixait la barre si haut qu'il commençait à rejeter de vrais voyageurs. Dans un test, lorsqu'ils ont voulu être extrêmement stricts (visant un taux d'erreur de 0,001 %), le système a rejeté près de 26 % des vraies personnes qu'il aurait dû laisser passer !
• Le problème de la « trop grande tolérance » : Dans d'autres cas, le système était trop confiant. Il a laissé entrer des imposteurs à un taux bien plus élevé que la limite de sécurité.
• L'attaque par « Morphing » : Les chercheurs ont également testé ce qui se passe si quelqu'un tente de s'introduire en mélangeant deux visages (une attaque par « morphing »). Ils ont découvert que les paramètres dérivés des données fictives rendaient le système beaucoup plus vulnérable à ces ruses. Si vous fixez les règles basées sur les données fictives, le système pourrait laisser passer un visage hybride sans encombre.

Le verdict : Ne faites pas confiance au simulateur seul pour la décision finale

La découverte principale de l'article est un peu décevante pour ceux qui espéraient une solution rapide et facile reposant uniquement sur des données fictives. Elle suggère que les données synthétiques ne peuvent pas être fiables pour définir les règles de sécurité finales pour des systèmes à enjeux élevés comme le contrôle des frontières, surtout lorsque vous avez besoin d'une précision extrême (faible taux de fausses correspondances).

Les auteurs ont constaté que même si vous utilisez deux types différents de données fictives, elles donnent des réponses différentes. C'est comme demander à deux météorologues différents de prédire un ouragan ; l'un dit « apportez un parapluie », l'autre dit « construisez un bunker ». Vous ne pouvez pas savoir lequel a raison avant de voir la tempête réelle.

L'étude plaide explicitement contre l'idée que vous puissiez simplement générer un million de faux visages, effectuer vos tests, puis fixer vos règles de sécurité frontalière en vous basant uniquement sur cela. Le « décalage » dans les queues des données signifie que les règles seront erronées lorsqu'elles seront appliquées à de vrais humains. Cependant, l'article ne dit pas que les données synthétiques sont inutiles. Au contraire, il recommande de les utiliser pour les étapes initiales de développement et de calibration préliminaire, mais insiste sur le fait que la sélection du seuil critique final doit être validée avec des données du monde réel.

Que devrions-nous faire à la place ?

Alors, les données synthétiques sont-elles inutiles ? Pas du tout ! L'article suggère qu'elles restent un excellent outil pour les premières étapes de construction d'un système. Vous pouvez les utiliser pour entraîner l'IA, pour voir si le code fonctionne et pour effectuer une vérification approximative. Mais lorsqu'il s'agit de fixer le seuil de sécurité final, vital, vous devez utiliser des données du monde réel.

Pensez à la préparation d'un gâteau. Vous pouvez utiliser un livre de recettes (données synthétiques) pour apprendre à mélanger les ingrédients et préparer un lot de test. Mais avant de servir le gâteau à la Reine, vous devez goûter le gâteau que vous avez réellement préparé avec de vrais ingrédients. Si vous sautez l'étape de la dégustation et que vous vous fiez uniquement au livre, vous pourriez servir quelque chose de trop salé ou de trop sucré.

Les chercheurs concluent que pour des systèmes comme le système d'entrée/sortie (EES) de l'Union européenne, qui doit être incroyablement sécurisé, compter uniquement sur des visages générés par ordinateur est un pari risqué. Les visages « faux » ne capturent tout simplement pas assez bien la réalité désordonnée et imprévisible des visages humains pour définir les règles du monde réel. Pour garder les frontières sûres, nous devons tester nos systèmes sur de vraies personnes, et non seulement sur leurs jumeaux numériques, surtout pour la décision finale.