Adversarially Robust Few-Shot Anomaly Detection with Vision Foundation Models

Imaginez un monde où les ordinateurs possèdent des yeux surpuissants, entraînés sur des millions de photos pour comprendre ce que signifie la « normalité ». Ces détectives numériques sont utilisés partout, de la détection de microfissures dans des pièces automobiles sur une ligne d'usine à la recherche de tumeurs cachées dans des scanners médicaux. Ils fonctionnent en comparant une nouvelle image à une bibliothèque d'exemples parfaits et normaux. Si la nouvelle image semble trop différente, l'ordinateur sonne l'alarme. Mais voici le hic : ces yeux numériques peuvent être trompés. Tout comme un magicien peut tromper un observateur humain avec un tour de passe-passe, un hacker habile peut ajouter du « bruit » invisible à une image — des changements infimes, presque imperceptibles, qui confondent l'ordinateur. Pour l'œil humain, l'image semble identique ; pour l'ordinateur, elle semble parfaitement normale alors qu'elle est réellement défectueuse, ou défectueuse alors qu'elle est parfaite. C'est la réalité effrayante des « attaques adverses », et c'est un problème majeur pour les systèmes critiques en matière de sécurité.

Imaginez maintenant un nouveau type de détective qui n'a pas besoin d'être entraîné sur des milliers d'exemples. Au lieu de cela, il apprend à partir de seulement quelques photos — peut-être une seule ou quatre. C'est ce qu'on appelle la détection « few-shot » (à peu d'exemples), et c'est une révolution car c'est rapide, peu coûteux et flexible. Le document que vous allez lire s'attaque à une question cruciale restée sans réponse : si nous utilisons ces détectives « few-shot » ultra-rapides, sont-ils à l'abri des hackers ? Les auteurs ont découvert que, sans protection, ces détectives efficaces sont étonnamment fragiles. Une légère poussée invisible peut les faire échouer complètement. Mais ne vous inquiétez pas — ils n'ont pas seulement trouvé le problème ; ils ont construit un bouclier. Ils ont créé un système de défense en deux parties qui agit comme une paire de lunettes et un filtre mental, permettant à ces détectives « few-shot » de voir à travers les ruses et de rester fiables, le tout sans avoir besoin de réentraîner leur cerveau.

Le Problème : Le Détective « One-Shot » et le Truqueur Invisible

Dans le monde de la sécurité industrielle, les entreprises doivent souvent repérer les défauts immédiatement. Attendre de rassembler des milliers de photos de chaque défaut possible n'est pas pratique. Ainsi, les chercheurs se sont tournés vers les « Modèles de Fondation de Vision » (Vision Foundation Models) — des cerveaux d'IA massifs et pré-entraînés (comme DINOv2) qui connaissent déjà beaucoup de choses sur les formes et les textures. Ces modèles peuvent être couplés à un système simple de « k-plus proches voisins » (k-NN). Voyez ce système comme un bibliothécaire qui possède une étagère d'échantillons de patchs « parfaits ». Lorsqu'une nouvelle image arrive, le bibliothécaire la divise en petits carrés (patches) et demande : « À quel échantillon parfait ce carré ressemble-t-il le plus ? » Si le nouveau carré est très différent de tous les échantillons parfaits, il est signalé comme une anomalie.

Cette configuration est brillante car elle est « sans entraînement » (training-free). Vous n'avez pas besoin d'apprendre de nouvelles choses au bibliothécaire ; vous lui donnez simplement quelques photos de référence. Cependant, les auteurs ont découvert une vulnérabilité massive. Comme la décision du bibliothécaire est basée sur une simple formule mathématique (la distance), un hacker peut calculer exactement comment modifier les pixels d'une image « parfaite » pour qu'elle paraisse « défectueuse » aux yeux du bibliothécaire, ou vice versa. C'est comme un faussaire qui sait exactement quelle quantité d'encre ajouter à une signature pour qu'elle paraisse authentique aux yeux d'un juge spécifique, même si ce juge est très strict.

L'article confirme que ces systèmes « few-shot » efficaces sont incroyablement fragiles. Lorsqu'ils sont attaqués par un type spécifique de bruit numérique (appelé PGD-20 avec une force de $\epsilon = 8/255$), la capacité du système à distinguer les images normales des images défectueuses s'effondre. Sur un ensemble de tests standard appelé MVTec-AD, la précision du système est passée d'un solide 97,5 % à un désastreux 25,8 %. Les images « bonnes » étaient soudainement étiquetées comme « mauvaises », et les images « mauvaises » comme « bonnes ». L'ordinateur avait été complètement trompé.

La Solution : Un Bouclier à Deux Couches

Les auteurs ont réalisé qu'ils ne pouvaient pas simplement réentraîner le bibliothécaire (le modèle de fondation) car tout l'intérêt de ce système est qu'il est figé et prêt à l'emploi. Ils avaient besoin d'une défense qui fonctionne autour du bibliothécaire. Ils ont construit un bouclier en deux étapes : PatchShift et FeaturePurifier.

Étape 1 : Le tour du « Secouage de Tapis » (PatchShift)
Imaginez que vous avez un tapis avec un motif spécifique, et que quelqu'un a dessiné une ligne parfaite et invisible dessus pour vous tromper. Si vous déplacez le tapis juste un tout petit peu, cette ligne ne s'alignera plus avec le motif de la manière prévue par le tricheur. Les auteurs ont utilisé cette idée. Ils prennent l'image et la décalent légèrement dans différentes directions (haut, bas, gauche, droite) avant de la soumettre au détecteur. Ils font cela huit fois, créant huit « vues » légèrement différentes de la même image.

Parce que la ruse du hacker était conçue pour un alignement spécifique, le décalage brise la ruse. Certaines vues peuvent encore paraître un peu étranges, mais d'autres paraîtront normales. Le système prend ensuite la « médiane » (la valeur centrale) de tous les huit résultats. C'est comme demander à huit personnes de deviner la réponse ; même si quelques-unes sont confuses par la ruse, la majorité verra la vérité. Cette étape simple de « secouage » aide, mais elle ne suffit pas à attraper toutes les ruses.

Étape 2 : Le « Filtre Mental » (FeaturePurifier)
Même après le décalage de l'image, une partie du bruit du hacker peut encore s'infiltrer dans le « cerveau » de l'ordinateur (l'espace des caractéristiques). Pour corriger cela, les auteurs ont ajouté un « FeaturePurifier ». Voyez cela comme un traducteur spécialisé qui se tient entre l'image et le bibliothécaire. Son rôle est de prendre la description « confuse » ou « entachée » de l'image et de la traduire en une description « propre ».

Ce traducteur est une IA légère et peu gourmande qui apprend à nettoyer le bruit. Elle est entraînée en utilisant les très rares photos de référence dont le système dispose déjà. Elle apprend à reconnaître ce qu'est un patch « propre » et ce qu'est un patch « entaché », puis elle apprend à ramener les patchs entachés vers les patchs propres. C'est comme un éditeur de photos qui supprimerait automatiquement les effets de « glitch » ajoutés par un hacker, restaurant l'image dans son état véritable avant même que le bibliothécaire ne la voie.

Les Résultats : Plus Fort Qu'Avant

Les auteurs ont testé leur nouveau bouclier sur trois ensembles de données industrielles différents (MVTec-AD, VisA et MPDD) en utilisant seulement 4 photos de référence (un réglage « 4-shot »). Les résultats sont impressionnants.

Sans aucune défense, le système attaqué était inutile. Mais avec leur bouclier à deux couches (PatchShift + FeaturePurifier), le système a rebondi.

• Détection d'images : Sur l'ensemble de données MVTec-AD, le système est passé d'un taux de réussite de 25,8 % sous attaque à 76,1 % (AUROC au niveau de l'image).
• Précision au niveau du pixel : Le système a connu un bond massif d'environ 51 points de pourcentage en précision au niveau du pixel (PRO) par rapport à la base attaquée non défendue.
• Performance « propre » : Crucialement, le bouclier n'a pas cassé le système lorsqu'il n'y avait pas de hackers. La précision « propre » est restée presque identique, chutant de moins de 3 %. Cela signifie que le système est toujours aussi efficace pour détecter les vrais défauts qu'auparavant, mais qu'il peut désormais igner les faux.
• Comparaison : Leur méthode a performé aussi bien, voire mieux, que des systèmes beaucoup plus lourds qui nécessitent de vastes quantités de données d'entraînement et un entraînement contradictoire complexe pour être robustes.

Pourquoi Cela Importe

L'article ne prétend pas avoir résolu tous les problèmes de l'univers, mais il a comblé une faille dangereuse. Il a montré que la méthode populaire et efficace consistant à utiliser des modèles d'IA figés avec seulement quelques photos est vulnérable aux ruses invisibles. Plus important encore, il a prouvé que vous n'avez pas besoin de sacrifier cette efficacité pour obtenir de la sécurité. En utilisant une combinaison intelligente de « secouage » de l'image et de « nettoyage » de la vue interne de l'ordinateur, vous pouvez rendre ces détecteurs rapides et flexibles robustes face aux hackers.

Les auteurs ont utilisé un type d'attaque spécifique (boîte blanche, où le hacker connaît le système) pour tester leur défense, et leur méthode a résisté même lorsque le hacker a tenté d'adapter ses ruses au nouveau bouclier. Cela suggère que la combinaison « PatchShift + FeaturePurifier » est une solution pratique et solide pour maintenir l'honnêteté de nos systèmes d'IA industriels et médicaux, même lorsque quelqu'un tente de les tromper. C'est un rappel que parfois, la meilleure façon de protéger un système intelligent n'est pas de le rendre plus intelligent, mais de lui donner de meilleures lunettes et un esprit plus clair.