💻 computer science

Keep the Needle, Prune the Haystack: Defect-Preserving Token Pruning for Efficient Zero-Shot Anomaly Detection

L'article propose KeepAD, un cadre d'élagage de jetons préservant les défauts qui conserve stratégiquement les jetons anormaux tout en supprimant agressivement les jetons normaux redondants à travers différentes profondeurs de réseau, permettant une détection d'anomalies zero-shot efficace avec une accélération allant jusqu'à 7,9× et une dégradation minimale des performances.

Auteurs originaux : Yanning Hou, Jingyuan Zhang, Xiaoyun Wang, Qixiang Ma, Sihang Zhou, Ke Xu

Publié 2026-08-11

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yanning Hou, Jingyuan Zhang, Xiaoyun Wang, Qixiang Ma, Sihang Zhou, Ke Xu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective essayant de trouver une minuscule rayure sur une voiture neuve et coûteuse. Vous avez un assistant robotique super intelligent doté d'une caméra capable de voir chaque centimètre carré du véhicule. Mais voici le hic : le robot est si minutieux qu'il inspecte chaque millimètre carré de la voiture, même les parties qui sont parfaitement propres et brillantes. Il passe 99 % de son temps à vérifier la peinture propre, juste pour en être absolument certain, avant de finir par repérer la rayure. C'est incroyablement lent et gaspilleur, surtout si vous devez inspecter des milliers de voitures par jour.

C'est exactement le problème auquel est confrontée la « Détection d'Anomalies Zero-Shot » moderne. Dans le monde de la vision par ordinateur, le « Zero-Shot » signifie qu'un ordinateur peut repérer des défauts dans des choses qu'il n'a jamais vues auparavant — comme trouver une fissure dans un nouveau type de scanner médical ou un défaut dans une pièce d'usine sur laquelle il n'a pas été entraîné. Pour y parvenir, ces ordinateurs utilisent de gigantesques « Vision Transformers » (ViT), qui sont comme des cerveaux géants décomposant une image en milliers de petits morceaux de puzzle (appelés « tokens ») et analysant chacun d'eux. Le problème est que ces cerveaux sont lourds et lents. Ils traitent une image parfaitement normale et une image défectueuse de la même manière, en calculant les chiffres sur chaque pièce du puzzle, même si la pièce « mauvaise » n'est souvent qu'une petite tache dans une mer de pièces « bonnes ».

Entrez en scène KeepAD, une nouvelle méthode qui agit comme un éditeur intelligent et conscient des risques pour ces cerveaux géants. Au lieu de laisser le robot vérifier chaque pouce de la voiture, KeepAD apprend au robot à scanner rapidement la surface, à garder un œil sur les endroits les plus suspects et à ignorer les parties ennuyeuses et parfaites. Mais il le fait avec une règle très prudente : « Ne jetez pas les preuves. » Si le robot n'est pas sûr de savoir si un endroit est une rayure ou simplement une ombre, il le garde. Il ne supprime que les parties ennuyeuses et sûres. Le résultat ? Le robot devient incroyablement rapide — jusqu'à près de 8 fois plus vite dans certains tests — sans manquer les minuscules défauts qu'il est censé trouver. C'est comme avoir un détective capable de trouver une aiguille dans une botte de foin en une fraction du temps, simplement en ignorant le foin qui est définitivement du foin.

Le Problème : Le Piège de la « Botte de Foin »

Dans le monde de la sécurité industrielle et médicale, trouver des défauts est un jeu de « trouver l'aiguille dans la botte de foin ». La plupart du temps, les images sont parfaites (le foin) et les défauts sont rares et minuscules (l'aiguille). Les modèles d'IA actuels sont comme un bibliothécaire très diligent mais lent qui lit chaque page de chaque livre de la bibliothèque pour trouver une seule faute de frappe. Même si la faute de frappe n'est qu'à la page 42, le bibliothécaire lit les pages 1 à 41 avec la même intensité.

C'est inefficace. L'article souligne un danger spécifique appelé le « Risque de Pruning Asymétrique ». Si vous essayez d'accélérer les choses en supprimant des pages « non importantes » (les tokens), vous pourriez accidentellement jeter la page contenant la faute de frappe. Dans la reconnaissance d'images normale (comme identifier un chat), supprimer quelques pixels n'a pas beaucoup d'importance car le visage du chat est partout. Mais dans la détection de défauts, le « chat » est l'image entière, et le « défaut » est un détail minuscule et caché. Si vous supprimez le mauvais token, vous perdez la seule preuve du problème.

La Solution : La Stratégie en Deux Étapes de KeepAD

Les auteurs de cet article proposent KeepAD (Keep Anomaly Detection), un système qui agit comme un filtre intelligent. Il ne se contente pas de supprimer des choses de manière aléatoire ; il utilise un processus en deux étapes qui change sa stratégie à mesure qu'il « regarde » plus profondément dans l'image.

Étape 1 : Le « Filet de Sécurité » (Couches Peu Profondes)
Lorsque l'IA regarde l'image pour la première fois, elle n'est pas encore certaine de ce à quoi ressemble un défaut. C'est comme regarder une photo floue. Si elle essaie de deviner quelles parties supprimer maintenant, elle pourrait accidentellement supprimer le défaut. Ainsi, KeepAD utilise une stratégie de Préservation de la Couverture. Imaginez que l'image soit une grille de carrés de 2x2. KeepAD dit : « Peu importe, nous devons garder au moins un morceau de chaque carré de 2x2. » Cela garantit que même si un défaut est minuscule et isolé, il ne sera pas complètement effacé. Il ajoute également un mécanisme de « Sauvetage » : si un endroit semble légèrement risqué, il est sauvegardé même s'il n'est pas le plus évident. Cette étape est conservatrice ; il vaut mieux garder un peu de foin supplémentaire que de perdre l'aiguille.

Étape 2 : Le « Sniper » (Couches Profondes)
À mesure que l'IA traite l'image plus profondément, elle commence à comprendre la différence entre une texture normale et un véritable défaut. Elle peut alors être plus agressive. KeepAD passe à un mode Adaptatif à l'Anomalie. Il utilise des « prototypes » — des modèles mentaux de ce qui est « normal » et de ce qui est « anormal ». Si un token correspond clairement au modèle « normal », il est supprimé. S'il ressemble à un défaut, il reste.

Crucialement, cette deuxième étape est Adaptative à l'Image. Elle n'utilise pas une règle fixe pour chaque image. Si une image semble très suspecte (beaucoup de défauts potentiels), KeepAD conserve plus de tokens pour être prudent. Si l'image semble très propre, il supprime plus de tokens pour gagner du temps. C'est comme un agent de sécurité qui vérifie minutieusement un sac suspect mais jette juste un coup d'œil à un sac vide et clair.

La Recette Secrète : Apprendre sans Perdre

L'une des parties les plus difficiles de ce système est d'apprendre à l'IA à prendre ces décisions. Si l'IA supprime un token, l'ordinateur ne peut plus le « voir » pour apprendre de lui. Pour résoudre cela, les auteurs utilisent une astuce appelée Auto-Distillation Dense-vers-Sparse.

Imaginez un professeur et un élève. Le « Professeur » est l'IA complète et lente qui regarde chaque token. L'« Élève » est l'IA rapide et élaguée qui n'en regarde que quelques-uns. Pendant l'entraînement, le Professeur regarde toute l'image et dit : « Hé, regarde cet endroit ! Même s'il semblait ennuyeux au début, il s'est avéré important plus tard. » L'Élève apprend à prêter attention à ces endroits avant de supprimer quoi que ce soit. Cela permet à l'Élève de devenir rapide sans avoir besoin de voir l'image entière à chaque fois. Une fois l'entraînement terminé, le Professeur disparaît, et l'Élève mène la danse, de manière super rapide.

Les Résultats : Rapide et Précis

Les chercheurs ont testé KeepAD sur 13 benchmarks différents, allant de pièces industrielles (comme des feuilles de métal et des circuits imprimés) à des images médicales (comme des scanners cérébraux et des radiographies).

Vitesse : KeepAD est un champion de la vitesse. Il a réduit le nombre de tokens que l'IA devait traiter à moins de 20 % du montant original. Dans le réglage le plus agressif, il était 7,9 fois plus rapide que la méthode existante la plus forte basée sur CLIP (un célèbre modèle d'IA).
Précision : Malgré l'élimination de beaucoup de données, il n'a pas manqué les défauts. La baisse de précision a été infime — moins de 2,7 points de pourcentage en moyenne. Dans de nombreux cas, il était presque aussi précis que la version lente et complète.
Fiabilité : Le système a réussi à éviter les « ratés complets » (où un défaut est entièrement supprimé). L'étape de « Préservation de la Couverture » au début a été la clé de ce succès, garantissant qu'aucun petit défaut n'était jamais perdu dans le processus.

Pourquoi c'est Important

Ce papier ne suggère pas seulement une nouvelle façon de rendre l'IA plus rapide ; il résout un problème spécifique et dangereux où la vitesse coûte généralement la sécurité. En prouvant que vous pouvez élaguer (supprimer) la majeure partie des données sans perdre l'« aiguille » critique, KeepAD rend possible l'exécution de la détection de défauts de haut niveau sur des systèmes du monde réel qui doivent être rapides, comme des chaînes d'assemblage ou des dépistages médicaux d'urgence. Il montre qu'avec la bonne stratégie — être prudent au début et intelligent à la fin — vous pouvez avoir le beurre (la vitesse) et l'argent du beurre (la précision).

Résumé Technique : KeepAD – Élagage de Tokens Préservant les Défauts pour une Détection d'Anomalies Zero-Shot Efficace

1. Énoncé du Problème

La détection visuelle d'anomalies en mode zero-shot (ZSAD) a progressé de manière significative grâce aux modèles vision-langage (VLM) et aux Vision Transformers (ViT). Cependant, les méthodes existantes effectuent généralement un calcul dense sur tous les patchs d'image (tokens) à travers chaque couche du Transformer. Cette approche est inefficace car :

Sparsité des Données : Dans les scénarios réels, les images anormales sont rares, et au sein d'une image anormale, les preuves décisives (défauts) n'occupent généralement qu'une petite région localisée.
Risque d'Élagage Asymétrique : Contra-irement à la classification d'images générique où l'élimination des tokens non dominants est acceptable, la détection d'anomalies fait face à une asymétrie critique. Conserver des tokens normaux redondants entraîne un gaspillage de calcul, mais supprimer un token anormal — même subtil — peut effacer de manière irréversible la seule preuve requise pour la détection et la localisation.
Le Paradoxe de l'Élagage Précoce : L'élagage des couches précoces offre les plus grands gains de calcul, mais les représentations superficielles manquent souvent de fiabilité sémantique pour distinguer les défauts subtils des variations de texture normales. À l'inverse, les couches profondes fournissent des indices d'anomalie fiables mais laissent moins de calcul à économiser.

Les méthodes actuelles d'élagage de tokens pour la classification ou la génération sont mal adaptées à la ZSAD car elles privilégient les sémantiques dominantes, risquant ainsi de rejeter les tokens épars et peu visibles qui constituent l'anomalie.

2. Méthodologie : KeepAD

Les auteurs proposent KeepAD, un cadre d'élagage de tokens préservant les défauts, conçu pour naviguer entre le risque d'élagage asymétrique et le paradoxe de l'élagage précoce. La méthode opère sur un backbone CLIP ViT gelé (par exemple, ViT-L/14@336px) et emploie un processus d'entraînement en deux étapes suivi d'une passe d'inférence parcimonieuse unique.

2.1 Entraînement en Deux Étapes

Étape 1 (Entraînement du Détecteur Dense) : Une tête d'anomalie légère est entraînée sur le backbone ViT gelé. Cette tête apprend des prototypes normaux et d'anomalies au niveau des couches intermédiaires. Crucialement, elle produit un signal d'enseignant « dense-vers-parcimonieux » : une passe non élaguée génère des priors d'anomalie dans les couches profondes qui servent de cibles de supervision pour les sélecteurs d'élagage.
Étape 2 (Entraînement du Sélecteur) : Le backbone et la tête sont gelés. Deux sélecteurs de tokens légers sont insérés à des couches spécifiques (L8 et L12) et entraînés pour router les tokens. Le détecteur lui-même n'est jamais mis à jour.

2.2 Élagage Progressif Préservant les Défauts

KeepAD adapte sa stratégie d'élagage en fonction de la profondeur du réseau :

Phase Précoce (L8) : Sélection Préservant la Couverture
- Défi : La sémantique de l'anomalie est peu fiable ; les prototypes ne sont pas encore discriminants.
- Stratégie : Le sélecteur évite la sélection globale top-k, qui pourrait concentrer les tokens sur les régions normales dominantes. Au lieu de cela, il partitionne la grille de l'image en blocs $2 \times 2$ et garantit qu'au moins un token représentatif de chaque bloc non vide est conservé.
- Mécanisme de Sauvetage : Tout budget de tokens restant est alloué de manière déterministe à des « candidats de sauvetage » (par exemple, des tokens à score élevé provenant de cellules de grille distinctes) pour éviter la perte totale de défauts petits ou isolés.
Phase Profonde (L12) : Sélection Adaptative à l'Anomalie
- Défi : La sémantique de l'anomalie est fiable, mais le calcul doit être réduit de manière agressive.
- Stratégie : Le sélecteur combine la saillance visuelle avec les affinités envers les prototypes normaux et d'anomalies gelés appris à l'étape 1.
- Budget Adaptatif à l'Image : Au lieu d'un ratio d'élagage fixe, le budget de tokens est ajusté dynamiquement par image en fonction de la distribution des preuves d'anomalie. Les images présentant des anomalies prononcées reçoivent un budget de tokens plus élevé, tandis que les images pauvres en preuves (probablement normales) sont élaguées plus agressivement.
- Élagage par Bloc : Pour maintenir la cohérence spatiale, L12 sélectionne des blocs entiers de tokens plutôt que des tokens isolés.

2.3 Auto-distillation Dense-vers-Parcimonieux

Pour résoudre la difficulté d'entraîner le sélecteur superficiel (L8) sans flux de gradient direct de la perte de détection finale, KeepAD utilise l'auto-distillation. La branche « enseignante » gelée et non élaguée fournit les réponses d'anomalie des couches profondes comme cibles de préservation explicites pour le sélecteur « étudiant » superficiel. Cela guide le routeur précoce pour conserver les tokens susceptibles de devenir pertinents pour l'anomalie dans les couches plus profondes, sans ajouter de surcharge lors de l'inférence.

2.4 Récupération Dense et Inférence

Lors de l'inférence, seuls les tokens durement élagués sont traités. Pour restaurer la localisation dense :

Récupération Spatiale : Les positions des patchs abandonnés sont mappées vers leur token survivant le plus proche sur la grille originale. La réponse d'anomalie du survivant est copiée à la position abandonnée.
Intégrité du Score : Crucialement, les scores d'anomalie au niveau de l'image sont agrégés uniquement à partir des survivants physiques. Les positions récupérées sont utilisées uniquement pour la génération de la carte au niveau des pixels et n'influencent pas la classification finale de l'image, évitant ainsi que des preuves artificielles n'augmentent indûment les scores.

3. Principales Contributions

Formulation du Problème : L'article identifie et formalise le « risque d'élagage asymétrique » et le « paradoxe de l'élagage précoce » spécifiques à la détection d'anomalies zero-shot, les distinguant des tâches standard d'élagage de tokens.
Cadre KeepAD : Un mécanisme de routage progressif qui passe d'une sélection spatiale conservatrice préservant la couverture dans les couches superficielles à un élagage adaptatif à l'image et guidé par les prototypes dans les couches profondes.
Stratégie d'Entraînement : L'introduction de l'auto-distillation dense-vers-parcimonieux pour superviser la sélection de tokens superficielle à l'aide de priors d'anomalie profonds, permettant un entraînement efficace sans ré-entraîner le backbone.
Validation Empirique : Une évaluation étendue sur 13 benchmarks (6 industriels, 7 médicaux) démontrant que KeepAD peut réduire la rétention de tokens à moins de 20 % tout en maintenant une précision compétitive.

4. Résultats Expérimentaux

Évalué sur un seul GPU NVIDIA RTX 5090, KeepAD démontre des gains d'efficacité significatifs avec une dégradation minimale de la précision :

Débit (Throughput) : Atteint une accélération allant jusqu'à 7,9× par rapport au baseline CLIP le plus fort (Bayes-PFL) et une accélération de 1,7× par rapport au baseline ViT le plus fort (VisualAD) à une précision compétitive.
Précision : Au point de fonctionnement le plus agressif (retenant environ 14–18 % des tokens), la dégradation moyenne des performances au niveau de l'image (I-AUROC) et du pixel (P-AUROC) est limitée à moins de 2,7 points de pourcentage.
Robustesse : La méthode se transfère efficacement entre les domaines industriels (MVTec-AD, VisA) et médicaux (OCT, IRM, Endoscopie) sans adaptation spécifique au domaine.
Aperçus d'Ablation :
- Supprimer l'élagage de L8 provoque une chute significative de la vitesse (6,5–8,3 img/s), confirmant l'élagage précoce comme le levier d'efficacité principal.
- Remplacer la sélection préservant la couverture par une sélection top-k globale augmente drastiquement le « Taux de Manquement Complet » (CMR), prouvant la nécessité des contraintes de couverture locale.
- Le budget adaptatif à l'image surpasse les budgets fixes ou mélangés, particulièrement pour réduire le CMR.

5. Signification et Revendications

L'article affirme que KeepAD réussit à concilier les objectifs contradictoires de réduction agressive des tokens et de préservation des preuves de défauts parsemées. En formulant la sélection de tokens comme un problème de routage à haut rappel et conscient des anomalies, KeepAD évite les échecs de « manquement complet » courants dans les méthodes d'élagage génériques.

Les auteurs soulignent que leur approche n'est pas simplement une optimisation de vitesse, mais une adaptation structurelle au profil de sparsité et de risque unique de la détection d'anomalies. La méthode atteint une accélération d'inférence substantielle (jusqu'à 7,9×) tout en maintenant des performances de détection et de localisation comparables aux modèles d'état de l'art denses et non élagués, ce qui en fait une solution viable pour les systèmes de détection d'anomalies zero-shot en temps réel.