Latent Anomaly Knowledge Excavation: Unveiling Sparse Sensitive Neurons in Vision-Language Models

1. Problématique et Contexte

Les modèles vision-langage (VLM) pré-entraînés à grande échelle, tels que CLIP, démontrent des capacités remarquables en détection d'anomalies (AD) en mode zero-shot ou few-shot. Cependant, les méthodes actuelles traitent ces modèles comme des boîtes noires : elles supposent que la connaissance spécifique aux anomalies doit être acquise via des modules externes (adapters, banques de mémoire, ajustement de prompts) plutôt que d'être intrinsèque au modèle.

Le problème central identifié par les auteurs est que ces approches externes contournent la dynamique interne du modèle, laissant inexploité le potentiel discriminatif latent de l'espace de caractéristiques pré-entraîné. De plus, les méthodes existantes manquent d'interprétabilité mécaniste : elles ne peuvent pas identifier quelles unités internes portent réellement la connaissance des anomalies.

L'hypothèse de travail : La connaissance des anomalies n'est pas absente des VLM pré-entraînés ; elle y est latente et sous-activée. Cette connaissance serait concentrée dans un sous-ensemble épars de neurones sensibles aux anomalies, qui ne sont pas activés lors de l'inférence standard.

2. Méthodologie : Le Framework LAKE

Les auteurs proposent LAKE (Latent Anomaly Knowledge Excavation), un cadre sans entraînement (training-free) qui vise à extraire et activer ces connaissances latentes en utilisant uniquement un petit ensemble d'échantillons normaux.

Le processus se déroule en trois étapes clés :

A. Détection des Neurones Sensibles aux Anomalies

Au lieu d'utiliser toutes les dimensions de caractéristiques, LAKE identifie un sous-espace de neurones critiques :

• Principe : Les neurones qui affichent une variance élevée sur des données normales (et non une variance nulle) sont considérés comme les axes principaux du manifold de la normalité. Une anomalie perturbe ce manifold, se manifestant par des déviations le long de ces directions actives.
• Calcul : Pour chaque canal de caractéristiques $d$, la variance $\sigma^2_d$ est calculée sur l'ensemble de support normal. Les $K$ canaux avec la variance la plus élevée sont sélectionnés pour former le sous-espace sensible $I_{sens}$.
• Résultat : Cela permet de filtrer le bruit de fond et les redondances, ne conservant que les dimensions les plus réactives.

B. Sondage au Niveau des Patchs (Représentation Visuelle)

Une fois le sous-espace sensible identifié, le système détecte les déviations spatiales :

• Les tokens de patchs de l'image de test sont projetés dans ce sous-espace sensible.
• Une galerie de référence est construite à partir des patchs des images normales.
• La déviation d'anomalie pour chaque patch est mesurée par la distance au plus proche voisin dans cette galerie (basée sur la similarité cosinus).
• Le score visuel global ($S_{vis}$) est obtenu par max-pooling sur les déviations de tous les patchs, préservant ainsi les preuves d'anomalies locales et fines.

C. Sondage d'Activation Cross-Modale (Sémantique)

Pour éviter les faux positifs dus à des variations de texture bénignes, une vérification sémantique est ajoutée :

• Des représentations de patchs plus profondes sont alignées avec des embeddings textuels décrivant les états "normal" et "anormal".
• Une probabilité d'anomalie sémantique est calculée pour chaque patch via une fonction softmax sur la similarité avec les prompts textuels.
• Le score sémantique ($S_{text}$) est le maximum de ces probabilités.

D. Score Unifié

Le score final d'anomalie $S(x)$ est une fusion pondérée des signaux visuels et sémantiques :
$$S(x) = (1 - \alpha) S_{vis}(x) + \alpha S_{text}(x)$$
où $\alpha$ équilibre la déviation structurelle et l'incohérence sémantique.

3. Contributions Clés

1. Changement de paradigme : Redéfinition de la détection d'anomalies non pas comme une tâche d'adaptation externe, mais comme l'activation ciblée de connaissances pré-entraînées latentes via des neurones épars.
2. Framework LAKE : Introduction d'une méthode interprétable qui combine la localisation de neurones basée sur la variance et l'activation textuelle cross-modale, offrant une interprétabilité au niveau des neurones et des patchs sans attribution post-hoc.
3. Performance et Efficacité : Démonstration qu'un petit nombre d'échantillons normaux (ex: 64 shots) suffit pour approximer le manifold normal et activer les neurones critiques, éliminant le besoin d'adapters lourds ou de banques de mémoire massives.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks industriels (MVTec-AD, VisA, BTAD) et un domaine médical (Brain-AD).

• Performance de pointe (SOTA) :
  • Sur MVTec-AD, LAKE atteint 94,7 % d'AUROC (image) et 93,7 % (pixel), surpassant les méthodes précédentes comme VisualAD et AnomalyCLIP.
  • Sur VisA et BTAD, des gains significatifs sont observés (ex: +29,2 % d'AUROC sur VisA par rapport à OpenCLIP de base).
  • Sur le dataset médical Brain-AD, LAKE démontre une excellente généralisation transverse avec 97,2 % d'AUROC (pixel), prouvant que la connaissance excavée n'est pas sur-ajustée aux textures industrielles.
• Efficacité des données : Les études d'ablation montrent que les performances se stabilisent dès 64 échantillons de support, confirmant l'efficacité extrême de la méthode.
• Interprétabilité :
  • L'analyse quantitative montre que la sélection des Top-K neurones (basée sur la variance) est cruciale : une sélection aléatoire fait chuter l'AUROC de 94,7 % à 81,6 %.
  • Les cartes de chaleur générées par les neurones sensibles sont nettement plus précises et alignées avec les défauts réels que celles des méthodes basées sur des neurones aléatoires ou des approches boîte noire.
• Généralité : Le module LAKE fonctionne comme un module "plug-and-play", améliorant les performances d'autres modèles de base (WinCLIP, ReMP-AD) sans réentraînement.

5. Signification et Impact

Ce travail apporte une contribution fondamentale à la compréhension des modèles fondationnels (Foundation Models) :

• Interprétabilité Mécaniste : Il prouve que les capacités de détection d'anomalies sont déjà encodées dans les modèles pré-entraînés, concentrées dans des sous-réseaux neuronaux spécifiques, et qu'elles peuvent être "réveillées" sans apprentissage supplémentaire.
• Efficacité et Durabilité : En éliminant le besoin d'adapters, de banques de mémoire volumineuses et de fine-tuning, LAKE propose une solution plus légère, plus rapide et plus respectueuse des ressources pour l'application industrielle.
• Universalité : La capacité à généraliser de l'industrie à la médecine suggère que ces neurones sensibles capturent des concepts d'anomalie universels, transcendant les domaines spécifiques.

En conclusion, LAKE démontre que la clé de la détection d'anomalies performante réside dans l'exploitation intelligente de l'intelligence interne du modèle, plutôt que dans l'ajout de complexité externe.