GenCLIP: Generalizing CLIP Prompts for Zero-shot Anomaly Detection

Le papier présente GenCLIP, un cadre innovant qui améliore la détection d'anomalies en zéro-shot en apprenant des prompts généraux stables grâce à une incitation multi-couches et une inférence à double branche pour équilibrer spécificité et généralisation.

L'essentiel

🕵️‍♂️ Le Problème : Trouver l'aiguille dans la botte de foin (sans savoir à quoi ressemble l'aiguille)

Imaginez que vous travaillez dans une usine de fabrication de jouets. Votre travail est de repérer les jouets défectueux (une roue manquante, une peinture écaillée).

• Le problème classique : Pour apprendre à votre cerveau à repérer ces défauts, vous avez besoin de voir des milliers de jouets parfaits et des milliers de jouets abîmés.
• La réalité : Dans la vraie vie, les jouets abîmés sont très rares. De plus, demain, l'usine pourrait commencer à fabriquer des robots ou des montres. Vous n'avez pas de photos de robots abîmés pour vous entraîner !

C'est ce qu'on appelle la détection d'anomalie "Zero-Shot" (zéro coup d'œil) : comment repérer un défaut sur un objet que l'on n'a jamais vu auparavant, sans avoir vu de défauts sur cet objet spécifique ?

🧠 La Solution : GenCLIP (Le Détective Polyglotte)

Les chercheurs de l'Université Yonsei ont créé GenCLIP. Pour comprendre comment ça marche, imaginons que nous utilisons un détective très intelligent nommé CLIP.

CLIP est un détective qui a lu des millions de livres et vu des milliards de photos. Il sait ce qu'est un "chien", une "voiture" ou un "gâteau". Mais il n'a jamais été formé spécifiquement pour voir les rayures sur une voiture ou les taches sur un gâteau.

GenCLIP est une nouvelle méthode pour apprendre à ce détective à devenir un expert en défauts, même sur des objets inconnus. Voici ses trois super-pouvoirs :

1. Le "Cerveau à plusieurs étages" (Multi-layer Prompting) 🏗️

Imaginez que vous essayez de décrire un objet à un ami.

• Si vous ne lui donnez qu'une vue d'ensemble (le toit de la maison), vous manquez les détails (la fissure dans la brique).
• Si vous ne lui donnez que des détails microscopiques (la texture de la brique), vous ne comprenez pas que c'est une maison.

GenCLIP ne se contente pas d'une seule vue. Il regarde l'image à travers plusieurs "lunettes" différentes (différentes couches de l'IA).

• Une couche voit les formes générales.
• Une autre voit les textures et les bords.
• Une autre voit les concepts abstraits.

En combinant toutes ces informations, GenCLIP enrichit sa "description textuelle" de l'objet. C'est comme si le détective utilisait un microscope, une loupe et un télescope en même temps pour écrire son rapport. Cela l'aide à ne pas se tromper et à comprendre l'objet dans sa globalité.

2. La Stratégie du "Double Détective" (Dual-Branch Inference) 🕵️‍♂️🕵️‍♀️

C'est l'idée la plus brillante du papier. Au moment de vérifier un objet, GenCLIP envoie deux détectives différents pour enquêter, puis compare leurs rapports :

• Le Détective Spécialiste (Vision-Enhanced Branch) :
  Il regarde l'objet en détail. Il sait que c'est une "vis" ou un "tuyau". Il utilise les informations visuelles précises pour chercher des défauts spécifiques à ce type d'objet.

  • Analogie : C'est comme un mécanicien qui connaît parfaitement le modèle de voiture et cherche une pièce manquante spécifique.

• Le Détective Généraliste (Query-Only Branch) :
  Lui, il ne regarde pas le nom de l'objet. Il ne sait pas si c'est une vis ou un gâteau. Il a juste appris un concept très large : "À quoi ressemble un objet NORMAL ?" et "À quoi ressemble un objet ANORMAL ?".

  • Analogie : C'est comme un inspecteur de sécurité qui ne connaît pas le produit, mais qui a un instinct infaillible pour dire "Ça a l'air bizarre" ou "Ça a l'air normal", peu importe ce que c'est.

Pourquoi faire ça ?
Parfois, le nom de l'objet (ex: "tuyau") aide à trouver le défaut. Mais parfois, le nom est trompeur ou ambigu (ex: un objet industriel bizarre nommé "Fryum-02").

• Si le Spécialiste se trompe à cause du nom bizarre, le Généraliste peut sauver la mise en disant "Hé, ça a l'air anormal !".
• Si le Généraliste est trop vague, le Spécialiste apporte la précision.
  En combinant les deux, on obtient un résultat ultra-fiable.

3. Le Filtre Anti-Bruit (Class Name Filtering) 🧹

Parfois, les noms des objets dans les bases de données industrielles sont bizarres. Au lieu de "Vis", on peut avoir "Vis_02" ou "Pipe_Fryum".
Si on dit à l'IA : "Regarde le défaut sur le 'Vis_02'", l'IA peut être perdue car "Vis_02" ne veut rien dire pour elle.

GenCLIP a un petit filtre intelligent. Avant de donner l'ordre à l'IA, il se demande : "Est-ce que ce nom aide vraiment à comprendre l'image ?"

• Si le nom est bizarre ou contient des chiffres inutiles, il le remplace par un mot simple et universel : "Objet".
• C'est comme si, au lieu de dire "Regarde le défaut sur la 'Chaise-Bleue-Modèle-345'", on disait simplement "Regarde le défaut sur la chaise". Cela évite que l'IA se focalise sur le nom bizarre au lieu du défaut visuel.

🏆 Le Résultat : Pourquoi c'est génial ?

Grâce à cette méthode, GenCLIP réussit à :

1. Apprendre vite : Il n'a pas besoin de voir des milliers d'exemples de défauts pour chaque nouvel objet.
2. Être robuste : Il ne panique pas face à des objets nouveaux ou des noms étranges.
3. Être précis : Il peut localiser exactement où est la rayure ou la tache sur l'image (comme un marqueur rouge sur la photo).

En résumé :
GenCLIP est comme un détective qui utilise à la fois ses connaissances spécifiques (grâce à plusieurs niveaux de vision) et son intuition générale (grâce à un détective généraliste), tout en nettoyant le langage pour éviter les malentendus. Cela permet de détecter des défauts sur n'importe quel objet, même ceux qu'il n'a jamais vus auparavant, ce qui est une révolution pour l'industrie et le contrôle qualité.

Résumé technique

1. Problématique et Contexte

La détection d'anomalies (AD) est cruciale dans des domaines comme le contrôle qualité industriel, où l'objectif est d'identifier des défauts rares sur des images. Cependant, la nature déséquilibrée des données (peu d'exemples d'anomalies par rapport aux images normales) rend l'apprentissage supervisé difficile.

Les méthodes existantes souffrent de limitations majeures :

• Méthodes non supervisées classiques : Elles s'entraînent uniquement sur des images normales d'une seule classe d'objet. Elles échouent souvent à généraliser à des classes d'objets non vues lors de l'entraînement.
• Détection d'anomalies Zero-Shot (ZSAD) : Bien que les modèles Vision-Language (VLM) comme CLIP offrent une forte capacité de généralisation, leur application directe à l'AD industrielle est problématique. CLIP n'est pas conçu spécifiquement pour distinguer le "normal" de l'"anormal" dans des contextes industriels variés.
• Apprentissage d'invites (Prompt Learning) : Les approches récentes tentent d'adapter les invites textuelles de CLIP. Cependant, elles peinent à trouver un équilibre entre :
  • La généralisation (capacité à fonctionner sur n'importe quelle classe d'objet).
  • La spécificité (capacité à capturer les indices visuels fins propres à une classe).
  • La stabilité de l'optimisation des invites.

2. Méthodologie : GenCLIP

Les auteurs proposent GenCLIP, un cadre novateur qui améliore l'apprentissage et l'utilisation d'invites généralisées via trois mécanismes principaux :

A. Invites Multi-couches (Multi-layer Prompting)

Contrairement aux méthodes précédentes qui n'utilisent souvent que le token de classe de la dernière couche de l'encodeur visuel, GenCLIP intègre des informations visuelles provenant de plusieurs couches de l'encodeur CLIP.

• Tokens d'invites visuelles multi-couches (MVPs) : Des tokens visuels sont extraits de différentes couches de l'encodeur d'image (capturant ainsi des textures de bas niveau jusqu'à des concepts sémantiques de haut niveau).
• Tokens d'invites de requête généralisés (GQPs) : Ce sont des tokens appris de manière à être indépendants de la classe d'objet.
• Fusion : Les MVPs sont injectés dans les GQPs pour enrichir les invites textuelles avec des indices visuels contextuels. Cela permet d'augmenter la robustesse des invites générales et de réduire le surapprentissage (overfitting) sur le petit ensemble de données d'entraînement.

B. Stratégie d'Inférence à Double Branche

Pour équilibrer spécificité et généralisation, GenCLIP utilise deux branches d'inférence parallèles dont les sorties sont combinées :

1. Branche "Vision-Enhanced" (Améliorée par la vision) :
   • Combine les invites de requête (GQPs) avec les tokens visuels multi-couches (MVPs).
   • Utilise une filtration des noms de classes (CNF) pour nettoyer les descriptions textuelles (voir ci-dessous).
   • Capture des détails fins et spécifiques à la classe.
2. Branche "Query-Only" (Uniquement requête) :
   • Utilise uniquement les GQPs généralisés, sans aucune information visuelle spécifique ni nom de classe (remplacé par le terme générique "object").
   • Apprend à représenter les concepts abstraits de "normal" et "anormal" de manière universelle.
   • Identifie les cas où les informations de classe pourraient être nuisibles (outliers).

Fusion des résultats : Les cartes de scores d'anomalie des deux branches sont combinées par une somme pondérée et un lissage gaussien pour produire la carte finale de segmentation.

C. Filtrage Adaptatif des Noms de Classes (CNF)

Dans les applications industrielles, les noms de classes peuvent être ambigus (ex: "02", "pipe_fryum") ou ne pas décrire visuellement l'objet.

• Le module CNF utilise un modèle CLIP gelé pour calculer la similarité entre l'image et deux phrases : une avec le nom de classe original et une avec un terme générique ("object").
• Si l'image est plus similaire au terme générique, le nom de classe est remplacé par "object" dans l'invite textuelle.
• Cela élimine le bruit sémantique et améliore l'alignement entre les caractéristiques visuelles et textuelles.

3. Contributions Clés

1. Stratégie d'invites Multi-couches : Intégration de tokens visuels extraits de multiples couches de l'encodeur CLIP pour enrichir les invites textuelles, améliorant la représentation des caractéristiques sans surapprentissage.
2. Stratégie d'inférence Dual-Branch : Une approche innovante combinant une branche spécifique à la vision (pour la précision) et une branche purement textuelle généralisée (pour la robustesse), surpassant les méthodes à branche unique.
3. Mécanisme de Filtrage CNF : Un prétraitement adaptatif des invites textuelles pour gérer les noms de classes industriels ambigus, assurant une meilleure cohérence sémantique.
4. Performances SOTA : Validation sur six jeux de données industriels, démontrant une supériorité par rapport aux méthodes de l'état de l'art (WinCLIP, AnomalyCLIP, AdaCLIP).

4. Résultats Expérimentaux

Les auteurs ont évalué GenCLIP sur six benchmarks industriels : MVTec-AD, VisA, MPDD, BTAD, SDD et DTD-Synthetic.

• Performance Globale : GenCLIP obtient les meilleurs résultats (State-of-the-Art) sur la plupart des métriques.
  • Sur MVTec-AD, il atteint un AUROC pixel-level de 92,7% et un PRO de 88,1%, surpassant AnomalyCLIP (91,1% / 81,4%).
  • Sur VisA, il atteint 95,3% AUROC et 89,3% PRO.
  • L'amélioration moyenne en PRO (Per-Region Overlap) par rapport à la deuxième meilleure méthode est d'environ 6,5 points de pourcentage, ce qui indique une localisation d'anomalies beaucoup plus précise.
• Analyse par Ablation :
  • L'ajout de la branche "Query-only" améliore significativement la généralisation.
  • L'utilisation de multiples couches visuelles (MVP) est supérieure à l'utilisation d'une seule couche finale.
  • Le module CNF améliore les performances, en particulier pour les classes avec des noms de classes ambigus (ex: "fryum", "pipe fryum").
• Visualisation : Les cartes de chaleur générées par GenCLIP montrent une meilleure adhérence aux masques de vérité terrain (Ground Truth) et moins de bruit de fond que les méthodes concurrentes.

5. Signification et Impact

GenCLIP représente une avancée significative dans le domaine de la détection d'anomalies industrielle sans supervision.

• Résolution du compromis Généralisation vs Spécificité : En séparant et en combinant intelligemment les approches "spécifiques à la classe" et "générales", le modèle évite les pièges des méthodes purement génériques (qui manquent de détails) ou purement spécifiques (qui ne généralisent pas).
• Robustesse Industrielle : La capacité à gérer des noms de classes non standardisés via le CNF rend le système beaucoup plus applicable dans des scénarios réels où les métadonnées peuvent être imparfaites.
• Efficacité : En s'appuyant sur un modèle pré-entraîné (CLIP) avec un fine-tuning léger des invites (prompt learning) plutôt qu'un ré-entraînement complet, GenCLIP offre une solution efficace en termes de ressources tout en atteignant des performances supérieures.

En conclusion, GenCLIP établit une nouvelle référence pour la détection d'anomalies zero-shot, prouvant que l'exploitation stratégique des caractéristiques visuelles multi-couches et d'une inférence hybride permet de surmonter les limitations des modèles VLM standards dans des tâches industrielles critiques.