TIPS Over Tricks: Simple Prompts for Effective Zero-shot Anomaly Detection

Cet article propose une méthode de détection d'anomalies en zéro-shot basée sur le modèle VLM TIPS et des prompts découplés, qui améliore significativement les performances de localisation et de détection sur des données industrielles sans recourir à des modules auxiliaires complexes ni à des astuces spécifiques à CLIP.

L'essentiel

Imaginez que vous êtes un inspecteur de qualité dans une usine ou un hôpital. Votre travail est de repérer le moindre défaut sur un objet (une pièce métallique rayée) ou dans une image médicale (une tumeur sur une IRM).

Le problème ? Parfois, vous n'avez jamais vu le type d'objet ou de maladie que vous devez inspecter. C'est comme si on vous demandait de trouver une fissure sur un type de voiture que vous n'avez jamais conduite, ou de repérer une maladie rare que vous n'avez jamais étudiée. C'est ce qu'on appelle la détection d'anomalie "zéro-shot" (sans entraînement préalable).

Voici comment les chercheurs de cette paper ont résolu ce casse-tête, en utilisant une analogie simple : Le Détective et ses Outils.

1. Le Problème : Le Détective "CLIP" un peu distrait

Jusqu'à présent, les experts utilisaient un détective très célèbre nommé CLIP. CLIP est un génie qui a lu des millions de livres et vu des millions de photos. Il sait dire : "Ceci est une pomme" ou "Ceci est une voiture".

Mais CLIP a un défaut majeur pour notre travail d'inspecteur :

• Il est trop global : Il regarde l'image comme un panorama. Il sait qu'il y a une "voiture", mais il a du mal à dire exactement où est la rayure sur la portière.
• Il est un peu brouillon : Il confond parfois les détails fins. C'est comme un détective qui vous dit "Il y a un crime ici" en pointant du doigt toute la ville, au lieu de montrer la maison précise.

Pour corriger cela, les autres chercheurs ont essayé d'ajouter des "lunettes spéciales" ou des "outils complexes" à CLIP. Mais c'était lourd, compliqué et ça ne fonctionnait pas toujours parfaitement.

2. La Solution : Le Nouveau Détective "TIPS"

Au lieu de continuer à bricoler CLIP, les auteurs ont décidé de changer de détective. Ils ont choisi TIPS.

• L'analogie : Si CLIP est un détective qui regarde une photo de loin, TIPS est un détective qui porte des loupes spatiales. Il a été entraîné spécifiquement pour comprendre non seulement ce qu'est l'objet, mais aussi où il se trouve précisément dans l'image.

Cependant, même TIPS a un petit problème : il est un peu "schizophrène".

• Quand il regarde l'image en entier (pour dire "C'est normal ou pas ?"), il utilise un cerveau.
• Quand il regarde les petits détails (pour trouver la rayure), il utilise un autre cerveau.
• Et ces deux cerveaux ne se parlent pas très bien ! Ils ne sont pas d'accord sur ce qu'ils voient.

3. L'Innovation : Les "Deux Bouches" (Prompts Découplés)

Pour régler ce problème de communication, les chercheurs ont inventé une astuce géniale qu'ils appellent "Prompts Découplés". Imaginez que vous parlez à TIPS avec deux bouches différentes :

1. La bouche "Générale" (Fixe) : Pour dire "C'est une voiture parfaite" ou "C'est une voiture abîmée", vous utilisez des phrases toutes faites, simples et fixes. C'est comme un dictionnaire standard. Cela permet de bien juger l'ensemble de l'image.
2. La bouche "Spécialiste" (Apprenante) : Pour trouver la rayure précise, vous laissez TIPS apprendre ses propres mots. Il s'entraîne à décrire les défauts avec des termes très précis, adaptés aux petits détails.

En séparant ces deux tâches, on évite que le cerveau "global" ne perturbe le cerveau "local".

4. Le Résultat : Le Score Ultime

Comment on obtient la réponse finale ?

• Le détective TIPS regarde l'image entière et dit : "Je suis à 80% sûr qu'il y a un problème."
• En même temps, il regarde les détails et dit : "Attends, j'ai trouvé une zone très suspecte ici !"
• La formule magique : On prend la certitude globale, et on y ajoute la preuve la plus forte trouvée dans les détails.

Pourquoi c'est génial ?

• Simplicité : Pas besoin de machines complexes ou de milliers de paramètres à régler. C'est comme passer d'un avion de chasse compliqué à un vélo très efficace.
• Efficacité : Sur 14 tests différents (usines, hôpitaux, peaux, cerveaux), cette méthode a trouvé plus de défauts et les a localisés plus précisément que les meilleures méthodes précédentes.
• Généralisation : Comme TIPS est un bon détective de base, il fonctionne bien même sur des objets qu'il n'a jamais vus auparavant.

En résumé :
Au lieu de forcer un détective distrait (CLIP) à travailler plus dur avec des outils compliqués, les auteurs ont pris un détective naturellement précis (TIPS) et lui ont donné deux types de consignes séparées : une pour le grand tableau et une pour les détails. Le résultat ? Une détection d'anomalies plus rapide, plus précise et plus intelligente, capable de sauver des vies ou d'éviter des défauts industriels sans avoir besoin de se former sur chaque nouveau cas.

Résumé technique

1. Problématique et Contexte

La détection d'anomalies vise à identifier des écarts par rapport au comportement attendu dans des environnements critiques (inspection industrielle, imagerie médicale).

• Le défi du Zero-Shot (ZSAD) : Dans de nombreux cas, les données normales du domaine cible ne sont pas disponibles (problèmes de confidentialité ou de rareté). La détection d'anomalies en "zero-shot" (ZSAD) doit donc fonctionner sans entraînement sur les données cibles.
• Limites des modèles actuels (CLIP) : Les approches récentes utilisent des modèles Vision-Langage (VLM) comme CLIP. Cependant, CLIP présente deux faiblesses majeures pour cette tâche :
  1. Alignement spatial grossier : Son objectif de pré-entraînement par contraste n'assure pas un alignement précis entre les patches d'image et le texte, ce qui nuit à la localisation pixel par pixel.
  2. Sensibilité faible aux anomalies fines : Il peine à détecter des défauts subtils.
• Complexité des solutions existantes : Les travaux antérieurs tentent de compenser ces défauts en ajoutant des modules auxiliaires complexes (prompts visuels apprenables, adaptateurs de caractéristiques), ce qui augmente la complexité architecturale et risque le surapprentissage (overfitting), réduisant la généralisation.

2. Méthodologie : Le Framework Tipsomaly

Les auteurs proposent une approche simple mais efficace basée sur un nouveau backbone (modèle de base) et une stratégie de prompting découplé.

A. Choix du Backbone : TIPS

Au lieu d'adapter CLIP, l'article utilise TIPS (Text-Image Pretraining with Spatial awareness).

• TIPS est un VLM entraîné avec des objectifs sensibles à l'espace, offrant un meilleur alignement patch-texte que CLIP.
• Il génère deux types de tokens globaux : un token centré sur l'objet ($g_o$) et un token spatial ($g_s$), ainsi que des embeddings de patches denses ($Z_M$) pour la localisation.

B. Prompting Découplé (Decoupled Prompting)

L'étude révèle un écart distributionnel entre les caractéristiques globales (pour la classification d'image) et locales (pour la segmentation) dans TIPS. Pour résoudre cela, les auteurs séparent les stratégies de prompt :

1. Prompts Fixes pour la Détection (Image-level) :
   • Utilisation de templates textuels fixes (ex: "une photo de [état] [classe]").
   • Ces prompts génèrent des prototypes textuels fixes ($G_f$) pour évaluer la probabilité qu'une image entière soit anormale.
2. Prompts Apprenables pour la Localisation (Pixel-level) :
   • Utilisation de tokens apprenables ($T_n, T_a$) optimisés uniquement avec une perte locale (Focal Loss + Dice Loss) sur un ensemble de données source.
   • Ces prompts génèrent des prototypes ($G_l$) spécialisés pour la détection de détails fins, sans interférer avec la classification globale.

C. Agrégation des Scores

Le score final d'anomalie ($\hat{y}$) pour une image est calculé en combinant :

• Le score global basé sur le token spatial ($g_s$) comparé aux prototypes fixes.
• La preuve locale la plus forte : le score d'anomalie maximal obtenu sur la carte de segmentation ($\max(\hat{S}_a)$).
• Formule : $\hat{y} = p_a(g_s, G_f) + \max(\hat{S}_a)$.

3. Contributions Clés

1. Réévaluation du Backbone : Démonstration que le choix du modèle de base (TIPS vs CLIP) est plus impactant que l'ajout de modules d'adaptation complexes. TIPS résout nativement les problèmes d'alignement spatial.
2. Stratégie de Prompting Découplé : Identification et résolution de l'incompatibilité entre les représentations globales et locales via l'utilisation de prompts fixes pour la détection et de prompts apprenables pour la localisation.
3. Architecture Économe : Une pipeline simple sans "tricks" complexes spécifiques à CLIP, offrant une meilleure généralisation et une architecture légère.
4. Validation Étendue : Évaluation sur 14 datasets réels couvrant à la fois l'industrie (MVTec, VisA, etc.) et la médecine (ISIC, BrainMRI, etc.).

4. Résultats Expérimentaux

Les résultats sont présentés sur 14 datasets (7 industriels, 7 médicaux) avec des métriques standard (AUROC, AP, F1-max, AUPRO).

• Performance Industrielle :
  • Amélioration de 1,1 % à 3,9 % au niveau de l'image (AUROC, AP, F1-max) par rapport aux méthodes basées sur CLIP (AnomalyCLIP, AdaCLIP, VAND).
  • Amélioration de 1,5 % à 6,9 % au niveau des pixels (localisation), démontrant une capacité supérieure à localiser les défauts fins.
• Performance Médicale (Généralisation Cross-Domain) :
  • Gain significatif au niveau pixel : +3,2 % (AUROC), +4,4 % (AUPRO), +5,3 % (F1-max) en moyenne.
  • Cela prouve la capacité du modèle à généraliser à des domaines très différents (médical) sans réentraînement.
• Ablation Studies :
  • Le prompting découplé est confirmé comme essentiel : les prompts fixes seuls échouent en segmentation, les prompts apprenables seuls échouent en classification.
  • L'utilisation de la perte locale uniquement pour les prompts apprenables est optimale pour la segmentation.
  • L'ajout de la preuve locale maximale au score global améliore la détection d'image.

5. Signification et Conclusion

L'article "TIPS OVER TRICKS" démontre que la complexité architecturale n'est pas la clé de la détection d'anomalies en zero-shot. En choisissant un backbone intrinsèquement plus adapté à la tâche (TIPS) et en adoptant une stratégie de prompting simple mais intelligente (découplée), il est possible de surpasser les méthodes complexes basées sur CLIP.

Impact principal :

• Simplicité : Réduction de la complexité computationnelle et de l'architecture.
• Robustesse : Meilleure généralisation à des domaines non vus (industrie vers médecine).
• Efficacité : Des performances de pointe (SOTA) obtenues avec une approche "lean" (légère), rendant la solution plus viable pour des déploiements réels.

Le code est disponible publiquement, facilitant la reproduction et l'adoption de cette méthode.