FiLo: Zero-Shot Anomaly Detection by Fine-Grained Description and High-Quality Localization

Le papier propose FiLo, une nouvelle méthode de détection d'anomalies en zéro-shot qui améliore la précision et la localisation grâce à des descriptions fines générées par des modèles de langage et une localisation de haute qualité assistée par Grounding DINO, atteignant ainsi des performances de pointe sur les ensembles de données MVTec et VisA.

L'essentiel

Imaginez que vous êtes un inspecteur de contrôle qualité dans une usine de bonbons. Votre travail consiste à repérer les bonbons abîmés, rayés ou cassés.

Le problème classique :
Habituellement, pour apprendre à votre inspecteur à faire ce travail, vous lui montrez des milliers de photos de bonbons parfaits et de milliers de photos de bonbons abîmés. Mais que se passe-t-il si vous ouvrez une nouvelle ligne de production avec un produit totalement nouveau (par exemple, des bonbons en forme de dinosaure) et que vous n'avez aucune photo de défauts à lui montrer ? C'est là que la détection d'anomalies "zéro-shot" (sans apprentissage préalable) entre en jeu.

L'approche précédente (et ses limites) :
Les méthodes actuelles demandent à l'inspecteur de comparer chaque petit morceau de l'image à une description très vague comme "abîmé" ou "normal".

• L'analogie : C'est comme demander à quelqu'un de trouver un voleur dans une foule en lui disant juste : "Cherche quelqu'un de 'méchant'". Le problème, c'est que "méchant" peut signifier beaucoup de choses différentes (un visage en colère, un manteau noir, une posture suspecte). De plus, si le voleur est très petit ou très grand, l'inspecteur a du mal à le repérer précisément.

La solution FiLo (Fine-Grained Description & High-Quality Localization) :
Les auteurs de cette paper proposent une nouvelle méthode appelée FiLo. Imaginez que FiLo est un inspecteur surévolué, assisté par deux super-héros : un Expert en Langage et un Détective de Localisation.

Voici comment ça marche, étape par étape :

1. L'Expert en Langage (FG-Des) : Du "Méchant" au "Détail Précis"

Au lieu de dire simplement "abîmé", FiLo utilise une intelligence artificielle très intelligente (un Grand Modèle de Langage, comme un Chatbot très savant) pour inventer une liste de descriptions hyper précises pour chaque produit.

• L'analogie : Au lieu de dire "Cherche un bonbon abîmé", l'expert dit : "Cherche un bonbon avec une rayure, un craquement, une tache de couleur bizarre ou un bord effiloché".
• Pourquoi c'est mieux ? Cela permet à l'inspecteur de comprendre exactement à quoi ressemble le problème. Si le produit est du bois, il cherchera des "nœuds" ou des "fissures". Si c'est du métal, il cherchera de la "rouille". Cela rend la détection beaucoup plus précise et explique pourquoi l'inspecteur a sonné l'alarme (c'est plus facile à comprendre pour un humain).

2. Le Détective de Localisation (HQ-Loc) : Trouver le petit grain de sable

Une fois que l'inspecteur sait quoi chercher, il doit trouver où c'est. Les anciennes méthodes regardaient l'image par petits carrés (comme une grille) et comparaient chaque carré au texte. Mais si le défaut est très petit ou très grand, ça rate souvent.

FiLo utilise trois astuces de détective :

1. Le premier balayage (Grounding DINO) : Avant de regarder les détails, l'inspecteur utilise un outil rapide pour repérer grossièrement où se trouve l'objet principal. Cela lui permet d'ignorer le fond de l'image (le mur, la table) où il n'y a pas de bonbons. Analogie : Il ne cherche pas un voleur dans le ciel ou sous la table, il se concentre sur la foule.
2. L'ajout de la position : Il dit au texte : "Cherche une rayure sur le côté droit". Cela aide l'inspecteur à se concentrer sur la bonne zone.
3. Les lentilles multiples (MMCI) : C'est le cœur du système. Imaginez que l'inspecteur regarde l'image à travers plusieurs types de lunettes en même temps :
   • Des lunettes à grand angle pour voir les gros défauts.
   • Des lunettes à zoom pour voir les tout petits défauts.
   • Des lunettes rectangulaires pour voir les rayures longues.
   • Des lunettes carrées pour voir les taches rondes.
     En combinant toutes ces vues, il ne rate aucun défaut, quelle que soit sa taille ou sa forme.

Le Résultat

Grâce à cette combinaison, FiLo est capable de :

• Détecter les anomalies avec une précision record (comme un expert qui ne se trompe presque jamais).
• Localiser exactement où est le problème, même si c'est un tout petit détail (comme repérer une puce sur un tapis).
• Expliquer ce qu'il a vu (ex: "C'est une fissure, pas une tache").

En résumé :
FiLo transforme un inspecteur aveugle qui cherche "quelque chose de bizarre" en un expert ultra-spécialisé qui sait exactement quoi chercher (grâce à des descriptions détaillées générées par IA) et où chercher (grâce à des lentilles multiples et une meilleure compréhension de l'espace). C'est comme passer d'une recherche au hasard à une chasse au trésor avec une carte précise et un détecteur de métaux perfectionné.

Résumé technique

1. Problématique

La détection d'anomalies en zéro-shot (ZSAD) vise à identifier des défauts dans des produits industriels sans avoir accès à des échantillons d'anomalies spécifiques lors de l'entraînement. Bien que les méthodes existantes s'appuient sur des modèles pré-entraînés multimodaux (comme CLIP) pour calculer la similarité entre des caractéristiques d'images et des descriptions textuelles génériques (« normal » vs « anormal »), elles souffrent de deux limitations majeures :

• Descriptions trop génériques : Les termes comme « endommagé » ou « défaut » sont trop vagues pour capturer la diversité des types d'anomalies spécifiques à chaque catégorie d'objet (ex: un « trou » sur un écrou n'est pas la même chose qu'une « rayure » sur du cuir).
• Localisation imprécise : Les méthodes actuelles comparent souvent des patches d'images individuels à des textes, ce qui entraîne des faux positifs dans les zones d'arrière-plan et une difficulté à localiser des anomalies de tailles et de formes variées. De plus, les approches basées sur des fenêtres multiples (comme WinCLIP) sont coûteuses en calcul.

2. Méthodologie : FiLo

L'article propose FiLo, une nouvelle approche ZSAD composée de deux modules principaux : FG-Des (Fine-Grained Description) et HQ-Loc (High-Quality Localization).

A. FG-Des : Description Fine-Grained Adaptative

Ce module vise à améliorer la détection globale et l'interprétabilité.

• Génération de descriptions par LLM : Au lieu d'utiliser des termes génériques, l'auteur utilise un Grand Modèle de Langage (LLM) pour générer une liste spécifique de types d'anomalies potentiels pour chaque catégorie d'objet (ex: pour le bois : « nœuds », « déformation », « pourriture »).
• Modèles de texte adaptatifs : Remplacement des templates de texte manuels (ex: « A photo of a [state] [class] ») par des vecteurs de texte appris (learnable vectors). Ces vecteurs sont optimisés pour distinguer les états normaux et anormaux.
• Structure du prompt : Le prompt anormal intègre la description fine générée par le LLM et une indication de position (ex: « [vecteurs appris] [état] [classe] avec [CLASSE D'ANOMALIE] à [POSITION] »).

B. HQ-Loc : Localisation de Haute Qualité

Ce module vise à localiser précisément les anomalies de différentes tailles et formes tout en évitant les faux positifs.

• Localisation préliminaire avec Grounding DINO : Avant la comparaison fine, le modèle utilise Grounding DINO avec les descriptions d'anomalies détaillées pour obtenir des boîtes englobantes (bounding boxes) préliminaires. Cela permet de se concentrer sur les objets (premier plan) et d'éliminer les zones d'arrière-plan, réduisant ainsi les faux positifs.
• Prompts textuels enrichis par la position : Les informations de position détectées par Grounding DINO sont intégrées dans les prompts textuels pour guider le modèle vers les zones pertinentes.
• Module MMCI (Multi-scale Multi-shape Cross-modal Interaction) : Au lieu d'utiliser des fenêtres d'images multiples coûteuses, ce module applique des convolutions de différentes tailles et formes (ex: 1x1, 3x3, 5x5, 1x5, 5x1) sur les patches d'images extraits par l'encodeur CLIP. Cela permet d'agréger les caractéristiques à différentes échelles et de les comparer aux caractéristiques textuelles enrichies, améliorant la détection d'anomalies de formes variées.

3. Contributions Clés

1. Amélioration des descriptions textuelles : Introduction de descriptions d'anomalies granulaires générées par LLM et de templates de texte appris adaptativement, remplaçant les descriptions génériques.
2. Stratégie de localisation hybride : Combinaison de Grounding DINO pour la suppression du bruit d'arrière-plan et d'un module d'interaction croisée multi-échelles (MMCI) pour une localisation précise sans coût computationnel excessif.
3. Interprétabilité : La méthode permet non seulement de détecter une anomalie, mais aussi d'identifier son type spécifique (ex: « rayure » vs « fissure ») grâce à la similarité avec les descriptions fines.

4. Résultats Expérimentaux

Les expériences ont été menées sur les datasets industriels MVTec AD et VisA. FiLo a été entraîné sur un dataset et testé en zéro-shot sur l'autre.

• Performance sur VisA : FiLo atteint un AUC au niveau image de 83,9 % et un AUC au niveau pixel de 95,9 %.
• Performance sur MVTec : FiLo atteint un AUC au niveau image de 91,2 % et un AUC au niveau pixel de 92,3 %.
• Comparaison : Ces résultats surpassent l'état de l'art (SOTA) actuel, notamment la méthode AnomalyCLIP, avec des améliorations notables (ex: +1,1 % d'AUC image sur VisA par rapport à AnomalyCLIP).
• Études d'ablation : Les tests confirment que chaque composant (descriptions fines, templates appris, Grounding DINO, MMCI) contribue significativement à l'amélioration des performances.

5. Signification et Impact

L'article FiLo représente une avancée significative dans le domaine de la détection d'anomalies en zéro-shot.

• Efficacité computationnelle : Il résout le problème de l'inefficacité des méthodes basées sur des fenêtres multiples (comme WinCLIP) en utilisant des convolutions multi-formes sur les caractéristiques extraites, offrant une localisation précise sans multiplier les passes d'inférence.
• Robustesse et Précision : En intégrant la connaissance sémantique des LLM et la localisation spatiale de Grounding DINO, FiLo surmonte les limites des modèles purement basés sur la similarité texte-image, réduisant drastiquement les faux positifs dans les arrière-plans.
• Interprétabilité : La capacité du modèle à identifier le type spécifique de défaut rend le système plus utile pour les applications industrielles où la compréhension de la nature du défaut est cruciale pour le contrôle qualité.

En résumé, FiLo démontre que l'association de descriptions textuelles enrichies par l'IA générative et de mécanismes de localisation spatiale avancés permet d'atteindre des performances de pointe en détection d'anomalies sans nécessiter de données d'anomalies spécifiques pour l'entraînement.