AG-VAS: Anchor-Guided Zero-Shot Visual Anomaly Segmentation with Large Multimodal Models

AG-VAS est un cadre novateur pour la segmentation d'anomalies visuelles en zéro-shot qui améliore les grands modèles multimodaux en introduisant des tokens d'ancrage sémantique, un module d'alignement sémantique-pixel et un jeu de données instructif dédié pour surmonter les défis de l'abstraction des concepts d'anomalie et du manque d'alignement spatial.

L'essentiel

Imaginez que vous êtes un inspecteur de qualité dans une usine ou un hôpital. Votre travail consiste à trouver le moindre défaut sur des objets que vous n'avez jamais vus auparavant (une nouvelle pièce de moteur, un nouveau type de tumeur, etc.). C'est ce qu'on appelle la "segmentation d'anomalies en zéro-shot".

Le problème, c'est que les intelligences artificielles actuelles sont comme des enfants brillants mais un peu confus : elles comprennent bien les mots, mais elles ont du mal à pointer exactement où se trouve le trou ou la rayure sur une image.

Voici comment AG-VAS (le nouveau système décrit dans ce papier) résout ce problème, expliqué simplement avec des métaphores.

1. Le Problème : L'IA qui perd le nord

Les anciens modèles d'IA (basés sur des technologies comme CLIP) sont comme des traducteurs qui parlent très bien le français et le chinois, mais qui ne savent pas pointer du doigt.

• Le concept abstrait : Dire "il y a une rayure" est abstrait. Une rayure peut être n'importe où, de n'importe quelle taille.
• Le décalage : L'IA comprend le mot "rayure", mais elle ne sait pas bien relier ce mot aux pixels précis de l'image. C'est comme si on lui disait "cherche le chat" et qu'elle vous montrait le tapis parce qu'elle a vu une tache de couleur similaire.

2. La Solution : Les "Ancres" Magiques (AG-VAS)

Les auteurs ont créé un système appelé AG-VAS. Pour faire simple, ils ont donné à l'IA trois nouveaux "mots-clés magiques" (des ancres) qu'elle peut utiliser pour mieux comprendre et pointer les défauts.

Imaginez que l'IA a maintenant un trousseau de clés spécial :

• 🔑 L'Ancre Absolue [SEG] (Le Détective) :
  C'est la clé qui dit : "Attends, je sais à quoi ressemble un défaut typique !"
  Elle apporte la connaissance du monde. Si vous lui montrez un objet, elle se souvient : "Ah, les défauts sur ce type d'objet sont souvent des trous, des rayures ou des taches". Elle aide l'IA à visualiser ce qu'elle doit chercher, même si elle ne connaît pas l'objet spécifique.

• ⚖️ Les Ancres Relatives [NOR] et [ANO] (Le Juge de Paix) :
  Ce sont deux clés qui fonctionnent en duo pour comparer.

  • [NOR] représente la "Norme" (ce à quoi l'objet devrait ressembler).
  • [ANO] représente l'"Anomalie" (ce qui ne va pas).
    L'IA utilise ces deux clés pour dire : "Regarde ici, c'est normal (NOR), mais là-bas, c'est bizarre par rapport à d'habitude (ANO)". C'est comme un juge qui compare une photo "avant" et "après" pour trouver la différence.

3. Le Mécanisme : Comment ça marche ?

Le système fonctionne en trois étapes, un peu comme un chef d'orchestre :

1. Le Chef d'Orchestre (Le Grand Modèle Multimodal) : Il lit la question de l'utilisateur (ex: "Trouve le défaut") et utilise ses nouvelles clés (les ancres) pour comprendre ce qu'il faut chercher. Il a une très grande connaissance générale.
2. Le Pont (Le Module d'Alignement) : C'est le plus important. Avant, le chef d'orchestre parlait un langage abstrait et le "dessinateur" (le module qui crée le masque) parlait un langage de pixels. Ce module est un traducteur super-puissant qui fait en sorte que le chef d'orchestre et le dessinateur soient parfaitement synchronisés.
3. Le Dessinateur (Le Décodeur) : Guidé par les clés [SEG], [NOR] et [ANO], il dessine le contour exact du défaut sur l'image.

4. L'Entraînement : Le Livre de Recettes "Anomalie"

Pour apprendre à l'IA à utiliser ces clés, les auteurs ont créé un énorme livre de recettes appelé Anomaly-Instruct20K.
Au lieu de juste montrer des images, ils ont entraîné l'IA avec des descriptions détaillées :

• "Normalement, ce tissu est lisse." (Attente)
• "Mais ici, il y a un fil qui dépasse." (Observation)
• "C'est un défaut car ça brise la régularité." (Diagnostic)
• "Voici où le défaut est." (Segmentation)

C'est comme si on apprenait à un enfant non seulement à reconnaître un chat, mais aussi à expliquer pourquoi une photo est un chat et où se trouve sa queue, même s'il n'a jamais vu ce chat précis.

5. Le Résultat : Pourquoi c'est génial ?

• Zéro entraînement spécifique : Vous pouvez montrer à AG-VAS un objet qu'il n'a jamais vu (une pièce de voiture rare ou une image médicale nouvelle), et il trouvera le défaut sans avoir besoin d'être re-entraîné.
• Il sait dire "Non" : Contrairement aux autres IA qui dessinent des défauts partout même quand tout va bien, AG-VAS est assez intelligent pour dire : "Tout semble normal, je ne vois rien à segmenter". C'est crucial pour éviter les fausses alarmes.
• Conversationnel : Vous pouvez lui parler comme à un humain : "Décris-moi le défaut, puis montre-le moi". Il peut expliquer ce qu'il voit avant de dessiner le masque.

En résumé :
AG-VAS est comme un inspecteur de qualité ultra-intelligent qui a reçu une boîte à outils mentale (les ancres) et un manuel d'instruction (le dataset). Il ne se contente pas de deviner où est le problème ; il compare, réfléchit, explique, et pointe exactement l'endroit, même sur des objets qu'il découvre pour la première fois.

Résumé technique

1. Problématique

La Segmentation d'Anomalies Visuelles en Zéro-shot (ZSAS) vise à localiser et segmenter des régions anormales sur des objets de catégories jamais vues auparavant, sans nécessiter de réentraînement. Cette capacité est cruciale dans des scénarios à données rares ou sensibles (défauts industriels, analyse médicale).

Les approches existantes, basées sur des modèles comme CLIP, atteignent un plafond de performance en raison de deux limitations fondamentales :

1. Nature abstraite des anomalies : Contrairement aux objets définis (ex: "pomme"), les anomalies (ex: "rayure", "trou") sont des concepts abstraits et dépendants du contexte, manquant de prototypes visuels stables.
2. Désalignement sémantique : Il existe un décalage entre les embeddings sémantiques de haut niveau (texte/image) et les caractéristiques spatiales au niveau des pixels, ce qui empêche une localisation précise.
3. Limites des LMM actuels : Bien que les Grands Modèles Multimodaux (LMM) comme LISA offrent un bon raisonnement, ils échouent souvent à segmenter correctement les anomalies, confondant parfois le premier plan et l'arrière-plan, et ne produisent pas naturellement des masques binaires précis.

2. Méthodologie : AG-VAS

Les auteurs proposent AG-VAS, un cadre de segmentation guidé par des ancres, conçu pour étendre les capacités des LMM pré-entraînés à la segmentation d'anomalies en zéro-shot.

A. Ancres Sémantiques Apprenables

Pour combler le fossé entre la compréhension textuelle et la segmentation visuelle, le vocabulaire du LMM est étendu avec trois tokens d'ancrage spécialisés :

• [SEG] (Ancre Sémantique Absolue) : Encode les connaissances mondiales et contextuelles sur l'apparence, la forme et la localisation des anomalies (ex: "trou", "fissure"). Elle sert de pont pour transformer les concepts abstraits en entités visuelles explicites.
• [NOR] et [ANO] (Ancres Relatives) : Modélisent le contraste contextuel entre les motifs normaux et anormaux. Elles aident le modèle à identifier les irrégularités en les comparant aux régions normales environnantes.

B. Modules Clés de l'Architecture

1. Module d'Alignement Sémantique-Pixel (SPAM) :
   • Il aligne les embeddings sémantiques de haut niveau du LMM avec les caractéristiques visuelles à haute résolution de l'encodeur de pixels.
   • Utilise un mécanisme d'attention croisée (Cross-Attention) où les features sémantiques interrogent les features de pixels pour assurer une correspondance spatiale précise.
2. Décodeur de Masque Guidé par Ancres (AGMD) :
   • Un décodeur léger qui prend les embeddings des ancres raffinées et les features de pixels pour prédire les masques.
   • Génère des cartes de probabilité pour [SEG] (masque d'anomalie absolu) et pour [NOR]/[ANO] (cartes de contraste normal/anormal).
   • Fusionne ces cartes pour produire un masque binaire final.

C. Dataset : Anomaly-Instruct20K

Pour entraîner le modèle à comprendre les instructions de segmentation et intégrer les connaissances sur les défauts, les auteurs ont créé Anomaly-Instruct20K.

• Ce dataset organise les connaissances sur les anomalies en descriptions structurées : Attente (apparence normale), Observation (déviations visuelles), Diagnostic (raison de l'anomalie), Résumé (instruction de segmentation) et Explication.
• Il permet un instruction tuning qui apprend au modèle à raisonner sur les défauts et à utiliser les tokens d'ancres de manière discriminative.

3. Contributions Clés

1. Framework AG-VAS : Une nouvelle approche de segmentation d'anomalies en zéro-shot utilisant des ancres sémantiques (absolues et relatives) pour guider la génération de masques binaires via des LMM.
2. Alignement Multimodal : Introduction du module SPAM et du décodeur AGMD pour résoudre le problème d'alignement entre les représentations sémantiques et les features pixeliques.
3. Dataset Anomaly-Instruct20K : Un dataset d'instruction à grande échelle enrichi en connaissances structurées sur les défauts, facilitant l'apprentissage des ancres sémantiques.
4. Performance SOTA : Démonstration d'une généralisation robuste sur des domaines industriels et médicaux sans réentraînement spécifique par catégorie.

4. Résultats Expérimentaux

Les expériences ont été menées sur six benchmarks (3 industriels : MVTec-AD, KSDD2, RSDD ; 3 médicaux : ISIC, ColonDB, ClinicDB).

• Performance Globale : AG-VAS surpasse systématiquement les méthodes basées sur CLIP (WinCLIP, AnomalyCLIP, Bayes-PFL) et les méthodes LMM existantes (LISA, PixelLM) en termes de précision moyenne (AP), de score F1 maximal et d'IoU (Intersection over Union).
  • Exemple : Sur MVTec-AD, AG-VAS atteint un IoU de 44.8% contre 32.3% pour LISA (re-entraîné) et 29.9% pour Bayes-PFL.
• Rejet des Images Normales : Une capacité cruciale est de ne pas segmenter d'anomalies sur des images saines. AG-VAS obtient un IoUnor de 87.7%, démontrant une capacité supérieure à rejeter les fausses alarmes par rapport aux autres LMM (souvent < 50%).
• Généralisation : Le modèle montre une forte capacité de généralisation zéro-shot, notamment dans le domaine médical où aucune image médicale n'était présente dans les données d'entraînement, prouvant l'efficacité des connaissances mondiales intégrées via les ancres.

5. Signification et Impact

AG-VAS représente une avancée significative pour la segmentation d'anomalies en zéro-shot en résolvant le problème de l'abstraction des concepts de défauts.

• Pragmatisme : En produisant directement des masques binaires précis sans étapes heuristiques complexes, il est plus adapté au déploiement industriel et médical.
• Flexibilité : Le modèle supporte différents modes d'interaction (segmentation directe, description puis segmentation, explication après segmentation), rendant l'outil interactif et adaptable aux besoins des utilisateurs.
• Nouveau Paradigme : L'utilisation d'ancres sémantiques pour guider les LMM vers la segmentation fine ouvre une nouvelle voie pour l'application des modèles multimodaux à des tâches de vision par ordinateur exigeant une précision au niveau du pixel.