Improving Anomaly Detection with Foundation-Model Synthesis and Wavelet-Domain Attention

Cet article propose une méthode d'amélioration de la détection d'anomalies industrielles en combinant un pipeline de synthèse d'anomalies basé sur des modèles fondamentaux (FMAS) et un module d'attention dans le domaine des ondelettes (WDAM), permettant d'obtenir des performances supérieures sur les jeux de données MVTec AD et VisA sans nécessiter d'entraînement spécifique par classe.

L'essentiel

Imaginez que vous êtes le chef d'usine d'une grande fabrique de produits (comme des bouteilles, des vis ou des tapis). Votre travail est de repérer les défauts sur les produits avant qu'ils ne soient expédiés.

Le Problème : La Chasse aux Aiguilles dans une Botte de Foin

Le gros souci, c'est que dans une usine moderne, les produits défectueux sont extrêmement rares. C'est comme chercher une aiguille dans une botte de foin.

• Pour entraîner un robot (une intelligence artificielle) à voir ces défauts, on a normalement besoin de lui montrer des milliers d'exemples de produits cassés.
• Mais comme les défauts sont rares, on n'a pas assez d'exemples !
• Les méthodes actuelles essaient d'apprendre uniquement avec des produits parfaits, mais c'est comme essayer d'apprendre à un chien à chasser un lapin en ne lui montrant que des photos de pelouses. Ça ne marche pas très bien.

La Solution 1 : Le "Cuisinier Magique" (FMAS)

Pour résoudre ce manque d'exemples, les auteurs ont créé un cuisinier magique appelé FMAS. Au lieu d'attendre qu'un produit se casse tout seul, ce cuisinier crée de faux défauts ultra-réalistes pour entraîner le robot.

Voici comment il fonctionne, en utilisant trois assistants intelligents (des "modèles de base" ou foundation models) :

1. Le Chef (GPT-4) : Il écrit la recette. Il dit : "Fais une rayure sur cette bouteille" ou "Ajoute une tache d'huile sur ce tapis".
2. Le Couteau (SAM) : Il découpe le produit. Il s'assure que le défaut est mis sur l'objet et pas n'importe où sur la table (ce qui serait faux).
3. Le Peintre (Stable Diffusion) : Il applique le défaut. Il peint la rayure ou la tache de manière si réaliste que l'œil humain ne peut pas faire la différence avec un vrai défaut.

L'analogie : C'est comme si vous vouliez apprendre à un enfant à reconnaître les faux billets. Au lieu d'attendre qu'un faussaire vous en donne un, vous utilisez un super-imprimante pour en fabriquer des milliers de copies parfaites pour l'entraînement.

Le Problème Restant : Le Bruit de Fond

Même avec ces faux défauts, le robot a parfois du mal. Pourquoi ? Parce que les défauts industriels sont souvent très subtils.

• Imaginez que vous écoutez une chanson dans une pièce bruyante. Le défaut est une note de musique très spécifique, mais le bruit de fond (la texture du produit, la lumière) l'étouffe.
• Les méthodes classiques écoutent tout le son en même temps et se perdent dans le bruit.

La Solution 2 : Le "Filtre à Fréquences" (WDAM)

C'est ici qu'intervient le deuxième grand outil du papier : le module WDAM.

Pour comprendre WDAM, imaginez que vous avez un mixage audio (une console de son) avec plusieurs boutons pour les basses, les médiums et les aigus.

• Les chercheurs ont découvert que les défauts industriels ressemblent souvent à des aigus (des détails fins, des bords nets) ou à des basses (des changements de structure), mais pas toujours aux mêmes endroits.
• Le module WDAM agit comme un ingénieur du son très intelligent. Il prend l'image, la décompose en différentes "fréquences" (comme séparer les basses des aigus dans une chanson).
• Il dit alors : "Attends, le défaut est caché dans les 'aigus' (les détails fins) ! Augmente le volume de cette partie ! Et baisse le volume du 'bruit de fond' (les basses inutiles) !".

L'analogie : C'est comme si vous portiez des lunettes spéciales qui ne vous montrent que les zones où le défaut se cache, tout en rendant le reste de l'image flou pour ne pas vous distraire.

Le Résultat : Une Usine Plus Intelligente

En combinant ces deux idées :

1. FMAS fournit au robot des milliers d'exemples de défauts parfaits pour qu'il s'entraîne.
2. WDAM aide le robot à "écouter" les bons détails et à ignorer le bruit.

Les tests montrent que cette combinaison fonctionne incroyablement bien sur deux grandes bases de données industrielles (MVTec AD et VisA). Le robot devient beaucoup plus précis, plus rapide et ne se fait plus avoir par les faux positifs.

En Résumé

Ce papier nous dit : "Ne cherchez pas les défauts en regardant tout l'image au hasard. Créez des exemples d'entraînement ultra-réalistes avec l'IA, et utilisez un filtre intelligent pour écouter uniquement les fréquences où les défauts se cachent."

C'est une avancée majeure pour rendre l'inspection industrielle plus fiable, moins chère et capable de s'adapter à n'importe quel type de produit, sans avoir besoin de réapprendre le système à chaque fois.

Résumé technique

1. Problématique

La détection d'anomalies industrielles fait face à deux défis majeurs :

• La rareté des données : Les échantillons défectueux sont extrêmement rares, ce qui rend l'entraînement de modèles supervisés difficile. Les approches existantes se basent principalement sur des données normales (non défectueuses), limitant ainsi leur capacité à généraliser des défauts complexes.
• La complexité des anomalies réelles : Les méthodes de synthèse d'anomalies existantes (non génératives) manquent souvent de réalisme visuel, tandis que les méthodes génératives (GANs, modèles de diffusion) nécessitent un ajustement fin (fine-tuning) spécifique à chaque classe ou scénario, ce qui les rend peu flexibles pour de nouveaux environnements industriels.

2. Méthodologie

L'article propose une approche en deux volets principaux pour surmonter ces limitations :

A. Pipeline de Synthèse d'Anomalies basé sur les Modèles Fondamentaux (FMAS)

Les auteurs introduisent un pipeline FMAS (Foundation Model-based Anomaly Synthesis) capable de générer des échantillons d'anomalies réalistes sans aucun ajustement fin ni entraînement spécifique à la classe. Ce pipeline intègre trois modèles fondamentaux :

1. GPT-4 : Génère automatiquement des prompts descriptifs et des prompts négatifs pour guider la synthèse, assurant une cohérence sémantique avec le type d'objet (ex: « PCB », « bouchon »).
2. SAM (Segment Anything Model) : Segmente l'objet principal dans l'image normale pour créer un masque de premier plan, garantissant que les anomalies sont générées sur l'objet pertinent et non sur le fond.
3. Stable Diffusion : Utilisé en mode inpainting pour insérer des anomalies réalistes dans la zone masquée, guidé par les prompts de GPT-4.

Filtrage et Contrôle :

• Une stratégie de masque rectangulaire est utilisée pour définir la zone d'anomalie à l'intérieur du masque de premier plan.
• Un mécanisme de filtrage basé sur la métrique LPIPS (Learned Perceptual Image Patch Similarity) sélectionne les échantillons générés qui sont suffisamment différents de l'image normale (pour être détectables) mais pas trop déformés (pour rester réalistes).

B. Module d'Attention dans le Domaine des Ondelettes (WDAM)

Motivés par l'observation que les défauts industriels présentent des caractéristiques fréquentielles distinctes, les auteurs proposent le module WDAM (Wavelet Domain Attention Module).

• Principe : Le module décompose les cartes de caractéristiques d'entrée en quatre sous-bandes fréquentielles via une Transformée en Ondelettes Discrète (DWT) :
  • LL (Basses fréquences) : Informations structurelles globales.
  • LH, HL, HH (Hautes fréquences) : Détails, textures et bords (souvent là où se manifestent les défauts).
• Mécanisme d'Attention : Au lieu de traiter l'image uniformément, le WDAM attribue des poids d'attention appris dynamiquement à chaque sous-bande. Il amplifie les composantes fréquentielles sensibles aux anomalies et supprime le bruit ou les caractéristiques non pertinentes.
• Reconstruction : Les sous-bandes pondérées sont reconstruites dans le domaine spatial via une Transformée en Ondelettes Discrète Inverse (IDWT).
• Intégration : Le WDAM est conçu comme un module « plug-and-play » qui peut être inséré dans n'importe quelle architecture de réseau existante (ex: CutPaste, DRAEM, PatchCore) sans modifier la structure globale.

3. Contributions Clés

1. Pipeline FMAS sans entraînement : Une méthode innovante utilisant des modèles fondamentaux (GPT-4, SAM, Stable Diffusion) pour générer des données d'entraînement synthétiques de haute fidélité sans nécessiter de fine-tuning.
2. Module WDAM : Un nouveau module d'attention opérant au niveau des sous-bandes d'ondelettes, capable d'adapter dynamiquement l'importance des fréquences pour améliorer la détection des défauts.
3. Validation expérimentale robuste : Démonstration que la combinaison de FMAS (pour les données) et de WDAM (pour l'extraction de caractéristiques) améliore significativement les performances sur des architectures de base variées.

4. Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks standards MVTec AD et VisA.

• Qualité de la synthèse : Le FMAS a généré des anomalies avec des scores FID (56,99) et LPIPS (0,130) nettement inférieurs (donc meilleurs) que les méthodes de synthèse existantes comme RealNet ou GLASS, prouvant un réalisme visuel supérieur.
• Performance de détection (MVTec AD) :
  • Sur la base CutPaste, l'ajout de FMAS et WDAM a augmenté l'AUROC image de 93,23 % à 98,00 % et l'AUROC pixel de 82,34 % à 88,28 %.
  • Sur DRAEM, le modèle final a atteint un AUROC image de 99,0 %, surpassant ou égalant les méthodes de l'état de l'art (MambaAD, CFLOW-AD).
  • Sur PatchCore, le modèle final a surpassé l'ensemble (ensemble) de trois backbones lourds, atteignant un PRO (Per-Region Overlap) de 97,7 %.
• Efficacité : L'ajout du WDAM entraîne une augmentation négligeable des paramètres (+0,19 M) et des FLOPs, tout en conservant un temps d'inférence très compétitif.
• Analyse des poids : Les poids appris par le WDAM varient selon les classes et les couches, confirmant que différents défauts nécessitent une attention différente sur les sous-bandes fréquentielles (souvent LH, HL, HH pour les textures et bords).

5. Signification et Impact

Cet article apporte une contribution significative au domaine de la détection d'anomalies industrielles en :

• Résolvant le problème de la rareté des données grâce à une synthèse de haute qualité basée sur des modèles fondamentaux, éliminant le besoin de collecte massive de défauts réels.
• Améliorant la sensibilité aux défauts en exploitant la nature multi-échelle des anomalies via l'analyse fréquentielle (ondelettes), là où les méthodes spatiales classiques échouent parfois à distinguer le bruit du défaut.
• Offrant une solution modulaire et généralisable : Le WDAM peut être intégré dans n'importe quel pipeline existant, rendant la méthode applicable à divers scénarios industriels sans réentraînement complet.

En conclusion, la combinaison de la synthèse de données par IA générative (FMAS) et de l'attention fréquentielle (WDAM) établit un nouvel état de l'art pour la détection d'anomalies non supervisée, alliant précision, réalisme et efficacité computationnelle.