🤖 AI

MAGIC: Few-Shot Mask-Guided Anomaly Inpainting with Prompt Perturbation, Spatially Adaptive Guidance, and Context Awareness

L'article propose MAGIC, un cadre de génération d'anomalies en peu d'exemples qui exploite la perturbation de prompt gaussien, un guidage spatialement adaptatif et un alignement de masques conscient du contexte pour produire des anomalies diversifiées et haute fidélité destinées à un contrôle qualité industriel robuste.

Auteurs originaux : JaeHyuck Choi, MinJun Kim, Je Hyeong Hong

Publié 2026-04-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : JaeHyuck Choi, MinJun Kim, Je Hyeong Hong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous êtes inspecteur de contrôle qualité dans une usine. Votre travail consiste à repérer les défauts sur des produits tels que des vis, des pilules ou des circuits imprimés. Le problème ? Vous disposez de milliers d'images de produits parfaits, mais presque aucune image de produits cassés. Vous ne pouvez pas entraîner votre IA à repérer une vis cassée si elle n'en a jamais vu.

Pour résoudre ce problème, les scientifiques tentent généralement de « falsifier » des images de produits cassés à l'aide d'ordinateurs. Mais les méthodes existantes présentent deux gros problèmes :

L'approche « Globale » : Elle tente d'inventer un produit cassé à partir de zéro. Elle obtient souvent le défaut correct mais gâche accidentellement le reste du produit (comme transformer une vis parfaite en une boule fondue).
L'approche « Masque » : Elle prend un produit parfait et peint un défaut sur un endroit spécifique. Mais elle est trop rigide. Elle n'apprend qu'à créer un type spécifique de rayure, et si vous lui demandez de peindre une rayure au mauvais endroit (comme sur la tête d'une vis alors qu'elle devrait être sur le côté), elle crée une image étrange et irréaliste.

Voici MAGIC (Inpainting d'anomalies guidé par masque avec perturbation d'invite, guidage adaptatif spatial et conscience du contexte). Imaginez MAGIC comme un faussaire maître capable de créer des produits « cassés » réalistes et diversifiés sans abîmer les parties intactes.

Voici comment MAGIC fonctionne, en utilisant trois astuces simples :

1. L'« Étirement Créatif » (Perturbation d'invite gaussienne)

Imaginez que vous enseignez à un artiste à dessiner une « rayure ». Si vous ne lui montrez qu'une seule photo d'une rayure, il la mémorisera exactement et dessinera la même rayure à chaque fois. C'est ennuyeux et peu utile.

MAGIC utilise une technique appelée Perturbation d'invite gaussienne. Imaginez cela comme donner à l'artiste une instruction légèrement floue et floue au lieu d'une instruction nette et rigide.

Comment ça marche : Au lieu de dire « Dessinez une rayure exactement comme celle-ci », le système ajoute un peu de « bruit » ou de flou à l'instruction pendant la phase d'apprentissage et la phase de dessin.
Le Résultat : L'artiste apprend le concept d'une rayure plutôt que de simplement copier une photo. Cela lui permet de dessiner des milliers de rayures différentes (longues, courtes, profondes, superficielles) qui semblent toutes réelles, plutôt que de simplement répéter la même.

2. Le « Pinceau Intelligent » (Guidage adaptatif spatial)

Lorsque vous peignez un défaut sur un produit parfait, vous voulez que le défaut semble sauvage et varié, mais vous voulez que le reste du produit reste parfaitement normal.

Le Problème : Les outils d'IA standard utilisent la même « rigueur » pour toute l'image. S'ils sont trop stricts, le défaut semble ennuyeux. S'ils sont trop laxistes, l'arrière-plan est gâché.
La Solution MAGIC : Ils utilisent un pinceau de Guidage adaptatif spatial.
- Sur la zone du défaut : Le pinceau est « lâche ». Il encourage l'IA à être créative et à essayer de nombreuses textures et motifs différents pour la rayure.
- Sur l'arrière-plan : Le pinceau est « serré ». Il force l'IA à garder l'arrière-plan exactement tel qu'il était, garantissant que les parties parfaites de la vis ou de la pilule ne soient pas déformées.
Le Résultat : Vous obtenez un défaut hautement varié et réaliste qui s'installe parfaitement sur un arrière-plan immaculé.

3. Le « Détective du Contexte » (Alignement de masque conscient du contexte)

Parfois, l'utilisateur donne à l'IA un masque (un pochoir) au mauvais endroit. Par exemple, il pourrait essayer de mettre une rayure sur la pointe même d'une vis, mais les rayures se produisent généralement sur la tête. Si l'IA peint simplement là-bas, cela semble faux.

MAGIC possède un module d'Alignement de masque conscient du contexte. Imaginez cela comme un détective qui sait comment fonctionnent les objets.

Comment ça marche : Avant de peindre, le système examine l'objet. Il dit : « Hé, vous voulez mettre une rayure ici, mais c'est la pointe lisse de la vis. Les rayures se produisent généralement sur la tête. »
L'Action : Il fait glisser automatiquement le pochoir (le masque) vers un endroit sémantiquement correct (la tête de la vis) avant de peindre.
Le Résultat : Le défaut apparaît à un endroit logique et réaliste, rendant l'image falsifiée indiscernable d'un produit cassé réel.

La Grande Image

En combinant ces trois astuces, MAGIC crée une vaste bibliothèque de produits « cassés » falsifiés qui sont :

Diversifiés : Ils sont différents à chaque fois (pas seulement des copies).
Réalistes : Les défauts semblent authentiques et l'arrière-plan reste parfait.
Logiques : Les défauts apparaissent aux bons endroits.

L'article montre que lorsque les usines utilisent ces images « falsifiées » pour entraîner leurs inspecteurs IA, ces derniers deviennent beaucoup meilleurs pour repérer les vrais défauts dans le monde réel. MAGIC enseigne essentiellement à l'IA à quoi ressemble un produit « cassé » en lui montrant un million de façons différentes et réalistes dont un produit peut se briser, sans jamais avoir besoin d'un produit réellement cassé pour commencer.

1. Énoncé du problème

Dans le contrôle qualité industriel, la Génération d'Anomalies en Few-Shot (FSAG) est cruciale pour entraîner des modèles de détection d'anomalies robustes lorsque les données étiquetées défectueuses sont rares. Les approches existantes se divisent généralement en deux catégories, toutes deux présentant des limitations significatives :

Génération d'Anomalies Globale (GAG) : Méthodes générant simultanément des anomalies et des masques sans masques d'entrée. Bien que diversifiées, elles corrompent souvent les textures de fond des régions normales, conduisant à des images irréalistes.
Génération d'Anomalies Guidée par Masque (MAG) : Méthodes utilisant une image normale et un masque fourni par l'utilisateur pour inpainter des anomalies. Bien qu'elles préservent le fond, elles souffrent de deux problèmes majeurs :
1. Faible diversité intra-distribution : Les modèles fortement conditionnés par l'image normale tendent à mémoriser les quelques exemples d'entraînement, produisant des textures et des formes répétitives (effondrement de mode).
2. Désalignement sémantique : Les anomalies générées apparaissent souvent dans des lieux sémantiquement implausibles (par exemple, une rayure sur la tête d'une vis alors que le masque était placé sur le filetage), conduisant à des artefacts irréalistes.

Le défi central est de générer des anomalies de haute fidélité et diversifiées qui respectent strictement le masque tout en s'assurant que le masque est placé dans une région sémantiquement plausible, le tout dans un cadre few-shot.

2. Méthodologie : Cadre MAGIC

Les auteurs proposent MAGIC, un cadre d'inpainting affiné construit sur la base Stable Diffusion. Il introduit trois composants complémentaires pour répondre aux limitations des méthodes MAG existantes :

A. Perturbation d'Invite Gaussienne (GPP)

Objectif : Augmenter la diversité intra-distribution et prévenir le surapprentissage dans les configurations few-shot.
Mécanisme : Au lieu d'appliquer du bruit uniquement lors de l'inférence (ce qui provoque des décalages de distribution), GPP injecte un bruit gaussien ( $\delta$ ) dans les plongements de jetons d'anomalie (à la fois pour les invites de texture et les plongements de masque) durant l'entraînement et l'inférence.
Effet : Cela force le modèle à apprendre une variété lisse et continue d'anomalies réalistes plutôt que de mémoriser des points d'entraînement discrets. À l'inférence, l'échantillonnage de cette variété produit des textures et des formes de masques diversifiées qui restent dans la distribution de données cible.

B. Guidage Adaptatif Spatial (SAG)

Objectif : Équilibrer la diversité texturale dans la région d'anomalie avec la fidélité du fond dans la région normale.
Mécanisme : Le Guidage Sans Classificateur (CFG) standard applique une échelle uniforme ( $w$ $w$ ). MAGIC applique des échelles CFG variant spatialement :
- Région Normale : Une échelle CFG élevée et fixe ( $w_d = 7,5$ ) est utilisée pour préserver strictement la cohérence du fond.
- Région d'Anomalie : Une échelle dynamique ( $w_a(t)$ ) est appliquée. Elle commence basse ( $w_m = 4$ ) lors des premières étapes de diffusion pour encourager l'exploration de textures diversifiées et augmente progressivement jusqu'à $w_d$ via un calendrier cosinus à mesure que le débruitage progresse pour affiner le réalisme.
Effet : Cela permet au modèle d'explorer des textures d'anomalies diversifiées au début tout en garantissant que la sortie finale est réaliste et que le fond reste intact.

C. Alignement de Masque Conscient du Contexte (CAMA)

Objectif : Résoudre le problème des masques placés dans des lieux sémantiquement implausibles.
Mécanisme :
1. Extraction de points clés : À partir d'une paire d'anomalie de référence (données d'entraînement), trois points clés sont sélectionnés : le centroïde du masque ( $p_c$ ) et deux points de frontière ( $p_u, p_\ell$ ) sur une ligne verticale.
2. Appariement sémantique : Ces points clés sont appariés à l'image normale cible en utilisant un modèle pré-entraîné de correspondance sémantique (GeoAware-SC) pour générer des cartes de similarité.
3. Alignement : Le nouveau centroïde optimal ( $q^*_c$ ) est déterminé en trouvant le point sur la "ligne candidate sémantique" (définie par les points de frontière appariés) qui se trouve dans le masque de premier plan de l'objet et maximise le score de similarité.
4. Transformation : Le masque d'entrée est traduit pour s'aligner avec $q^*_c$ et découpé sur le premier plan de l'objet.
Effet : Garantit que les anomalies sont générées dans des lieux structurellement et sémantiquement corrects (par exemple, une rayure sur la tête d'une vis), empêchant les artefacts hors-objet.

3. Contributions Clés

Nouveau Cadre (MAGIC) : Le premier cadre MAG en few-shot qui traite simultanément la faible diversité, la faible fidélité et le désalignement sémantique.
Stratégie GPP : Démontre que la perturbation doit être appliquée durant l'entraînement et l'inférence pour apprendre une variété lisse, évitant les problèmes de décalage de distribution observés avec l'injection de bruit uniquement à l'inférence.
Guidage Adaptatif Spatial : Un nouveau mécanisme de contrôle au moment de l'inférence qui découple la force de guidage entre les régions d'anomalie et de fond, optimisant à la fois la diversité et la fidélité.
Alignement Sémantique de Masque : Un module robuste (CAMA) qui exploite des indices géométriques et sémantiques pour relocaliser les masques, améliorant considérablement la plausibilité des défauts générés.

4. Résultats Expérimentaux

Les auteurs ont évalué MAGIC sur quatre jeux de données de référence : MVTec-AD, VisA, DAGM et MVTec 3D-AD.

Qualité de Génération et Diversité :
- MAGIC a obtenu les scores de Distance d'Inception Kernel (KID) les plus bas sur tous les jeux de données, indiquant un alignement supérieur avec la distribution réelle d'anomalies par rapport aux bases de comparaison (AnoDiff, AnoGen, DualAnoDiff, SeaS).
- Bien que l'IC-LPIPS (métrique de diversité) ait été légèrement inférieur à certaines bases de comparaison, les auteurs soutiennent que cela est dû à l'adhésion stricte de MAGIC au réalisme intra-distribution, évitant l'"inflation artificielle" de la diversité observée dans les méthodes générant des artefacts hors-distribution.
Tâches en Aval :
- Classification d'Anomalies : MAGIC a amélioré la précision de classification de 13,81 % par rapport à l'état de l'art précédent (DualAnoDiff) en moyenne.
- Détection et Localisation : MAGIC a établi de nouveaux résultats d'état de l'art dans les métriques au niveau de l'image (AUROC, AP, F1-max) et au niveau du pixel (PRO) sur les quatre jeux de données.
Études d'Ablation :
- La suppression de GPP a entraîné des baisses significatives de la diversité et de la précision de classification.
- La suppression de SAG a réduit l'équilibre entre diversité et fidélité.
- La suppression de CAMA a entraîné des scores d'alignement de masque plus faibles et une réduction des performances de classification, confirmant l'importance du placement sémantique.

5. Importance

MAGIC représente une avancée significative dans la détection d'anomalies industrielle en résolvant le problème de la "pénurie de données" plus efficacement que les approches génératives précédentes.

Impact Pratique : En générant des données d'entraînement diversifiées, de haute fidélité et sémantiquement correctes, MAGIC permet aux modèles en aval de détecter et de classifier les défauts plus précisément, même avec très peu d'exemples réels.
Insight Théorique : L'article met en évidence l'importance critique de la perturbation au moment de l'entraînement pour l'apprentissage de variétés dans les modèles de diffusion et introduit un nouveau paradigme pour le contrôle adaptatif spatial dans les tâches d'inpainting.
Robustesse : La méthode s'avère robuste à travers divers types d'objets (des textures 2D aux objets 3D) et types d'anomalies, établissant une nouvelle référence pour la génération d'anomalies en few-shot.