💻 computer science

Anomaly Image Generation under the Guidance of Knowledge Graph

Cet article propose un cadre guidé par un graphe de connaissances qui exploite les connaissances préalables sur les anomalies et leurs relations pour construire des invites textuelles, permettant ainsi aux modèles de fondation et aux techniques de diffusion de générer des images d'anomalies réalistes pour diverses classes de produits.

Auteurs originaux : Ylli Sadikaj, Lavdim Halilaj, Stefan Schmid, Hongkuan Zhou

Publié 2026-06-26

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Ylli Sadikaj, Lavdim Halilaj, Stefan Schmid, Hongkuan Zhou

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot artiste à dessiner des versions « cassées » d'objets du quotidien, comme une voiture rayée ou un vêtement déchiré. Habituellement, vous devez vous asseoir et écrire manuellement des centaines d'instructions spécifiques (des prompts) pour le robot, en disant des choses comme : « Dessine une voiture rouge avec une rayure sur la porte gauche. » C'est lent, ennuyeux et si vous faites une erreur, le robot dessine quelque chose de bizarre.

Le document que vous avez partagé présente un nouvel outil appelé KG4IG pour résoudre ce problème. Considérez cela comme le fait de donner au robot un livre de recettes intelligent (un graphe de connaissances) plutôt qu'un simple bloc-notes vide.

Voici comment cela fonctionne, décomposé en étapes simples :

1. Le Livre de Recettes Intelligent (Le Graphe de Connaissances)

Au lieu de deviner à quoi ressemble une « rayure » sur une « voiture », les chercheurs ont construit une encyclopédie numérique (un graphe de connaissances) qui cartographie les règles du monde.

Les Ingrédients : Il liste tous les produits (comme les voitures, les vis ou les bouteilles).
Les Problèmes : Il liste toutes les façons dont ces produits peuvent se casser (rayures, bosses, pièces manquantes).
Les Règles : Il connaît les « lois de la physique » de ces objets. Par exemple, il sait qu'une « rayure rouge » sur une « voiture bleue » pourrait paraître étrange, ou qu'un type spécifique de bosse ne peut se produire que sur la partie métallique d'une bouteille, et non sur son bouchon en plastique.

C'est comme un chef cuisinier expert qui sait exactement quelles épices se marient bien ensemble et lesquelles gâchent un plat. Le robot n'a pas besoin de deviner ; il suit simplement le livre de recettes.

2. Le Sous-Chef (L'Extracteur de Sous-Graphe)

Lorsque vous voulez que le robot dessine un objet cassé spécifique, ce « Sous-Chef » examine votre demande et extrait la page exacte du livre de recettes qui s'applique.

Si vous demandez une « bouteille cassée », le Sous-Chef trouve la section sur les bouteilles, consulte les règles relatives aux fissures et vérifie les contraintes de taille et de forme.
Il filtre les idées impossibles (comme une fissure trop grande pour la bouteille) afin que le robot ne perde pas de temps à essayer de dessiner des absurdités.

3. Le Traducteur (Le Générateur de Prompts)

Une fois que le Sous-Chef possède les bonnes règles, le Traducteur transforme ces règles techniques en phrases en langage naturel que l'artiste robot peut comprendre.

Au lieu de simples données brutes, il écrit une instruction claire : « Dessine une bouteille en verre avec une petite fissure dentelée près de la base. »
Comme le livre de recettes contient énormément de règles, le Traducteur peut créer automatiquement des milliers d'instructions uniques et réalistes, sans qu'un humain ait besoin de les taper une par une.

4. L'Artiste (Le Modèle de Diffusion)

Enfin, l'artiste robot (un « Modèle de Diffusion ») prend ces nouvelles instructions de haute qualité et peint l'image. Parce que les instructions ont été construites en utilisant les règles du « livre de recettes », l'image de l'objet cassé qui en résulte est très réaliste et respecte les lois de la manière dont cet objet se brise réellement.

Pourquoi est-ce une avancée majeure ?

Dans le monde de la vision par ordinateur, nous avons souvent des milliers d'images d'objets parfaits et normaux, mais très peu d'images d'objets cassés. Pour apprendre aux ordinateurs à détecter des défauts, nous avons besoin de plus d'images de choses cassées.

L'ancienne méthode : Les humains tournent, retournent ou recadrent manuellement des images d'objets cassés pour en créer davantage. C'est comme essayer de faire un nouveau gâteau en ne faisant que réorganiser les miettes d'un ancien.
La nouvelle méthode (KG4IG) : Le système utilise le « livre de recettes » pour inventer de nouvelles images réalistes d'objets cassés à partir de zéro. Il comprend la relation entre l'objet et le défaut, garantissant que les nouvelles images sont cohérentes.

En bref : Ce document propose un système qui utilise une base de données structurée de règles (un graphe de connaissances) pour rédiger automatiquement les instructions nécessaires afin d'apprendre à l'IA à dessiner des objets « cassés » de manière réaliste, épargnant ainsi aux humains la tâche fastidieuse d'écrire ces instructions manuellement.

Résumé Technique : Génération d'images d'anomalies sous la direction d'un graphe de connaissances

Énoncé du problème

Dans le domaine de la détection d'anomalies, les ensembles de données sont fréquemment caractérisés par un déséquilibre de classes significatif, contenant une vaste majorité d'images normales (sans défaut) et une rareté d'échantillons anormaux (défectueux). Les approches traditionnelles pour remédier à ce déséquilibre reposent sur des augmentations d'images géométriques (par exemple, la rotation, le retournement, le redimensionnement) ou sur la rédaction manuelle de prompts textuels (TP) pour les modèles génératifs. Cependant, la construction manuelle de TP décrivant avec précision les anomalies, leurs emplacements et leurs tailles est un processus fastidieux et sujet aux erreurs qui limite la diversité et la quantité d'échantillons générés. De plus, sans connaissances préalables d'expert, les prompts générés manuellement peuvent ne pas respecter les contraintes physiques et les règles de coexistence spécifiques à certaines classes de produits et types de défauts.

Méthodologie

Les auteurs proposent KG4IG, un cadre conçu pour construire automatiquement un grand volume de prompts textuels plausibles en exploitant les connaissances préalables encodées dans un graphe de connaissances (KG). L'approche intègre un KG à un pipeline de génération d'images basé sur la diffusion. La méthodologie se compose des composants clés suivants :

1. Graphe de connaissances pour les anomalies (KGA)

La base de l'approche est une ontologie spécifique au domaine construite pour représenter les produits, leurs anomalies et les relations entre eux. Le KGA est bâti sur trois ensembles de données primaires : MVTec-AD, VisA et MPDD. L'ontologie définit :

Entités et classes : Incluant Produit (comprenant ProduitNormal et ProduitDéfectueux), Défaut, TypeDeDéfaut et CaractéristiquesDuDéfaut (profondeur, forme, taille).
Relations : Définitions formelles telles que aDéfaut, aBoîteEnglobante et estAugmentéPar.
Contraintes : Règles logiques qui imposent la validité, comme empêcher les augmentations de couleur correspondant à la couleur du produit ou restreindre certains types de produits à certaines combinaisons de défauts spécifiques (par exemple, le TypeDeProduitA ne peut avoir que le TypeDeDéfautD1 ou le TypeDeDéfautD2).
Inférence : Le système utilise les définitions ontologiques pour inférer de nouveaux types de relations non explicitement énoncés, améliorant ainsi l'expressivité du graphe.

L'ontologie comprend 59 classes, 38 propriétés d'objet et 109 propriétés de données, permettant la validation des prompts de l'utilisateur par rapport aux contraintes du domaine.

2. Pipeline de génération de prompts

Le système automatise la création de prompts textuels via un processus en quatre étapes :

Extraction de sous-graphes : À partir du KGA, le système extrait un sous-graphe ( $G_P$ ) contenant la classe de produit spécifique ( $P$ ), les types de défauts associés ( $D_P$ ) et les attributs pertinents ( $D_A$ ) tels que la forme, la taille, la profondeur et l'emplacement.
Filtrage par contraintes : Le système applique des contraintes ( $C$ ) dérivées du KG pour éliminer les combinaisons invalides, telles que les conflits de couleurs ou les cooccurrences de défauts non autorisées.
Synthèse de prompts : Pour chaque configuration valide de défauts et d'attributs, le système construit une description en langage naturel.
Diversification : Des variations linguistiques ou structurelles sont appliquées pour générer un ensemble diversifié de prompts à partir des configurations valides.

3. Apprentissage et génération de modèles

Les prompts générés servent d'entrées pour un modèle de génération de texte vers image (spécifiquement un modèle de diffusion). Le modèle est entraîné pour aligner les modalités textuelles et visuelles, apprenant les relations hiérarchiques entre les produits et les anomalies, leurs attributs et les contraintes contextuelles. L'objectif ultime est de synthétiser des images anormales qui respectent la représentation sémantique spatiale des anomalies définies dans le KG.

Contributions clés

Construction automatisée de prompts : Le papier introduit une méthode pour remplacer l'ingénierie de prompts manuelle par un système automatisé piloté par un graphe de connaissances, capable de générer un "nombre immense" de prompts textuels plausibles.
Ontologie spécifique au domaine : Le développement d'une ontologie formelle qui capture la terminologie spécifique au domaine, les classes de produits, ainsi que les relations et contraintes complexes régissant les anomalies.
Génération sensible aux contraintes : La capacité d'imposer des restrictions logiques (par exemple, les règles de cooccurrence, les conflits d'attributs) durant la phase de génération de prompts, garantissant que les prompts textuels résultants sont physiquement et logiquement cohérents avec le domaine cible.
Intégration avec les modèles de fondation : Un pipeline qui connecte la connaissance structurée (KG) avec les modèles de diffusion modernes, permettant la génération d'anomalies pour des objets de la même classe ou l'augmentation d'objets existants.

Résultats et affirmations

Le papier se concentre principalement sur la conception architecturale et la construction de la composante du graphe de connaissances plutôt que sur la présentation de résultats expérimentaux quantitatifs étendus sur les métriques de qualité de génération d'images. Les auteurs affirment que leur approche :

Réduit la dépendance vis-à-vis des augmentations d'images traditionnelles et de l'ingénierie de prompts manuelle.
Produit des "prompts précis et contextuellement pertinents" qui reflètent les caractéristiques uniques de chaque type de défaut.
Permet la génération d'images significatives en respectant les contraintes d'anomalie (par exemple, les cooccurrences de défauts valides).
Fournit un pipeline extensible qui peut être intégré aux modèles de génération de texte vers image existants pour améliorer la qualité du contenu généré pour les tâches de détection d'anomalies.

Signification

La signification de ce travail réside dans son passage de l'augmentation basée sur les données à la génération pilotée par la connaissance. En encodant l'expertise du domaine dans un graphe de connaissances, l'approche répond aux limites de la rédaction manuelle de prompts et au manque de compréhension sémantique des techniques d'augmentation standard. Les auteurs postulent que cette méthode conduit à des ensembles de données plus équilibrés et à un entraînement plus efficace pour les modèles de détection d'anomalies en garantissant que les anomalies générées sont non seulement visuellement plausibles, mais aussi sémantiquement et logiquement cohérentes avec le domaine industriel ou de produit spécifique.