💻 computer science

Anomaly Image Generation under the Guidance of Knowledge Graph

Dit artikel stelt een kennisgrafiek-gestuurd framework voor dat voorkennis over anomalieën en hun relaties benut om tekstprompts te construeren, waardoor foundation modellen en diffusietechnieken in staat worden gesteld om realistische anomalieënbeelden te genereren voor diverse productklassen.

Oorspronkelijke auteurs: Ylli Sadikaj, Lavdim Halilaj, Stefan Schmid, Hongkuan Zhou

Gepubliceerd 2026-06-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ylli Sadikaj, Lavdim Halilaj, Stefan Schmid, Hongkuan Zhou

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robotkunstenaar probeert te leren hoe hij "beschadigde" versies van alledaagse objecten moet tekenen, zoals een kras in een auto of een gescheurd shirt. Normaal gesproken moet je gaan zitten en handmatig honderden specifieke instructies (prompts) uitschrijven, zoals: "Teken een rode auto met een kras op de linker deur." Dit is traag, saai, en als je een fout maakt, tekent de robot iets vreemds.

Het paper dat je deelde introduceert een nieuwe tool genaamd KG4IG om dit probleem op te lossen. Zie het als het geven van een slim receptenboek (een Knowledge Graph) aan de robot, in plaats van alleen een leeg notitieblok.

Zo werkt het, stap voor stap uitgelegd:

1. Het Slimme Receptenboek (De Knowledge Graph)

In plaats van te raden hoe een "kras" op een "auto" eruitziet, hebben de onderzoekers een digitale encyclopedie (een Knowledge Graph) gebouwd die de regels van de wereld in kaart brengt.

De Ingrediënten: Het somt alle producten op (zoals auto's, schroeven of flessen).
De Problemen: Het somt alle manieren op waarop die producten kunnen breken (krassen, deuken, ontbrekende onderdelen).
De Regels: Het kent de "natuurwetten" voor deze items. Bijvoorbeeld, het weet dat een "rode kras" op een "blauwe auto" er vreemd uit kan zien, of dat een specifief type deuk alleen op het metalen deel van een fles voorkomt, en niet op de plastic dop.

Dit is als een meesterkok die precies weet welke kruiden bij elkaar passen en welke de smaak verpesten. De robot hoeft niet te gokken; hij volgt gewoon het receptenboek.

2. De Sous-Chef (De Subgraph Extractor)

Wanneer je wilt dat de robot een specifiek beschadigd item tekent, zoekt deze "Sous-Chef" de exacte pagina uit het receptenboek die daarop van toepassing is.

Als je vraagt om een "gebroken fles", zoekt de Sous-Chef de sectie over flessen op, bekijkt de regels voor barsten en controleert de grootte- en vormbeperkingen.
Het filtert onmogelijke ideeën eruit (zoals een barst die te groot is voor de fles), zodat de robot geen tijd verspilt aan het proberen te tekenen van onzin.

3. De Vertaler (De Prompt Generator)

Zodra de Sous-Chef de juiste regels heeft gevonden, zet de Vertaler deze technische regels om in natuurlijke zinnen die de robotkunstenaar begrijpt.

In plaats van alleen ruwe data, schrijft het een duidelijke instructie: "Teken een glazen fles met een kleine, grillige barst nabij de voet."
Omdat het receptenboek zoveel regels bevat, kan de Vertaler automatisch duizenden unieke, realistische instructies maken zonder dat een mens ze één voor één hoeft te typen.

4. De Kunstenaar (Het Diffusion Model)

Ten slotte neemt de robotkunstenaar (een "Diffusion Model") deze nieuwe, hoogwaardige instructies en schildert het plaatje. Omdat de instructies zijn opgebouwd met de regels uit het "receptenboek", ziet de resulterende afbeelding van het beschadigde object er zeer realistisch uit en volgt het de wetten van hoe dat object daadwerkelijk breekt.

Waarom is dit een grote zaak?

In de wereld van computer vision hebben we vaak duizenden foto's van perfecte, normale items, maar heel weinig foto's van beschadigde items. Om computers te leren defecten te herkennen, hebben we meer foto's van kapotte dingen nodig.

De Oude Manier: Mensen draaien, flippen of snijden handmatig foto's van beschadigde items om er meer te maken. Het is alsof je probeert een nieuwe taart te maken door simpelweg de kruimels van een oude taart te herschikken.
De Nieuwe Manier (KG4IG): Het systeem gebruikt het "receptenboek" om vanuit het niets gloednieuwe, realistische foto's van beschadigde items te verzinnen. Het begrijpt de relatie tussen het object en het defect, waardoor de nieuwe afbeeldingen logisch zijn.

Kortom: Dit paper stelt een systeem voor dat een gestructureerde database van regels (een Knowledge Graph) gebruikt om automatisch de instructies te schrijven die nodig zijn om AI te leren hoe ze realistische "beschadigde" objecten moeten tekenen, waardoor mensen worden ontlast van het saaie werk van het handmatig schrijven van die instructies.

Technische Samenvatting: Generatie van Anomalie-afbeeldingen onder Begeleiding van een Knowledge Graph

Probleemstelling

In het domein van anomaliedetectie worden datasets vaak gekenmerkt door een significante klassenonbalans, met een grote meerderheid aan normale (defectvrije) afbeeldingen en een schaarste aan abnormale (defecte) monsters. Traditionele benaderingen om deze onbalans aan te pakken, vertrouwen op geometrische beeldaugmentaties (bijv. rotatie, spiegeling, schaling) of het handmatig ontwerpen van tekstprompts (TPs) voor generatieve modellen. Het handmatig construeren van TPs die anomalieën, hun locaties en groottes nauwkeurig beschrijven, is echter een tijdrovend en foutgevoelig proces dat de diversiteit en kwantiteit van gegenereerde monsters beperkt. Bovsendien kunnen handmatig gegenereerde prompts zonder voorafgaande deskundige kennis er niet voor zorgen dat de fysieke beperkingen en co-existentieregels die specifiek zijn voor bepaalde productklassen en defecttypen worden gerespecteerd.

Methodologie

De auteurs stellen KG4IG voor, een framework dat is ontworpen om automatisch een groot volume aan plausibele tekstprompts te construeren door gebruik te maken van voorkennis die is gecodeerd in een Knowledge Graph (KG). De benadering integreert een KG met een op diffusie gebaseerde beeldgeneratie-pipeline. De methodologie bestaat uit de volgende kerncomponenten:

1. Knowledge Graph voor Anomalieën (KGA)

De basis van de benadering is een domeinspecifieke ontologie, geconstrueerd om producten, hun anomalieën en de relaties tussen hen te representeren. De KGA is gebouwd op drie primaire datasets: MVTec-AD, VisA en MPDD. De ontologie definieert:

Entiteiten en Klassen: Inclusief Product (bestaande uit NormalProduct en DefectProduct), Defect, DefectType en DefectCharacteristics (diepte, vorm, grootte).
Relaties: Formele definities zoals hasDefect, hasBoundingBox en isAugmentedBy.
Constraints: Logische regels die validiteit afdwingen, zoals het voorkomen van kleuraugmentaties die overeenkomen met de productkleur of het beperken van specifieke producttypen tot slechts bepaalde combinaties van defecten (bijv. ProductTypeA kan alleen DefectTypeD1 of DefectTypeD2 hebben).
Inferentie: Het systeem maakt gebruik van ontologische definities om nieuwe relatietypes af te leiden die niet expliciet vermeld zijn, wat de expressiviteit van de graaf versterkt.

De ontologie omvat 59 klassen, 38 objecteigenschappen en 109 data-eigenschappen, waardoor de validatie van gebruikersprompts tegen domeinbeperkingen mogelijk is.

2. Prompt Generatie Pipeline

Het systeem automatiseert de creatie van tekstprompts via een vierstaps-proces:

Subgraph Extractie: Vanuit de KGA extraheert het systeem een subgraaf ( $G_P$ ) die de specifieke productklasse ( $P$ ), bijbehorende defecttypen ( $D_P$ ) en relevante attributen ( $D_A$ ) bevat, zoals vorm, grootte, diepte en locatie.
Constraint Filtering: Het systeem past constraints ( $C$ ) toe die afgeleid zijn van de KG om ongeldige combinaties te elimineren, zoals kleurconflicten of verboden co-occurrences van defecten.
Prompt Synthese: Voor elke geldige configuratie van defecten en attributen construeert het systeem een natuurlijke taalbeschrijving.
Diversificatie: Linguïstische of structurele variaties worden toegepast om een diverse set prompts te genereren vanuit de geldige configuraties.

3. Model Leren en Genereren

De gegenereerde prompts dienen als input voor een tekst-naar-afbeelding generatief model (specifiek een diffusiemodel). Het model wordt getraind om tekstuele en visuele modaliteiten op elkaar af te stemmen, waarbij de hiërarchische relaties tussen producten en anomalieën, hun attributen en contextuele constraints worden geleerd. Het uiteindelijke doel is het synthetiseren van anomalie-afbeeldingen die de ruimtelijke semantische representatie van de anomalieën die in de KG zijn gedefinieerd, respecteren.

Belangrijkste Bijdragen

Geautomatiseerde Prompt Constructie: Het artikel introduceert een methode om handmatige prompt engineering te vervangen door een geautomatiseerd systeem dat wordt gedreven door een Knowledge Graph, in staat om een "enorm aantal" plausibele tekstprompts te genereren.
Domeinspecifieke Ontologie: De ontwikkeling van een formele ontologie die specifieke domeinterminologie, productklassen en de complexe relaties en constraints die anomalieën beheersen, vastlegt.
Constraint-bewuste Generatie: Het vermogen om logische restricties (bijv. co-occurrence regels, attribuutconflicten) af te dwingen tijdens de prompt generatiefase, wat ervoor zorgt dat de resulterende tekstprompts fysiek en logisch consistent zijn met het doeldomein.
Integratie met Foundation Models: Een pipeline die gestructureerde kennis (KG) verbindt met moderne diffusiemodellen, wat de generatie van anomalieën voor objecten van dezelfde klasse of de augmentatie van bestaande objecten mogelijk maakt.

Resultaten en Claims

Het artikel richt zich primair op het architecturale ontwerp en de constructie van de Knowledge Graph-component, in plaats van het presenteren van uitgebreide kwantitatieve experimentele resultaten over beeldgeneratiekwaliteitsmetrieken. De auteurs beweren dat hun benadering:

De afhankelijkheid van traditionele beeldaugmentaties en handmatige prompt engineering vermindert.
"Precieze en contextueel relevante prompts" produceert die de unieke kenmerken van elk defecttype weerspiegelen.
De generatie van betekenisvolle afbeeldingen mogelijk maakt door anomalie-constraints te respecteren (bijv. geldige co-occurrences van defecten).
Een uitbreidbare pipeline biedt die geïntegreerd kan worden met bestaande tekst-naar-afbeelding generatieve modellen om de kwaliteit van gegenereerde content voor anomaliedetectietaken te verbeteren.

Betekenis

De betekenis van dit werk ligt in de verschuiving van data-gedreven augmentatie naar kennis-gedreven generatie. Door deskundige domeinkennis in een Knowledge Graph te coderen, adresseert de benadering de beperkingen van handmatige prompt crafting en het gebrek aan semantisch begrip in standaard augmentatietechnieken. De auteurs stellen dat deze methode leidt tot meer gebalanceerde datasets en effectievere training voor anomaliedetectiemodellen door te garanderen dat gegenereerde anomalieën niet alleen visueel plausibel zijn, maar ook semantisch en logisch consistent met de specifieke industriële of productdomein.