💻 computer science

Anomaly Image Generation under the Guidance of Knowledge Graph

Dieses Paper schlägt ein durch Wissensgraphen gesteuertes Framework vor, das Vorwissen über Anomalien und deren Beziehungen nutzt, um Text-Prompts zu konstruieren, die es Foundation-Modellen und Diffusionstechniken ermöglichen, realistische anomaliehafte Bilder für verschiedene Produktklassen zu generieren.

Ursprüngliche Autoren: Ylli Sadikaj, Lavdim Halilaj, Stefan Schmid, Hongkuan Zhou

Veröffentlicht 2026-06-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ylli Sadikaj, Lavdim Halilaj, Stefan Schmid, Hongkuan Zhou

Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter-Künstler beizubringen, „kaputte“ Versionen von Alltagsgegenständen zu zeichnen, wie zum Beispiel ein zerkratztes Auto oder ein zerrissenes Hemd. Normalerweise müssten Sie sich hinsetzen und hunderte spezifische Anweisungen (Prompts) manuell aufschreiben, etwa: „Zeichne ein rotes Auto mit einem Kratzer an der linken Tür.“ Das ist langsam, langweilig und wenn Sie einen Fehler machen, zeichnet der Roboter etwas Seltsames.

Das von Ihnen geteilte Paper stellt ein neues Werkzeug namens KG4IG vor, um dieses Problem zu lösen. Betrachten Sie es als die Gabe eines intelligenten Rezeptbuchs (eines Knowledge Graphs) anstelle eines bloßen leeren Notizblocks.

So funktioniert es, unterteilt in einfache Schritte:

1. Das intelligente Rezeptbuch (Der Knowledge Graph)

Anstatt zu raten, wie ein „Kratzer“ auf einem „Auto“ aussieht, haben die Forscher eine digitale Enzyklopädie (einen Knowledge Graph) erstellt, die die Regeln der Welt abbildet.

Die Zutaten: Es listet alle Produkte auf (wie Autos, Schrauben oder Flaschen).
Die Probleme: Es listet alle Arten auf, wie diese Produkte kaputtgehen können (Kratzer, Dellen, fehlende Teile).
Die Regeln: Es kennt die „Physikgesetze“ für diese Gegenstände. Zum Beispiel weiß es, dass ein „roter Kratzer“ auf einem „blauen Auto“ seltsam aussehen könnte, oder dass eine bestimmte Art von Delle nur am Metallteil einer Flasche vorkommt, nicht am Plastikdeckel.

Dies ist wie ein Chefkoch, der genau weiß, welche Gewürze zusammenpassen und welche das Gericht verderben. Der Roboter muss nicht raten; er folgt einfach dem Rezeptbuch.

2. Der Sous-Chef (Der Subgraph Extractor)

Wenn Sie möchten, dass der Roboter einen bestimmten kaputten Gegenstand zeichnet, sucht dieser „Sous-Chef“ die exakte Seite aus dem Rezeptbuch heraus, die darauf anwendbar ist.

Wenn Sie nach einer „kaputten Flasche“ fragen, findet der Sous-Chef den Abschnitt über Flaschen, prüft die Regeln für Risse und kontrollt die Größen- und Formbeschränkungen.
Er filtert unmögliche Ideen heraus (wie einen Riss, der zu groß für die Flasche ist), damit der Roboter keine Zeit damit verschwendet, Unsinn zu zeichnen.

3. Der Übersetzer (Der Prompt Generator)

Sobald der Sous-Chef die richtigen Regeln hat, verwandelt der Übersetzer diese technischen Regeln in natürliche Sprachsätze, die der Roboter-Künstler versteht.

Anstatt nur Rohdaten zu liefern, schreibt er eine klare Anweisung: „Zeichne eine Glasflasche mit einem kleinen, gezackten Riss nahe dem Boden.“
Da das Rezeptbuch so viele Regeln enthält, kann der Übersetzer automatisch tausende einzigartige, realistische Anweisungen erstellen, ohne dass ein Mensch sie einzeln eintippen muss.

4. Der Künstler (Das Diffusion Model)

Schließlich nimmt der Roboter-Künstler (ein „Diffusion Model“) diese neuen, hochwertigen Anweisungen und malt das Bild. Da die Anweisungen unter Verwendung der Regeln des „Rezeptbuchs“ erstellt wurden, sieht das resultierende Bild des kaputten Objekts sehr realistisch aus und folgt der Art und Weise, wie dieses Objekt tatsächlich bricht.

Warum ist das eine große Sache?

In der Welt des Computer Vision gibt es oft tausende Bilder von perfekten, normalen Gegenständen, aber sehr wenige Bilder von kaputten Gegenständen. Um Computer darauf zu trainieren, Defekte zu erkennen, benötigen wir mehr Bilder von kaputten Dingen.

Der alte Weg: Menschen drehen, wenden oder beschneiden Bilder von kaputten Gegenständen manuell, um mehr daraus zu machen. Es ist, als würde man versuchen, einen neuen Kuchen zu backen, indem man lediglich die Krümel eines alten Kuchens neu anordnet.
Der neue Weg (KG4IG): Das System nutzt das „Rezeptbuch“, um brandneue, realistische Bilder von kaputten Gegenständen direkt aus dem Nichts zu erschaffen. Es versteht die Beziehung zwischen dem Objekt und dem Defekt und stellt sicher, dass die neuen Bilder Sinn ergeben.

Kurz gesagt: Dieses Paper schlägt ein System vor, das eine strukturierte Datenbank von Regeln (einen Knowledge Graph) nutzt, um automatisch die Anweisungen zu schreiben, die nötig sind, um einer KI beizubringen, realistische „kaputte“ Objekte zu zeichnen, wodurch Menschen die mühsame Arbeit erspart bleibt, diese Anweisungen manuell zu schreiben.

Technisches Resümee: Generierung von Anomalie-Bildern unter Anleitung eines Knowledge Graphs

Problemstellung

Im Bereich der Anomalieerkennung sind Datensätze häufig durch ein signifikantes Klassenungleichgewicht gekennzeichnet, das eine große Mehrheit an normalen (fehlerfreien) Bildern und einen Mangel an abnormalen (defekten) Stichproben aufweist. Traditionelle Ansätze zur Bewältigung dieses Ungleichgewichts stützen sich auf geometrische Bildaugmentationen (z. B. Rotation, Spiegelung, Skalierung) oder das manuelle Erstellen von Text-Prompts (TPs) für generative Modelle. Das manuelle Konstruieren von TPs, die Anomalien, deren Positionen und Größen präzise beschreiben, ist jedoch ein mühsamer, fehleranfälliger Prozess, der die Vielfalt und Quantität der generierten Stichproben einschränkt. Zudem können manuell generierte Prompts ohne Expertenwissen die physikalischen Einschränkungen und Koexistenzregeln versäumen, die für bestimmte Produktklassen und Defekttypen spezifisch sind.

Methodik

Die Autoren schlagen KG4IG vor, ein Framework, das darauf ausgelegt ist, unter Nutzung von in einem Knowledge Graph (KG) kodiertem Vorwissen automatisch eine große Menge plausibler Text-Prompts zu konstruieren. Der Ansatz integriert einen KG mit einer diffusionsbasierten Bildgenerierungspipeline. Die Methodik besteht aus den folgenden Kernkomponenten:

1. Knowledge Graph für Anomalien (KGA)

Die Grundlage des Ansatzes ist eine domänenspezifische Ontologie, die Produkte, deren Anomalien und die Beziehungen zwischen ihnen darstellt. Der KGA wird auf drei primären Datensätzen aufgebaut: MVTec-AD, VisA und MPDD. Die Ontologie definiert:

Entitäten und Klassen: Einschließlich Product (bestehend aus NormalProduct und DefectProduct), Defect, DefectType und DefectCharacteristics (Tiefe, Form, Größe).
Beziehungen: Formale Definitionen wie hasDefect, hasBoundingBox und isAugmentedBy.
Constraints (Einschränkungen): Logische Regeln, die die Validität sicherstellen, wie etwa das Verhindern von Farb-Augmentationen, die der Produktfarbe entsprechen, oder die Beschränkung bestimmter Produkttypen auf nur bestimmte Kombinationen von Defekten (z. B. kann ProductTypeA nur DefectTypeD1 oder DefectTypeD2 aufweisen).
Inferenz: Das System nutzt ontologische Definitionen, um neue Relationstypen zu inferieren, die nicht explizit angegeben sind, wodurch die Ausdrucksstärke des Graphen erhöht wird.

Die Ontologie umfasst 59 Klassen, 38 Objekt-Properties und 109 Daten-Properties, was die Validierung von Benutzer-Prompts gegen Domänenbeschränkungen ermöglicht.

2. Pipeline zur Prompt-Generierung

Das System automatisiert die Erstellung von Text-Prompts durch einen vierstufigen Prozess:

Subgraph-Extraktion: Aus dem KGA extrahiert das System einen Subgraphen ( $G_P$ ), der die spezifische Produktklasse ( $P$ ), die zugehörigen Defekttypen ( $D_P$ ) und relevante Attribute ( $D_A$ ) wie Form, Größe, Tiefe und Position enthält.
Constraint-Filterung: Das System wendet Constraints ( $C$ ) an, die aus dem KG abgeleitet wurden, um ungültige Kombinationen auszuschließen, wie etwa Farbkonflikte oder unzulässige Koexistenzen von Defekten.
Prompt-Synthese: Für jede gültige Konfiguration von Defekten und Attributen konstruiert das System eine natürliche Sprachbeschreibung.
Diversifizierung: Linguistische oder strukturelle Variationen werden angewendet, um aus den gültigen Konfigurationen einen vielfältigen Satz an Prompts zu generieren.

3. Modelllernen und Generierung

Die generierten Prompts dienen als Eingaben für ein Text-zu-Bild-Generativmodell (speziell ein Diffusionsmodell). Das Modell wird trainiert, um textuelle und visuelle Modalitäten aufeinander abzustimmen, wobei es die hierarchischen Beziehungen zwischen Produkten und Anomalien, deren Attributen und kontextuellen Constraints lernt. Das ultimative Ziel ist die Synthese von Anomalie-Bildern, die die räumliche semantische Repräsentation der im KG definierten Anomalien respektieren.

Wichtigste Beiträge

Automatisierte Prompt-Konstruktion: Die Arbeit führt eine Methode ein, um das manuelle Prompt-Engineering durch ein durch einen Knowledge Graph gesteuertes automatisiertes System zu ersetzen, das in der Lage ist, eine „riesige Anzahl“ plausibler Text-Prompts zu generieren.
Domänenspezifische Ontologie: Die Entwicklung einer formalen Ontologie, die spezifische Domänenterminologie, Produktklassen sowie die komplexen Beziehungen und Constraints erfasst, die Anomalien regieren.
Constraint-bewusste Generierung: Die Fähigkeit, logische Restriktionen (z. B. Koexistenzregeln, Attributkonflikte) während der Prompt-Generierungsphase durchzusetzen, wodurch sichergestellt wird, dass die resultierenden Text-Prompts physisch und logisch konsistent mit der Zieldomäne sind.
Integration mit Foundation Models: Eine Pipeline, die strukturierte Kenntnisse (KG) mit modernen Diffusionsmodellen verbindet und so die Generierung von Anomalien für Objekte derselben Klasse oder die Augmentierung bestehender Objekte ermöglicht.

Ergebnisse und Behauptungen

Die Arbeit konzentriert sich primär auf das architektonische Design und den Aufbau der Knowledge-Graph-Komponente, anstatt umfangreiche quantitative experimentelle Ergebnisse zu Bildgenerierungs-Qualitätsmetriken zu präsentieren. Die Autoren behaupten, dass ihr Ansatz:

Die Abhängigkeit von traditionellen Bildaugmentationen und manuellem Prompt-Engineering reduziert.
„Präzise und kontextuell relevante Prompts“ produziert, die die einzigartigen Merkmale jedes Defekttyps widerspiegeln.
Die Generierung bedeutungsvoller Bilder ermöglicht, indem die Anomalie-Constraints (z. B. gültige Defekt-Koexistenzen) respektiert werden.
Eine erweiterbare Pipeline bereitstellt, die in bestehende Text-zu-Bild-Generativmodelle integriert werden kann, um die Qualität des generierten Inhalts für Anomalieerkennungsaufgaben zu verbessern.

Bedeutung

Die Bedeutung dieser Arbeit liegt in der Verschiebung von datengesteuerter Augmentation hin zu wissensgesteuerter Generierung. Durch die Kodierung von Experten-Domänenwissen in einen Knowledge Graph adressiert der Ansatz die Limitationen des manuellen Prompt-Engineerings und den Mangel an semantischem Verständnis in Standard-Augmentationstechniken. Die Autoren postulieren, dass diese Methode zu ausgewogeneren Datensätzen und einem effektiveren Training für Anomalieerkennungsmodelle führt, indem sie sicherstellt, dass generierte Anomalien nicht nur visuell plausibel, sondern auch semantisch und logisch konsistent mit der spezifischen industriellen oder Produkt-Domäne sind.