ExDD: Explicit Dual Distribution Learning for Surface Defect Detection via Diffusion Synthesis

Das Paper stellt ExDD vor, ein neuartiges Framework zur Erkennung von Oberflächenfehlern, das durch die explizite Modellierung dualer Verteilungen, den Einsatz latenter Diffusionsmodelle zur Generierung synthetischer Defekte und einen benachbarkeitsbewussten Bewertungsmechanismus die Grenzen herkömmlicher Ein-Klassen-Anomalieerkennung überwindet und auf dem KSDD2-Datensatz überlegene Leistung erzielt.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Qualitätskontrolleur in einer Fabrik, die wunderschöne Kupferplatten oder Marmorfliesen herstellt. Ihre Aufgabe ist es, jeden einzelnen Stein zu prüfen und zu erkennen, ob er einen Kratzer, einen Fleck oder einen Riss hat. Das Problem? Die meisten Steine sind perfekt. Defekte sind extrem selten. Es ist, als würde man in einem riesigen Haufen weißer Perlen nach einer einzigen schwarzen Perle suchen, die man noch nie zuvor gesehen hat.

Bisherige Methoden funktionierten wie ein strenger Wächter, der nur die „perfekten" weißen Perlen kannte. Wenn etwas nicht genau wie eine weiße Perle aussah, schrie er „Fehler!". Das Problem dabei: Manchmal ist eine Perle nur leicht anders gefärbt (ein normales Detail), und der Wächter schreit trotzdem Alarm (ein falscher Alarm). Oder er übersieht einen komplexen Kratzer, weil er nicht genau weiß, wie ein „Kratzer" eigentlich aussieht, sondern nur weiß, wie ein „perfekter Stein" aussieht.

Die Forscher Muhammad Aqeel und sein Team haben eine neue Lösung namens ExDD entwickelt. Hier ist, wie es funktioniert, erklärt mit einfachen Bildern:

1. Die zwei Gedächtnis-Schränke (Dual Distribution)

Stellen Sie sich vor, Sie haben zwei verschiedene Schränke in Ihrem Kopf:

• Schränk A (Normal): Darin liegen tausende Fotos von makellosen, perfekten Kupferplatten.
• Schränk B (Defekt): Hier liegt das Geheimnis. Früher war dieser Schrank fast leer, weil es kaum echte Fotos von Defekten gab. Aber bei ExDD füllen wir ihn aktiv auf.

Der Trick bei ExDD ist, dass sie nicht nur sagen: „Das sieht nicht wie Schränk A aus." Sondern sie sagen: „Das sieht nicht wie Schränk A aus, UND es sieht ähnlich wie etwas aus, das in Schränk B liegt."

Das ist wie bei einem Detektiv: Ein alter Detektiv sagt nur: „Das ist kein normaler Bürger." Ein neuer, smarter Detektiv sagt: „Das ist kein normaler Bürger, und es sieht aus wie der gesuchte Kriminelle, den wir in unserer Akte haben." Das macht die Suche viel genauer.

2. Der magische Maler (Diffusion Synthesis)

Da es im Schränk B (Defekt) zu wenig echte Fotos gibt, nutzen die Forscher einen „magischen Maler", den sie Diffusionsmodell nennen.
Stellen Sie sich vor, Sie geben diesem Maler eine Beschreibung: „Zeig mir einen Kupferkratzer" oder „Zeig mir einen weißen Fleck an der Wand". Der Maler (ein KI-Modell) malt dann hunderte von neuen, perfekten Bildern von solchen Defekten.

Das Besondere: Der Maler ist so gut, dass er die Defekte nicht einfach auf ein weißes Blatt klebt. Er malt sie so, als wären sie wirklich auf dem Kupferstein. Er versteht den Kontext. So füllen sie den Schränk B mit realistischen „Trainings-Defekten", ohne dass sie in der echten Fabrik warten müssen, bis ein Fehler passiert.

3. Der Vergleichs-Test (Ratio Scoring)

Wenn nun ein neuer Stein in die Fabrik kommt, passiert Folgendes:

1. Der Computer schaut in Schränk A: „Wie weit entfernt ist dieser Stein von der perfekten Norm?" (Je weiter weg, desto verdächtig).
2. Gleichzeitig schaut er in Schränk B: „Wie ähnlich ist dieser Stein den bekannten Defekten?" (Je ähnlicher, desto verdächtig).

Die neue Methode kombiniert diese beiden Werte. Sie fragen nicht nur: „Ist es anders?" Sondern: „Ist es anders und passt es zu unseren Defekt-Bildern?"
Das ist wie ein Waage-System: Wenn etwas von der Norm abweicht, kippt die Waage. Aber wenn es auch noch wie ein bekannter Fehler aussieht, kippt sie noch viel stärker. Das verhindert, dass harmlose Unebenheiten als Katastrophen gemeldet werden.

Das Ergebnis

In Tests mit echten Fabrikdaten (dem KSDD2-Datensatz) war dieses System extrem erfolgreich.

• Es fand fast alle Fehler (über 94 %).
• Es konnte genau zeigen, wo der Fehler war (über 97 % Genauigkeit bei der Ortung).
• Es machte deutlich weniger falsche Alarme als die alten Methoden.

Zusammenfassend:
ExDD ist wie ein Qualitätskontrolleur, der nicht nur die Perfektion kennt, sondern auch eine Bibliothek mit allen möglichen Fehlerarten hat – sogar mit Bildern, die er sich selbst von einem KI-Maler hat malen lassen. Durch den Vergleich mit beiden Seiten (Perfektion und Fehler) wird er zum besten Detektiv, den die Industrie je hatte.

Technische Zusammenfassung

Problemstellung

Industrielle Oberflächenfehlererkennung steht vor zwei zentralen Herausforderungen:

1. Datenknappheit: Defekte sind in Produktionslinien selten, was zu einem Mangel an annotierten Trainingsdaten führt.
2. Limitationen des One-Class-Paradigmas: Herkömmliche Ansätze (z. B. PatchCore, PaDiM) trainieren ausschließlich auf normalen (fehlerfreien) Daten und modellieren nur die Verteilung der Normalität ($P(X_N)$). Sie gehen implizit davon aus, dass Anomalien gleichmäßig im komplementären Raum verteilt sind. Dies ist jedoch für strukturierte industrielle Defekte (wie Kratzer oder Flecken) falsch, da diese oft eigene, distinkte Verteilungen im Merkmalsraum aufweisen. Zudem neigen synthetische Generierungsmethoden (z. B. GANs) dazu, Artefakte zu erzeugen, die nicht der realen Defektverteilung entsprechen.

Methodik: Das ExDD-Framework

ExDD (Explicit Dual Distribution) ist ein einheitliches Framework, das die Lücke zwischen expliziter Modellierung dualer Verteilungen und diffusionsbasierter Synthese schließt.

1. Dualer Speicherbank-Architektur (Dual Memory Bank)
Im Gegensatz zu einseitigen Ansätzen verwendet ExDD zwei parallele Speicherbanken, die explizit die statistischen Eigenschaften von Normal- und Anomalie-Mustern trennen:

• Negative Speicherbank ($M_N$): Speichert Merkmalsvektoren von nominalen (fehlerfreien) Bildpatches.
• Positive Speicherbank ($M_P$): Speichert Merkmalsvektoren von anomalen Patches.
• Feature-Extraktion: Es werden lokale Patch-Deskriptoren aus den Schichten 2 und 3 eines auf ImageNet vortrainierten Encoders (WideResNet50) extrahiert. Diese werden durch Nachbarschaftsaggregation (3x3 Fenster) kontextsensitiv gemacht, auf 128 Dimensionen reduziert (Johnson-Lindenstrauss-Lemma) und mittels Coreset-Subsampling komprimiert.

2. Diffusionsbasierte Anomalie-Generierung
Um die Datenknappheit zu überwinden und die positive Speicherbank zu füllen, wird ein Latent Diffusion Model (LDM) (basierend auf Stable Diffusion XL) eingesetzt:

• Text-Konditionierung: Anstatt zufälliger Störungen werden Defekte durch textuelle Prompts (z. B. „copper metal scratches", „white marks on the wall") generiert, die auf Domänenwissen basieren.
• Inpainting: Das Modell nutzt Inpainting auf fehlerfreien Trainingsbildern, um Defekte in einem realistischen industriellen Kontext zu synthetisieren.
• Vorteil: Dies erzeugt „In-Distribution"-Synthesen, die die geometrische Treue und statistischen Eigenschaften realer Anomalien bewahren, im Gegensatz zu Out-of-Distribution-Artefakten früherer Methoden.

3. Neighborhood-Aware Ratio Scoring (Bewertungsmechanismus)
Das Kernstück der Detektion ist eine neuartige Bewertungsstrategie, die zwei komplementäre Metriken kombiniert:

• Negative Distanz ($s_N$): Maximale minimale Euklidische Distanz zu $M_N$ (Abweichung von der Normalität).
• Positive Distanz ($s_P$): Maximale minimale Euklidische Distanz zu $M_P$ (Ähnlichkeit zu bekannten Defektmustern).
• Gewichtung: Eine nachbarschaftsbewusste Gewichtung berücksichtigt die lokale Dichte im Merkmalsraum, um False Positives bei normalen Variationen zu unterdrücken.
• Ratio-Score: Die finale Anomalie-Score wird als Verhältnis berechnet: $s_{ratio} = s_N / (s_P + \epsilon)$.
  • Ein hoher Score entsteht, wenn ein Patch weit entfernt von der Normalität ($s_N$ hoch) und nahe an bekannten Defekten ($s_P$ niedrig) liegt. Dies ermöglicht robustere Entscheidungsgrenzen.

Wichtige Beiträge

1. Dual-Distribution-Learning: Formalisierung der Fehlererkennung als Trennungsproblem zweier explizit modellierter Merkmalsverteilungen (Normal vs. Defekt) mittels paralleler Speicherbanken.
2. Diffusion-Augmented Training: Integration von text-konditionierten LDMs zur Generierung von synthetischen Defekten, die die positive Speicherbank erweitern, ohne die geometrische Integrität zu verlieren.
3. Ratio Scoring: Entwicklung eines neuartigen Scoring-Mechanismus, der die Distanz zur Normalität und die Ähnlichkeit zu Defekten fusioniert, um False Positives zu minimieren und die Trennschärfe zu erhöhen.

Ergebnisse

Die Methode wurde auf dem KSDD2-Datensatz (industrielle Oberflächenfehler) evaluiert.

• Quantitative Leistung:
  • I-AUROC (Bilderkennung): 94,2 % (ExDD Full), was einen neuen State-of-the-Art darstellt und PatchCore (91,2 %) um 3,0 % übertrifft.
  • P-AUROC (Pixel-Lokalisierung): 97,7 %, deutlich besser als PatchCore (95,8 %) und weit überlegener als DRAEM (42,4 %) oder DSR (61,4 %).
• Ablation-Studie (Synthetische Daten):
  • Die Leistung steigt mit der Anzahl der synthetischen Proben.
  • Der optimale Punkt liegt bei 100 synthetischen Proben (50 pro Prompt), wo die maximale Performance erreicht wird. Mehr Daten (150) führen zu keiner weiteren Verbesserung und sogar zu leichten Einbußen, was auf einen Sättigungspunkt der Diversität hindeutet.
• Qualitative Analyse:
  • Die Heatmaps zeigen schärfere Grenzen und eine bessere Übereinstimmung mit den Ground-Truth-Masken im Vergleich zu reinen One-Class-Methoden.
  • Es werden weniger False Positives in Hintergrundbereichen generiert.

Bedeutung und Fazit

ExDD stellt einen Paradigmenwechsel in der industriellen Anomalieerkennung dar. Anstatt Anomalien als bloße Abweichungen von der Normalität zu betrachten, behandelt das Framework sie als strukturierte Entitäten mit eigenen Verteilungen. Durch die Kombination von expliziter dualer Modellierung und kontextbewusster Diffusionssynthese gelingt es, die Datenknappheit effektiv zu überwinden und gleichzeitig präzise Lokalisierung zu ermöglichen.

Die Arbeit zeigt, dass synthetische Daten, wenn sie durch Domänenwissen (Text-Prompts) und Diffusionsmodelle kontrolliert generiert werden, die Leistung von Detektionssystemen signifikant steigern können, ohne die reale Verteilung zu verfälschen. Dies ist besonders wichtig für Anwendungen, bei denen eine präzise Abgrenzung von Fehlern und eine Minimierung von False Positives entscheidend sind.