FiLo: Zero-Shot Anomaly Detection by Fine-Grained Description and High-Quality Localization

Das Paper stellt FiLo vor, eine Zero-Shot-Anomalieerkennungsmethode, die durch feingranulare Beschreibungen mittels LLMs und eine positionserweiterte Hochwert-Lokalisierung mit Grounding DINO sowie einem Multi-Scale-Modul die Genauigkeit und Interpretierbarkeit bei der Detektion und Lokalisierung von Anomalien in verschiedenen Objektkategorien signifikant verbessert.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein hochqualifizierter Qualitätskontrolleur in einer Fabrik. Ihre Aufgabe ist es, auf einem Fließband nach defekten Produkten zu suchen – sei es ein Kratzer auf einem Handy, ein Riss in einer Schraube oder eine Verfärbung auf einem Stoff.

Das Problem: In der herkömmlichen Welt müssen Sie für jeden neuen Produkttyp (z. B. von Schrauben zu Schokolade) erst tausende Beispiele von guten und schlechten Produkten sehen, um zu lernen, was ein Defekt ist. Das kostet Zeit, Geld und verletzt oft die Privatsphäre, wenn man Kundendaten braucht.

Hier kommt FiLo ins Spiel. FiLo ist wie ein Super-Inspektor, der nie zuvor ein einziges defektes Produkt gesehen hat, aber trotzdem sofort weiß, wo das Problem liegt. Wie macht er das? Er nutzt zwei magische Werkzeuge: Fine-Grained Description (Feine Beschreibung) und Location (Ortung).

Hier ist die Erklärung, wie FiLo funktioniert, mit ein paar einfachen Vergleichen:

1. Das Problem der alten Methoden: Der "Gummibärchen"-Ansatz

Frühere KI-Methoden waren wie ein Kind, das nur zwei Wörter kennt: "Gut" und "Schlecht".
Wenn Sie dem Kind ein Bild von einem Kratzer auf einem Holzbrett zeigen und fragen: "Ist das schlecht?", sagt es vielleicht "Ja". Aber wenn Sie ein Bild von einem verbrannten Keks zeigen, sagt es vielleicht auch "Ja".
Das Problem: Das Wort "Schlecht" ist zu allgemein. Ein Kratzer auf Holz ist etwas ganz anderes als ein verbrannter Keks. Die alte KI verwechselt oft den Hintergrund (z. B. einen Schatten) mit einem Defekt, weil sie nicht genau genug hinschaut.

2. Teil 1: FiLo's "Feine Beschreibung" (FG-Des) – Der Experte mit dem Wörterbuch

FiLo nutzt eine große Sprach-KI (wie einen sehr gebildeten Bibliothekar, der alles über die Welt weiß), um für jedes Produkt eine maßgeschneiderte Liste von möglichen Fehlern zu erstellen.

• Der Vergleich: Statt nur zu sagen "Das ist kaputt", sagt FiLo: "Ein Holzbrett könnte verwurzelt, verfault, mit Rissen entlang der Maserung oder mit Schimmel sein."
• Die Magie: FiLo lernt nicht nur, "schlecht" zu erkennen, sondern versteht den Unterschied zwischen einem "Kratzer" und einem "Riss". Er nutzt keine starren Sätze, sondern passt seine Fragen dynamisch an. Er fragt quasi: "Zeig mir einen Kratzer auf Holz" statt nur "Zeig mir etwas Schlechtes". Das macht die Suche viel präziser und erklärt auch warum etwas als defekt gilt.

3. Teil 2: FiLo's "Hohe Qualität der Ortung" (HQ-Loc) – Der Detektiv mit dem Suchscheinwerfer

Wenn die alte KI nach einem Defekt suchte, verglich sie jedes kleine Bildchen (Patch) einzeln mit dem Text. Das war wie jemand, der im Dunkeln mit einer Taschenlampe jedes einzelne Pflaster auf dem Boden einzeln abtastet. Das dauert lange und man stolpert leicht über Dinge, die gar nicht defekt sind (z. B. Schatten im Hintergrund).

FiLo macht das anders in drei Schritten:

1. Der grobe Suchscheinwerfer (Grounding DINO): FiLo nutzt zuerst einen anderen KI-Experten, der wie ein Suchscheinwerfer funktioniert. Dieser sagt: "Hey, schau mal dort hin, dort ist das Objekt!" Er ignoriert den Hintergrund komplett. So vermeidet FiLo, dass er Schatten oder Staub auf dem Boden fälschlicherweise als Defekt meldet.
2. Der Positions-Check: FiLo fügt der Frage noch eine Ortsangabe hinzu. Statt nur "Zeig mir einen Kratzer", fragt er: "Zeig mir einen Kratzer auf der rechten Seite". Das hilft der KI, sich auf den relevanten Bereich zu konzentrieren.
3. Der Multi-Format-Scanner (MMCI): Defekte haben verschiedene Formen. Ein Riss ist lang und dünn, ein Loch ist rund, eine Delle ist groß. FiLo nutzt verschiedene "Brillen" (Filter), um gleichzeitig nach kleinen, großen, runden und eckigen Fehlern zu suchen. Es ist, als würde er nicht nur mit einer Lupe, sondern mit einem Set aus verschiedenen Lupen und Weitwinkelobjektiven gleichzeitig scannen.

Das Ergebnis: Warum ist das so toll?

FiLo hat in Tests (auf Datenbanken wie MVTec und VisA) gezeigt, dass er besser ist als alle bisherigen Methoden.

• Er findet mehr: Er erkennt Defekte, die andere übersehen.
• Er zeigt genauer: Er markiert den Defekt pixelgenau, ohne den ganzen Hintergrund als "kaputt" zu kennzeichnen.
• Er ist schnell: Er braucht keine neuen Trainingsdaten für jedes neue Produkt.

Zusammenfassend:
Stellen Sie sich FiLo vor wie einen Detektiv, der nicht nur "Mord" kennt, sondern genau weiß, wie ein Messerstich, ein Giftmord oder ein Erstickungstod aussieht (Feine Beschreibung), und der zudem eine spezielle Brille trägt, die ihm hilft, den Täter sofort im Gedränge zu finden, ohne die unschuldigen Zuschauer zu verdächtigen (Hohe Qualität der Ortung).

Damit kann die Industrie Produkte schneller und sicherer prüfen, ohne dass ein Mensch erst jahrelang Defekte sammeln muss, um die Maschine zu trainieren.

Technische Zusammenfassung

1. Problemstellung

Das Ziel der Zero-Shot Anomalieerkennung (ZSAD) ist es, Defekte in industriellen Produkten zu identifizieren und zu lokalisieren, ohne dass zuvor Trainingsdaten für die spezifischen Zielkategorien (sowohl normal als auch anomal) verfügbar sind.

Bestehende Methoden basieren oft auf vortrainierten multimodalen Modellen (wie CLIP) und berechnen die Ähnlichkeit zwischen Bild-Patches und manuell erstellten Textmerkmalen für „normal" oder „anomal". Diese Ansätze weisen jedoch zwei wesentliche Mängel auf:

1. Unpräzise Beschreibungen: Generische Begriffe wie „defect" oder „damaged" erfassen nicht die Vielfalt der spezifischen Anomalietypen über verschiedene Objektkategorien hinweg.
2. Schwierigkeiten bei der Lokalisierung: Die direkte Berechnung der Ähnlichkeit für einzelne Bild-Patches führt oft zu Fehlalarmen im Hintergrund und hat Schwierigkeiten, Anomalien unterschiedlicher Größen und Formen präzise zu lokalisieren.

2. Methodik: FiLo

Die Autoren schlagen FiLo (Fine-Grained Description and High-Quality Localization) vor, einen neuen ZSAD-Ansatz, der aus zwei Hauptkomponenten besteht:

A. Adaptiv gelernter Feinabstimmungs-Beschreibung (FG-Des)

Dieser Teil zielt darauf ab, die Genauigkeit und Interpretierbarkeit der Anomalieerkennung zu verbessern.

• Fine-Grained Anomaly Descriptions: Anstatt generischer Begriffe nutzt FiLo Large Language Models (LLMs), um für jede Objektkategorie spezifische Listen potenzieller Anomalietypen zu generieren (z. B. statt „defect" spezifisch „crack along the grain" oder „mold growth").
• Adaptiv lernte Textvorlagen: Statt statischer, manuell erstellter Prompts (z. B. „A photo of a [state] [class]") verwendet FiLo lernbare Textvektoren. Diese werden mit den detaillierten Anomaliebeschreibungen kombiniert, um Textprompts zu erstellen, die besser zwischen normalen und anomalen Fällen unterscheiden.
• Interpretierbarkeit: Durch die Verwendung spezifischer Beschreibungen kann das System nicht nur feststellen, dass eine Anomalie vorliegt, sondern auch welche Art von Anomalie (z. B. Kratzer vs. Verfärbung) erkannt wurde.

B. Positionsverbesserte Hochwertige Lokalisierung (HQ-Loc)

Dieser Teil adressiert das Problem der präzisen räumlichen Lokalisierung von Anomalien unterschiedlicher Größe und Form.

• Vorläufige Lokalisierung mit Grounding DINO: Bevor die feine Lokalisierung stattfindet, wird Grounding DINO verwendet, um grobe Bounding-Boxen basierend auf den detaillierten Anomaliebeschreibungen zu generieren. Da Anomalien meist im Vordergrund liegen, hilft dies, Fehlalarme in Hintergrundbereichen zu unterdrücken.
• Positionsverbesserung (Position Enhancement): Die ermittelten Positionen werden in die Textprompts integriert (z. B. „...with scratch at [POS]"), um dem Modell zu helfen, sich auf die relevanten Bildbereiche zu konzentrieren.
• Multi-Scale Multi-Shape Cross-modal Interaction (MMCI): Anstatt nur einzelne Patches zu vergleichen, aggregiert dieser Modul Patch-Features aus dem CLIP-Image-Encoder mittels Convolutional-Kernen unterschiedlicher Größen und Formen (z. B. 1x1, 3x3, 5x5, 1x5, 5x1). Dies ermöglicht die effektive Erfassung von Anomalien, die sich über mehrere Patches erstrecken oder ungewöhnliche Formen haben.

3. Schlüsselbeiträge

1. FG-Des: Einführung einer Methode, die LLMs nutzt, um domänenspezifische, feinabgestimmte Anomaliebeschreibungen zu generieren, und deren Kombination mit adaptiv lernbaren Textvorlagen. Dies ersetzt generische Beschreibungen und verbessert sowohl die Detektionsrate als auch die Interpretierbarkeit.
2. HQ-Loc: Entwicklung einer Lokalisierungsstrategie, die Grounding DINO zur Vorfilterung nutzt, Textprompts um Positionsdaten erweitert und einen MMCI-Modul zur Behandlung multi-skaliger und multi-formiger Anomalien implementiert.
3. State-of-the-Art Leistung: FiLo erreicht auf Standard-Datensätzen neue Bestwerte im Bereich Zero-Shot Anomalieerkennung und -lokalisierung.

4. Ergebnisse

Die Methode wurde auf den Datensätzen MVTec AD und VisA evaluiert.

• VisA-Datensatz: FiLo erreicht eine Image-Level AUC von 83,9 % und eine Pixel-Level AUC von 95,9 %. Dies stellt eine Verbesserung gegenüber dem vorherigen State-of-the-Art (AnomalyCLIP) dar (+1,1 % Image-AUC, +0,4 % Pixel-AUC).
• MVTec-Datensatz: FiLo erzielt eine Image-Level AUC von 91,2 % und eine Pixel-Level AUC von 92,3 %.
• Ablationsstudien: Die Experimente bestätigen, dass jeder Teil der Pipeline (feinabgestimmte Beschreibungen, lernbare Vorlagen, Grounding, Positionsverbesserung und MMCI) signifikant zur Gesamtperformance beiträgt. Insbesondere die Kombination aus multi-skaligen und multi-formigen Convolution-Kernen in MMCI verbessert die Lokalisierung von Anomalien unterschiedlicher Geometrien erheblich.

5. Bedeutung und Fazit

FiLo stellt einen bedeutenden Fortschritt im Bereich der Zero-Shot Anomalieerkennung dar. Es löst die Probleme generischer semantischer Beschreibungen und ungenauer räumlicher Lokalisierung durch die intelligente Kombination von Large Language Models (für semantische Tiefe) und fortschrittlichen multimodalen Interaktionsmechanismen (für räumliche Präzision).

Die Methode ist besonders relevant für industrielle Anwendungen, wo neue Produktionslinien schnell überwacht werden müssen, ohne dass große Mengen an annotierten Defektdaten verfügbar sind. FiLo demonstriert, dass die Integration von LLM-Wissen in Vision-Language-Modelle die Generalisierungsfähigkeit und die praktische Anwendbarkeit von ZSAD-Systemen erheblich steigern kann. Der Code ist öffentlich verfügbar, was die Reproduzierbarkeit und weitere Forschung fördert.