FiLo++: Zero-/Few-Shot Anomaly Detection by Fused Fine-Grained Descriptions and Deformable Localization

Die Arbeit stellt FiLo++ vor, eine Methode zur Zero-/Few-Shot-Anomalieerkennung, die durch die Kombination von fusionierten, feingranularen Beschreibungen mittels großer Sprachmodelle und einer deformierbaren Lokalisierung mit Grounding DINO präzise Anomalien in verschiedenen Formen und Größen ohne vorab gelabelte Zielklassendaten erkennt.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein hochspezialisierter Qualitätskontrolleur in einer Fabrik. Ihre Aufgabe: Jedes einzelne Produkt zu prüfen und sofort zu erkennen, ob es einen Fehler hat – sei es ein Kratzer auf einem Handy, ein Riss in einer Schraube oder eine Verfärbung auf einem Stück Holz.

Das Problem ist: In der echten Welt gibt es unendlich viele Arten von Fehlern, und manchmal tauchen sie an Objekten auf, die Sie noch nie gesehen haben.

Die herkömmlichen Methoden sind wie ein strenger Lehrer, der nur dann arbeiten kann, wenn er tausende von perfekten Beispielen eines bestimmten Objekts gesehen hat, bevor er den ersten Fehler findet. Wenn ein neues Objekt kommt (z. B. eine neue Art von Schraube), muss der Lehrer erst wochenlang lernen. Das ist langsam und teuer.

FiLo++ ist wie ein genialer Detektiv mit einem riesigen Wissensschatz, der sofort loslegen kann, ohne vorher zu üben. Hier ist, wie er funktioniert, erklärt mit einfachen Bildern:

1. Der "Wort-Genie"-Teil (FusDes): Vom "Irgendetwas ist kaputt" zum "Hier ist ein Riss im linken Winkel"

Frühere Methoden fragten den Computer nur: "Ist das Bild normal oder abnormal?" Das ist zu vage. Es ist, als würde man einem Kind sagen: "Das hier ist falsch!", ohne zu sagen, was genau falsch ist.

FiLo++ nutzt eine Künstliche Intelligenz (LLM), die wie ein Bibliothekar mit dem Wissen der ganzen Welt ist.

• Die Idee: Bevor das Bild überhaupt geprüft wird, fragt FiLo++ den Bibliothekar: "Was für Fehler könnten bei einem 'Holzblock' auftreten?"
• Das Ergebnis: Der Bibliothekar spuckt keine vagen Begriffe aus, sondern eine Liste mit genauen Beschreibungen: "Ein Riss in der Mitte", "Ein Loch am Rand", "Verfärbung oben links".
• Der Trick: FiLo++ kombiniert diese genauen Beschreibungen mit einem flexiblen Lernsystem. Es filtert die Wörter, die verwirrend sind, und behält nur die, die den Unterschied zwischen "perfekt" und "fehlerhaft" am besten beschreiben.
• Die Metapher: Statt nur nach einem "Fehler" zu suchen, hat der Detektiv eine Checkliste mit 50 spezifischen Fehlern, die er genau vergleichen kann.

2. Der "Lupen-Teil" (DefLoc): Wo genau ist der Fehler?

Selbst wenn man weiß, dass ein Fehler da ist, ist es schwer zu sagen, wo genau er ist. Frühere Methoden schauten oft auf das ganze Bild und riefen: "Hier ist ein Fehler!", auch wenn es nur ein Schatten im Hintergrund war (falscher Alarm).

FiLo++ nutzt hier einen drei-Schritte-Plan:

1. Der grobe Sucher (Grounding DINO): Zuerst schaut sich der Detektiv das Bild an und sagt: "Okay, das ist ein Holzblock. Ignorieren wir den Hintergrund (die Wand, den Tisch). Konzentrieren wir uns nur auf das Holz." Das spart Zeit und verhindert, dass Schatten als Fehler gewertet werden.
2. Die Positions-Notiz: FiLo++ merkt sich genau, wo das Objekt ist. Wenn der Fehler oben links ist, sagt es: "Suche oben links nach einem Riss."
3. Die deformierbare Lupe (MDCI): Fehler haben verschiedene Formen. Manche sind kleine Punkte, andere sind lange Risse. Eine starre Lupe (wie ein festes Gitter) passt nicht immer. FiLo++ nutzt eine deformierbare Lupe, die sich wie ein Gummiband an die Form des Fehlers anpasst. Sie kann sich dehnen, um lange Risse zu sehen, oder zusammenziehen, um kleine Punkte zu finden.

3. Der "Ein-Blick"-Teil (Few-Shot): Lernen durch ein einziges Beispiel

Manchmal haben wir sogar ein paar normale Bilder zur Hand. FiLo++ kann diese nutzen, um noch besser zu werden.

• Die Metapher: Stellen Sie sich vor, Sie zeigen dem Detektiv ein einziges perfektes Foto eines Stuhls. FiLo++ nutzt dann die "Lupen-Technik", um sich nur auf die verdächtigen Stellen zu konzentrieren, die von diesem perfekten Beispiel abweichen. Es ist, als würde der Detektiv sagen: "Ich kenne den perfekten Stuhl. Alles, was davon abweicht, ist verdächtig."

Warum ist das so wichtig?

• Schnell: Man braucht keine riesigen Datenmengen zum Trainieren. Das System ist sofort einsatzbereit (Zero-Shot).
• Genau: Es findet nicht nur, dass etwas kaputt ist, sondern was und wo.
• Flexibel: Es funktioniert bei Industrieprodukten (Schrauben, Textilien) und sogar in der Medizin (Tumore im Gehirn oder Netzhaut), wo Fehler oft sehr klein und schwer zu finden sind.

Zusammenfassend:
FiLo++ ist wie ein Super-Detektiv, der nicht nur ein Auge für Fehler hat, sondern auch ein Wörterbuch mit tausenden spezifischen Fehlerbeschreibungen und eine magische, sich anpassende Lupe besitzt. Er ignoriert den Hintergrund, konzentriert sich auf das Wesentliche und findet selbst die kleinsten, seltsamsten Fehler – ganz ohne stundenlanges Lernen.

Technische Zusammenfassung

1. Problemstellung

Die herkömmliche Anomalieerkennung (Anomaly Detection) basiert meist auf dem One-Class-Klassifikationsansatz, der eine große Menge an normalen Trainingsdaten der Zielklasse erfordert. Dies schränkt die Anwendbarkeit in Szenarien mit schnellen Anpassungsbedarf ein, wie z. B. beim „Cold Start" oder bei neuen Produktlinien.

Zero-Shot (ZSAD) und Few-Shot (FSAD) Anomalieerkennung zielen darauf ab, Modelle zu entwickeln, die ohne oder mit nur wenigen normalen Beispielen der Zielklasse auskommen. Bestehende Ansätze nutzen oft multimodale Modelle (wie CLIP), die Bild-Text-Ähnlichkeiten vergleichen. Diese Methoden leiden jedoch unter zwei Hauptproblemen:

1. Mangelnde Detektionsgenauigkeit: Manuell erstellte, generische Textbeschreibungen (z. B. „normal" vs. „anomal") erfassen nicht die Vielfalt der spezifischen Anomalien, die bei verschiedenen Objekten auftreten können.
2. Ungenauige Lokalisierung: Das einfache Patch-Level-Matching von Bildmerkmalen mit Text-Embeddings führt oft zu Fehlalarmen im Hintergrund und hat Schwierigkeiten, Anomalien mit variierenden Formen und Größen, die sich über mehrere Patches erstrecken, präzise zu lokalisieren.

2. Methodik: FiLo++

Das Paper stellt FiLo++ vor, eine Erweiterung des Vorgängermodells FiLo, die zwei Hauptkomponenten integriert, um die oben genannten Probleme zu lösen: FusDes (für die Detektion) und DefLoc (für die Lokalisierung).

A. FusDes: Fused Fine-Grained Descriptions (Verbesserte Detektion)

Dieser Modul verbessert die Text-Generierung für den Abgleich mit Bildmerkmalen durch drei Schritte:

1. Generierung feinabgestufter Beschreibungen: Anstelle generischer Begriffe nutzt FiLo++ Large Language Models (LLMs, z. B. GPT-4), um spezifische Anomalietypen für jede Objektkategorie zu generieren (z. B. statt „defekt" eher „Riss", „Kratzer" oder „Farbveränderung").
2. Kombination von Templates: Es werden sowohl feste, handgefertigte Templates als auch lernbare Text-Vektoren (Adaptive Prompts) kombiniert. Die Templates sind speziell für Anomalieaufgaben optimiert und beinhalten Platzhalter für Domäne, Zustand, Objektklasse, Anomalietyp und Position.
3. Runtime Prompt Filtering: Um die „cross-semantic ambiguity" (Überlappung der Bedeutungen zwischen normalen und anomalen Texten) zu reduzieren, wird ein Filtermechanismus zur Laufzeit angewendet. Dieser entfernt Text-Prompts, deren Ähnlichkeitsabstände zu den Bildmerkmalen zu stark überlappen, und behält nur die diskriminativsten Beschreibungen bei.

B. DefLoc: Deformable Localization (Verbesserte Lokalisierung)

Dieses Modul adressiert die Herausforderung, Anomalien unterschiedlicher Formen und Größen präzise zu segmentieren:

1. Initiale Lokalisierung mit Grounding DINO: Ein Vision-Foundation-Modell (Grounding DINO) wird genutzt, um basierend auf den generierten Textbeschreibungen grobe Bounding-Boxen um die Vordergrundobjekte zu ziehen. Dies dient dazu, den Hintergrund zu unterdrücken und Fehlalarme in irrelevanten Bereichen zu minimieren.
2. Position-Enhanced Text Prompts: Die Koordinaten der Bounding-Boxen werden in die Textbeschreibungen integriert (z. B. „Anomalie oben-links"), um dem Modell zu helfen, sich auf relevante Bildregionen zu konzentrieren.
3. Multi-scale Deformable Cross-modal Interaction (MDCI): Anstatt starre Convolution-Kernel zu verwenden, nutzt FiLo++ deformierbare Convolutionen in mehreren Skalen. Diese Module aggregieren Bild-Patch-Merkmale aus verschiedenen Ebenen des CLIP-Encoders und interagieren mit den positionsoptimierten Textmerkmalen. Dies ermöglicht die robuste Erkennung von Anomalien mit unregelmäßigen Formen und Größen.
4. Few-Shot Branch: Für Few-Shot-Szenarien wird ein positionsoptimiertes Patch-Matching eingeführt. Die Vorlokalisierung durch DefLoc schränkt den Suchraum für den Abgleich mit einem Memory-Bank normaler Referenzbilder ein, was die Genauigkeit bei wenigen Schots (1-4 Shots) erhöht.

3. Schlüsselbeiträge

• FusDes-Modul: Eine neue Methode zur Generierung und Filterung von Text-Prompts, die LLM-Wissen, lernbare Templates und Laufzeit-Filterung kombiniert, um die semantische Ausrichtung zwischen Text und Bild zu maximieren und die Interpretierbarkeit zu erhöhen.
• DefLoc-Modul: Ein neuartiger Lokalisierungsansatz, der Grounding DINO, positionsbasierte Textbeschreibungen und deformierbare Cross-Modal-Interaktion (MDCI) integriert, um Anomalien variierender Morphologien präzise zu lokalisieren.
• Erweiterung auf Few-Shot: Einführung einer Few-Shot-Branche, die die Vorlokalisierung nutzt, um das Patch-Matching zu verfeinern, wodurch FiLo++ sowohl für Zero-Shot als auch Few-Shot Szenarien geeignet ist.
• Umfassende Evaluation: Demonstration von State-of-the-Art-Ergebnissen auf industriellen (MVTec-AD, VisA) und medizinischen Datensätzen (BrainMRI, RESC).

4. Ergebnisse

Die Experimente wurden auf mehreren Datensätzen durchgeführt, wobei FiLo++ signifikante Verbesserungen gegenüber bestehenden Methoden (wie WinCLIP, AnomalyCLIP, PatchCore, AnomalyGPT) zeigte:

• Zero-Shot (ZSAD): Auf dem VisA-Datensatz erreichte FiLo++ eine Bild-level AUC von 84,5 % und eine Pixel-level AUC von 96,2 %, was einen neuen State-of-the-Art darstellt. Auf MVTec-AD wurden 92,1 % (Bild) und 92,8 % (Pixel) erreicht.
• Few-Shot (FSAD): In Szenarien mit 1 bis 4 Shots übertraf FiLo++ alle Vergleichsmethoden deutlich. Auf VisA (1-Shot) wurde eine Pixel-AUC von 97,3 % erreicht.
• Generalisierung: Das Modell zeigte starke Leistung auch im medizinischen Bereich (BrainMRI und RESC), wo es selbst spezialisierte medizinische Modelle (MedCLIP) und generische Ansätze (WinCLIP) deutlich hinter sich ließ.
• Ablationsstudien: Diese bestätigten, dass jeder Teil des Systems (LLM-Generierung, deformierbare Convolutionen, Grounding DINO-Filterung) einen messbaren Beitrag zur Gesamtperformance leistet. Die Verwendung deformierbarer Convolutionen erhöhte die Lokalisierungsgenauigkeit nur minimal auf Kosten der Rechenzeit (+32 ms), was den Nutzen rechtfertigt.

5. Bedeutung und Ausblick

FiLo++ adressiert kritische Lücken in der aktuellen Anomalieerkennung, indem es die Stärken von Large Language Models (Wissensgenerierung) und modernen Vision-Foundation-Modellen (Grounding DINO) mit fortschrittlichen Convolution-Techniken (Deformable Conv) verbindet.

• Praktische Relevanz: Die Methode ermöglicht eine schnelle Anpassung an neue Produktlinien oder medizinische Anwendungen ohne umfangreiche Datensammlung (Cold-Start-Problem).
• Interpretierbarkeit: Durch die Nutzung spezifischer Textbeschreibungen kann das System nicht nur sagen, dass eine Anomalie vorliegt, sondern auch welche Art von Anomalie (z. B. „Loch", „Riss") erkannt wurde.
• Zukunftspotenzial: Die Autoren sehen Potenzial für die Übertragung der Methoden auf dynamische Szenarien wie Video-Anomalieerkennung und andere multimodale Lokalisierungsaufgaben (z. B. Audio-Visual).

Zusammenfassend stellt FiLo++ einen wichtigen Schritt in Richtung robuster, dateneffizienter und interpretierbarer Anomalieerkennungssysteme dar, die in realen industriellen und medizinischen Umgebungen einsetzbar sind.