When Anomalies Depend on Context: Learning Conditional Compatibility for Anomaly Detection

Die Arbeit stellt mit CAAD-3K ein neues Benchmark und einen Rahmenwerk zur bedingten Kompatibilitätslernen vor, das Anomalien im visuellen Bereich als kontextabhängige Inkompatibilität zwischen Objekt und Umgebung modelliert und so bestehende Methoden auf mehreren Datensätzen übertrifft.

Das Wesentliche

Titel: Wenn das „Falsche" eigentlich „Richtig" ist – Ein neuer Blick auf Fehlererkennung

Stellen Sie sich vor, Sie sind ein Sicherheitsbeamter an einem Flughafen. Ihre Aufgabe ist es, verdächtige Gegenstände zu finden.

Das alte Problem: Alles ist schwarz oder weiß
Bisher haben Computer-Programme für die Fehlererkennung (Anomalie-Erkennung) so gearbeitet, als würden sie nur nach „kaputten" Dingen suchen. Wenn ein Flugzeug eine Delle hatte, war es ein Fehler. Wenn ein Auto einen Kratzer hatte, war es ein Fehler. Das Programm dachte: „Ein Flugzeug gehört in den Himmel. Wenn es auf dem Boden liegt, ist es kaputt."

Aber das ist im echten Leben oft falsch.

• Ein Laufender Mensch auf einer Sportbahn? Das ist völlig normal.
• Derselbe laufende Mensch mitten auf einer Autobahn? Das ist extrem gefährlich und „falsch".

Das alte Programm würde hier scheitern. Es sieht nur den Menschen (der normal aussieht) und ignoriert den Hintergrund. Oder es sieht den Hintergrund und vergisst, dass der Mensch eigentlich in Ordnung ist. Es kann nicht verstehen, dass der Kontext (die Umgebung) entscheidet, ob etwas ein Problem ist oder nicht.

Die neue Lösung: CoRe-CLIP – Der „Kontext-Experte"
Die Forscher in diesem Papier haben ein neues System namens CoRe-CLIP entwickelt. Man kann sich das wie einen sehr klugen Detektiv vorstellen, der nicht nur hinsieht, sondern auch nachdenkt.

Hier ist die einfache Erklärung, wie er funktioniert, mit ein paar Analogien:

1. Die drei Brillen (Die Aufteilung)

Statt nur ein einziges Bild anzusehen, trägt unser Detektiv drei verschiedene Brillen gleichzeitig:

• Brille 1 (Der Held): Er schaut nur auf das Objekt (z. B. den laufenden Menschen).
• Brille 2 (Die Kulisse): Er schaut nur auf den Hintergrund (z. B. die Autobahn).
• Brille 3 (Das Ganze): Er sieht das ganze Bild.

Früher haben Computer alles in einen Topf geworfen. Unser neuer Detektiv trennt die Dinge, um zu verstehen, ob sie zusammenpassen.

2. Die „Sprach-Brille" (Verstehen statt Auswendiglernen)

Der Detektiv hat eine besondere Fähigkeit: Er versteht Sprache. Er weiß, was ein „Laufender Mensch" ist und was eine „Autobahn" ist.

• Er fragt sich: „Passt ein Laufender Mensch auf eine Autobahn?"
• Die Antwort ist: Nein. Das ist eine „Inkompatibilität".
• Er fragt sich: „Passt ein Laufender Mensch auf eine Sportbahn?"
• Die Antwort ist: Ja. Das ist „Kompatibel".

Das System lernt nicht nur, wie Dinge aussehen, sondern welche Beziehungen zwischen Dingen und Orten sinnvoll sind.

3. Der Test: Der „Unbekannte"

Um zu beweisen, dass ihr System wirklich clever ist, haben die Forscher einen neuen Test entwickelt (genannt CAAD-3K).
Stellen Sie sich vor, Sie trainieren den Detektiv mit Bildern von Hunden im Park. Dann zeigen Sie ihm ein Bild von einem Hund auf einem Dach.

• Ein alter Computer würde sagen: „Ein Hund ist ein Hund. Alles okay." (Weil er den Hund kennt).
• Oder er würde sagen: „Ein Dach ist kein Park. Fehler!" (Weil er den Park vermisst).
• Unser neuer Detektiv sagt: „Ein Hund auf einem Dach ist in diesem Kontext verdächtig, auch wenn der Hund selbst gesund ist."

Warum ist das so wichtig?

In der echten Welt passieren Fehler oft nicht, weil etwas kaputt ist, sondern weil es am falschen Ort ist.

• Ein Feuer in einem Kamin ist normal.
• Ein Feuer im Wohnzimmer ist eine Katastrophe.
• Ein Auto auf der Straße ist normal.
• Ein Auto im Supermarktregal ist ein Problem.

Das neue System (CoRe-CLIP) ist so gut darin, diese Zusammenhänge zu verstehen, dass es nicht nur auf neuen, synthetischen Tests glänzt, sondern auch auf alten, bekannten Aufgaben (wie der Suche nach Rissen in Industrieteilen) genauso gut oder sogar besser funktioniert als alle bisherigen Methoden.

Zusammenfassung in einem Satz:
Früher haben Computer nur geschaut, ob ein Objekt „hässlich" oder „kaputt" aussieht. Jetzt hat dieses neue System gelernt, zu fragen: „Passt dieses Objekt überhaupt hierher?" – und das macht es zum perfekten Wächter für die komplexe, echte Welt.

Technische Zusammenfassung

1. Problemstellung: Die Limitierung intrinsischer Anomalie-Definitionen

Herkömmliche Methoden zur Anomalieerkennung in der Computer Vision basieren oft auf der Annahme, dass Anomalien eine intrinsische Eigenschaft eines Objekts oder einer Beobachtung sind. Das bedeutet, dass ein Bild als anomal gilt, wenn es von der Verteilung normaler Daten abweicht, unabhängig vom Kontext.

Das Paper identifiziert jedoch ein fundamentales Problem in realen Szenarien: Kontextabhängigkeit.

• Das Dilemma: Ein Objekt oder eine Handlung kann in einem Kontext normal und in einem anderen anomal sein (z. B. eine Person, die auf einer Rennbahn läuft, ist normal; dieselbe Person, die auf einer Autobahn läuft, ist anomal).
• Die Herausforderung: Wenn Modelle nur auf dem Aussehen (Intrinsik) trainiert werden, kollabieren kontextabhängige Unterscheidungen. Visuell ähnliche Bilder erhalten widersprüchliche Labels, was zu nicht identifizierbaren Vorhersagen führt, da die Beziehung zwischen Subjekt und Umgebung ignoriert wird.
• Lücke in bestehenden Benchmarks: Vorhandene Datensätze (wie MVTec-AD) fokussieren sich auf strukturelle Defekte oder seltene Texturen, nicht auf semantische Inkompatibilität zwischen Objekt und Szene.

2. Methodik: CoRe-CLIP und Conditional Compatibility Learning

Die Autoren schlagen einen neuen Ansatz vor, der Anomalieerkennung als Problem des Conditional Compatibility Learning (Lernen bedingter Kompatibilität) formuliert. Anstatt zu fragen "Ist dieses Bild anomal?", fragt das Modell: "Ist das Subjekt mit seinem Kontext kompatibel?"

Kernkomponenten des Modells (CoRe-CLIP):

Das Modell baut auf einem vortrainierten Vision-Language-Modell (CLIP) auf und erweitert es um drei Hauptmodule:

1. Repräsentationszerlegung (Representation Decomposition):
   Um die Beziehung zwischen Subjekt und Kontext explizit zu modellieren, wird das Eingabebild in drei komplementäre Ansichten zerlegt:

   • Subjekt-Fokus: Konzentriert sich auf das Vordergrund-Objekt oder die Handlung.
   • Kontext-Fokus: Konzentriert sich auf den Hintergrund und die Szene.
   • Globaler Fokus: Das gesamte Bild.
   • Technik: Es werden Context-Selective Residuals (CSR) verwendet, leichte Adapter-Module, die für jeden dieser drei Pfade spezifisch angepasst werden, um die semantischen Beziehungen zu verfeinern, ohne die Basis-CLIP-Alignment zu zerstören.

2. Text-Verfeinerung (Text Refinement):
   Da die Bedeutung von "normal" und "anomal" kontextabhängig ist, werden die Text-Embeddings von CLIP verfeinert. Für jede Klasse werden zwei Embeddings erzeugt: eines für den kontextuell normalen Zustand ($\tilde{t}_0$) und eines für den anomal Zustand ($\tilde{t}_1$).

   • Dies wird durch Disentanglement-Objektive erreicht: Orthogonalitätsverlust (um die Bedeutungen zu trennen), Intra-Klassen-Konsistenz (um die Identität zu bewahren) und Image-Text-Grounding (um die semantische Ausrichtung zu sichern).

3. Kompatibilitäts-Reasoning-Modul (Compatibility Reasoning Module - CRM):
   Dies ist das Herzstück der Inferenz. Das CRM aggregiert die verfeinerten visuellen Repräsentationen (Subjekt, Kontext, Global) basierend auf den Text-Embeddings.

   • Es berechnet adaptive Gewichte (Attention), um zu entscheiden, ob eine Inkompatibilität vom Subjekt, vom Kontext oder von der Kombination stammt.
   • Die Anomalie-Score wird durch den Vergleich der fusionierten visuellen Repräsentation mit den normalen und anomalen Text-Embeddings berechnet (Cosine Similarity).

3. Neue Benchmark: CAAD-3K

Um dieses Problem systematisch zu untersuchen, stellen die Autoren CAAD-3K vor.

• Ziel: Ein Benchmark, der kontextuelle Anomalien isoliert, indem die Subjekt-Identität konstant gehalten wird, während der Kontext variiert wird.
• Aufbau: 3.000 synthetische Bilder (erzeugt mit FLUX.1-dev), aufgeteilt in:
  • CAAD-SS: Trainings- und In-Distribution-Evaluation.
  • CAAD-CC (Cross-Context): Ein Testset mit völlig neuen Subjekt-Kontext-Kombinationen, um die Generalisierungsfähigkeit zu testen.
• Besonderheit: Die Anomalie entsteht ausschließlich durch die semantische Inkompatibilität (z. B. ein Boot im Wohnzimmer), nicht durch visuelle Artefakte.

4. Ergebnisse

Die Experimente zeigen, dass CoRe-CLIP den aktuellen Stand der Technik (SOTA) in mehreren Bereichen übertrifft:

• Auf CAAD-3K: CoRe-CLIP erzielt unter Few-Shot-Bedingungen (1-, 2-, 4-Shot) deutlich bessere Ergebnisse als alle bestehenden CLIP-basierten Methoden (wie WinCLIP, AnomalyCLIP, AdaCLIP).
  • Beispiel (4-Shot Cross-Context): CoRe-CLIP erreicht 87.3% I-AUROC und 98.3% P-AUROC, während der beste Baseline (WinCLIP) nur bei ca. 67% I-AUROC liegt.
  • Dies beweist, dass das Modell tatsächlich kontextuelle Beziehungen lernt und nicht nur visuelle Muster auswendig lernt.
• Generalisierung auf Standard-Benchmarks:
  • Auf MVTec-AD und VisA (die strukturelle Defekte behandeln) erzielt CoRe-CLIP SOTA-Ergebnisse oder ist mit diesen vergleichbar.
  • Dies zeigt, dass der Ansatz der kontextabhängigen Kompatibilität die Fähigkeit zur Erkennung struktureller Anomalien nicht beeinträchtigt, sondern ergänzt.
• Out-of-Context (OOC) Detektion: Auf realen OOC-Datensätzen (MIT-OOC, COCO-OOC) übertrifft CoRe-CLIP sowohl klassische Graph-Methoden als auch Zero-Shot-Foundation-Model-Ansätze signifikant.

5. Bedeutung und Beiträge

Die Arbeit leistet mehrere wesentliche Beiträge zur Forschung:

1. Neue Problemformulierung: Sie verschiebt den Fokus von "intrinsischer Anomalie" zu "bedingter Kompatibilität". Dies löst das Problem der Nicht-Identifizierbarkeit, das entsteht, wenn visuelle Ähnlichkeit zu unterschiedlichen Labels führt.
2. Architektonischer Fortschritt: Die Einführung von CoRe-CLIP mit CSR und CRM zeigt, wie Vision-Language-Modelle durch explizite Zerlegung von Subjekt und Kontext für komplexe semantische Aufgaben adaptiert werden können.
3. Benchmark CAAD-3K: Schließt eine Lücke in der Evaluierung von Anomalieerkennung, indem es eine kontrollierte Umgebung für kontextabhängiges Lernen bietet, die in der realen Welt (z. B. Überwachung, Robotik, industrielle Inspektion) relevant ist.
4. Robustheit: Die Methode ist robust gegenüber fehlenden Segmentierungsmasken (kann automatisch generierte Masken nutzen) und funktioniert auch im Zero-Shot-Transfer auf andere Domänen.

Fazit: Das Paper demonstriert, dass Anomalieerkennung in offenen Umgebungen nicht nur auf der Suche nach "falschen Pixeln" basieren darf, sondern ein tiefes Verständnis der semantischen Beziehung zwischen Objekt und Umgebung erfordert. CoRe-CLIP liefert einen effektiven Rahmen, um diese Beziehung zu lernen und damit sowohl kontextuelle als auch strukturelle Anomalien präzise zu erkennen.