Language-guided Open-world Video Anomaly Detection under Weak Supervision

Die Arbeit stellt LaGoVAD vor, einen sprachgesteuerten Video-Anomalie-Detektor, der unter schwacher Aufsicht dynamisch auf variable Anomalie-Definitionen in offenen Welten reagiert, und ergänzt dies um den umfassenden PreVAD-Datensatz mit semantischen Beschreibungen, um Zero-Shot-Tests auf mehreren Datensätzen mit State-of-the-Art-Ergebnissen zu ermöglichen.

Das Wesentliche

🎥 LaGoVAD: Der Video-Detektiv, der sich auf deine Regeln einstellt

Stell dir vor, du hast einen sehr intelligenten Video-Wächter. Normalerweise lernt dieser Wächter in der Schule (dem Training), was „normal" ist (z. B. Leute gehen auf dem Gehweg) und was „abnormal" ist (z. B. jemand rennt wild durch die Gegend).

Das Problem bei den alten Wächtern war: Sie waren stur.
Wenn du ihnen sagtest: „Achte auf Diebe!", lernten sie nur Diebe zu erkennen. Aber was ist, wenn sich die Regeln ändern?

• Beispiel: Ein Mensch, der auf der Straße läuft, ist im normalen Leben völlig okay. Aber in einer Sperrzone oder auf einer Autobahn ist das gleiche Bild plötzlich lebensgefährlich und „abnormal".
• Das Problem: Alte Systeme dachten: „Ein Mensch auf der Straße ist immer normal." Sie konnten nicht verstehen, dass sich die Bedeutung (die Definition) von „normal" je nach Situation ändert. Das nennt man in der Wissenschaft Konzept-Drift (eine Art Gedächtnisverlust für Regeln).

🚀 Die Lösung: LaGoVAD (Der sprachgesteuerte Detektiv)

Die Autoren haben einen neuen Wächter namens LaGoVAD gebaut. Hier ist das Besondere daran:

1. Der Wächter fragt dich erst, bevor er zuschlägt.
Statt fest zu lernen, was ein Dieb ist, gibt LaGoVAD dir ein Mikrofon. Du kannst ihm natürliche Sprache geben.

• Szenario A: Du sagst: „Achte auf Menschen, die Masken tragen." (Während einer Grippe-Welle).
• Szenario B: Du sagst: „Achte auf Menschen, die keine Masken tragen." (In einer Klinik).
• Das Gleiche Video: Ein Mensch ohne Maske.
• Ergebnis: Im Szenario A ist er „normal". Im Szenario B ist er „abnormal". LaGoVAD passt sich sofort an, weil er deine Sprachregel versteht.

2. Der riesige Übungsbuch (PreVAD-Datensatz)
Damit ein Wächter so flexibel sein kann, braucht er extrem viel Übung. Bisher gab es nur kleine Bücher mit wenigen Beispielen, die oft nur „Verbrechen" zeigten.
Die Forscher haben PreVAD erstellt: Das ist das größte und vielfältigste Übungsbuch der Welt für Video-Anomalien.

• Größe: Es enthält fast 35.000 Videos (über 200 Stunden!).
• Vielfalt: Nicht nur Diebstahl, sondern auch Unfälle, Tierangriffe, Produktionsfehler und mehr.
• Der Clou: Jedes Video hat nicht nur ein Etikett (z. B. „Feuer"), sondern eine detaillierte Beschreibung (z. B. „Ein LKW kippt um und fängt Feuer"). Das hilft dem Wächter, die Bedeutung zu verstehen, nicht nur das Bild zu erkennen.

3. Der Trick gegen das „Auswendiglernen" (Regularisierung)
Ein großes Problem beim Lernen ist, dass Systeme oft nur das Auswendiglernen (Overfitting). Sie merken sich die Videos, statt die Regeln zu verstehen. LaGoVAD nutzt zwei Tricks, um schlauer zu werden:

• Trick 1: Der Video-Zauberer (Dynamische Videosynthese)
  Stell dir vor, du trainierst einen Schiedsrichter. Du nimmst ein Video, in dem ein Unfall passiert, und schneidest es so, dass der Unfall nur 1 Sekunde dauert und der Rest des Videos normal ist. Oder du fügst lange normale Abschnitte hinzu.
  LaGoVAD macht das automatisch: Er schneidet Videos dynamisch zusammen, um dem System beizubringen, dass Anomalien oft nur kurze Momente in einem langen, normalen Video sind. So lernt er, den Kontext zu verstehen.

• Trick 2: Der Stresstest (Kontrastives Lernen mit „schwierigen Negativen")
  Stell dir vor, du lehrst jemanden, einen echten Diamanten von einem Glasstein zu unterscheiden. Wenn du ihm nur einen klaren Diamanten und einen klaren Glasstein zeigst, ist es leicht.
  Aber was, wenn der Glasstein so glänzt wie ein Diamant? Das ist ein „schwieriger Negativfall". LaGoVAD sucht sich gezielt diese verwirrenden Beispiele aus, um zu lernen, genau auf die Details zu achten, die den Unterschied machen.

🏆 Das Ergebnis: Der Meister der offenen Welt

Die Forscher haben LaGoVAD an sieben verschiedenen Orten getestet (von Überwachungskameras auf Autobahnen bis hin zu Filmen).

• Ergebnis: LaGoVAD ist der Beste (State-of-the-Art).
• Warum? Weil er nicht starr ist. Er versteht, dass „normal" und „abnormal" keine festen Tatsachen sind, sondern davon abhängen, was du gerade für wichtig hältst.

🌍 Zusammenfassung in einem Satz

LaGoVAD ist wie ein super-intelligenter Video-Wächter, der nicht stur nach einem alten Lehrbuch lernt, sondern dir zuhört, um zu verstehen, was in deiner spezifischen Situation gerade als Problem gilt – und das alles dank eines riesigen Übungsbuchs, das er sich selbst mit Hilfe von KI zusammengebaut hat.

Technische Zusammenfassung

1. Problemstellung: Das Konzept-Drift-Problem in der offenen Welt

Herkömmliche Methoden zur Video-Anomalieerkennung (VAD) operieren meist im „Closed-Set"- oder „Open-Set"-Modus. Dabei wird angenommen, dass die Definition einer Anomalie statisch ist (z. B. ist „Laufen" immer normal, „Explosion" immer abnormal).

Das Papier identifiziert jedoch ein kritisches Problem in Open-World-Szenarien: Die Definition von Anomalien ist dynamisch und kontextabhängig.

• Beispiel: Das Laufen auf einer Straße ist in einem Kriminalitätsdatensatz normal, auf einer Autobahn (Freeway) jedoch abnormal. Das Nichttragen einer Maske ist im Alltag normal, während einer Grippewelle jedoch abnormal.
• Konzept-Drift: Dies führt zu einem Concept Drift, bei dem sich die bedingte Wahrscheinlichkeitsverteilung der Labels ändert ($P_{train}(Y|V) \neq P_{test}(Y|V)$), obwohl das Video ($V$) gleich bleibt.
• Limitierung bestehender Ansätze: Bisherige Open-Set- oder Domain-Generalization-Methoden können zwar neue Anomalien erkennen, scheitern aber daran, dass sich die Bedeutung bekannter Muster ändert, wenn sich die Benutzeranforderungen oder Umgebungsbedingungen ändern. Sie können keine benutzerdefinierten, sprachbasierten Definitionen dynamisch anpassen.

2. Methodik: LaGoVAD

Die Autoren schlagen ein neues Paradigma vor: Language-Guided Open-World Video Anomaly Detection. Das Ziel ist es, eine Funktion $\Phi: (V, Z) \rightarrow Y$ zu lernen, wobei $V$ das Video, $Z$ die sprachliche Definition der Anomalie und $Y$ das Label ist.

A. Theoretisches Fundament

• Annahme 1 (Definition-basierte Anomalie): Das Anomalie-Label wird ausschließlich durch das Video und die Definition bestimmt. Wenn die Definition $Z$ als Eingabe in das Modell integriert wird, bleibt die bedingte Wahrscheinlichkeit $P(Y|V, Z)$ über verschiedene Domänen hinweg konstant, wodurch Concept Drift vermieden wird.
• Herausforderung: Das Lernen einer solchen multimodalen Abbildung führt zu einer exponentiell abnehmenden Probendichte und Neigung zu Overfitting.

B. Modellarchitektur (LaGoVAD)

Das Modell nutzt eine schwache Überwachung (Weak Supervision) und besteht aus folgenden Komponenten:

1. Encoder:
   • Visuell: Ein vortrainierter CLIP-Image-Encoder kombiniert mit einem temporalen Transformer-Encoder.
   • Textuell: Der CLIP-Text-Encoder verarbeitet die Benutzeranfrage (Anomalie-Definition) als natürliche Sprache (z. B. „Ein Mensch läuft auf der Autobahn").
2. Fusion: Ein Transformer-basierter Fusion-Modul verschmilzt visuelle und textuelle Merkmale.
3. Heads: Ein binärer Detektions-Head (für Anomalie-Scores) und ein Multi-Class-Klassifikations-Head.

C. Zwei Regularisierungsstrategien

Um Overfitting in diesem komplexen Raum zu verhindern, werden zwei innovative Strategien eingeführt:

1. Dynamische Video-Synthese (Dynamic Video Synthesis):

   • Problem: Reale Videos enthalten oft lange normale Sequenzen, während Web-Datensätze oft stark geschnitten sind (hoher Anomalie-Anteil).
   • Lösung: Das Modul synthetisiert Videos mit variierenden Anomalie-Dauern. Es wählt einen Anker-Video-Segment und fügt semantisch ähnliche Segmente (aus den $k$-nächsten Nachbarn) hinzu, um lange, kohärente Sequenzen zu erzeugen.
   • Ziel: Dies diversifiziert die relativen Dauern von Anomalien und zwingt das Modell, Kontext besser zu verstehen, anstatt nur kurze Muster zu lernen. Ein Pseudo-Label-Loss wird auf diese synthetisierten Videos angewendet.

2. Kontrastives Lernen mit Hard-Negative-Mining:

   • Problem: Die Grenze zwischen normal und abnormal ist oft unscharf.
   • Lösung: Das Modell aggregiert Frame-Level-Features zu Video-Level-Features, gewichtet durch die Anomalie-Scores.
   • Hard Negatives: In einem abnormalen Video sind die normalen Abschnitte die „harten Negativbeispiele" für die Anomalie-Definition. Das Modell nutzt einen kontrastiven Loss, um die Ähnlichkeit zwischen Video und passender Text-Definition zu maximieren und die zu nicht-passenden Definitionen (oder normalen Teilen abnormaler Videos) zu minimieren. Dies verbessert die Feinabstimmung der multimodalen Ausrichtung.

3. Datensatz: PreVAD

Da bestehende Datensätze oft nur Kategorien ohne semantische Beschreibungen bieten, stellen die Autoren PreVAD (Pre-training Video Anomaly Dataset) vor.

• Umfang: Derzeit der größte und vielfältigste Datensatz mit 35.279 annotierten Videos (davon 11.979 abnormal).
• Vielfalt: Deckt 7 Hauptkategorien und 35 Unterkategorien ab (z. B. Gewalt, Unfälle, Raub, Tierangriffe, Produktionsunfälle).
• Annotation: Jedes abnormal Video ist mit einer mehrschichtigen Taxonomie und einer detaillierten Textbeschreibung der Anomalie versehen.
• Erstellung: Ein skalierbarer Pipeline-Prozess nutzt Foundation Models (LLMs, MLLMs) für automatisches Cleaning, Captioning und Validierung, ergänzt durch menschliche Annotation für hohe Qualität.

4. Ergebnisse

Die Leistung wurde durch Zero-Shot-Experimente auf sieben verschiedenen Datensätzen (UCF-Crime, XD-Violence, MSAD, UBNormal, DoTA, TAD, LAD) evaluiert.

• Protokoll 1 (Open-World Generalisierung): LaGoVAD erreicht State-of-the-Art (SOTA) Ergebnisse auf allen sieben Datensätzen.
  • Auf XD-Violence wurde eine Verbesserung von 20% in der Detektion und 32% in der Klassifikation gegenüber vorherigen SOTA-Methoden (wie VadCLIP, OVVAD) erzielt.
  • Es übertrifft auch große Multimodal-Modelle (wie Qwen2.5-VL) in der Genauigkeit und Lokalisierung, bei deutlich geringerem Rechenaufwand.
• Protokoll 2 (Robustheit gegen Concept Drift): Unter variierenden Anomalie-Definitionen (simuliert durch zufällige Teilmengen von Kategorien) zeigt LaGoVAD eine überlegene Robustheit (gemessen als drift@5).
• Ablationsstudien: Die Entfernung der dynamischen Synthese oder des kontrastiven Lernens führt zu signifikanten Leistungseinbußen, was die Notwendigkeit beider Regularisierungsstrategien bestätigt. Auch der Datensatz PreVAD zeigt sich als entscheidend: Ein auf PreVAD trainiertes Modell übertrifft ein auf UCF-Crime trainiertes Modell um 14% in der Detektion.

5. Bedeutung und Fazit

• Paradigmenwechsel: Das Papier stellt den ersten Ansatz vor, der Concept Drift in der VAD explizit modelliert, indem es die Anomalie-Definition als stochastische Variable behandelt, die durch natürliche Sprache gesteuert wird.
• Praktische Anwendbarkeit: Es ermöglicht Systemen, sich dynamisch an sich ändernde Regeln oder Umgebungen anzupassen (z. B. Maskenpflicht in Krankenhäusern vs. Parks), ohne das Modell neu trainieren zu müssen.
• Ressourcen: Durch die Veröffentlichung von PreVAD und dem Code adressiert das Team das Problem des Mangels an großen, semantisch reichhaltigen Datensätzen für VAD.

Zusammenfassend bietet LaGoVAD einen robusten Rahmen für die Anomalieerkennung in der realen Welt, wo Definitionen von „normal" und „abnormal" fließend sind, und setzt neue Maßstäbe für Zero-Shot-Fähigkeiten und Generalisierung.