Weakly-Supervised Spatiotemporal Anomaly Detection
Dieser Artikel schlägt eine schwach überwachte Methode zur räumlich-zeitlichen Anomalieerkennung vor, die videobasierte Labels und einen Multiple-Instance-Ranking-Verlust nutzt, um lokalisierte Anomalien innerhalb von Videoclips zu identifizieren, und demonstriert ihre Wirksamkeit am UCF Crime2Local-Datensatz.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Sicherheitsbeamter, der gleichzeitig Hunderte von Überwachungskameras beobachtet. Ihre Aufgabe besteht darin, etwas Seltsames zu erkennen, wie etwa einen Kampf oder einen Diebstahl. Das Problem ist, dass Sie nicht 24 Stunden am Tag auf jeden Bildschirm starren können und seltsame Dinge sehr selten passieren. Sie benötigen einen Computer zur Hilfe, doch das Trainieren eines Computers ist knifflig, da das Markieren jeder einzelnen Sekunde eines Videos mit „hier ist ein Kampf" oder „dort ist ein Diebstahl" ewig dauert.
Dieser Artikel schlägt einen klugen Weg vor, einen Computer zu lehren, diese seltsamen Ereignisse zu erkennen, ohne dass so viele detaillierte Markierungen nötig sind. So haben sie es gemacht, einfach erklärt:
Die „Kiste des Rätsels"-Analogie (Schwache Überwachung)
Normalerweise zeigt man einem Computer zum Trainieren ein Video und sagt: „Siehst du diesen spezifischen 5-Sekunden-Ausschnitt? Das ist ein Kampf." In diesem Artikel geben die Forscher dem Computer jedoch nur das gesamte Video und sagen: „Dieses Video enthält irgendwo einen Kampf" oder „Dieses Video ist völlig normal."
Sie nennen dies Schwache Überwachung. Es ist, als würde man einem Schüler eine ganze Kiste mit durcheinander gewürfelten LEGO-Steinen geben und sagen: „In dieser Kiste befindet sich ein roter Stein", ohne zu sagen, welcher Stein genau rot ist. Der Schüler muss herausfinden, welcher es ist.
Der „Raum-Zeit-Würfel" (Zerlegung)
Um das Rätsel zu lösen, betrachteten die Forscher das Video nicht als einen großen Block. Sie schnitten das Video in kleine, dreidimensionale Blöcke. Stellen Sie sich vor, Sie schneiden ein Brotlaib (Zeit) und schneiden dann jede Scheibe in ein Gitter (Raum).
- Zeit: Sie schnitten das Video in kurze Clips.
- Raum: Sie schnitten jeden Clip in ein Gitter aus winzigen Quadraten.
Anstatt das gesamte Video zu betrachten, schaut der Computer nun auf diese winzigen „Würfel" des Videos. Jeder Würfel ist ein winziges Stück Raum und Zeit.
Die „Tasche voller Tricks" (Multiple Instance Learning)
Die Forscher verwendeten eine Strategie namens Multiple Instance Learning (MIL). Stellen Sie es sich so vor:
- Die Tasche: Ein ganzer Videoclip ist eine „Tasche".
- Die Instanzen: Die winzigen Würfel innerhalb des Videos sind die „Gegenstände" in der Tasche.
Hier ist die Regel, die sie dem Computer beibrachten:
- Wenn eine Tasche als „Normal" markiert ist, dann muss jeder einzelne Gegenstand in dieser Tasche normal sein.
- Wenn eine Tasche als „Anomalie" (Seltsam) markiert ist, dann muss mindestens ein Gegenstand in dieser Tasche seltsam sein.
Die Aufgabe des Computers besteht darin, alle Gegenstände in der „Seltsamen"-Tasche zu betrachten, denjenigen zu finden, der am verdächtigsten aussieht, und ihm eine hohe Punktzahl zu geben. Anschließend versucht er sicherzustellen, dass die höchste Punktzahl in einer „Seltsamen"-Tasche höher ist als die höchste Punktzahl in einer „Normalen"-Tasche.
Das „Auge des Detektivs" (Funktionsweise)
Der Computer verwendet ein vortrainiertes Gehirn (genannt I3D), das bereits gut darin ist, menschliche Bewegungen zu erkennen.
- Es nimmt einen Videoclip.
- Es zerlegt ihn in diese winzigen 3D-Würfel.
- Es bittet das „Gehirn", zu beschreiben, was es in jedem Würfel sieht.
- Es führt einen Test durch, um zu sehen, ob einer dieser Würfel verdächtig aussieht.
Wenn der Computer einen Kampf sieht, sagt er nicht einfach nur „Kampf!". Er zeigt auf das spezifische kleine Quadrat auf dem Bildschirm, wo der Kampf stattfindet, und sagt: „Die Seltsamkeit ist genau hier."
Die Ergebnisse: Wie gut war es?
Die Forscher testeten dies an einem Datensatz namens UCF Crime2Local, der Videos realer Verbrechen enthält.
- Der Wettbewerb: Sie verglichen ihre Methode mit anderen Methoden. Eine andere Methode war „überwacht", was bedeutet, dass sie während des Trainings die genauen Koordinaten des Verbrechens erhielt (als würde man dem Schüler den roten Stein zeigen). Diese Methode erreichte eine Punktzahl von etwa 75 %.
- Ihr Ergebnis: Ihre Methode, die während des Trainings den genauen Ort nicht kannte (genau wie ein Schüler, der den roten Stein erraten muss), erreichte eine Punktzahl von 68 %.
Obwohl sie die Methode, die alle Antworten hatte, nicht schlagen konnten, schnitten sie deutlich besser ab als andere Methoden, die ebenfalls versuchten, ohne die Antworten zu raten.
Was kommt als Nächstes? (Das Fazit)
Der Artikel kommt zu dem Schluss, dass es eine gute Idee ist, sowohl zu betrachten, wo (Raum) als auch wann (Zeit) ein Ereignis stattfindet. Allerdings geben sie zu, dass ihr Computer manchmal ein wenig zu aufgeregt ist und mehrere Stellen als „seltsam" markiert, obwohl es nur eine gibt.
Um noch besser zu werden, schlagen sie zwei Dinge vor:
- Die Regeln verschärfen: Den Computer dazu bringen, pro Video nur einen „seltsamsten" Ort auszuwählen, anstatt überall zu raten.
- Die Bewegung beobachten: Derzeit betrachtet der Computer hauptsächlich, wie Dinge aussehen. Sie schlagen vor, ein zweites „Auge" hinzuzufügen, das beobachtet, wie Dinge sich bewegen (wie optischer Fluss), da Bewegung oft ein riesiger Hinweis beim Aufspüren von Verbrechen ist.
Kurz gesagt: Sie haben ein System gebaut, das erraten kann, wo in einem Video ein Verbrechen stattfindet, nur indem es weiß, dass das Video ein Verbrechen enthält, ohne dass ein Mensch vorher eine Box darum zeichnen muss.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.