Weakly Supervised Video Anomaly Detection Using CNN-LSTM with Confidence-Aware Automated Pseudo Label Generation

Überwachungskameras beobachten unsere Städte, Geschäfte und Straßen und erfassen einen kontinuierlichen Strom menschlicher Aktivitäten. Seit Jahrzehnten ist das Ziel, Computer zu bauen, die dieses Bildmaterial gemeinsam mit uns beobachten können, um Unregelmäßigkeiten in dem Moment zu entdecken, in dem sie geschehen. Die Herausforderung besteht jedoch darin, dass es unglaublich schwierig ist, einem Computer beizubringen, einen Kampf, einen Diebstahl oder ein Feuer zu erkennen. Es erfordert, der Maschine tausende Beispiele dieser Ereignisse zu zeigen, wobei jeder einzelne Moment der Gefahr von einem menschlichen Experten markiert werden muss. Diese manuelle Kennzeichnung ist langsam, teuer und oft unmöglich durchzuführen angesichts der riesigen Mengen an Videodaten, die jeden Tag generiert werden. Ohne diese detaillierten Labels haben Standard-Computerprogramme Schwierigkeiten zu lernen, was normal ist und was nicht, da sie oft durch die schiere Vielfalt des Alltagslebens verwirrt werden.

Um dies zu lösen, haben Forscher der Shiraz University eine neue Methode entwickelt, um Computern beizubringen, Anomalien zu erkennen, ohne dass ein Mensch jede Sekunde des Videos kennzeichnen muss. Anstatt sich auf teure manuelle Notizen zu verlassen, baut ihr System ein eigenes Verständnis dessen auf, was gerade passiert, indem es das Video durch drei verschiedene Linsen betrachtet. Erstens sucht es nach Bewegung und identifiziert jeden Teil des Bildschirms, in dem sich Pixel verändern. Zweitens versucht es, spezifische Objekte wie eine Person oder ein Fahrzeug innerhalb dieser bewegten Bereiche zu erkennen. Schließlich zeichnet es eine präzise Umrandung um diese Objekte, um zu sehen, wie viel Platz sie genau einnehmen. Durch die Kombination dieser drei Beobachtungen generiert das System seine eigenen „Vermutungen“ darüber, welche Teile eines Videos normal und welche seltsam sind. Diese Vermutungen, bekannt als Pseudo-Labels, sind nicht perfekt, aber die Forscher haben eine spezielle Methode entwickelt, um zu gewichten, wie sicher sich das System bei jeder Vermutung ist, indem es die unsicheren ignoriert und sich auf die klaren Signale konzentriert.

Der Kern dieses neuen Ansatzes ist ein leichtgewichtiges Computermodell, das aus diesen automatisierten Vermutungen lernt. Die Forscher verwendeten ein vortrainiertes Visionssystem, das wie ein Paar Augen fungiert, das bereits gelernt hat, Formen und Objekte aus Millionen von Bildern zu erkennen, und frierten dessen Einstellungen ein, damit sie sich während des Trainings nicht ändern würden. Dies sparte eine massive Menge an Rechenleistung und reduzierte die Anzahl der anpassbaren Teile im System um fast vierundneunzig Prozent. Das Modell nutzte dann eine Gedächtniskomponente, um die Abfolge der Ereignisse zu speichern und die Punkte zwischen den einzelnen Frames zu verbinden, um zu verstehen, wie sich eine Szene im Laufe der Zeit entwickelt. Um sicherzustellen, dass das System nicht erratisch zwischen der Kennzeichnung einer Szene als normal und dann als abnormal hin- und herspringt, fügten sie eine Regel hinzu, die glatte, konsistente Vorhersagen von einem Moment zum nächsten förderte.

Als das System an einer großen Sammlung von Überwachungsvideos getestet wurde, die dreizehn verschiedene Arten von Verbrechen enthielten, zeigte es eine hohe Zuverlässigkeit. Es identifizierte abnormale Ereignisse in etwa achtzig Prozent der Testfälle korrekt und erreichte eine ausgewogene Punktzahl von achtundsiebzig Prozent bei der Unterscheidung zwischen normalen und abnormalen Aktivitäten. Die Forscher führten das Experiment fünfmal mit unterschiedlichen Zufallspunkten durch, um sicherzustellen, dass die Ergebnisse konsistent waren, und die Leistung blieb über alle Versuche hinweg stabil. Entscheidend war, dass das System dies erreichte, ohne dass ein Mensch die gefährlichen Momente in den Trainingsvideos manuell markieren musste. Der automatisierte Prozess der Erkennung von Bewegung, Identifizierung von Objekten und deren Umrandung erwies sich als praktikabler Ersatz für die menschliche Annotation und machte es möglich, die Videoüberwachung auf viel größere Datensätze zu skalieren als je zuvor.

Die Studie zeigte auch, dass jeder Teil der automatisierten Pipeline essenziell war. Als die Forscher die Bewegungserkennung, die Objekterkennung oder die präzise Umrandung entfernten, sank die Fähigkeit des Systems, Probleme zu entdecken, signifikant. Dies bestätigte, dass die Kombination dieser drei visuellen Hinweise ein reichhaltigeres, zuverlässigeres Bild lieferte als jede einzelne Methode für sich allein. Obwohl das System noch nicht perfekt ist und in sehr belebten Szenen oder unter schlechten Lichtverhältnissen immer noch Schwierigkeiten haben kann, stellt es einen bedeutenden Schritt nach vorn dar, um automatisierte Überwachung praktikabel zu machen. Indem sie den Engpass der manuellen Kennzeichnung beseitigten und die Rechenkosten drastisch senkten, bietet dieser Ansatz einen realistischen Weg zur Implementierung intelligenter Überwachungssysteme in der realen Welt, wo sie öffentliche Räume mit einem Maß an Aufmerksamkeit überwachen können, das Menschen einfach nicht aufrechterhalten können.