Frame-Level Evaluation in Weakly Supervised Video Anomaly Detection Mostly Measures Video-Level Ranking

In der Welt des Computer Vision findet ein ständiger Wettlauf statt, Maschinen beizubringen, Videostreams zu beobachten und Probleme zu erkennen. Stellen Sie sich eine Überwachungskamera vor, die eine belebte Straße, einen Bahnhof oder einen Fabrikboden scannt. Das Ziel ist es, dass die Software bemerkt, wenn etwas schiefgeht – ein Kampf ausbricht, eine Person stürzt oder ein Fahrzeug in die falsche Richtung fährt – und genau bestimmt, wann und wo es passiert. Jahrelang haben Forscher diese Systeme mit einer Methode namens schwacher Überwachung (weak supervision) trainiert. Anstatt dem Computer jede einzelne Sekunde eines Videos zu zeigen und den exakten Moment zu benennen, in dem ein Ereignis auftritt, sagen sie dem Computer lediglich, ob das gesamte Video eine Anomalie enthält oder nicht. Es ist eine praktische Abkürzung, ganz ähnlich wie ein Lehrer, der einem Schüler sagt: „Dieser Aufsatz enthält einen Fehler“, ohne auf den spezifischen Satz hinzuweisen. Um zu sehen, ob diese Systeme funktionieren, verwenden Wissenschaftler einen Standardtest, der jeden einzelnen Frame jedes Videos in einer Datenbank rangiert – von den verdächtigsten bis zu den normalsten – und prüft, wie gut das System die schlechten Momente von den guten trennt.

Zwei Forscher der SungKyunKwan Universität in Südkorea, Inpyo Song und Jangwon Lee, beschlossen, diesen Standardtest genauer unter die Lupe zu nehmen. Sie stellten eine einfache, aber tiefgreifende Frage: Wenn ein Computer bei diesem Ranking-Test hoch punktet, weiß er dann tatsächlich, wann das Unheil geschah, oder ist er nur gut darin, zu erraten, welche Videos Unruhe enthalten? Ihre Untersuchung, die in einer kürzlich veröffentlichten Studie publiziert wurde, offenbart eine erschreckende Wahrheit darüber, wie diese Systeme evaluiert werden. Sie fanden heraus, dass der Standardtest so stark darauf ausgerichtet ist, verschiedene Videos miteinander zu vergleichen, dass ein Computer eine nahezu perfekte Punktzahl erreichen kann, ohne jemals einen einzigen spezifischen Moment der Gefahr innerhalb eines Videos identifiziert zu haben. Es ist, als könnte ein Schüler eine Geschichtsprüfung bestehen, indem er korrekt rät, welche Lehrbücher Fehler enthalten, ohne jemals eine einzige Seite gelesen zu haben, um den Tippfehler zu finden.

Die Forscher begannen damit, die Mathematik hinter dem Standard-Ranking-Score zu zerlegen. Sie erkannten, dass dieser Score aus zwei verschiedenen Arten von Vergleichen aufgebaut ist. Die erste Art vergleicht einen schlechten Moment in einem Video mit einem guten Moment im selben Video; dies ist der Test der wahren Lokalisierung, der prüft, ob das System den Unterschied zwischen einer sicheren Sekunde und einer gefährlichen Sekunde innerhalb derselben Aufnahme erkennt. Der zweite Typ vergleicht einen schlechten Moment in einem Video mit einem guten Moment in einem völlig anderen Video. Dies ist der Test der Video-Ebene-Sortierung, der prüft, ob das System erkennen kann, dass Video A gefährlicher ist als Video B. Als sie zählten, wie viele dieser Vergleiche tatsächlich innerhalb desselben Videos stattfanden, war die Zahl erschreckend gering. Über drei große Datensätze hinweg, die in diesem Bereich verwendet werden, waren weniger als 0,4 Prozent der Vergleiche zwischen Frames desselben Videos. Der Großteil des Scores resultiert aus dem Vergleich von Frames über verschiedene Videos hinweg.

Dieses Ungleichgewicht schafft das, was die Autoren „temporale Dilution“ (zeitliche Verdünnung) nennen. Wenn die Anzahl der Videos in einem Testdatensatz wächst, sinkt die Chance, dass das System auf seine Fähigkeit getestet wird, den exakten Moment eines Ereignisses zu finden, rapide. Das System wird primerweise dafür belohnt, einem Video, das eine Anomalie enthält, einen hohen Gesamtwert zuzuweisen, und einem Video, das keine enthält, einen niedrigen Wert. Um zu beweisen, dass dies der Fall war, führten die Forscher eine Reihe kontrollierter Experimente durch. Sie trainierten einfache Computermodelle, die nichts anderes taten, als jedem Frame eines Videos einen einzigen, konstanten Wert zuzuweisen, basierend darauf, ob dieses Video als gefährlich oder sicher gekennzeichnet war. Diese Modelle hatten keinerlei Fähigkeit, ein Ereignis zeitlich zu lokalisieren; der Wert für die erste Sekunde eines Videos war identisch mit dem Wert für die letzte Sekunde. Trotz der Tatsache, dass sie über null Fähigkeit verfügten, ein Ereignis in der Zeit zu lokalisieren, erreichten diese einfachen Modelle sehr hohe Punktzahlen auf dem Standardtest, die je nach Datensatz zwischen 81 und 97 Prozent lagen.

Die Forscher nahmen dann die Ausgaben der derzeit verfügbaren, komplexesten Systeme und führten eine „Video-Mittelwert-Ersetzung“ (video-mean replacement) durch. Sie nahmen die detaillierten, sekündlichen Scores, die diese komplexen Systeme produzierten, und ersetzten jeden einzelnen Sekunden-Score durch den Durchschnittswert des gesamten Videos. Dieser Prozess löschte alle feingliedrigen Zeitinformationen und hinterließ nur noch die allgemeine Bewertung des Videos. Wenn der Standardtest tatsächlich die Fähigkeit messen würde, den exakten Moment einer Anomalie zu finden, hätte diese Änderung die Scores zum Absturz bringen müssen. Stattdessen bewegten sich die Scores kaum. In 69 von 72 kontrollierten Durchläufen behielt das System mehr als 90 Prozent seines ursprünglichen Scores bei, selbst nachdem alle zeitlichen Details entfernt worden waren. Dasselbe Muster zeigte sich bei den offiziellen Ergebnissen, die von den Autoren anderer führender Methoden veröffentlicht wurden. Selbst wenn die Forscher die Reihenfolge der Frames innerhalb eines Videos vertauschten – die Zeitlinie durcheinanderbrachten, aber den gleichen Satz an Scores beibehielten – blieb die Ranking-Leistung weitgehend intakt.

Die Ergebnisse legen nahe, dass der aktuelle Standard zur Evaluierung dieser Systeme nicht das misst, was die Forscher zu messen glauben. Eine hohe Punktzahl beim gepoolten Ranking-Test beweist nicht, dass ein System in der Lage ist, ein Ereignis zu lokalisieren; sie beweist primär, dass das System Videos nach ihrem allgemeinen Risiko sortieren kann. Die Forscher argumentieren, dass dieser Unterschied für reale Anwendungen von entscheidender Bedeutung ist. Wenn ein Sicherheitsmitarbeiter einen Alarm erhält, dass ein Video eine Anomalie enthält, muss er wissen, wann er hinschauen muss, nicht nur, welches Video er sich ansehen soll. Das aktuelle Evaluierungsprotokoll belohnt die Fähigkeit, das richtige Video auszuwählen, versagt jedoch bei der Verifizierung der Fähigkeit, den richtigen Moment zu finden. Die Autoren schlagen vor, dass das Feld die Art und Weise ändern muss, wie Ergebnisse berichtet werden. Sie empfehlen, dass Forscher immer einen separaten Score angeben sollten, der misst, wie gut das System die Frames innerhalb eines einzelnen Videos ordnet, zusätzlich zum Standard-Ranking auf Videoebene. Sie schlagen auch vor, dass das Design zukünftiger Tests sicherstellen sollte, dass die Anzahl der Videos die Bedeutung des Findens des exakten Augenblicks eines Ereignisses nicht verwässert.

Diese Arbeit behauptet nicht, dass die aktuellen Systeme nutzlos sind oder dass sie nicht lernen können, Ereignisse zu lokalisieren. Sie zeigt lediglich, dass die Rangliste, auf der sie spielen, dies nicht erzwingt. Die hohen Punktzahlen der letzten Jahre sind weitgehend ein Spiegelbild der Fähigkeit des Systems, Videos zu sortieren – eine Fähigkeit, die nützlich, aber grundverschieden von der Fähigkeit zur zeitlichen Präzision ist. Durch die Trennung dieser beiden Fähigkeiten im Evaluierungsprozess kann das Feld sicherstellen, dass zukünftige Systeme nicht nur gut darin sind, zu erraten, welche Videos gefährlich sind, sondern wirklich in der Lage sind, die Uhr im Blick zu behalten und die exakte Sekunde zu finden, in der etwas schiefgeht. Der Weg nach vorn erfordert eine Verschiebung des Fokus: weg von einer einzigen, aggregierten Zahl, die diese Unterschiede verschleiert, hin zu einem klareren Bild, das die Präzision der Zeit ebenso wertschätzt wie die Identifizierung des Ereignisses selbst.