Hybrid 3D-CNN, Bi-LSTM, and Transformer-Based Framework for Anomaly Detection of Human Behaviour in Video Surveillance with Adaptive Error Minimization

In der modernen Welt beobachten Sicherheitskameras unsere Straßen, Bahnhöfe und Gebäude und erzeugen eine Flut von visuellen Daten, die kein menschliches Team allein bewältigen könnte. Die Herausforderung für Sicherheitssysteme besteht nicht nur darin, zu sehen, sondern zu verstehen, was sie sehen, und zwar in Echtzeit. Sie müssen zwischen gewöhnlichen, harmlosen Bewegungen und seltenen, gefährlichen Ereignissen wie einem ausbrechenden Kampf oder einem Diebstahl unterscheiden. Diese Aufgabe ist notorisch schwierig, da sich „normales“ Verhalten je nach Tageszeit, Beleuchtung, Personendichte und Kamerawinkel ständig ändert. Ein System, das zu empfindlich ist, wird bei jedem Schatten oder jedem plötzlichen Windstoß Alarm schlagen und so eine Flut von Fehlalarmen erzeugen, die menschliche Operatoren erschöpft. Umgekehrt könnte ein System, das zu streng ist, eine echte Bedrohung gänzlich übersehen. Jahrelang haben Forscher versucht, Computerprogramme zu entwickeln, die den Unterschied zwischen dem Alltäglichen und dem Gefährlichen lernen können, aber die meisten bestehenden Lösungen haben Schwierigkeiten, dieses Gleichgewicht zwischen diesen beiden Risiken zu halten, und scheitern oft, wenn die Videoqualität sinkt oder die Szene chaotisch wird.

Ein Team von Forschern der SR University und der Koneru Lakshmaiah Education Foundation in Indien hat einen neuen Ansatz vorgeschlagen, um dieses hartnäckige Problem zu lösen. Sie entwarfen ein hybrides Computersystem, das die Art und Weise nachahmt, wie verschiedene Teile des menschlichen Gehirns eine Szene verarbeiten könnten, indem sie drei verschiedene Arten künstlicher Intelligenz in einem einzigen, kooperativen Rahmen kombinieren. Anstatt sich auf eine einzige Methode zu verlassen, um das Video zu überwachen, nutzt ihr System drei spezialisierte „Zuschauer“, die parallel arbeiten. Der erste Zuschauer ist darauf ausgelegt, lokale Details und kurze Bewegungsstöße zu erkennen, vergleichbar mit dem Wahrnehmen einer schnellen Handbewegung oder eines plötzlichen Schritts. Der zweite Zuschauer konzentriert sich auf die Abfolge von Ereignissen über die Zeit hinweg und versteht, wie eine Handlung beginnt, sich entwickelt und endet, wodurch sichergestellt wird, dass eine Pause oder eine Umkehrung der Bewegung als signifikant erkannt wird. Der dritte Zuschauer betrachtet die gesamte Szene als Ganzes und verbindet entfernte Teile des Videos, um den breiteren Kontext zu verstehen, wie etwa eine Gruppe von Menschen, die sich in einem ungewöhnlichen Muster bewegt.

Die Brillanz dieses neuen Frameworks liegt darin, wie diese drei Zuschauer zusammenarbeiten. Anstatt sie zu zwingen, sich auf eine einzige starre Regel zu einigen, lernt das System, ihre Meinungen dynamisch zu gewichten. Wenn die Szene eine belebte Straße ist, in der der allgemeine Fluss der Menschen am wichtigsten ist, hört das System mehr auf den „globalen“ Zuschauer. Wenn die Szene eine spezifische, schnell bewegte Aktion beinhaltet, stützt es sich eher auf den „lokalen“ Zuschauer. Diese Flexibilität ermöglicht es dem System, sich an verschiedene Umgebungen anzupassen, ohne für jeden neuen Standort neu programmiert werden zu müssen. Darüber hinaus adressierten die Forscher das Problem der wechselnden Videoqualität, wie etwa die Körnigkeit einer Nachtaufnahme oder das Verschwimmen durch Regen. Sie bauten einen Feedback-Mechanismus ein, der ständig die Klarheit des Bildes überprüft. Wenn das Video unscharf oder verrauscht wird, verschärft das System automatisch seine Standards dafür, was als Alarm zählt, um zu verhindern, dass es aufgrund schlechter Bildqualität „den Wolf ruft“. Wenn das Bild kristallklar ist, wird es sensibler, um selbst die subtilsten Anzeichen von Unheil zu erfassen.

Als die Forscher dieses System an drei großen Sammlungen von realen Überwachungsaufnahmen testeten, waren die Ergebnisse beeindruckend. Das System identifizierte Anomalien mit einem hohen Grad an Genauigkeit und übertraf die besten bestehenden Methoden bei weitem. Beim anspruchsvollsten Datensatz, der über tausend Stunden ungeschnittener Videos über dreizehn verschiedene Arten von Verbrechen enthielt, erreichte das neue System eine Erfolgsquote von fast neunzig Prozent. Auf einem Campus-Datensatz mit detaillierten, Frame-für-Frame-Labels erreichte es eine Genauigkeit von fast achtundneunzig Prozent. Vielleicht am wichtigsten für die reale Sicherheit: Das System reduzierte die Anzahl der Fehlalarme drastisch. Es senkte die Rate der falsch-positiven Ergebnisse im Vergleich zur bisher besten Technologie um fast vierzig Prozent, was bedeutet, dass Sicherheitskräfte weita viel seltener durch harmlose Ereignisse unterbrochen wurden. Gleichzeitig wurden weniger tatsächliche Bedrohungen übersehen, wodurch die Rate der falsch-negativen Ergebnisse um über dreißig Prozent gesenkt wurde.

Das System erwies sich auch als fähig, in Echtzeit zu operieren, indem es Videos mit einer Geschwindigkeit von zweiunddreißig Bildern pro Sekunde verarbeitet, was schnell genug ist, um mit Live-Überwachungsfeeds Schritt zu halten. Die Forscher bestätigten, dass die Verbesserung aus der Kombination aller drei Komponenten resultierte, die zusammenarbeiteten; das Entfernen einer der Komponenten führte dazu, dass die Leistung des Systems merklich sank. Sie verifizierten auch, dass der adaptive Mechanismus zur Handhabung der Videoqualität der Schlüssel zur Reduzierung von Fehlern war, da er es dem System ermöglichte, auch dann zuverlässig zu bleiben, wenn sich die Lichtverhältnisse änderten oder die Kamera wackelte. Während das System eine kurze Zeit benötigt, um einen kurzen Videoclip zu verarbeiten, was eine Verzögerung von einem Bruchteil einer Sekunde einführt, wird dieser Kompromiss als akzeptabel für den massiven Gewinn an Genauigkeit und Zuverlässigkeit angesehen.

Diese Arbeit stellt einen bedeutenden Schritt nach vorn dar, um automatisierte Überwachung wirklich praktikabel zu machen. Indem sie sich von starren „Einheitsregeln“ weg und hin zu einem flexiblen, multiperspektivischen Ansatz bewegen, haben die Forscher ein System geschaffen, das sowohl sensibel für Gefahr als auch robust gegenüber den unvermeidlichen Unvollkommenheiten realer Videos ist. Die Ergebnisse legen nahe, dass die Zukunft der Videoüberwachung nicht im Bau eines einzelnen, perfekten Beobachters liegt, sondern in der Schaffung eines Teams spezialisierter Beobachter, die in der Lage sind, voneinander zu lernen und sich an die Welt anzupassen, während sie sich verändert.