Weakly Supervised Video Anomaly Detection Using CNN-LSTM with Confidence-Aware Automated Pseudo Label Generation

Surveillancecamera's houden onze steden, winkels en straten in de gaten en leggen een continue stroom van menselijke activiteit vast. Decennialang was het doel om computers te bouwen die deze beelden samen met ons kunnen bekijken, om problemen te spotten op het moment dat ze zich voordoen. De uitdaging is echter dat het een computerstelsel leren herkennen van een vechtpartij, een diefstal of een brand ongelooflijk moeilijk is. Het vereist het tonen van duizenden voorbeelden van deze gebeurtenissen aan de machine, waarbij elk enkel moment van gevaar door een menselijke expert is gemarkeerd. Deze handmatige etikettering is traag, duur en vaak onmogelijk te doen voor de enorme hoeveelheden videodata die dagelijks worden gegenereerd. Zonder deze gedetailleerde labels hebben standaard computerprogramma's moeite om te leren wat normaal is en wat niet, en raken ze vaak in de war door de enorme variëteit van het dagelijks leven.

Om dit op te lossen, hebben onderzoekers aan de Shiraz Universiteit een nieuwe manier ontwikkeld om computers te leren anomalieën te spotten zonder dat een mens elke seconde van de video hoeft te labelen. In plaats van te vertrouwen op dure handmatige aantekeningen, bouwt hun systeem zijn eigen begrip op van wat er gebeurt door de video door drie verschillende lenzen te bekijken. Ten eerste kijkt het naar beweging, waarbij het identificeert waar op het scherm pixels veranderen. Vervolgens probeert het specifieke objecten te herkennen, zoals een persoon of een voertuig, binnen die bewegende gebieden. Ten slotte tekent het een nauwkeurige omtrek rond die objecten om precies te zien hoeveel ruimte ze innemen. Door deze drie waarnemingen te combineren, genereert het systeem zijn eigen "vermoedens" over welke delen van een video normaal zijn en welke vreemd zijn. Deze vermoedens, bekend als pseudo-labels, zijn niet perfect, maar de onderzoekers hebben een speciale methode ontworpen om te wegen hoe zelfverzekerd het systeem is in elk vermoeden, waarbij de onzekere vermoedens worden genegeerd en de duidelijke signalen worden gefocust.

De kern van deze nieuwe aanpak is een lichtgewicht computermodel dat leert van deze geautomatiseerde vermoedens. De onderzoekers gebruikten een vooraf getraind visiesysteem, dat fungeert als een paar ogen dat al heeft geleerd vormen en objecten te herkennen van miljoenen afbeeldingen, en bevroren de instellingen zodat deze niet zouden veranderen tijdens de training. Dit bespaarde een enorme hoeveelheid rekenkracht, waardoor het aantal aanpasbare onderdelen in het systeem met bijna vierentwintig procent werd verminderd. Het model gebruikte vervolgens een geheugencomponent om de volgorde van gebeurtenissen te onthouden, waarbij de verbanden tussen frames legt om te begrijpen hoe een scène zich in de loop van de tijd ontwikkelt. Om te voorkomen dat het systeem erratisch zou springen tussen het labelen van een scène als normaal en dan als abnormaal, voegden ze een regel toe die een vloeiende, consistente voorspelling van het ene moment naar het andere aanmoedigde.

Wanneer getest op een grote collectie surveillancevideo's die dertien verschillende soorten misdrijven bevatten, presteerde het systeem met een hoge mate van betrouwbaarheid. Het identificeerde abnormale gebeurtenissen correct in ongeveer tachtig procent van de testgevallen en behaalde een gebalanceerde score van achtenzeventig procent in het onderscheiden van normale en abnormale activiteit. De onderzoekers voerden het experiment vijf keer uit met verschillende willekeurige startpunten om ervoor te zorgen dat de resultaten consistent waren, en de prestaties bleven stabiel over alle proeven heen. Cruciaal was dat het systeem dit bereikte zonder dat een mens handmatig de gevaarlijke momenten in de trainingsvideo's hoefde aan te merken. Het geautomatiseerde proces van bewegingsdetectie, objectherkenning en het omlijnen ervan bewees een levensvatbaar substituut te zijn voor menselijke annotatie, wat het mogelijk maakt om videomonitoring op veel grotere datasets te schalen dan ooit tevoren.

De studie onthulde ook dat elk onderdeel van de geautomatiseerde pijplijn essentieel was. Wanneer de onderzoekers de bewegingsdetectie, de objectherkenning of de nauwkeurige omlijning verwijderden, daalde het vermogen van het systeem om problemen te spotten aanzienlijk. Dit bevestigde dat de combinatie van deze drie visuele aanwijzingen een rijker, betrouwbaarder beeld bood dan welke enkele methode alleen al zou kunnen bieden. Hoewel het systeem nog niet perfect is en nog steeds kan worstelen in zeer drukke scènes of bij slecht licht, vertegenwoordigt het een belangrijke stap voorwaarts in het praktisch maken van geautomatiseerde surveillance. Door de flessenhals van handmatige etikettering te verwijderen en de computerkosten drastisch te verlagen, biedt deze aanpak een realistisch pad naar de inzet van intelligente monitoringsystemen in de echte wereld, waar ze over openbare ruimten kunnen waken met een niveau van aandacht dat mensen simpelweg niet kunnen volhouden.