Strictly Causal Streaming Video Anomaly Detection with a Theoretically-Grounded State-Space Core

In de stille brom van de lens van een beveiligingscamera arriveert een constante stroom beelden, seconde na seconde. Decennialang hebben computers gestreden om deze stroom in realtime te bekijken, op zoek naar het ene moment waarop er iets misgaat—een val, een vechtpartij, een diefstal. De uitdaging is niet alleen het zien van de gebeurtenis, maar het zien ervan op het moment dat het gebeurt, zonder te hoeven wachten om achteraf een opname terug te kijken of een brok video te bufferen voor latere analyse. Dit is het domein van video-anomaliedetectie, een veld waar machines het ritme van normaal gedrag moeten leren en direct de maatsoort moeten signaleren die de regel breekt. Traditioneel vertrouwden systemen op het tegelijkertijd bekijken van groepen frames, zoals het lezen van een paragraaf om een zin te begrijpen, wat een vertraging creëert tussen de gebeurtenis en de waarschuwing. Maar voor camera's gemonteerd op robots of mobiele apparaten met beperkte energie, is die vertraging te lang, en is het geheugen dat nodig is om die brokken video vast te houden te zwaar. Het doel is een systeem dat elk enkel frame verwerkt op het moment dat het arriveert, gebruikmakend van een minuscule, vaste hoeveelheid geheugen, en onmiddellijk reageert.

Onderzoekers aan het Indian Institute of Technology Jodhpur hebben een nieuw soort detector gebouwd, ontworpen om aan deze strikte vereiste te voldoen. In plaats van videoclips op te slaan, behandelt hun systeem de binnenkomende stroom als een continue flow, waarbij het zijn interne begrip bijwerkt met elk nieuw beeld dat het ontvangt. In het hart van dit systeem zit een wiskundige structuur die het verleden onthoudt maar het verre verleden snel vergeet, tenzij er iets belangrijks gebeurt. Het team trainde dit systeem uitsluitend met video's van normale activiteiten, waarbij het systeem leerde te voorspellen hoe het volgende frame eruit zou zien op basis van wat eraan voorafging. Wanneer het werkelijke frame arriveert en niet overeenkomt met de voorspelling, slaat het systeem alarm. Wat dit werk uniek maakt, is dat het niet alleen in theorie werkt; de onderzoekers bewezen wiskundig hoe de geheugeninstellingen van het systeem de reactiesnelheid controleren, en ze testten het op echte hardware die in consumentenapparaten wordt gevonden, niet alleen op krachtige supercomputers.

De kern van hun uitvinding is een mechanisme dat fungeert als een poortwachter voor het geheugen. Onder normale omstandigheden houdt het systeem informatie een tijdje vast, waardoor kleine veranderingen worden afgevlakt. Echter, de onderzoekers ontwierpen een specifieke poort die onmiddellijk dicht kan slaan als het binnenkomende beeld botst met wat het systeem verwacht. Wanneer dit gebeurt, reset het systeem in een fractie van een seconde effectief zijn geheugen, waardoor het bijna onmiddellijk kan reageren op een anomalie. Om te begrijpen hoe snel dit moet gaan, leidde het team een regel af die de geheugeninstellingen van het systeem koppelt aan de reactietijd. Ze ontdekten dat als het systeem alleen op zijn standaard geheugeninstellingen zou vertrouwen, het bijna zestig frames zou duren om volledig te reageren op een plotselinge verandering. Toch zagen ze het systeem in actie, waarbij het reageerde in veel minder tijd—soms zo snel als één of twee frames. Deze discrepantie onthulde dat het poortmechanisme het zware werk deed, door de trage geheugeninstellingen te overrulen op het moment dat een onregelmatigheid verscheen.

De onderzoekers testten hun systeem op twee standaard datasets die worden gebruikt voor het trainen van beveiligingscamera's: één met een wandelpad op een universiteitscampus en een andere die een drukke laan toont. Ze draaiden de software op een Apple M3 Pro-chip, een processor die in moderne laptops wordt gevonden, om te meten hoe snel het in de echte wereld kan draaien. De resultaten waren opvallend qua snelheid. Het systeem verwerkte elk frame in minder dan één milliseconde, waarmee een snelheid van meer dan 1.30ende 300 frames per seconde werd bereikt. Dit is veel sneller dan de snelheid van een standaard videostroom, wat betekent dat het systeem een enorme veiligheidsmarge heeft en gemakkelijk op veel zwakkere hardware kan draaien. De nauwkeurigheid van het systeem was echter niet perfect. In zijn initiële, niet-getunede staat identificeerde het correcte anomalieën ongeveer 68% van de tijd op de campusdataset en 70% op de avenue-dataset. Hoewel dit lager is dan de scores van 90% of hoger die vaak in andere studies worden gezien, gebruiken die andere studies meestal methoden die naar videoclips kijken nadat ze zijn opgenomen, of vereisen ze krachtige grafische kaarten die niet op edge-apparaten kunnen draaien. De auteur was zorgvuldig in het eerlijk rapporteren van deze cijfers, waarbij werd opgemerkt dat hun methode een eerste stap is naar een strikt real-time oplossing in plaats van een definitief, geperfectioneerd product.

Een diepere blik op de resultaten onthulde een verrassende nuance over hoe het systeem leert. De onderzoekers testten of de speciale "poort" die zorgt voor instant geheugenresets altijd nuttig was. Op de kleinere dataset met minder trainingsvideo's verbeterde het verwijderen van de poort de nauwkeurigheid van het systeem, wat suggereert dat de poort ervoor zorgde dat het systeem de weinige voorbeelden die het had, overleerde. Maar op de grotere dataset met veel meer video's werd de poort essentieel, en het verwijderen ervan zorgde voor een scherpe daling in de nauwkeurigheid. Dit suggereert dat de poort een krachtig hulpmiddel is, maar dat het voldoende data vereist om te leren hoe het correct gebruikt moet worden zonder in de war te raken. Het team testte ook verschillende groottes voor het interne geheugen van het systeem en ontdekte dat op de kleinere dataset een kleiner geheugen beter werkte, terwijl op de grotere dataset een groter geheugen enigszins hielp. Deze bevindingen wijzen erop dat het ontwerp van het systeem geen 'one-size-fits-all'-oplossing is; de componenten interageren op complexe wijze met de hoeveelheid beschikbare data.

De studie concludeert dat hoewel het systeem nog niet de meest nauwkeurige detector die beschikbaar is is, het succesvol een kritieke kloof overbrugt tussen theorie en praktijk. Het bewijst dat een strikt causaal systeem—één die nooit vooruit kijkt en nooit clips buffert—met ongelooflijke snelheid kan draaien op consumentenhardware. De onderzoekers erkennen dat hun werk onvoltooid is; ze hebben het systeem nog niet getest op een derde, grotere dataset, en ze hebben de instellingen van het systeem nog niet geoptimaliseerd om de kloof in nauwkeurigheid met oudere methoden te dichten. Ze merken ook op dat hun huidige evaluatie van de exacte locatie van een anomalie in een video een benadering is, en dat een nauwkeurigere test andere instrumenten zou vereisen. Desalniettemin biedt het werk een duidelijk blauwdruk voor hoe video-begripssystemen te bouwen die snel, efficiënt en echt real-time zijn, waarmee het veld wordt bewogen van zware, vertraagde verwerking naar een toekomst waarin camera's kunnen denken en reageren op het moment dat er iets ongewoons gebeurt.