Towards Video Anomaly Detection from Event Streams: A Baseline and Benchmark Datasets

Deze paper introduceert EWAD, een nieuw raamwerk voor video-anomaliedetectie op basis van gebeurtenisstromen, en stelt gelijktijdig gesynchroniseerde benchmarkdatasets voor om de voortgang in dit veld te stimuleren.

De kern

Stel je voor dat je een bewakingscamera hebt die niet werkt zoals onze ogen of een gewone camera. Een gewone camera maakt foto's van een scène, of er nu iets gebeurt of niet. Het maakt een foto, wacht even, maakt de volgende, en zo verder. Dit is als het kijken naar een film: er zijn veel frames waarin niets gebeurt, maar de camera neemt ze toch allemaal op. Dit kost veel ruimte en energie, en als er iets heel snel gebeurt (zoals een vechtpartij), kan de camera soms net te traag zijn om het scherp te zien.

De auteurs van dit paper hebben een ander idee: gebeurtenis-cameras (event cameras).

De Analogie: De Stille Wachter die Alleen Schreeuwt bij Geluid

Stel je voor dat je een kamer binnenstapt.

• De Gewone Camera (RGB): Ze maakt constant foto's van de muren, de stoelen en de lucht, ook als niemand beweegt. Het is als een fotograaf die elke seconde een foto maakt, of er nu iets gebeurt of niet. Veel van die foto's zijn saai en identiek.
• De Gebeurtenis-Camera (Event Stream): Deze camera is als een zeer alerte bewaker die alleen reageert als er verandering is. Als je stil in de hoek zit, ziet hij niets. Maar zodra iemand de deur opent, loopt voorbij, of een glas breekt, schreeuwt hij: "Hier! Beweging! Verandering!" Hij negeert de rustige muren en concentreert zich puur op wat er beweegt.

Dit is perfect voor het opsporen van anomalieën (raar gedrag), omdat "raar gedrag" bijna altijd iets is dat beweegt of verandert op een manier die niet normaal is.

Het Probleem: De Ontbrekende Speelplaats

Hoewel deze "bewakers" (gebeurtenis-cameras) zo slim zijn, hadden onderzoekers tot nu toe twee grote problemen:

1. Geen oefenmateriaal: Er waren geen grote verzamelingen van deze "bewegings-only" video's om AI-modellen op te leren. Het is moeilijk en duur om echte gebeurtenis-data te verzamelen.
2. De verkeerde gereedschappen: De slimme AI's die we hebben voor gewone video's, zijn getraind om naar volledige foto's te kijken. Ze weten niet hoe ze moeten omgaan met deze snelle, sporadische "schreeuwen" van de gebeurtenis-cameras.

De Oplossing: EWAD (De Nieuwe Super-Bewaker)

De auteurs hebben een nieuw systeem bedacht genaamd EWAD. Ze hebben dit opgebouwd in drie slimme stappen:

1. Het Bouwen van een Oefenpark (De Datasets)

Omdat het zo moeilijk is om echte gebeurtenis-video's te maken, hebben ze een slimme truc gebruikt. Ze hebben bestaande gewone bewakingsvideo's (van films of echte camera's) door een speciale simulator gestuurd. Deze simulator doet alsof het een gebeurtenis-camera is en filtert alle "stille" beelden weg, zodat er alleen de bewegingen overblijven.

• Vergelijking: Het is alsof je een hele bibliotheek van gewone films hebt, en je gebruikt een robot om alleen de scènes te knippen waarin iemand rent of vecht, en al het andere weglaat. Zo hebben ze drie grote "oefenparken" gemaakt voor hun AI.

2. Slim Kiezen van Momenten (Dynamische Sampling)

Omdat gebeurtenis-data zo snel en onregelmatig is, zou je kunnen denken: "Laten we gewoon alles opnemen." Maar dat is inefficiënt.

• De Analogie: Stel je voor dat je een boek leest, maar alleen de zinnen wilt lezen waarin iemand schreeuwt of een ongeluk gebeurt. Een slimme lezer (EWAD) kijkt eerst naar hoe druk het is op de pagina. Als er veel "gebeurtenissen" zijn (veel beweging), pakt hij die pagina's eruit. Als het rustig is, pakt hij er maar een paar.
• Dit zorgt ervoor dat de AI zich focust op de spannende momenten en niet verspillen tijd aan saaie momenten.

3. De "Geest van de Gewone Camera" (Kennisoverdracht)

Dit is misschien wel het slimste deel. De gebeurtenis-cameras zijn erg goed in beweging, maar ze missen details (zoals kleuren of gezichten). De AI die hiermee werkt, is dus een beetje "blind" voor de context.

• De Analogie: Stel je voor dat je een leerling hebt (de gebeurtenis-AI) die alleen kan horen, maar niet kan zien. Je hebt een meester (de gewone RGB-AI) die alles kan zien en begrijpen.
• De auteurs laten de meester de leerling helpen. De meester kijkt naar de gewone video en zegt tegen de leerling: "Kijk, dit is een vechtpartij, niet gewoon rennen." De leerling leert zo de betekenis van de bewegingen, zonder dat hij zelf de kleuren hoeft te zien. Tijdens het testen werkt de leerling alleen, maar hij heeft de wijsheid van de meester in zijn hoofd.

Het Resultaat: Waarom is dit belangrijk?

De tests tonen aan dat dit systeem EWAD veel beter werkt dan eerdere methoden die proberen gebeurtenis-data te gebruiken.

• Het is sneller.
• Het kost minder energie (want het slaat geen saaie beelden op).
• Het is privacyschoner (want het ziet geen gezichten, alleen beweging).

Conclusie in één zin:
De auteurs hebben een nieuwe manier gevonden om bewakingscamera's slimmer te maken door ze te laten kijken naar beweging in plaats van naar beelden, en ze hebben een slimme "leraar" bedacht om hen te helpen begrijpen wat die bewegingen betekenen, zodat ze sneller en beter kunnen waarschuwen voor gevaar.

Technische samenvatting

Probleemstelling

Video-anomalie-detectie (VAD) is cruciaal voor openbare veiligheid, maar traditionele RGB-gebaseerde methoden hebben beperkingen: ze werken met vaste frame-rates, genereren veel redundante data en hebben een vertraagde dynamische perceptie. Dit maakt ze minder effectief in omgevingen met hoge dichtheid of snelle veranderingen.

Event-cameras bieden een alternatief door asynchroon, op pixel-niveau veranderingen in helderheid vast te leggen. Dit resulteert in data met een uiterst hoge temporele resolutie, lage latentie en een inherent spaarzame output die zich richt op beweging. Hoewel dit ideaal lijkt voor het detecteren van anomalieën (die vaak plotselinge bewegingen inhouden), wordt dit veld gehinderd door twee hoofdzaken:

1. Het ontbreken van specifieke, grote datasets voor event-stream VAD.
2. Het gebrek aan effectieve modelleringstechnieken die de asynchrone en spaarzame aard van event-data volledig benutten. Bestaande modellen zijn vaak ontworpen voor synchrone RGB-video's en presteren slecht op event-data.

Methodologie: Het EWAD Framework

De auteurs stellen EWAD (EVent-centric spatiotemporal Video Anomaly Detection) voor, een unificerend framework dat specifiek is ontworpen voor event-streams. Het framework bestaat uit drie kerninnovaties:

1. Event-Density Aware Dynamic Sampling (EDS):

   • Omdat event-data asynchroon en ongelijkmatig verdeeld is (veel gebeurtenissen tijdens beweging, weinig tijdens rust), is uniforme sampling inefficiënt.
   • EDS selecteert adaptief frames op basis van de dichtheid van events. Het identificeert "hoge dichtheid" regio's (waarschijnlijk anomalieën) en "lage dichtheid" regio's (context/achtergrond).
   • In plaats van alleen de top-k frames te kiezen, gebruikt het een aangepaste "dual-interval nucleus sampling" strategie. Dit zorgt ervoor dat informatieve, dichte frames worden prioriteerd, maar dat ook voldoende lage-dichtheid frames worden behouden voor context, wat de robuustheid onder zwakke supervisie verbetert.

2. Event-Modulated Distance-Decay Attention (EDA):

   • Om langdurige temporele afhankelijkheden in spaarzame streams te modelleren, introduceert de auteurs een aandachtmechanisme (attention) dat rekening houdt met zowel de temporele afstand als de event-dichtheid.
   • De attention-weights worden dynamisch aangepast: tokens met een hogere dichtheid en kortere temporele afstand krijgen meer gewicht. Dit helpt het model om de temporele perceptie aan te passen aan de intensiteit van de beweging, waardoor het beter kan omgaan met variërende patronen.

3. RGB-naar-Event Kennisdistillatie (Knowledge Distillation - KD):

   • Omdat event-data beperkte supervisie biedt en het ontbreken van semantische context in vergelijking met RGB, gebruiken de auteurs een "teacher-student" aanpak.
   • Een vooraf getraind RGB-model (bijv. VadCLIP) fungeert als leraar. De event-model (student) leert van de leraar via twee niveaus van distillatie:
     • Binair: Het leren van de anomalie-vertrouwensscores.
     • Multi-class: Het leren van fijne semantische relaties tussen klassen via logit-normalisatie.
   • Dit gebeurt alleen tijdens het trainen. Tijdens inferentie werkt het model volledig autonoom op basis van alleen event-streams.

Bijdragen en Datasets

De auteurs hebben een fundamentele stap gezet door de eerste grote benchmarks voor dit domein te creëren:

• Benchmarks: Ze hebben bestaande RGB-datasets (UCF-Crime, CCTV-Fight, UBnormal) omgezet naar realistische event-streams met behulp van de v2e-simulator. Dit resulteert in de eerste grote, openbare benchmarks voor event-based VAD, inclusief gesynchroniseerde RGB- en event-opnames.
• Adaptieve Frame-generatie: Ze stellen een strategie voor om asynchrone events om te zetten in frames die de dichtheid balanceren om "ghosting" (artefacten door te hoge dichtheid) te voorkomen, terwijl de temporele resolutie behouden blijft.

Resultaten

Uitgebreide experimenten op de drie nieuwe benchmarks tonen de volgende resultaten:

• Temporele Detectie: EWAD bereikt state-of-the-art prestaties. Op het UCF-Crime dataset verbetert het de beste bestaande methode (MSF) met een aanzienlijke marge (+11,5% AUC). Zelfs zonder kennisdistillatie op sommige datasets presteert het beter dan eerdere methoden, wat de sterkte van de architectuur aantoont.
• Ruimtelijke Lokalisatie: Hoewel de prestaties iets lager zijn dan RGB-methoden (vanwege het ontbreken van visuele textuur), bereikt het een TIoU (Temporal Intersection over Union) van 13,28%. Dit is concurrerend met oudere RGB-methoden en bewijst dat event-data voldoende informatie bevat voor ruimtelijke lokalisatie van anomalieën.
• Ablatie-studies: Elke component (EDS, EDA, en KD) draagt significant bij aan de totale prestatieverbetering. De combinatie van binair en multi-class distillatie levert de beste resultaten op.
• Validatie: Tests op echte event-data (EventVOT dataset) tonen aan dat het model motion-semantiek leert en niet afhankelijk is van simulatie-artefacten.

Betekenis en Toekomstperspectief

Dit werk is baanbrekend omdat het:

1. Het veld van event-based VAD een gestructureerde basis geeft met openbare datasets en een sterke baseline.
2. Aantoont dat event-cameras, door hun focus op dynamiek en privacy, een superieur alternatief kunnen zijn voor RGB-camera's bij specifieke veiligheidsapplicaties.
3. Bewijst dat kennisdistillatie van RGB-modellen een effectieve manier is om de beperkingen van event-data (zoals gebrek aan semantische context) te overbruggen.

De auteurs concluderen dat zorgvuldig ontworpen mechanismen de kloof tussen asynchrone event-signalen en hoogwaardig anomaliebegrip kunnen overbruggen. Toekomstig werk richt zich op het verzamelen van echte event-datasets (in plaats van gesimuleerde) en het onderzoeken van multimodale fusie met RGB en audio.