💻 computer science

Scene-aware Transformer encoder with Multi Instance Learning-guided Attention Mechanism for Anomaly Detection in Video Surveillance

Dit artikel stelt het STAM-framework voor, dat contrastief leren voor scènebewuste embeddings integreert met een transformer-encoder geleid door Multi-Instance Learning-aandacht, om effectief contextuele en temporele beperkingen in video-anomaliedetectie aan te pakken en een superieure nauwkeurigheid op benchmark-datasets te bereiken.

Oorspronkelijke auteurs: Rifa Nizam Khan, Mohd. Amjad

Gepubliceerd 2026-08-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Rifa Nizam Khan, Mohd. Amjad

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de hoofdsbeveiliger bent van een enorm, bruisend stadsplein. Je hebt honderden camera's die live videobeelden naar je doorsturen, maar je kunt niet tegelijkertijd elk scherm bekijken. Je taak is om iets vreemds op te merken—een vechtpartij, een diefstal, of iemand die de verkeerde kant op rent. Het lastige deel is dat "vreemd" volledig afhangt van waar je bent. In een bibliotheek is iemand die rent een enorme rode vlag. In een voetbalstadion is het gewoon onderdeel van het spel. Lange tijd waren computerprogramma's die deze taak probeerden uit te voeren als bewakers die alleen naar beweging keken. Als iemand rende, ging het alarm af, zelfs als het in een stadion was. Ze begrepen de context van de scène niet. Ze hadden ook moeite om te onthouden wat er een paar seconden geleden gebeurde om de verbanden te leggen. Dit artikel pakt dat probleem aan door computers te leren dat ze niet alleen beweging moeten zien, maar ook de "vibe" van de plek moeten begrijpen waar ze naar kijken.

De onderzoekers, Rifa Nizam Khan en Mohd. Amjad van de Jamia Millia Islamia Universiteit, hebben een nieuw systeem gebouwd genaamd STAM. Beschouw dit als een super slimme detective met twee duidelijke manieren van denken. Ten eerste gebruikt het een speciale "scène-gevoeligheid"-module om te achterhalen waar het precies is—zoals het verschil weten tussen een rustig park en een druk treinstation. Ten tweede gebruikt het een krachtig geheugengereedschap (een Transformer) om korte videoclips te bekijken en te bepalen welke verdacht zijn. De magie gebeurt wanneer deze twee delen met elkaar communiceren. Het systeem kijkt niet alleen naar een clip in isolatie; het vraagt: "Maakt deze actie zin hier?" Als het antwoord nee is, slaat het alarm af.

Hier is hoe hun nieuwe detective werkt, onderverdeeld in eenvoudige stappen:

De Twee-Hersenen-Aanpak
De meeste oude systemen probeerden alles met één brein te doen, wat vaak tot verwarring leidde. STAM splitst de taak.

De Scène-Detective: Voordat het de actie bekijkt, maakt het systeem een snapshot van de omgeving. Het gebruikt een techniek genaamd "contrastive learning" om een mentale kaart van de scène op te bouwen. Stel je dit voor als een bibliothecaris die weet dat een boek dat uit een plank valt normaal is in een bibliotheek, maar vreemd in een sportschool. Het systeem leert de "vorm" van de plek te herkennen, waardoor het voor elke locatie een unieke ID-kaart creëert.
De Actie-Watcher: Dit deel maakt gebruik van een "Inflated 3D ConvNet" (of I3D). Als je een normale videocamera ziet als een 2D-foto die in de loop van de tijd verandert, dan is dit gereedschap als een 3D-scanner die de video ziet als een solide blok van ruimte en tijd. Het vangt de beweging en het uiterlijk van de mensen op en zet dit om in een gedetailleerd rapport.

Het "Bag of Snippets"-spel
Het systeem kijkt niet een hele uur aan video tegelijkertijd. In plaats daarvan hakt het de video in kleine stukjes die "snippets" worden genoemd. Het behandelt de hele video als een "zak" (bag) van deze snippets. Dit is waar "Multi-Instance Learning" (MIL) in beeld komt. Denk hierbij aan een leraar die een klas beoordeelt. Als één student in de klas (één snippet) wordt gemarkeerd voor onregelmatigheden, wordt de hele klas (de video) als verdacht gemarkeerd. Het systeem bekijkt al deze snippets en vraagt: "Welke van deze is de boef?"

Het Magische Attention-Mechanisme
Dit is het coolste deel. Het systeem heeft een speciale "Scene Token" (een CLS token) die de ID-kaart van de locatie vasthoudt. Wanneer het systeem de "zak" met snippets beoordeelt, gebruikt het deze locatie-ID om de aandacht te sturen. Het is als een beveiliger die weet: "In deze specifieke gang lopen mensen meestal langzaam. Als ik iemand zie sprinten, is dat de persoon op wie ik me moet concentreren." Het systeem gebruikt een attention-mechanisme om het belang van elke snippet te wegen. Als een snippet vreemd lijkt voor die specifieke scène, geeft het systeem het een hoge score. Als het vreemd is maar past bij de scène (zoals rennen in een stadion), negeert het systeem het.

De Resultaten: Een Bijna Perfecte Score
De onderzoekers testten hun nieuwe STAM-systeem op een beroemde dataset van surveillancevideo's genaamd UCF Crime, die meer dan 1.900 video's bevat van echte gebeurtenissen zoals arrestaties, brandstichting en winkeldiefstal. Ze testten het ook op een andere dataset, UCF101, om te zien of het nieuwe, onbekende omgevingen kon verwerken.

De resultaten waren indrukwekkend. Het STAM-systeem behaalde een nauwkeurigheid van 99,85% en een Area Under Curve (AUC) score van 99,98%. Om dit in perspectief te plaatsen: ze vergeleken het met andere slimme systemen zoals "I3D-MIL" en "GAN-MIL", die veel lager scoorden (rond de 90% tot 96%). De paper suggereert dat de reden dat STAM wint, is dat het eindelijk de context begrijpt. Het ziet niet alleen een persoon die rent; het ziet een persoon die rent op een plek waar rennen gevaarlijk is.

Waarom dit ertoe doet
De auteurs ontdekten dat door de computer expliciet te leren over de lay-out van de scène en een "scene-aware" attention-mechanisme te gebruiken, ze het aantal valse alarmen drastisch konden verminderen. In het verleden zou een systeem "Noodgeval!" kunnen schreeuwen omdat iemand in een park rende, terwijl het gewoon een jogger was. STAM weet echter het verschil. De studie laat zien dat deze aanpak niet zomaar een kleine aanpassing is, maar een belangrijke stap voorwaarts in het echt smart maken van videobewaking voor de rommelige, complexe realiteit van de echte wereld. Hoewel het systeem meer rekenkracht vereist om te draaien (het duurt ongeveer 8 minuten per trainings-epoch op hun specifieke hardware), is de ruil een systeem dat veel betrouwbaarder is en minder snel vals alarm slaat.

Kortom, deze paper stelt voor dat om de boeven te vangen, je niet alleen ogen nodig hebt die beweging zien; je hebt een brein nodig dat het verhaal van de plek begrijpt. En met STAM beginnen computers eindelijk het verhaal te begrijpen.

Technische Samenvatting: Scene-bewuste Transformer Encoder met een Multi-Instance Learning-gestuurd Aandachtsmechanisme voor Anomaliedetectie in Videobewaking

Probleemstelling
Videofoutdetectie (Video Anomaly Detection, VAD) is cruciaal voor moderne bewakingssystemen vanwege de enorme hoeveelheid videodata die niet handmatig kan worden gemonitord. Bestaande benaderingen kampen echter met aanzienlijke beperkingen. Traditionele modellen die vertrouwen op spatiotemporele kenmerken missen vaak de contextuele bewustwording van de omliggende scène, wat leidt tot het foutief classificeren van normale activiteiten als anomalieën (vals positieven) of het niet detecteren van subtiele abnormale gebeurtenissen. Bovendien hebben veel modellen moeite met generaliseerbaarheid; ze presteren goed op benchmarks, maar falen in onbekende real-world omgevingen waar dezelfde handeling in de ene context normaal kan zijn, maar in de andere een anomalie. Huidige methoden vertrouwen ook vaak op "black box"-architecturen, wat zorgen oproept over interpreteerbaarheid en vertrouwen in beveiligingsapplicaties.

Methodologie
De auteurs stellen een geïntegreerd framework voor genaamd STAM (Scene-aware Transformer encoder met een Multi-Instance Learning-gestuurd Aandachtsmechanisme). De architectuur maakt gebruik van een dual-branch ontwerp om spatiotemporele dynamiek en contextuele scène-embeddings gezamenlijk te optimaliseren:

Contrastieve Graafgebaseerde Scène-embeddings (CGSE):
- Om omgeving-specifieke contexten vast te leggen, gebruikt het model contrastief leren gecombineerd met een Graph Convolutional Network (GCN).
- Scènes worden gemodelleerd als grafen waarbij objecten knopen zijn en relaties randen (edges) zijn. Dit behoudt de structurele lay-out van de scène in plaats van deze te reduceren tot een platte vector.
- Het model genereert scène-embeddingvectoren door frames te behandelen als zakken van knopen, berichten door de graaf te propageren en tussenliggende representaties te aggregeren.
- Deze embeddings worden getraind met zwakke supervisie vanuit beeldteksten (image captions), waarbij een contrastieve loss wordt toegepast om vergelijkbare scènestructuren naar elkaar toe te trekken en ongelijksoortige structuren van elkaar weg te duwen.
Spatiotemporele Kenmerkextractie (I3D):
- Videosnippets worden verwerkt met behulp van een Inflated 3D ConvNet (I3D).
- Het I3D-model breidt 2D-convolutiekernels uit naar 3D om zowel ruimtelijke als temporele dynamiek te vangen. Het verwerkt twee stromen: ruwe RGB-frames voor verschijningskenmerken en optical flow-velden voor bewegingskenmerken.
- Deze stromen worden geconcateneerd om een gecombineerde spatiotemporele kenmerkvector voor elk snippet te vormen.
Transformer Encoder met MIL-gestuurde Aandacht:
- De kerninnovatie is een Transformer Encoder waarbij de scène-embeddingvector expliciet wordt gecodeerd als een speciale CLS-token (globale context-token).
- Het model maakt gebruik van een Multi-Instance Learning (MIL) opzet waarbij een video wordt behandeld als een "zak" van snippets. Als een video een anomalie bevat, moet ten minste één snippet binnen de zak een anomalie zijn.
- Er wordt een aangepast MIL-gestuurd Aandachtsmechanisme toegepast. In tegenstelling tot standaard aandacht, gebruikt dit mechanisme de scène-embedding (CLS-token) als een globale aggregator om de aandachtsgewichten van individuele spatiotemporele tokens te moduleren.
- Dit stelt het model in staat om prioriteit te geven aan anomale snippets op basis van de globale scène-context, waardoor de anomalie-weging effectief wordt hergedefinieerd in plaats van te vertrouwen op conventionele aggregatie (max of gemiddelde pooling).
- Een alarm wordt afgegaan als de geaggregeerde aandachtsscore een specifieke drempelwaarde (0.5) overschrijdt.

Belangrijkste Bijdragen
Het artikel beschrijft drie primaire bijdragen:

Contrastieve Scène-embeddings: Introductie van scène-embeddingvectoren afgeleid van contrastief leren en GCN's om onderscheidende omgevingscontext vast te leggen, wat de detectie nauwkeurigheid in complexe scenario's verbetert.
I3D Kenmerkextractie: Gebruik van het Inflated 3D ConvNet om zowel temporele als ruimtelijke dynamiek effectief te modelleren, wat essentiële context biedt voor nauwkeurige anomaliedetectie.
STAM Framework: Een nieuwe transformer encoder geïntegreerd met een MIL-gestuurd Aandachtsmechanisme dat scène-embeddings behandelt als een globale CLS-token. Dit ontwerp stuurt de snippet-niveau aandacht expliciet aan, waarbij prioriteit wordt gegeven aan anomale segmenten terwijl de scène-context wordt overwogen voor robuuste detectie.

Experimentele Resultaten
Het voorgestelde STAM-model werd geëvalueerd op de UCF-Crime dataset (1900 ongesneden video's) en gevalideerd op de UCF101 dataset voor cross-dataset prestaties.

Prestatie-metrieken: Op de UCF-Crime dataset behaalde STAM een Nauwkeurigheid van 99,85% en een Area Under the Curve (AUC) van 99,98%.
Vergelijkende Analyse: STAM presteerde beter dan baseline modellen zoals I3D-MIL, SpatioTemporal-Transformer (ST-Trans), GAN-MIL, BiLSTM en ConvLSTM. Zo overtrof het de ConvLSTM-model (99,06% nauwkeurigheid) en het Dual Network in MIL (DD-MIL) model.
Cross-Dataset Validatie: Bij testen op UCF101 behield STAM een hoge prestatie (99,85% nauwkeurigheid en 99,96% AUC), wat een robuustheid demonstreert in onbekende omgevingen vergeleken met baselines die moeite hadden met generalisatie.
Ablatieonderzoek: Statistische analyse (gepaarde t-testen) bevestigde dat de inclusie van scène-embeddings en het specifieke MIL-aandachtsmechanisme de prestaties aanzienlijk verbeterden ten opzichte van varianten zonder deze componenten (bijv. een Transformer zonder scène-bewustzijn behaalde 96,15% AUC versus 99,98% voor het volledige model).
Efficiëntie: Hoewel het model een hogere computationele complexiteit heeft ( $O(T^2d_f + n_e d_s)$ ) en een iets lagere inferentiesnelheid (52 fps) dan eenvoudigere modellen, voldoet het nog steeds aan de eisen voor real-time verwerking en biedt het superieure nauwkeurigheid.

Betekenis en Claims
De auteurs stellen dat de betekenis van dit werk ligt in de verschuiving van puur temporele anomaliedetectie naar holistische, context-gestuurde modellen.

Contextuele Interpreteerbaarheid: Door de scène-structuur expliciet te coderen, adresseert het model de "context-afhankelijkheid" van anomalieën, waardoor valse alarmen door het verkeerd interpreteren van normale acties in specifieke omgevingen worden verminderd.
Zwakjes-gesuperviseerd Leren: Het framework gaat effectief om met zwakke supervisie (video-niveau labels) door MIL-aandacht te gebruiken om anomalieën te lokaliseren zonder dat frame-niveau annotaties vereist zijn.
Robuustheid: De integratie van contrastief leren met GCN's biedt een nieuw perspectief op relationele structuren, wat de generalisatie naar onbekende omgevingen verbetert.
Operationele Impact: De auteurs beweren dat de reductie in valse alarmen en het vermogen om onderscheid te maken tussen onschuldige en verdachte gedragingen op basis van de omgevingscontext, het systeem zeer relevant maakt voor kritieke domeinen zoals openbare veiligheid, verkeersmonitoring en crowd management.

Het artikel concludeert dat deze dual-branch architectuur een nieuwe standaard zet voor anomaliedetectie en de weg vrijmaakt voor toekomstige multimodale bewakingssystemen.

Meer zoals dit