Weakly Supervised Video Anomaly Detection with Anomaly-Connected Components and Intention Reasoning

Deze paper introduceert LAS-VAD, een nieuw raamwerk voor zwak toezicht op videonanomaliedetectie dat anomalie-verbonden componenten, intentie-herkenning en attribuutinformatie combineert om semantische ambiguïteiten op te lossen en de prestaties aanzienlijk te verbeteren op de XD-Violence en UCF-Crime-datasets.

De kern

Stel je voor dat je een enorme berg videomateriaal hebt van bewakingscamera's: duizenden uren aan beelden van straten, winkels en parken. Je wilt weten: "Waar gebeurt er iets raars?" Bijvoorbeeld een vechtpartij, een explosie of diefstal.

Het probleem? Je hebt geen tijd om elke seconde van elke video te bekijken en te markeren: "Hier begint de diefstal, hier eindigt hij." Dat is te duur en te veel werk. Je hebt alleen een simpele label: "Deze hele video bevat een misdrijf." Dit noemen we zwakke supervisie.

De onderzoekers van dit paper (LAS-VAD) hebben een slimme oplossing bedacht om computers te leren wat "raar" is, zelfs zonder die gedetailleerde labels. Ze gebruiken drie creatieve trucs:

1. De "Groepeer-de-Vrienden" Truc (Anomaly-Connected Components)

Stel je voor dat je een groep mensen op een feestje hebt. Je weet niet precies wie wat doet, maar je ziet dat mensen die lachen en dansen vaak dicht bij elkaar staan en dezelfde bewegingen maken. Mensen die ruzie maken, staan ook dicht bij elkaar, maar hun bewegingen zijn anders dan die van de dansers.

De computer doet hetzelfde met videoframes (de losse plaatjes van de video).

• Hoe het werkt: De computer kijkt naar elke frame en vraagt: "Wie lijkt het meest op jou?" Als frame A lijkt op frame B, en B op C, dan groepeert de computer ze samen in één "clubje".
• Het resultaat: Alle frames in één clubje delen dezelfde betekenis. Als één frame in dat clubje een explosie is, dan zijn waarschijnlijk alle frames in dat clubje ook explosies. Zo leert de computer wat een explosie is, zonder dat iemand het handmatig heeft gemarkeerd.

2. De "Motief-Detecteur" (Intention Reasoning)

Soms zien normale en rare gedragingen er bijna hetzelfde uit.

• Voorbeeld: Iemand pakt een appel uit een fruitmand (normaal) vs. iemand steelt een appel (raar).
• Het probleem: Voor een camera zien ze er hetzelfde uit: een hand grijpt een appel.
• De oplossing: De computer kijkt niet alleen naar wat er gebeurt, maar naar hoe en waarom.
  • Bij het normaal pakken van een appel is de beweging rustig en traag.
  • Bij stelen is de beweging plotseling, snel en angstig.
    De computer leert deze "intentie" te onderscheiden door te kijken naar de snelheid en versnelling van de beweging. Het is alsof je niet alleen kijkt naar het woord "pakken", maar ook naar de toon van stem en de snelheid waarmee iemand het zegt.

3. De "Recept-Truc" (Anomaly Attributes)

Elk misdrijf heeft zijn eigen kenmerken, net als een recept.

• Een explosie heeft altijd: vuur, rook en vliegende puin.
• Een overval heeft vaak: een masker en een wapen.

De onderzoekers gebruiken een slimme taalcomputer (een AI die tekst begrijpt) om voor elk misdrijf een lijstje met kenmerken te maken. De videocomputer gebruikt deze lijstjes als een "recept" om te controleren of wat hij ziet wel past bij het misdrijf. Zie je rook en vuur? Dan is de kans groot dat het een explosie is, zelfs als de beweging vaag is.

Waarom is dit zo goed?

Tot nu toe waren computers vaak verward. Ze dachten dat snel rennen altijd "raar" was, of ze zagen een vechtpartij niet omdat de beelden te snel waren.

Met deze nieuwe methode (LAS-VAD) kan de computer:

1. Groeperen: "Ah, deze 50 plaatjes horen bij elkaar, ze zijn allemaal een vechtpartij."
2. Begrijpen: "Deze persoon pakt iets, maar hij doet het te snel en te agressief. Dat is diefstal, niet gewoon pakken."
3. Controleren: "Ik zie vlammen en rook. Dat past bij een explosie."

Het resultaat: De computer wordt veel slimmer in het vinden van misdrijven in onbewerkte video's, zonder dat mensen duizenden uren nodig hebben om alles handmatig te labelen. Het is alsof je een bewakingsagent hebt die niet alleen kijkt, maar ook echt begrijpt wat er aan de hand is.

Technische samenvatting

1. Probleemstelling

Zwak toezicht op video-anomaliedetectie (WS-VAD) richt zich op het identificeren van tijdsintervallen met abnormale gebeurtenissen in ongesneden video's, waarbij alleen video-niveau annotaties (d.w.z. of een video "normaal" of "abnormaal" is) beschikbaar zijn als supervisie. Er ontbreken echter frame-niveau annotaties (precieze start- en eindtijden van de anomalie).

De huidige methoden kampen met twee fundamentele beperkingen:

1. Gebrek aan semantische supervisie: Zonder frame-niveau labels hebben bestaande modellen moeite om de specifieke semantiek van anomalieën effectief te leren.
2. Vage onderscheiding tussen normaal en abnormaal: Veel normaal en abnormaal gedrag zien er visueel bijna identiek uit (bijvoorbeeld "een voorwerp oppakken" versus "stelen"). Het enige verschil zit vaak in de intentie of de snelheid van de actie, wat door standaard visuele modellen moeilijk te onderscheiden is.

2. Methodologie: Het LAS-VAD Kader

De auteurs stellen LAS-VAD (Learning Anomaly Semantics for WS-VAD) voor, een nieuw raamwerk dat drie kernmechanismen integreert om bovenstaande problemen aan te pakken. Het systeem gebruikt een pre-getrainde CLIP-encoder voor visuele en tekstuele features.

A. Anomaly-Connected Components (ACC)

Om het gebrek aan frame-niveau labels te compenseren, introduceert ACC een mechanisme om videoframes te clusteren in distincte semantische groepen.

• Werking: Het berekent de paarsgewijze visuele similariteit tussen frames. Vervolgens wordt deze similariteit gecorrigeerd met cross-modale similariteit (gebaseerd op tekstuele beschrijvingen van anomalie-categorieën). Als twee frames semantisch dicht bij dezelfde tekst-categorie liggen, wordt hun visuele similariteit versterkt.
• Resultaat: Op basis van deze gecorrigeerde similariteitsmatrix worden verbonden componenten (connected components) geïdentificeerd via een graafalgoritme (DFS). Frames binnen dezelfde component delen dezelfde semantische informatie.
• Doel: Dit genereert pseudo-labels op frame-niveau die dienen als extra supervisie om het model te helpen de semantiek van anomalieën beter te leren zonder dure handmatige annotaties.

B. Intention Awareness Mechanism (IAM)

Om het onderscheid tussen visueel vergelijkbaar maar intentioneel verschillend gedrag te verbeteren (bijv. stelen vs. oppakken), wordt een intentie-bewust mechanisme ontwikkeld.

• Fysieke Features: Het model extraheren positie-, snelheids- en versnellingsfeatures uit de video-features.
• Intentie Prototypes: Er worden prototypes opgeslagen voor verschillende intenties. Een cross-intention contrastive learning strategie wordt toegepast om frames met dezelfde intentie dichter bij elkaar te brengen en frames met verschillende intenties verder van elkaar te verwijderen.
• Doel: Het model leert te "redeneren" over de intentie achter een actie, waardoor het subtielere verschillen tussen normaal en crimineel gedrag kan detecteren.

C. Anomalie-attributen (Attribute Information)

Aangezien anomalieën vaak gepaard gaan met specifieke kenmerkende attributen (bijv. een explosie gaat gepaard met vlammen en rook), worden deze attributen expliciet gemodelleerd.

• Implementatie: Een Large Language Model (LLM) genereert tekstuele beschrijvingen van attributen per anomalie-categorie. Deze worden verwerkt door de tekst-encoder en samengevoegd met de tekst-features van de categorieën zelf.
• Doel: Deze extra semantische context leidt tot nauwkeurigere detectie.

D. Trainingsstrategie

Het model combineert meerdere verliesfuncties:

• MIL (Multiple Instance Learning): Voor video-niveau classificatie.
• Contrastive Loss: Voor het leren van intentie-prototypes.
• Pseudo-label Loss: Om de frame-niveau voorspellingen te aligneren met de ACC-groepering.
• Regularisatie: Om consistentie te garanderen tussen categorie-agnostische en categorie-bewuste voorspellingen.

3. Belangrijkste Bijdragen

1. LAS-VAD Framework: Een nieuw raamwerk dat semantisch leren voor WS-VAD mogelijk maakt door ACC en IAM te combineren.
2. ACC-mechanisme: Een innovatieve aanpak om frames te groeperen in semantisch consistente clusters zonder frame-niveau labels, wat de leerbaarheid van anomalie-semantiek verbetert.
3. Intentie-onderscheiding: Een mechanisme dat fysieke dynamica (snelheid/versnelling) en contrastief leren gebruikt om visueel vergelijkbare maar intentioneel verschillende acties te onderscheiden.
4. Attribuut-integratie: Het gebruik van gegenereerde attribuutbeschrijvingen (via LLM) om de detectie te verfijnen.
5. State-of-the-Art Prestaties: Het bereiken van nieuwe records op twee belangrijke benchmarks.

4. Resultaten

Het model is geëvalueerd op twee standaard datasets: XD-Violence en UCF-Crime.

• Grofkorrelige Detectie (Coarse-grained):
  • Op XD-Violence: LAS-VAD behaalde 89.96 AP (met I3D features) en 87.92 AP (met CLIP features), wat een verbetering is ten opzichte van de huidige state-of-the-art (SOTA) methoden zoals LEC-VAD en PE-MIL.
  • Op UCF-Crime: Het model behaalde 91.05 AUC (met I3D), wat een significante verbetering is ten opzichte van bestaande methoden.
• Fijnkorrelige Detectie (Fine-grained):
  • Op XD-Violence: Een gemiddelde mAP van 36.89, wat een verbetering van ongeveer 5% is ten opzichte van de vorige beste methode.
  • Op UCF-Crime: Een gemiddelde mAP van 15.62, wat een verbetering van 15.2% is ten opzichte van LEC-VAD.
• Ablatie Studies: Experimenten bevestigen dat elk component (ACC, IAM, en attributen) bijdraagt aan de totale prestatie. Vooral ACC bleek superieur aan traditionele clustering (zoals k-means) door het modelleren van structurele relaties tussen frames.

5. Betekenis en Impact

Deze paper is significant omdat het een oplossing biedt voor het grootste knelpunt in WS-VAD: het gebrek aan gedetailleerde frame-niveau supervisie. Door semantische groepering (ACC) en intentie-resoneren (IAM) te introduceren, slaagt het model erin om complexe, subtiel verschillende anomalieën te detecteren die voor eerdere modellen onzichtbaar waren.

De integratie van LLM-gegenereerde attributen en cross-modale correctie toont aan dat het combineren van visuele data met taalkundige kennis een krachtige richting is voor toekomstige videobewakings- en analyse-systemen. De resultaten tonen aan dat het mogelijk is om zeer nauwkeurige detectiesystemen te bouwen die schaalbaar zijn voor real-world scenario's waar gedetailleerde annotaties te kostbaar zijn.