Action Hints: Semantic Typicality and Context Uniqueness for Generalizable Skeleton-based Video Anomaly Detection

Hier volgt een gedetailleerde technische samenvatting van het artikel "Action Hints: Semantic Typicality and Context Uniqueness for Generalizable Skeleton-based Video Anomaly Detection."

1. Probleemstelling

Zero-Shot Video Anomaly Detection (ZS-VAD) heeft tot doel abnormale gebeurtenissen in bewakingsvideo's temporair te lokaliseren zonder gebruik te maken van trainingsdata uit het doeldomein. Dit is cruciaal voor scenario's met betrekking tot gegevensprivacy of nieuwe bewakingsimplementaties waarbij doeldata niet beschikbaar is.

• Huidige beperkingen:
  • Frame/object-gebaseerde methoden: Lijden aan domeinverschuivingen in achtergrond en menselijk uiterlijk bij overgang naar nieuwe scènes.
  • Bestaande skelet-gebaseerde methoden: Hoewel ze achtergrond- en uiterlijkverschillen elimineren, vertrouwen ze op laagwaardige skeletrepresentaties (bijvoorbeeld coördinatenpredictie, reconstructie) die via zelftoezicht zijn geleerd. Ze missen semantisch begrip, waardoor ze niet in staat zijn nieuwe anomalieën te onderscheiden die lijken op normale patronen.
  • Domeinbeperkte grenzen: Bestaande methoden vertrouwen blind op normaliteitsgrenzen die zijn gedefinieerd door de brontrainingsdata, wat leidt tot het verkeerd classificeren van ongeziene normale gebeurtenissen als anomalieën in nieuwe scènes.

2. Methodologie

De auteurs stellen een nieuw raamwerk voor dat Semantische Typiciteit van Acties en Contextuele Uniekheid benut om generaliseerbare ZS-VAD te bereiken. De aanpak bestaat uit twee hoofdmodules:

A. Taalgeleide Typiciteitsmodellering (Trainingsfase)

Deze module heeft tot doel een hoogwaardig semantisch begrip van acties te leren in plaats van laagwaardige coördinaten.

1. Skelet-Tekst Uitlijning: Het model gebruikt een externe actieherkenningsdataset (Kinect-400) in plaats van VAD-specifieke data. Het uitlijnt skeletfragmenten met tekstlabels met behulp van een skeletencoder ($E_s$) en een tekstencoder ($E_t$), waarbij skeletten worden geprojecteerd in een taal-uitgelijnde semantische ruimte.
2. Typiciteitskennisselectie (LLM-distillatie):
   • Een Large Language Model (LLM) wordt geprompt om de 20 meest typische normale acties (bijvoorbeeld wandelen, lezen) en 20 meest typische abnormale acties (bijvoorbeeld vechten, parachutespringen) te identificeren uit de 400 actieklassen.
   • Hoogwaardige skeletfragmenten die overeenkomen met deze geselecteerde "typische" klassen worden gefilterd op basis van skelet-tekstgelijkenis.
3. Typiciteitsdistributieleer:
   • Een Normalizing Flow (NF) wordt getraind op de geselecteerde typische normale en abnormale kenmerken.
   • De NF modelleert de waarschijnlijkheidsdistributie van dit gedrag. Tijdens inferentie wordt de anomalie-score ($S^t$) afgeleid van de negatieve log-waarschijnlijkheid van een testfragment onder de geleerde "normale" distributie. Dit stelt het model in staat om te generaliseren naar nieuwe scènes op basis van semantische prioren in plaats van specifieke datasetstatistieken.

B. Contextuele Uniekheidsanalyse op Testtijd (Inferentiefase)

Om scenario's te hanteren waarbij acties niet strikt "typisch" zijn (bijvoorbeeld een normale actie die in een specifieke context abnormaal is), analyseert het model de ruimtelijk-temporale context.

1. Contextgrafconstructie: Voor elk skeletfragment worden twee grafen gebouwd:
   • Cross-person Graaf ($G_c$): Verbindt de huidige persoon met nabijgelegen individuen in de ruimte.
   • Zelfinspectie-graaf ($G_s$): Verbindt de huidige persoon met hun eigen staat in het verleden/toekomst in de tijd (exclusief directe buren om redundantie te voorkomen).
2. Uniekheidsscore: Het model berekent de kenmerkenafstand tussen het query-fragment en zijn buren in beide grafen. Omdat anomalieën zeldzaam en uniek zijn, geeft een grote afstand een anomalie aan. De uniekheidsscore ($S^u$) is het maximum van de cross-person- en zelfinspectie-afstanden.
3. Holistische score: De uiteindelijke anomalie-score is een genormaliseerde combinatie van de Typiciteitsscore ($S^t$) en de Uniekheidsscore ($S^u$):
   $$S_i = \frac{S^t_i - \mu_t}{\sigma_t} + \frac{S^u_i - \mu_u}{\sigma_u}$$
   Dit integreert semantische prioren (wat zou normaal/abnormaal moeten zijn) met contextueel bewijs (wat daadwerkelijk uniek is in deze scène).

3. Belangrijkste Bijdragen

1. Nieuw Raamwerk: Een skelet-gebaseerd ZS-VAD-raamwerk dat verder gaat dan laagwaardige representatielering naar semantische typiciteit en contextuele uniekheid.
2. Taalgeleide Typiciteitsmodule: Introduceert een methode om LLM-kennis van typisch normaal/abnormaal gedrag te distilleren in een skeletencoder, waardoor een generaliseerbare semantische ruimte ontstaat zonder training in het doeldomein.
3. Uniekheidsanalyse op Testtijd: Stelt een dynamisch, scène-adaptief grensmechanisme voor dat ruimtelijk-temporale verschillen tussen individuen en tijdstappen analyseert om contextspecifieke anomalieën te detecteren.
4. State-of-the-Art Prestaties: Bereikt superieure resultaten op vier grote datasets (ShanghaiTech, UBnormal, NWPU, UCF-Crime) die meer dan 100 ongezonde bewakings scènes omvatten, en presteert beter dan zowel full-shot als andere zero-shot methoden.

4. Experimentele Resultaten

De methode werd geëvalueerd op vier datasets zonder trainingsdata uit de doeldomeinen:

• Prestaties: De voorgestelde methode behaalde State-of-the-Art (SOTA) resultaten op alle datasets.
  • ShanghaiTech: 84,1% AUC (vs. 85,9% full-shot STG-NF, maar 0-shot).
  • UBnormal: 74,5% AUC (een aanzienlijke verbetering van +5,7% ten opzichte van de zero-shot baseline STG-NF).
  • NWPU: 62,1% AUC (+4,2% boven baseline).
  • UCF-Crime: 62,7% AUC (+10,8% boven baseline).
• Vergelijking met Full-Shot: Opmerkelijk is dat de zero-shot prestaties van deze methode vergelijkbaar zijn met, en in sommige gevallen zelfs beter zijn dan, de prestaties van full-shot methoden die zijn getraind op de doeldata.
• Efficiëntie: Het model is lichtgewicht (~5,0M parameters), aanzienlijk kleiner dan Large Vision-Language Model (LVLM) gebaseerde benaderingen (bijvoorbeeld LAVAD met 13B+ parameters). De inferentiesnelheid wordt gedomineerd door skeletextractie, niet door de anomalie-scorelogica.

5. Betekenis en Impact

• Privacybehoudende Bewaking: Het vermogen om anomaliedetectie in nieuwe omgevingen in te zetten zonder lokale videodata te verzamelen of daarop te trainen, adresseert kritieke privacyzorgen.
• Generalisatie: Door over te schakelen van "normaalheid leren uit data" naar "normaalheid leren uit semantische concepten en context", overbrugt het model het domeingat dat traditionele VAD-systemen teisteren.
• Praktische Implementatie: Het raamwerk is computatie-efficiënt en vereist geen complexe meerstapsredenering of massale LLM's tijdens inferentie, waardoor het geschikt is voor implementatie op randapparatuur in de echte wereld.
• Paradigmaverschuiving: Het artikel toont aan dat skeletdata, wanneer gecombineerd met semantische prioren en contextanalyse, een zeer effectieve modaliteit is voor zero-shot anomaliedetectie, en frame-gebaseerde en object-gebaseerde benaderingen overtreft in scenario's met verschillende contexten.