Technische Samenvatting: NSP-ML voor Herkenning van Abnormaal Gedrag

Probleemstelling

Herkenning van abnormaal gedrag in campusomgevingen is cruciaal voor intelligente surveillance en veiligheidsbeheer. Hoewel bestaande methoden vooruitgang hebben geboekt, vertrouwen zij voornamelijk op visuele informatie. Deze afhankelijkheid creëert een significante beperking: visuele representaties alleen schieten vaak tekort in het onderscheiden van gedragingen die er hetzelfde uitzien, maar verschillende betekenissen dragen op basis van contextuele beperkingen (bijv. tijd, locatie en verwachte activiteitspatronen). In campusomgevingen kan een actie zoals "rennen" normaal zijn op een speelplaats, maar abnormaal in een gang van een laboratorium. Huidige multimodale benaderingen behandelen tekstuele inputs vaak als statische labels of generieke beschrijvingen, waarbij ze er niet in slagen om situationele normen of de voorkennis die geassocieerd wordt met specifieke ruimtelijke-temporele condities expliciet te coderen. Gevolgelijk worstelen deze modellen met contextafhankelijke abnormale gedragingen waarbij de definitie van "abnormaliteit" berust op de afwijking van verwachte patronen in plaats van enkel op het visuele uiterlijk.

Methodologie

Het artikel stelt NSP-ML voor (Normality-Guided and Spatiotemporal Prior-Aware Multimodal Learning), een framework dat is ontworpen om visuele representaties te fuseren met twee specifieke soorten contextuele tekstuele kennis: normaliteitsgestuurde logs en ruimtelijk-temporeel bewuste logs.

1. Constructie van Contextuele Tekst

In plaats van statische klasse-labels, construeert het framework een context-geconditioneerde gedragshypothese ($H_{i,c}$) voor elke videoclip $i$ en kandidaatklasse $c$. Deze hypothese wordt gevormd door het samenvoegen van:

• Gedragsprototype ($B_c$): Een korte semantische beschrijving van het gedrag.
• Normaliteitslog ($N_i$): Tekst die het verwachte gedrag beschrijft onder de specifieke campuscondities.
• Ruimtelijk-temporele Prior Log ($P_i$): Tekst die risiconiveaus, activiteitspatronen en gevoeligheid samenvat die gerelateerd zijn aan de specifieke locatie en tijd.

2. Ruimtelijk-Temporele Prior Embedding

Naast tekstuele logs, codeert het model gestructureerde signalen direct in de teksttak:

• Temporele Embedding: Tijdstempels worden omgezet in periodieke embeddings met behulp van sinus/cosinus-functies.
• Geografische Embedding: Locaties worden gecodeerd op basis van coördinaten, zonesdensiteit en managementgevoeligheid.
• Deze gestructureerde embeddings worden geprojecteerd in de tekstuele feature-ruimte om aan te sluiten bij de tekstuele prior-beschrijvingen.

3. Prior-Bewuste Multi-Head Attention

Het framework introduceert een Prior-Aware Multi-Head Attention mechanisme. In tegenstelling tot standaard aandacht, injecteert dit module de geprojecteerde contextvector ($\bar{C}_i$) in de query-vectoren. Dit stelt het model in staat om op token-niveau redeneringen uit te voeren die geleid worden door ruimtelijk-temporele priors, wat de interactie tussen het visuele bewijs en de contextuele hypothesen versterkt.

4. Gated Contextual Fusion

Een lichtgewicht gating-mechanisme balanceert adaptief de bijdragen van het gedragsprototype, de normaliteitslog en de prior log. Dit stelt het model in staat om dynamisch te bepalen hoeveel gewicht toe te kennen aan normaliteitsverwachtingen versus prior-beperkingen voor elke specifieke classificatiebeslissing.

5. Optimalisatie-objectieven

Het framework wordt getraind met behulp van een samengestelde verliesfunctie ($L$) bestaande uit drie componenten:

• Contextuele Classificatie Verlies ($L_{cls}$): Standaard cross-entropy verlies voor het matchen van visuele representaties aan context-geconditioneerde hypothesen.
• Symmetrische Contrastieve Verlies ($L_{con}$): Een vision-language alignment objectief om ervoor te zorgen dat visuele features overeenkomen met hun corresponderende contextuele tekstuele hypothesen.
• Counterfactual Context Verlies ($L_{cf}$): Een nieuw verlies dat mismatched hypothesen introduceert (bijv. het wisselen van de normaliteitslog van de ene scène met die van een andere) om het model expliciet te leren de juiste scène-logica te onderscheiden van incorrecte logica, waardoor de contextuele discriminatie wordt versterkt.

Belangrijkste Bijdragen

1. Nieuw Multimodaal Framework: De studie introduceert NSP-ML, dat visuele data fuseert met normaliteitsgestuurde logs en ruimtelijk-temporeel bewuste logs. Deze geïntegreerde representatie maakt een meer contextgevoelige interpretatie van subtiele abnormale gedragingen mogelijk door gebruik te maken van de synergie tussen visueel bewijs en situationele verwachtingen.
2. Expliciete Modellering van Contextuele Priors: In tegenstelling tot eerdere benaderingen die tekst als statische labels behandelen, modelleert dit werk abnormale gedragingen in relatie tot hun afwijking van contextueel verwachte patronen. De introductie van gestructureerde ruimtelijk-temporele embeddings en prior-bewuste aandachtmechanismen versterkt de cross-modale interactie.
3. Robuuste Prestaties en Generaliseerbaarheid: Het framework demonstreert effectiviteit over meerdere datasets. Het bereikt state-of-the-art resultaten op de campus-specifieke CABRH8 dataset en behoudt sterke prestaties op algemene actieherkenningsbenchmarks (UCF-101 en HMDB-51), wat de robuustheid buiten specifieke campusscenario's bevestigt.

Experimentele Resultaten

Experimenten werden primair uitgevoerd op de CABRH8 dataset (5.950 clips, 8 categorieën van abnormaal campusgedrag), met aanvullende validatie op UCF-101 en HMDB-51.

• Prestaties op CABRH8: De voorgestelde NSP-ML-L variant (gebruikmakend van een ViT-L/14 backbone) behaalde een Top-1 nauwkeurigheid van 81,52% en een Top-5 nauwkeurigheid van 99,45%. Dit presteert beter dan bestaande visuele-only methoden (bijv. TimeSformer, Swin-B) en statische tekst-gestuurde benaderingen (bijv. CECL-L, dat 80,26% Top-1 behaalde).
• Efficiëntie: Ondanks de hogere nauwkeurigheid behoudt NSP-ML-L een gunstig efficiëntieprofiel, waarbij 295 GFLOPs vereist zijn en het met 32 FPS draait, wat aanzienlijk efficiënter is dan hoog-kostbare concurrenten zoals HCMT (992 GFLOPs).
• Generalisatie: Op UCF-101 behaalde NSP-ML-L 98,68% nauwkeurigheid, en op HMDB-51 behaalde het 73,32%, waarmee het verschillende state-of-the-art baselines verslaat en een sterke overdraagbaarheid naar algemene actieherkenningstaken demonstreert.
• Ablatie-studies: Experimenten bevestigden dat:
  • Het combineren van normaliteitslogs en ruimtelijk-temporele priors betere resultaten oplevert dan het gebruik van slechts één van beide of het gebruik van enkel gedragsprototypes.
  • Gestructureerde ruimtelijk-temporele embeddings (tijd en locatie) complementaire winsten bieden ten opzichte van tekstuele priors alleen.
  • Het counterfactual context verlies ($L_{cf}$) cruciaal is voor het verbeteren van het vermogen van het model om correcte scène-logica te onderscheiden van incorrecte logica.

Betekenis

Het artikel beweert dat het integreren van normaliteitssturing en ruimtelijk-temporele priors een effectief pad biedt voor het verbeteren van contextgevoelige herkenning van abnormaal gedrag in intelligente campusomgevingen. Door te verschuiven van puur visuele matching naar redeneren over context-geconditioneerde gedragshypothesen, adresseert het NSP-ML framework de ambiguïteit die inherent is aan dynamische, drukke en contextafhankelijke scènes. De resultaten suggereren dat deze aanpak modellen beter in staat stelt om visueel gelijkaardige acties te onderscheiden die verschillen in abnormaliteit op basis van situationele beperkingen, wat een robuustere oplossing biedt voor intelligente surveillance-systemen.