Sintesi Tecnica: NSP-ML per il Riconoscimento di Comportamenti Anomali

Definizione del Problema

Il riconoscimento di comportamenti anomali negli ambienti universitari è fondamentale per la sorveglianza intelligente e la gestione della sicurezza. Sebbene i metodi esistenti abbiano fatto progressi, essi si affidano prevalentemente alle informazioni visive. Questa dipendenza crea un limite significativo: le rappresentazioni visive da sole spesso non riescono a distinguere tra comportamenti che appaiono simili ma che assumono significati diversi in base ai vincoli contestuali (ad esempio, tempo, posizione e modelli di attività attesi). Negli ambienti universitari, un'azione come "correre" può essere normale in un campo giochi, ma anomala in un corridoio di un laboratorio. Gli attuali approcci multimodali trattano gli input testuali come etichette statiche o descrizioni generiche, fallendo nell'incorporare esplicitamente le norme situazionali o la conoscenza pregressa associata a specifiche condizioni spazio-temporali. Di conseguenza, questi modelli faticano con i comportamenti anomali dipendenti dal contesto, dove la definizione di "anomalia" dipende dalla deviazione dai modelli attesi piuttosto che dalla sola apparenza visiva.

Metodologia

Il documento propone NSP-ML (Normality-Guided and Spatiotemporal Prior-Aware Multimodal Learning), un framework progettato per fondere le rappresentazioni visive con due tipi specifici di conoscenza testuale contestuale: log guidati dalla normalità e log consapevoli dei priori spazio-temporali.

1. Costruzione del Contesto Testuale

Invece di utilizzare etichette di classe statiche, il framework costruisce un ipotesi comportamentale condizionata dal contesto ($H_{i,c}$) per ogni clip video $i$ e classe candidata $c$. Questa ipotesi è formata dalla concatenazione di:

• Prototipo del Comportamento ($B_c$): Una breve descrizione semantica del comportamento.
• Log di Normalità ($N_i$): Testo che descrive i comportamenti attesi nelle specifiche condizioni del campus.
• Log del Prior Spazio-Temporale ($P_i$): Testo che riassume i livelli di rischio, i modelli di attività e la sensibilità relativi alla posizione e al tempo specifici.

2. Embedding Spazio-Temporale Prior

Oltre ai log testuali, il modello codifica segnali strutturati direttamente nella branca testuale:

• Embedding Temporale: I timestamp vengono convertiti in embedding periodici utilizzando funzioni seno/coseno.
• Embedding Geografico: Le posizioni sono codificate in base alle coordinate, alla densità della zona e ai livelli di sensibilità della gestione.
• Questi embedding strutturati sono proiettati nello spazio delle caratteristiche testuali per allinearsi con le descrizioni dei priori testuali.

3. Attenzione Multi-Testa Consapevole del Prior

Il framework introduce un meccanismo di Attenzione Multi-Testa Consapevole del Prior (Prior-Aware Multi-Head Attention). A differenza dell'attenzione standard, questo modulo inietta il vettore di contesto proiettato ($\bar{C}_i$) nei vettori di query. Ciò consente al modello di eseguire un ragionamento a livello di token guidato dai priori spazio-temporali, migliorando l'interazione tra l'evidenza visiva e le ipotesi contestuali.

4. Fusione Contestuale a Porta (Gated Contextual Fusion)

Un leggero meccanismo di gating bilancia adattivamente i contributi del prototipo del comportamento, del log di normalità e del log del prior. Ciò consente al modello di determinare dinamicamente quanto peso assegnare alle aspettative di normalità rispetto ai vincoli del prior per ogni specifica decisione di classificazione.

5. Obiettivi di Ottimizzazione

Il framework viene addestrato utilizzando una funzione di perdita composita ($L$) composta da tre componenti:

• Perdita di Classificazione Contestuale ($L_{cls}$): Cross-entropy standard per l'abbinamento delle rappresentazioni visive alle ipotesi condizionate dal contesto.
• Perdita Contrastiva Simmetrica ($L_{con}$): Un obiettivo di allineamento visione-linguaggio per garantire che le caratteristiche visive corrispondano alle loro ipotesi testuali contestuali.
• Perdita di Contesto Controfattuale ($L_{cf}$): Una nuova perdita che introduce ipotesi discordanti (ad esempio, scambiando il log di normalità di una scena con un altro) per insegnare esplicitamente al modello a distinguere la logica corretta della scena dalla logica errata, rafforzando così la discriminazione contestuale.

Contributi Chiave

1. Nuovo Framework Multimodale: Lo studio introduce NSP-ML, che fonde i dati visivi con log guidati dalla normalità e log consapevoli dei priori spazio-temporali. Questa rappresentazione integrata consente un'interpretazione più sensibile al contesto dei comportamenti anomali sottili, sfruttando la sinergia tra l'evidenza visiva e le aspettative situazionali.
2. Modellazione Esplicita dei Priori Contestuali: A differenza degli approcci precedenti che trattano il testo come etichette statiche, questo lavoro modella i comportamenti anomali in relazione alla loro deviazione dai modelli contestualmente attesi. L'introduzione di embedding spazio-temporali strutturati e meccanismi di attenzione consapevole del prior rafforza l'interazione cross-modale.
3. Prestazioni Robuste e Generalizzabilità: Il framework dimostra efficacia su molteplici dataset. Raggiunge risultati allo stato dell'arte sul dataset specifico per i campus CABRH8 e mantiene prestazioni elevate sui benchmark generali di riconoscimento delle azioni (UCF-101 e HMDB-51), confermando la sua robustezza oltre i singoli scenari universitari.

Risultati Sperimentali

Gli esperimenti sono stati condotti principalmente sul dataset CABRH8 (5.950 clip, 8 categorie di comportamenti anomali nel campus), con ulteriori validazioni su UCF-101 e HMDB-51.

• Prestazioni su CABRH8: La variante proposta NSP-ML-L (che utilizza un backbone ViT-L/14) ha raggiunto un'accuratezza Top-1 dell'81,52% e un'accuratezza Top-5 del 99,45%. Questo supera i metodi puramente visivi esistenti (ad esempio, TimeSformer, Swin-B) e gli approcci guidati da testo statico (ad esempio, CECL-L, che ha ottenuto l'80,26% di Top-1).
• Efficienza: Nonostante l'accuratezza superiore, NSP-ML-L mantiene un profilo di efficienza favorevole, richiedendo 295 GFLOPs e operando a 32 FPS, il che è significativamente più efficiente rispetto ai competitor ad alto costo come HCMT (992 GFLOPs).
• Generalizzazione: Su UCF-101, NSP-ML-L ha raggiunto il 98,68% di accuratezza, e su HMDB-51 ha raggiunto il 73,32%, superando diversi baseline allo stato dell'arte e dimostrando una forte trasferibilità ai compiti di riconoscimento delle azioni generali.
• Studi di Ablazione: Gli esperimenti hanno confermato che:
  • La combinazione di log di normalità e priori spazio-temporali produce risultati migliori rispetto all'uso di uno solo di essi o dell'uso dei soli prototipi comportamentali.
  • Gli embedding spazio-temporali strutturati (tempo e posizione) forniscono guadagni complementari rispetto ai soli priori testuali.
  • La perdita di contesto controfattuale ($L_{cf}$) è cruciale per migliorare la capacità del modello di distinguere la logica corretta della scena dalla logica errata.

Significato

Il documento sostiene che l'incorporazione della guida alla normalità e dei priori spazio-temporali fornisce un percorso efficace per migliorare il riconoscimento di comportamenti anomali sensibili al contesto negli ambienti universitari intelligenti. Passando dal puro abbinamento visivo al ragionamento sulle ipotesi comportamentali condizionate dal contesto, il framework NSP-ML affronta l'ambiguità inerente alle scene dinamiche, affollate e dipendenti dal contesto. I risultati suggeriscono che questo approccio permette ai modelli di distinguere meglio tra azioni visivamente simili che differiscono in anormalità in base ai vincoli situazionali, offrendo una soluzione più robusta per i sistemi di sorveglianza intelligente.