Scene-aware Transformer encoder with Multi Instance Learning-guided Attention Mechanism for Anomaly Detection in Video Surveillance

Riepilogo Tecnico: Encoder Transformer Sensibile alla Scena con Meccanismo di Attenzione Guidato dal Multi-Instance Learning per il Rilevamento di Anomalie nella Videosorveglianza

Problematica
Il rilevamento di anomalie nei video (Video Anomaly Detection - VAD) è fondamentale per i moderni sistemi di sorveglianza a causa dell'enorme volume di dati video che non possono essere monitorati manualmente. Tuttavia, gli approoli esistenti affrontano limitazioni significative. I modelli tradizionali che si affidano a caratteristiche spazio-temporali spesso mancano della consapevolezza contestuale della scena circostante, portando alla classificazione errata di attività normali come anomalie (falsi positivi) o al mancato rilevamento di eventi anomali sottili. Inoltre, molti modelli faticano con la generalizzabilità, ottenendo buoni risultati sui benchmark ma fallendo in ambienti reali non visti, dove la stessa azione può essere normale in un contesto ma anomala in un altro. Gli attuali metodi si affidano inoltre frequentemente ad architetture "black box", sollevando preoccupazioni riguardanti l'interpretabilità e la fiducia nelle applicazioni di sicurezza.

Metodologia
Gli autori propongono un framework integrato chiamato STAM (Scene-aware Transformer encoder with Multi Instance Learning-guided Attention Mechanism). L'architettura impiega un design a due rami per ottimizzare congiuntamente la dinamica spazio-temporale e gli embedding del contesto della scena:

1. Embedding della Scena tramite Grafi Contrastivi (CGSE):

   • Per catturare i contesti specifici dell'ambiente, il modello utilizza l'apprendimento contrastivo combinato con una Rete Convoluzionale su Grafo (GCN).
   • Le scene sono modellate come grafi dove gli oggetti sono nodi e le relazioni sono archi. Questo preserva la struttura spaziale della scena invece di collassarla in un vettore piatto.
   • Il modello genera vettori di embedding della scena trattando i frame come sacchi di nodi, propagando messaggi attraverso il grafo e aggregando le rappresentazioni intermedie.
   • Questi embedding sono addestrati tramite supervisione debole da didascalie di immagini, utilizzando una perdita contrastiva per avvicinare strutture di scena simili e allontanare quelle dissimilarmente.

2. Estrazione delle Caratteristiche Spazio-Temporali (I3D):

   • Gli snippet video sono elaborati utilizzando una Inflated 3D ConvNet (I3D).
   • Il modello I3D estende i kernel di convoluzione 2D in 3D per catturare sia le dinamiche spaziali che quelle temporali. Elabora due stream: frame RGB grezzi per le caratteristiche di aspetto e campi di flusso ottico per le caratteristiche di movimento.
   • Questi stream vengono concatenati per formare un vettore di caratteristiche spazio-temporali combinato per ogni snippet.

3. Encoder Transformer con Attenzione Guidata da MIL:

   • L'innovazione principale è un Encoder Transformer dove il vettore di embedding della scena è esplicitamente codificato come un speciale token CLS (token di contesto globale).
   • Il modello utilizza una configurazione Multi-Instance Learning (MIL) in cui un video è trattato come un "sacco" di snippet. Se un video è anomalo, almeno uno snippet all'interno del sacco deve essere anomalo.
   • Viene impiegato un Meccanismo di Attenzione guidato da MIL personalizzato. A differenza dell'attenzione standard, questo meccanismo utilizza l'embedding della scena (token CLS) come aggregatore globale per modulare i pesi di attenzione dei singoli token spazio-temporali.
   • Ciò consente al modello di dare priorità agli snippet anomali in base al contesto globale della scena, ridefinendo efficacementamente la ponderazione delle anomalie invece di affidarsi all'aggregazione convenzionale (pooling max o media).
   • Un allarme viene attivato se il punteggio di attenzione aggregato supera una specifica soglia (0.5).

Contributi Chiave
Il documento delinea tre contributi primari:

• Embedding di Scena Contrastivi: Introduzione di vettori di embedding della scena derivati dall'apprendimento contrastivo e dalle GCN per catturare un contesto ambientale discriminante, migliorando l'accuratezza del rilevamento in scenari complessi.
• Estrazione delle Caratteristiche I3D: Impiego della Inflated 3D ConvNet per modellare efficacemente le dinamiche temporali e spaziali, fornendo il contesto essenziale per un accurato rilevamento delle anomalie.
• Framework STAM: Un nuovo encoder transformer integrato con un Meccanismo di Attenzione guidato da MIL che tratta gli embedding della scena come un token CLS globale. Questo design dirige esplicitamente l'attenzione a livello di snippet, dando priorità ai segmenti anomali pur considerando il contesto della scena per un rilevamento robusto.

Risultati Sperimentali
Il modello STAM proposto è stato valutato sul dataset UCF-Crime (1900 video non ritagliati) ed è stato validato sul dataset UCF101 per le prestazioni cross-dataset.

• Metriche di Prestazione: Sul dataset UCF-Crime, STAM ha raggiunto un'Accuratezza del 99,85% e un AUC (Area Under the Curve) del 99,98%.
• Analisi Comparativa: STAM ha superato i modelli baseline tra cui I3D-MIL, SpatioTemporal-Transformer (ST-Trans), GAN-MIL, BiLSTM e ConvLSTM. Ad esempio, ha superato il modello ConvLSTM (99,06% di accuratezza) e il modello Dual Network in MIL (DD-MIL).
• Validazione Cross-Dataset: Testato su UCF101, STAM ha mantenuto alte prestazioni (99,85% di accuratezza e 99,96% AUC), dimostrando robustezza negli ambienti non visti rispetto ai baseline che faticano con la generalizzazione.
• Studio di Ablazione: L'analisi statistica (t-test accoppiati) ha confermato che l'inclusione degli embedding della scena e del meccanico di attenzione MIL migliora significativamente le prestazioni rispetto alle varianti prive di questi componenti (ad esempio, un Transformer senza consapevolezza della scena ha raggiunto il 96,15% di AUC rispetto al 99,98% del modello completo).
• Efficienza: Sebbene il modello abbia una maggiore complessità computazionale ($O(T^2d_f + n_e d_s)$) e una velocità di inferenza leggermente più lenta (52 fps) rispetto ai modelli più semplici, soddisfa comunque i requisiti di tempo reale e offre un'accuratezza superiore.

Significatività e Rivendicazioni
Gli autori affermano che la significatività di questo lavoro risiede nello spostamento della ricerca VAD dal puro rilevamento di anomalie temporali a modelli olistici guidati dal contesto.

• Interpretabilità Contestuale: Codificando esplicitamente la struttura della scena, il modello affronta la "dipendenza dal contesto" delle anomalie, riducendo i falsi allarmi causati dall'interpretazione errata di azioni normali in specifici ambienti.
• Apprendimento Debolmente Supervisionato: Il framework gestisce efficacementmente la supervisione debole (solo etichette a livello di video) utilizzando l'attenzione MIL per localizzare le anomalie senza richiedere annotazioni a livello di frame.
• Robustezza: L'integrazione dell'apprendimento contrastivo con le GCN fornisce una nuova prospettiva sulle strutture relazionali, migliorando la generalizzazione in ambienti non visti.
• Impatto Operativo: Gli autori sostengono che la riduzione dei falsi allarmi e la capacità di distinguere tra comportamenti benigni e sospetti in base al contesto ambientale rendono il sistema altamente rilevante per domini critici come la sicurezza pubblica, il monitoraggio del traffico e la gestione delle folle.

Il documento conclude che questa architettura a due rami stabilisce un nuovo standard per il rilevamento delle anomalie e apre la strada a futuri sistemi di sorveglianza multimodali.