Action Hints: Semantic Typicality and Context Uniqueness for Generalizable Skeleton-based Video Anomaly Detection

1. Enunciazione del Problema

La Rilevazione di Anomalie Video Zero-Shot (ZS-VAD) mira a localizzare temporalmente eventi anomali nei video di sorveglianza senza utilizzare dati di addestramento dal dominio target. Questo è fondamentale per scenari che coinvolgono la privacy dei dati o nuovi dispiegamenti di sorveglianza in cui i dati target non sono disponibili.

• Limitazioni Attuali:
  • Metodi basati su Frame/Oggetto: Soffrono di spostamenti di dominio nel contesto e nell'aspetto umano quando si passa a nuove scene.
  • Metodi basati su Scheletri Esistenti: Sebbene eliminino le disparità di sfondo/aspetto, si affidano a rappresentazioni scheletriche di basso livello (ad esempio, previsione di coordinate, ricostruzione) apprese tramite auto-supervisione. Mancano di comprensione semantica, rendendoli incapaci di distinguere nuove anomalie che assomigliano a pattern normali.
  • Confini Limitati al Dominio: I metodi esistenti si affidano ciecamente ai confini di normalità definiti dai dati di addestramento sorgente, portando alla classificazione errata di eventi normali non visti come anomalie in nuove scene.

2. Metodologia

Gli autori propongono un nuovo framework che sfrutta la Tipicità Semantica dell'Azione e l'Unicità del Contesto per realizzare una ZS-VAD generalizzabile. L'approccio consta di due moduli principali:

A. Modellazione della Tipicità Guidata dal Linguaggio (Fase di Addestramento)

Questo modulo mira a imparare una comprensione semantica di alto livello delle azioni piuttosto che coordinate di basso livello.

1. Allineamento Scheletro-Testo: Il modello utilizza un dataset esterno di riconoscimento delle azioni (Kinect-400) invece di dati specifici per la VAD. Allinea frammenti di scheletri con etichette testuali utilizzando un encoder di scheletri ($E_s$) e un encoder di testo ($E_t$), proiettando gli scheletri in uno spazio semantico allineato al linguaggio.
2. Selezione della Conoscenza di Tipicità (Distillazione LLM):
   • Un Large Language Model (LLM) viene sollecitato a identificare le 20 azioni normali più tipiche (ad esempio, camminare, leggere) e le 20 azioni anomale più tipiche (ad esempio, combattere, paracadutismo) dalle 400 classi di azioni.
   • Frammenti di scheletri di alta qualità corrispondenti a queste classi "tipiche" selezionate vengono filtrati in base alla similarità scheletro-testo.
3. Apprendimento della Distribuzione di Tipicità:
   • Un Flusso di Normalizzazione (NF) viene addestrato sulle caratteristiche normali e anomale tipiche selezionate.
   • Il NF modella la distribuzione di probabilità di questi comportamenti. Durante l'inferenza, il punteggio di anomalia ($S^t$) è derivato dal log-verosimiglianza negativo di un frammento di test sotto la distribuzione "normale" appresa. Ciò permette al modello di generalizzare a nuove scene basandosi su priori semantici piuttosto che su statistiche specifiche del dataset.

B. Analisi dell'Unicità del Contesto in Tempo di Test (Fase di Inferenza)

Per gestire scenari in cui le azioni non sono strettamente "tipiche" (ad esempio, un'azione normale che è anomala in un contesto specifico), il modello analizza il contesto spaziotemporale.

1. Costruzione del Grafo di Contesto: Per ogni frammento di scheletro, vengono costruiti due grafi:
   • Grafo Inter-persona ($G_c$): Collega la persona corrente agli individui vicini nello spazio.
   • Grafo di Auto-ispezione ($G_s$): Collega la persona corrente ai suoi stati passati/futuri nel tempo (escludendo i vicini immediati per evitare ridondanza).
2. Punteggio di Unicità: Il modello calcola la distanza delle caratteristiche tra il frammento di query e i suoi vicini in entrambi i grafi. Poiché le anomalie sono rare e uniche, un'alta distanza indica un'anomalia. Il punteggio di unicità ($S^u$) è il massimo delle distanze inter-persona e di auto-ispezione.
3. Punteggio Olistico: Il punteggio finale di anomalia è una combinazione normalizzata del Punteggio di Tipicità ($S^t$) e del Punteggio di Unicità ($S^u$):
   $$S_i = \frac{S^t_i - \mu_t}{\sigma_t} + \frac{S^u_i - \mu_u}{\sigma_u}$$
   Ciò integra priori semantici (cosa dovrebbe essere normale/anomalo) con evidenze contestuali (cosa è effettivamente unico in questa scena).

3. Contributi Chiave

1. Nuovo Framework: Un framework ZS-VAD basato su scheletri che va oltre l'apprendimento di rappresentazioni di basso livello verso la tipicità semantica e l'unicità del contesto.
2. Modulo di Tipicità Guidato dal Linguaggio: Introduce un metodo per distillare la conoscenza degli LLM su comportamenti normali/anomali tipici in un encoder di scheletri, creando uno spazio semantico generalizzabile senza addestramento sul dominio target.
3. Analisi di Unicità in Tempo di Test: Propone un meccanismo dinamico e adattivo alla scena che analizza le differenze spaziotemporali tra individui e step temporali per rilevare anomalie specifiche del contesto.
4. Prestazioni all'Avanguardia: Raggiunge risultati superiori su quattro dataset su larga scala (ShanghaiTech, UBnormal, NWPU, UCF-Crime) che coprono oltre 100 scene di sorveglianza non viste, superando sia i metodi full-shot che altri metodi zero-shot.

4. Risultati Sperimentali

Il metodo è stato valutato su quattro dataset senza dati di addestramento dai domini target:

• Prestazioni: Il metodo proposto ha raggiunto risultati State-of-the-Art (SOTA) su tutti i dataset.
  • ShanghaiTech: 84,1% AUC (vs. 85,9% full-shot STG-NF, ma 0-shot).
  • UBnormal: 74,5% AUC (un significativo +5,7% di miglioramento rispetto alla baseline zero-shot STG-NF).
  • NWPU: 62,1% AUC (+4,2% rispetto alla baseline).
  • UCF-Crime: 62,7% AUC (+10,8% rispetto alla baseline).
• Confronto con Full-Shot: Remarkabilmente, le prestazioni zero-shot di questo metodo sono comparabili, e in alcuni casi superiori, alle prestazioni dei metodi full-shot addestrati sui dati target.
• Efficienza: Il modello è leggero (~5,0M parametri), significativamente più piccolo degli approcci basati su Large Vision-Language Model (LVLM) (ad esempio, LAVAD con 13B+ parametri). La velocità di inferenza è dominata dall'estrazione dello scheletro, non dalla logica di punteggio dell'anomalia.

5. Significato e Impatto

• Sorveglianza che Preserva la Privacy: La capacità di dispiegare il rilevamento di anomalie in nuovi ambienti senza raccogliere o addestrare su dati video locali affronta preoccupazioni critiche sulla privacy.
• Generalizzazione: Spostandosi dall'"apprendere la normalità dai dati" all'"apprendere la normalità da concetti semantici e contesto", il modello supera il divario di dominio che affligge i sistemi VAD tradizionali.
• Dispiegamento Pratico: Il framework è computazionalmente efficiente e non richiede ragionamenti multi-stadio complessi o massicci LLM durante l'inferenza, rendendolo adatto al dispiegamento reale su edge.
• Cambiamento di Paradigma: Il paper dimostra che i dati scheletrici, quando combinati con priori semantici e analisi contestuale, sono una modalità altamente efficace per il rilevamento di anomalie zero-shot, superando gli approcci basati su frame e oggetti in contesti cross-scenario.