Riepilogo Tecnico: SENSE-VAD

Definizione del Problema

I veicoli autonomi (AV) hanno ottenuto progressi significativi nella rilevazione di pericoli cinematici (es. uscite di corsia, ostacoli stazionari), ma rimangono strutturalmente ciechi di fronte a una classe critica di scenari di sicurezza: le anomalie socialmente complesse. Si tratta di situazioni in cui il pericolo non è codificato nelle statistiche del movimento o nell'aspetto, ma nelle relazioni tra gli agenti e nel contesto sociale. Esempi includono un bambino che corre lontano da un tutore, una persona trasportata da un'altra, o un inseguitore che dà la caccia a un pedone. In questi scenari, i singoli agenti possono esibire traiettorie di movimento normali, eppure la configurazione relazionale costituisce un'anomalia che richiede l'intervento immediato dell'AV.

Gli attuali dataset di Video Anomaly Detection (VAD) per la guida autonoma (es. DADA, DoTA, CADP) si concentrano principalmente su incidenti veicolari, outlier cinematici o anomalie di singoli oggetti. Essi mancano della prospettiva egocentrica, delle annotazioni sociali-relazionali dettagliate e della diversità di segnali comportamentali sottili necessari per affrontare questo "long tail" di eventi critici per la sicurezza. Inoltre, i metodi esistenti spesso si affidano alla ricostruzione del movimento o a segnali basati sull'aspetto, che falliscono quando il movimento stesso è statisticamente plausibile ma socialmente aberrante.

Metodologia

Costruzione del Dataset: SENSE-VAD

Gli autori introducono SENSE-VAD, il primo benchmark sintetico per la rilevazione di anomalie video nella guida autonoma, progettato esplicitamente attorno alle anomalie socialmente complesse.

• Piattaforma di Generazione: Il dataset è generato utilizzando il simulatore CARLA attraverso tre versioni (0.9.12, 0.9.15 e 0.10.0) in esecuzione su Unreal Engine 4 e 5. La selezione della versione è specifica per lo scenario per accomodare diversi requisiti di controllo degli agenti (es. controllo scheletrico per scene di trasporto in 0.9.15, locomozione animale in 0.10.0).
• Tassonomia delle Anomalie: Il dataset definisce 15 classi di anomalie suddivise in sei categorie concettuali:
  1. Sicurezza dei Bambini: (es. Bambino che corre via dal tutore, Rapimento, Occlusione del bambino).
  2. Comportamento di Gruppo: (es. Inseguimento Polizia, Caos della Folla).
  3. Comportamento Individuale: (es. Comportamento Anomalo della Persona, Persona Trasportata).
  4. Interazione Persona-Oggetto: (es. Furto di Borsa, Borsa Abbandonata, Caduta di Oggetto).
  5. Interazione Ciclista: (es. Pericolo Ciclista, Abbandono Borsa-Ciclista, Collisione Ciclista-Veicolo).
  6. Veicolo e Agente: (es. Collisione Veicolo-Pedone, Cane che si allontana dal proprietario).
• Principio di Design: Un principio cardine è la separazione dell'anomalia sociale dall'anomalia statistica del movimento. Molti scenari coinvolgono movimenti che appaiono normali in isolamento (es. un bambino che corre) ma sono anomali a causa del contesto relazionale (es. correre lontano da un tutore verso una strada).
• Composizione dei Dati:
  • Clip Sintetiche: 65 clip di anomalie (21 di addestramento, 44 di test) con etichette binarie per frame. Ogni classe di anomalia è accoppiata con una clip normale "comportamentalmente corrispondente" (es. un bambino che cammina tranquillamente accanto a un tutore) per evitare che i modelli apprendano artefatti visivi specifici del simulatore.
  • Sonde Real-World: Il set di test include clip reali normali e anomale (es. persone che agiscono in modo erratico in pubblico) per valutare il trasferimento sim-to-real.
  • Scala Totale: 540.888 frame su 108 clip, registrati a una risoluzione di 800×600 con una prospettiva da dashcam egocentrica.

Protocollo di Valutazione

Gli autori mettono in benchmark 11 metodi VAD allo stato dell'arte che rappresentano quattro regimi di supervisione:

1. Semi-supervisionato: Addestrato solo su dati normali (es. Future Frame Prediction).
2. Debolmente supervisionato: Addestrato con etichette di anomalia a livello di video (es. VadCLIP, VERA, REWARD).
3. Non supervisionato: Nessuna etichetta utilizzata (es. NP-VAD, CLAP).
4. Senza addestramento (Training-free): Ragionamento tramite modelli di fondazione LLM/VLM (es. LAVAD, AnomalyRuler, VADTree).

Inoltre, è stata condotta uno Studio di Probing VLM utilizzando Qwen3-VL-4B-Instruct con domande strutturate (Percezione, Predizione, Pianificazione, Sicurezza) per determinare se i fallimenti derivino da limitazioni nel rilevamento degli oggetti o da una mancanza di ragionamento sociale.

Risultati Chiave

Prestazioni del Benchmark

• Fallimento Generale: Nessun metodo ha superato il 57,2% di AUC sul set di test. Il metodo con le migliori prestazioni è stato l'unsupervised NP-VAD (57,15%), seguito da CLAP (56,12%).
• Inversione dei Metodi Cinematici: I metodi che si affidano alla predizione del movimento o alla distanza dalle distribuzioni nominali (es. FFP, REWARD, BN-WVAD) hanno performato al di sotto del caso (37–44% AUC). Ciò conferma che le anomalie socialmente complesse sono cinematicamente ordinarie e quindi indistinguibili dal movimento normale tramite standard feature statistiche.
• Modelli di Fondazione: I metodi senza addestramento che utilizzano VLM/LLM (es. LAVAD, AnomalyRuler) si sono raggruppati vicino alla prestazione casuale (39–49% AUC).
• Inversione della Gerarchia di Supervisione: Contrariamente ai tipici benchmark VAD, i metodi non supervisionati hanno superato quelli supervisionati, suggerendo che il bias indotto dalle etichette nei modelli supervisionati fuorvia attivamente i modelli sulle anomalie sociali.

Risultati del Probing VLM

Lo studio di probing ha rivelato che il fallimento dei VLM è rappresentazionale, non percettivo:

• Rilevamento Oggetti vs Contesto Sociale: Il modello ha rilevato con successo gli agenti (alta recall nelle domande di Percezione) ma non è riuscito a registrare il contesto relazionale che rendeva la scena anomala.
• Fallimento della Domanda di Sicurezza: Il modello ha risposto "pericoloso" per il 100% dei frame (sia normali che anomali), indicando una dominanza dei prior linguistici rispetto al grounding visivo.
• Collasso del Ragionamento: Quando interrogato su pianificazione o predizione, il modello era in realtà meno propenso a segnalare l'anomalia nei frame anomali rispetto a quanto lo fosse nel generare falsi allarmi nei frame normali. L'anomalia non è stata propagata nel processo decisionale del modello.

Significato e Rivendicazioni

L'articolo sostiene che le anomalie socialmente complesse costituiscono una sfida distinta e attualmente irrisolta per la percezione della guida autonoma.

1. Identificazione del Gap: Gli attuali sistemi di percezione AV sono ottimizzati per segnali di aspetto e traiettoria, rendendoli ciechi alle anomalie definite dalle relazioni tra gli agenti.
2. Contributo del Dataset: SENSE-VAD colma questo vuoto fornendo il primo benchmark egocentrico, etichettato per frame, specificamente per le anomalie sociali, distinguendole dagli outlier basati sul movimento.
3. Insight Metodologico: I risultati dimostrano che i raffinamenti dei modelli cinematici o basati sull'aspetto esistenti sono insufficienti. Una rilevazione affidabile richiede un ragionamento esplicito sulle relazioni sociali tra gli agenti.
4. Direzione Futura: Gli autori sostengono che i futuri sistemi di percezione AV debbano andare oltre le query zero-shot dei modelli di fondazione e invece utilizzare protocoli di addestramento che forniscano una supervisione diretta del contesto sociale, sfruttando potenzialmente modelli basati su scene-graph o su oggetti per rappresentare le strutture relazionali.

L'articolo conclude che, sebbene SENSE-VAD sia sintetico, il suo design e l'inclusione di sonde real-world forniscono una base necessaria per sviluppare AV capaci di anticipare le anomalie sociali piuttosto che limitarsi a reagire agli hazard cinematici.