Leveraging Multimodal LLM Descriptions of Activity for Explainable Semi-Supervised Video Anomaly Detection

Il paper propone un nuovo framework semi-supervisionato per la rilevazione di anomalie video che sfrutta le descrizioni testuali di attività e interazioni generate da Modelli Linguistici Multimodali (MLLM) per migliorare sia l'efficacia nel rilevare anomalie complesse sia l'interpretabilità dei risultati.

L'essenziale

Immagina di essere il guardiano di un parco giochi molto affollato. Il tuo compito è stare sveglio 24 ore su 24 e notare se succede qualcosa di strano. Il problema? Ci sono migliaia di persone che camminano, corrono e giocano. È impossibile per un umano guardare ogni singolo secondo di video senza distrarsi.

Questo è il problema che risolve la Rilevazione di Anomalie Video (VAD). Ma i metodi attuali hanno due grossi difetti:

1. Faticano a capire le "stranezze" complesse (come due persone che fanno qualcosa di insolito insieme).
2. Quando trovano un'anomalia, ti dicono solo "Ehi, qui c'è qualcosa di sbagliato", senza spiegarti cosa o perché. È come se un allarme suonasse senza dirti se è un incendio o un gatto che ha urtato un vaso.

Gli autori di questo articolo hanno creato una nuova soluzione chiamata MLLM-EVAD. Ecco come funziona, spiegata con metafore semplici:

1. Il "Traduttore" Intelligente (Il Modello Linguistico)

Immagina di avere un assistente molto intelligente, un "traduttore" che guarda il video e lo trasforma in parole. Invece di guardare solo i pixel (i puntini colorati dello schermo), questo assistente guarda le persone e gli oggetti e descrive cosa stanno facendo.

• Il vecchio metodo: Guardava il video e cercava di indovinare se un movimento era strano basandosi su calcoli matematici complessi (come un detective che guarda le impronte digitali ma non capisce la storia).
• Il nuovo metodo: Chiede all'assistente: "Cosa stanno facendo queste due persone in questo momento?" e l'assistente risponde: "Stanno camminando fianco a fianco sul marciapiede".

2. La "Cassetta degli Attrezzi" delle Normalità (Modelli Esemplari)

Prima di iniziare a monitorare il video in tempo reale, il sistema guarda ore e ore di video "normali" (dove tutto va bene).

• Per ogni scena normale, l'assistente scrive una lista di frasi: "Una persona cammina", "Un cane corre", "Due persone si salutano".
• Il sistema prende queste frasi e crea una cassetta degli attrezzi (o un archivio) delle "cose normali". Non salva tutto, ma solo le frasi più rappresentative, eliminando le ripetizioni. È come avere un dizionario delle azioni accettabili per quel luogo specifico.

3. Il Confronto (La Prova del Nove)

Ora, quando arriva un nuovo video da controllare, il sistema fa la stessa cosa:

1. Guarda due persone che si muovono.
2. Chiede all'assistente: "Cosa stanno facendo?".
3. L'assistente risponde: "Una persona sta spingendo un'altra dentro una scatola gigante".
4. Il sistema prende questa nuova frase e la confronta con la sua cassetta degli attrezzi delle azioni normali.
5. Risultato: "Aspetta! Nella mia cassetta ho frasi come 'camminare' o 'correre', ma non ho mai visto 'spingere qualcuno in una scatola'. Questa frase è molto diversa da tutte le altre!" -> ALLARME!

Perché è così speciale?

• Spiega il "Perché": Se il sistema suona l'allarme, non ti dice solo "Anomalia rilevata". Ti dice: "Ho trovato un'anomalia perché la frase 'spingere in una scatola' non corrisponde a nessuna delle frasi normali che conosco". È come se il detective ti dicesse: "Ho trovato il colpevole perché la sua storia non combacia con nessuna delle alibi normali".
• Capisce le Interazioni: I vecchi sistemi spesso guardavano solo una persona alla volta. Questo nuovo sistema guarda le coppie di oggetti. Capisce che un cane che corre da solo è normale, ma un cane che corre senza guinzaglio in un'area dove tutti gli altri cani hanno il guinzaglio, è strano. Capisce la relazione tra le cose.
• Funziona ovunque: Non ha bisogno di essere riaddestrato ogni volta che cambi luogo. Basta creare una nuova "cassetta degli attrezzi" con le frasi normali di quel nuovo posto.

In sintesi

Gli autori hanno creato un sistema che legge il video come se fosse una storia. Invece di contare i pixel, crea una narrazione di ciò che è normale in un luogo. Quando la storia che sta leggendo diventa strana (perché le parole non corrispondono a quelle che ha imparato prima), suona l'allarme e ti spiega esattamente quale parte della storia non ha senso.

È come avere un guardiano che non solo vede cosa succede, ma ha anche letto il libro delle regole di quel posto e sa dirti esattamente quale regola è stata infranta.

Sommario tecnico

1. Il Problema

L'articolo affronta la Rilevazione di Anomalie Video (VAD) in un contesto semi-supervisionato a scena singola. In questo scenario, il modello viene addestrato esclusivamente su video "nominali" (normali) di una specifica scena, con l'obiettivo di identificare anomalie nei video di test della stessa scena.

Le sfide principali identificate dagli autori sono:

• Mancanza di spiegabilità: I metodi esistenti spesso rilevano anomalie basandosi su features di basso livello (pixel o traiettorie) senza fornire spiegazioni testuali intuitive.
• Difficoltà con anomalie complesse: Le tecniche attuali faticano a rilevare anomalie basate su interazioni tra oggetti (es. una persona che lascia un oggetto a terra, un cane senza guinzaglio), dove i singoli oggetti sono normali ma la loro interazione è anomala.
• Limitazioni dei metodi MLLM esistenti: Gli approcci precedenti basati su Large Language Models Multimodali (MLLM) tendono a operare in contesti multi-scena o debolmente supervisionati, o si limitano a giudizi diretti frame-per-frame, fallendo nel modellare le interazioni specifiche di una scena singola.

2. Metodologia: MLLM-EVAD

Gli autori propongono MLLM-EVAD, un framework che utilizza le descrizioni testuali generate da un MLLM come features di alto livello per modellare il comportamento normale.

Il flusso di lavoro si articola in quattro fasi principali:

1. Rilevazione e Tracciamento degli Oggetti:

   • Vengono utilizzati un rilevatore di oggetti (Detectron2) e un tracker (ByteTrack) per identificare e tracciare gli oggetti nei video di addestramento.
   • Vengono identificate coppie di oggetti in prossimità spaziale (probabile interazione) calcolando una distanza pseudo-3D basata sulla posizione nel piano immagine.
   • Vengono considerati sia gli oggetti singoli che le coppie di oggetti interagenti.

2. Generazione di Descrizioni Testuali:

   • Per ogni coppia di oggetti (o oggetto singolo), vengono estratti due ritagli (crop) da frame separati da un intervallo temporale fisso (es. 1 secondo).
   • Questi ritagli vengono inviati a un agente MLLM (es. GPT-4o o Gemma 3) con un prompt specifico che chiede di descrivere l'attività e l'interazione degli oggetti indicati dalle caselle di delimitazione.
   • L'obiettivo è ottenere una descrizione semantica (es. "Due persone camminano sul marciapiede") che catturi il contesto e l'interazione.

3. Costruzione del Modello (Fase di Addestramento):

   • Le descrizioni testuali generate vengono convertite in vettori (embedding) utilizzando un modello di embedding del linguaggio (Sentence-BERT).
   • Viene applicato un algoritmo di selezione degli esemplari (exemplar selection) per rimuovere le descrizioni ridondanti e costruire un insieme compatto e rappresentativo di "esemplari nominali" (comportamenti normali) per la scena.
   • Vengono creati due insiemi di esemplari: uno per le coppie di oggetti e uno per gli oggetti singoli.

4. Rilevazione delle Anomalie (Fase di Test):

   • Per i video di test, si generano nuove descrizioni e i relativi embedding.
   • L'anomalia viene calcolata misurando la distanza (dissimilarità) tra l'embedding del test e l'esemplare nominale più simile.
   • Un punteggio alto (alta dissimilarità) indica un'anomalia.
   • Spiegabilità: Il sistema può mostrare la descrizione anomala confrontata con la descrizione dell'esemplare normale più simile, fornendo una spiegazione testuale del perché l'evento è anomalo.

3. Contributi Chiave

• Primo approccio MLLM per VAD semi-supervisionato focalizzato sulle interazioni: Il metodo è specificamente progettato per rilevare anomalie complesse derivanti dall'interazione tra oggetti, un punto debole delle tecniche precedenti.
• Nuovo paradigma di utilizzo degli MLLM: Invece di chiedere all'MLLM di decidere direttamente se un frame è anomalo, il metodo usa l'MLLM per costruire una rappresentazione semantica del "normale". Le anomalie sono rilevate come deviazioni da questa rappresentazione linguistica.
• Spiegabilità intrinseca: Il framework fornisce naturalmente spiegazioni testuali per le anomalie rilevate, superando il problema della "scatola nera" tipico dei metodi basati su deep learning.
• Modularità: Il metodo può essere combinato con approcci VAD tradizionali basati su esemplari (come Scene-Graph o Tracklet) per migliorare le prestazioni, aggiungendo features semantiche a features geometriche/traiettorie.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre dataset benchmark: ComplexVAD (focalizzato su interazioni), Avenue e Street Scene.

• Dataset ComplexVAD: Il metodo MLLM-EVAD ha superato i metodi esistenti (incluso Scene-Graph e AnomalyRuler).
  • Combinando MLLM-EVAD con il metodo Scene-Graph, si è raggiunto lo stato dell'arte (SOTA) con un AUC del 25% (RBDC), 70% (TBDC) e 63% (Frame-Level).
  • L'uso di Gemma 3 come MLLM ha mostrato prestazioni superiori rispetto a GPT-4o, grazie a descrizioni più dettagliate e contestuali.
• Dataset Avenue e Street Scene: La combinazione di MLLM-EVAD con il metodo Tracklet EVAL ha migliorato le prestazioni rispetto allo SOTA precedente su entrambi i dataset, dimostrando che le descrizioni testuali aggiungono valore anche in scenari con meno interazioni complesse.
• Valutazione Qualitativa: Un'analisi umana ha confermato che le spiegazioni generate dal modello sono informative e allineate con annotazioni umane, validando la capacità del sistema di fornire spiegazioni comprensibili.

5. Significato e Impatto

Questo lavoro rappresenta un passo significativo verso la VAD spiegabile e basata sul linguaggio.

• Superamento dei limiti dei pixel: Sposta il focus dalla modellazione a livello di pixel o di traiettoria a una comprensione semantica di alto livello delle attività umane e delle interazioni.
• Adattabilità alle scene: A differenza dei metodi multi-scena, questo approccio è specifico per la scena, rendendolo ideale per applicazioni di sorveglianza reale dove le regole di normalità cambiano da luogo a luogo.
• Limitazioni e Futuro: Gli autori riconoscono l'alto costo computazionale degli MLLM (che limita l'uso in tempo reale) e la mancanza di benchmark testuali per la valutazione quantitativa della spiegabilità. Il lavoro futuro si concentrerà sulla distillazione di modelli più piccoli e sulla creazione di dataset con annotazioni testuali ground-truth.

In sintesi, il paper dimostra che l'integrazione di MLLM per la generazione di descrizioni semantiche di interazioni tra oggetti offre un potente strumento per rilevare anomalie complesse in modo accurato e, soprattutto, spiegabile.