Are Multimodal LLMs Ready for Surveillance? A Reality Check on Zero-Shot Anomaly Detection in the Wild

Questo studio dimostra che, sebbene i modelli linguistici multimodali possano essere adattati per il rilevamento di anomalie video tramite istruzioni specifiche, soffrono di un forte bias conservativo in modalità zero-shot che ne limita l'utilità pratica a causa di una scarsa capacità di recupero (recall) in ambienti reali.

L'essenziale

Immagina di avere un super-intelligente assistente virtuale, come un detective digitale che ha letto milioni di libri, visto milioni di film e conosce perfettamente il comportamento umano. Questo è ciò che sono i Modelli Linguistici Multimodali (MLLM) oggi: sono così bravi a capire le immagini e le parole che sembrano quasi umani.

Ma la domanda che si fanno gli autori di questo studio è: "Se mandiamo questo super-detective a fare il guardia notturna in un vero quartiere, riesce davvero a notare i ladri o i pericoli?"

Ecco cosa hanno scoperto, spiegato in modo semplice:

1. Il Problema: Il Detective è troppo "paura"

Gli scienziati hanno provato a usare questi modelli intelligenti per guardare video di telecamere di sicurezza (come quelle nei parchi o nei centri commerciali) e chiedere loro: "C'è qualcosa di strano qui?".

Hanno scoperto che i modelli hanno un problema di "paura".
Immagina un guardiacorpore che, se vede un movimento sospetto, pensa: "Meglio non dire nulla, potrei sbagliare e sembrare stupido".

• Cosa succede: Il modello è quasi sempre d'accordo che "tutto è normale". Se vede un ladro che scappa, spesso dice: "No, è tutto ok".
• Il risultato: È molto preciso quando dice che c'è un problema (quasi mai si sbaglia a dire "c'è un ladro"), ma manca quasi tutti i ladri reali. È come un metal detector che non suona mai, a meno che tu non gli metta in mano un'arma di metallo puro; altrimenti, ignora tutto.

2. La Soluzione Magica: Dare istruzioni specifiche

Il team ha scoperto che il problema non è che il modello è "cieco", ma che non sa cosa cercare.
Se gli chiedi genericamente: "C'è qualcosa di strano?", lui pensa: "Non so cosa intendi per strano, meglio dire di no".

Ma se gli dai un promemoria specifico (una "lista della spesa" mentale), le cose cambiano drasticamente.

• L'analogia: È come se invece di dire a un cuoco "Prepara qualcosa di buono", gli dicessi: "Oggi dobbiamo cucinare un piatto piccante con peperoncini rossi".
• Cosa è successo: Quando gli scienziati hanno aggiunto istruzioni precise (es. "Cerca persone che corrono, oggetti lasciati incustoditi, o comportamenti aggressivi"), il modello ha smesso di avere paura. Ha iniziato a vedere i pericoli molto meglio.
• Il risultato: La capacità di trovare i problemi (chiamata "recall") è saltata da un misero 5% a oltre il 50%. Il modello è passato da "guardiano addormentato" a "sentinella sveglia".

3. La Durata del Video: Più tempo non significa sempre meglio

Hanno anche provato a mostrare al modello video di durata diversa: 1 secondo, 2 secondi o 3 secondi.

• L'idea: Pensavano che più tempo il modello avesse per guardare, meglio sarebbe stato.
• La realtà: A volte, guardare un video più lungo aiuta (come guardare un film intero invece di un fotogramma), ma a volte no. Se il video è troppo lungo o confuso, il modello si perde nei dettagli e non capisce più il punto. È come cercare di trovare un ago in un pagliaio: se il pagliaio è troppo grande, non lo trovi.

4. La Conclusione: Non sono ancora pronti per la strada

Il messaggio finale della ricerca è un reality check (una verifica della realtà).
Questi modelli sono incredibili per capire film, fare riassunti o rispondere a domande strane. Ma per la sicurezza reale (come fermare un crimine in tempo reale), non sono ancora perfetti.

• Sono troppo conservatori: Tendono a ignorare i pericoli per non fare errori.
• Hanno bisogno di guida: Non possono lavorare da soli ("zero-shot"). Hanno bisogno che un umano gli dica esattamente cosa cercare, altrimenti restano confusi.

In sintesi:
Questi "super-detective" digitali sono molto intelligenti, ma sono come un bambino geniale che ha paura di alzare la mano in classe. Se gli dai la mano e gli dici esattamente cosa cercare, diventano ottimi. Ma se li lasci soli in un parco affollato, probabilmente non noteranno nulla di strano. Per usarli davvero nelle telecamere di sicurezza, dobbiamo ancora imparare a istruirli meglio e a calibrare la loro "paura" di sbagliare.

Sommario tecnico

1. Il Problema: Il Divario tra Comprensione Video e Affidabilità Operativa

Il lavoro affronta la questione critica se i Modelli Linguistici Multimodali (MLLM) siano pronti per essere utilizzati in scenari reali di Rilevamento di Anomalie Video (VAD) per la sorveglianza.

• Contesto: Sebbene i MLLM abbiano dimostrato competenze generali impressionanti nella comprensione video (spesso testati su benchmark curati come LVBench o MMBench-Video), la loro affidabilità in ambienti di sorveglianza reali ("in the wild") è scarsamente esplorata.
• La Sfida: La sorveglianza reale presenta rumore, ambiguità semantica, soggetti a bassa risoluzione e contesti in cui il significato di "anomalia" è altamente dipendente dal contesto (es. correre è normale in un parco ma sospetto in un'area riservata).
• Il Gap Decisionale: La maggior parte degli studi esistenti si basa su metriche di ranking (come AUC-ROC) utili per confronti offline, ma non forniscono i confini decisionali azionabili necessari per i sistemi di allerta in tempo reale. Inoltre, i modelli tendono a un bias conservativo: in assenza di istruzioni specifiche, preferiscono classificare tutto come "normale", portando a un crollo del recall (mancato rilevamento di eventi critici) pur mantenendo un'alta precisione.

2. Metodologia

Gli autori propongono un framework che riformula il rilevamento delle anomalie non come un problema di ricostruzione o deviazione della posa, ma come un compito di classificazione binaria guidato dal prompt sotto supervisione temporale debole.

• Setup del Problema:

  • I video di test vengono segmentati in clip non sovrapposte di durata fissa (1s, 2s, 3s).
  • Le etichette a livello di fotogramma vengono propagate a livello di clip: una clip è considerata anomala se contiene almeno un fotogramma anomalo.
  • Il compito per il MLLM è decidere se una clip è "Anomala" (1) o "Normale" (0).

• Sperimentazione e Prompting:

  • Dataset: Valutazione su ShanghaiTech e CHAD (Charlotte Anomaly Dataset), quest'ultimo caratterizzato da risoluzioni più elevate e scenari più complessi.
  • Modelli: Utilizzo di modelli di stato dell'arte come Gemini 2.5 Flash Lite (scelto per la sua capacità di analisi video nativa senza pre-processing a frame) e varianti di GPT.
  • Variabili Sperimentali:
    1. Specificità del Prompt: Confronto tra prompt generici, prompt "medi" e prompt "lungi/dettagliati", generati sia manualmente che tramite altri LLM.
    2. Contesto di Classe (+ Class): Aggiunta di istruzioni specifiche che definiscono esplicitamente cosa costituisce un'anomalia in quel contesto (es. "comportamento umano inaspettato o pericoloso").
    3. Finestra Temporale: Analisi dell'impatto della durata della clip (1s vs 3s) sulla sensibilità del modello.

3. Risultati Chiave

L'analisi empirica rivela risultati contrastanti che mettono in luce i limiti attuali dei MLLM per la sorveglianza:

• Bias Conservativo Iniziale: Senza istruzioni specifiche di classe, i modelli mostrano un'estrema cautela. Ad esempio, su ShanghaiTech, alcuni prompt base hanno raggiunto il 100% di precisione ma un recall inferiore al 5%. Il modello tende a non attivare allarmi per evitare falsi positivi, rendendolo inutile per la sicurezza reale.
• Impatto Trasformativo delle Istruzioni di Classe: L'aggiunta di istruzioni specifiche ("+ class") ha spostato drasticamente il confine decisionale.
  • Su ShanghaiTech, il punteggio F1 è passato da un massimo di 0.09 (senza classe) a 0.64 (con classe, configurazione GPT instant medium).
  • Il recall è migliorato esponenzialmente (es. da ~4% a ~39-53%), dimostrando che il collo di bottiglia non è la "vista" visiva del modello, ma la sua "intenzione" o confidenza categorica.
• Lunghezza del Prompt: Contrariamente all'intuizione, prompt più lunghi e dettagliati non hanno sempre migliorato le prestazioni. Spesso, i prompt di lunghezza "media" hanno superato quelli "lunghi", suggerendo che un eccesso di dettagli possa introdurre rumore semantico che distrae il motore di ragionamento.
• Finestra Temporale: L'aumento della durata della clip (da 1s a 3s) ha aiutato i modelli su dataset a risoluzione più bassa (ShanghaiTech), fornendo più contesto temporale. Tuttavia, su CHAD (alta risoluzione), l'aumento della finestra temporale ha portato a miglioramenti marginali o addirittura a un calo delle prestazioni, indicando che la maggiore risoluzione non risolve automaticamente la confusione semantica del modello.
• Performance su CHAD: Nonostante la maggiore qualità visiva di CHAD, le prestazioni sono rimaste inferiori rispetto a ShanghaiTech (F1 max 0.48 vs 0.64), sottolineando che la fedeltà visiva non è la soluzione principale ai problemi di comprensione comportamentale.

4. Contributi Principali

1. Formulazione Orientata al Deploy: Trasformazione del VAD in un problema di decisione binaria guidato dal prompt, focalizzandosi sui requisiti operativi reali piuttosto che sul semplice ranking offline.
2. Analisi Controllata del Prompting: Studio sistematico di come la specificità e la struttura delle istruzioni linguistiche modellino i giudizi delle anomalie, identificando il ruolo cruciale del contesto di classe.
3. Probing del Contesto Temporale: Valutazione pratica di come le finestre temporali brevi (1-3s) influenzino la stabilità e la sensibilità dei modelli, fornendo linee guida per la configurazione del contesto temporale.
4. Reality Check: Dimostrazione empirica che, sebbene i MLLM siano potenti motori di ragionamento, richiedono un'attenta calibrazione (prompting orientato al recall) per essere affidabili in scenari di sorveglianza aperta.

5. Significato e Implicazioni

Questo studio fornisce una "realtà check" fondamentale per la comunità di ricerca e per gli ingegneri che intendono implementare sistemi di sorveglianza basati su AI.

• Non è solo una questione di modello: La semplice disponibilità di modelli multimodali potenti non garantisce l'efficacia operativa. La calibrazione della decisione è critica.
• Il ruolo del Prompting: Il prompting non è solo un modo per interrogare il modello, ma uno strumento per definire i confini decisionali e correggere i bias intrinseci (come la tendenza a ignorare le anomalie).
• Futuro della Ricerca: Il lavoro suggerisce che i progressi futuri nel VAD basato su MLLM dipenderanno meno dall'aumento della fedeltà dei dati e più dallo sviluppo di strategie di prompting orientate al recall, all'allineamento delle definizioni di anomalia con il contesto e a protocolli di valutazione che riflettano le esigenze dei sistemi di sorveglianza reali (decisioni binarie, non solo ranking).

In sintesi, i MLLM sono promettenti ma non ancora pronti per l'uso autonomo in sorveglianza senza un'adeguata ingegnerizzazione del prompt che guidi esplicitamente il modello verso la rilevazione di eventi rari e critici.