Benchmarking Compact VLMs for Clip-Level Surveillance Anomaly Detection Under Weak Supervision

Titolo: Benchmarking di VLM Compatti per il Rilevamento di Anomalie a Livello di Clip nella Sorveglianza con Supervisione Debole

1. Problema e Contesto

Il monitoraggio tramite CCTV (telecamere a circuito chiuso) richiede sistemi di rilevamento anomalie che combinino un'alta accuratezza a livello di clip video con una latenza prevedibile e bassa, operando in condizioni di supervisione debole.

• Sfide principali:
  • Supervisione debole: Le annotazioni sono disponibili solo a livello dell'intero clip (binario: normale/anormale), senza confini temporali precisi all'interno del video.
  • Squilibrio delle classi: Gli eventi critici (anomalie) sono estremamente rari rispetto alle attività quotidiane.
  • Vincoli operativi: Limitazioni di potenza di calcolo ai bordi (edge), requisiti di latenza stretti e necessità di integrazione con flussi di lavoro esistenti.
  • Ambiguità contestuale: Un'azione può essere normale in un contesto e anomala in un altro.
• Gap nella ricerca: Manca un benchmark controllato che confronti modelli Vision-Language (VLM) compatti (2-8B parametri) utilizzando protocolli condivisi, standardizzando pre-processing, prompting e metriche di valutazione per isolare le capacità del modello dalle variazioni di configurazione.

2. Metodologia

Lo studio propone un protocollo di valutazione unificato per confrontare VLM compatti adattati tramite tecniche efficienti rispetto a pipeline "training-free" e baselines esistenti.

• Dataset: Utilizzo esclusivo di UCF-Crime, lo standard per il rilevamento di anomalie video con supervisione debole. Il dataset è stato trattato come un problema di classificazione binaria a livello di clip (1900 clip totali, 290 per il test).
• Modelli Valutati:
  • Tier "Tiny" (2-4B parametri): InternVL3-2B, Qwen2.5-VL-3B, Gemma-3-4B.
  • Tier "Small" (7-8B parametri): InternVL3-8B, Video-LLaVA-7B, Qwen2.5-VL-7B.
• Strategie di Prompting: Quattro modalità applicate uniformemente:
  1. Istruzione Base (Basic instruction).
  2. Zero-shot (definizione del compito).
  3. Few-shot (esempi etichettati).
  4. Chain-of-Thought (CoT, ragionamento esplicito).
• Adattamento (Fine-Tuning): Implementazione di LoRA (Low-Rank Adaptation) con rank 8 per l'adattamento parametrico efficiente. I pesi di base sono rimasti congelati; solo gli adapter LoRA sono stati addestrati su un singolo epoch.
• Protocollo di Valutazione:
  • Metriche: Accuratezza, Precisione, Recall, F1-score, ROC-AUC.
  • Efficienza: Latenza media per clip (tempo di wall-clock per inferenza singola).
  • Hardware: GPU NVIDIA RTX 4060 Ti per l'inferenza, Tesla A100 per il fine-tuning.
• Baseline: Confronto diretto con pipeline VLM training-free (LAVAD, VERA) e metodi debolmente supervisionati (PEL4VAD), ri-eseguiti sullo stesso split di dati per garantire parità.

3. Risultati Chiave

I risultati, riportati su UCF-Crime, evidenziano tendenze significative:

• Impatto del Prompting sui Modelli Compatti (Overprompting):
  • Per i modelli non adattati (training-free), prompt complessi (Few-shot, CoT) hanno peggiorato le prestazioni, riducendo l'F1-score e aumentando drasticamente la latenza. Ad esempio, Qwen2.5-VL-3B è crollato da un F1 di 0.81 a 0.18 con Few-shot.
  • I prompt semplici (Istruzione Base o Zero-shot) hanno offerto risultati più stabili per i modelli non addestrati.
• Trasformazione tramite LoRA:
  • L'adattamento con LoRA ha trasformato i modelli compatti in rilevatori affidabili.
  • Miglioramenti drastici: InternVL3-2B è passato da un F1 di 0.014 (con Few-shot non adattato) a 0.88 dopo LoRA. Gemma-3-4B ha raggiunto un F1 di 0.91 con prompt Base.
  • Robustezza al Prompt: Dopo l'adattamento, i modelli hanno mostrato prestazioni coerenti indipendentemente dal tipo di prompt (Basic, Zero-shot, Few-shot, CoT), eliminando la sensibilità eccessiva osservata nei modelli base.
• Efficienza e Latenza:
  • I modelli compatti adattati (es. 2-4B) hanno spesso superato o eguagliato i modelli più grandi (7-8B) e le baselines complesse in termini di F1-score, mantenendo una latenza inferiore o comparabile (es. 2.8s vs 4.8s per clip).
  • In alcuni casi, LoRA ha addirittura ridotto la latenza rispetto all'inferenza non adattata, probabilmente grazie a una convergenza più rapida delle decisioni.
• Confronto con Baselines:
  • Il modello InternVL3-2B adattato con LoRA ha ottenuto il miglior risultato complessivo: F1 = 0.916, ROC-AUC = 0.9196, con una latenza di 2.77s.
  • Questo supera significativamente le soluzioni training-free come LAVAD (F1 0.76) e VERA (F1 0.72), pur essendo un modello molto più leggero.

4. Contributi Principali

1. Protocollo di Benchmarking Unificato: Introduzione di un framework standardizzato per confrontare VLM compatti nella rilevazione di anomalie video, eliminando il rumore dovuto a differenze di pre-processing o split di dati.
2. Dimostrazione dell'Efficacia di LoRA: Evidenza empirica che l'adattamento parametrico efficiente (LoRA) è essenziale per rendere i VLM compatti utilizzabili in scenari di sorveglianza, superando i limiti dell'uso "zero-shot".
3. Analisi della Robustezza al Prompt: Scoperta che l'adattamento riduce la dipendenza dalla progettazione del prompt, rendendo i modelli più stabili e meno sensibili a variazioni nelle istruzioni.
4. Trade-off Accuratezza-Efficienza: Dimostrazione che modelli di 2-4B parametri, se adattati correttamente, offrono un compromesso superiore rispetto a modelli più grandi o pipeline complesse, ideali per il deployment su hardware edge.

5. Significato e Implicazioni

Questo lavoro cambia la prospettiva sull'uso dei VLM nella sorveglianza video:

• Fattibilità Operativa: Conferma che i VLM compatti, una volta adattati in modo efficiente, possono sostituire architetture complesse e costose, offrendo rilevamento di anomalie affidabile con risorse computazionali limitate.
• Riduzione della Complessità: Sostiene l'abbandono di pipeline multi-stadio (captioning + ragionamento + post-processing) a favore di modelli end-to-end compatti e adattati, semplificando l'integrazione nei sistemi esistenti.
• Direzione Futura: Indica che l'adattamento specifico del dominio (domain alignment) è un prerequisito per l'uso efficace dei VLM in contesti critici, piuttosto che un'opzione opzionale. Il lavoro apre la strada a implementazioni in tempo reale su dispositivi edge, con potenziali estensioni future verso l'integrazione multimodale (audio) e l'adattamento dinamico.

In sintesi, il paper dimostra che l'adattamento parametrico efficiente (LoRA) è il fattore abilitante critico per trasformare modelli VLM generici compatti in rilevatori di anomalie video robusti, efficienti e pronti per il deployment reale.