💻 computer science

Learning Where and When: Patch-Based Spatiotemporal Localization in Weakly Supervised Video Anomaly Detection

Questo articolo introduce un framework spazio-temporale basato su patch per il rilevamento debole supervisionato di anomalie nei video che apprende congiuntamente la posizione e la temporizzazione delle anomalie utilizzando una strategia di selezione consapevole della prossimità, raggiungendo prestazioni allo stato dell'arte e rilasciando nuove annotazioni di bounding box e risorse per far progredire la ricerca spazialmente fondata.

Autori originali: Hamza Karim, Nghia Nguyen, Lokman Bekit, Yasin Yilmaz

Pubblicato 2026-06-30

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Hamza Karim, Nghia Nguyen, Lokman Bekit, Yasin Yilmaz

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di guardare un feed di sicurezza di 24 ore da una piazza cittadina affollata. Il tuo compito è trovare i cattivi (le anomalie).

Il Vecchio Modo: Il detective del "Solo Tempo"
La maggior parte dei programmi informatici precedenti erano come detective che avevano solo un cronometro. Potevano dirti: "Ehi, qualcosa di strano è successo tra le 14:00 e le 14:15!", ma non potevano dirti dove fosse successo nella piazza. Era una rissa vicino alla fontana? Un episodio di furto in un negozio presso la panetteria? O solo un uccello che ha sbattuto contro una finestra? Poiché non potevano indicare il punto specifico, erano difficili da fidare nel mondo reale.

Il Nuovo Modo: Il detective a "Base di Patch"
Questo articolo presenta un nuovo sistema che agisce come un detective con una lente d'ingrandimento e una mappa a griglia. Invece di guardare l'intero fotogramma video come un unico grande quadro sfocato, questo sistema scompone ogni fotogramma in una griglia di 7x7 piccoli quadrati (patch).

Pensalo come una griglia di Sudoku. Il sistema osserva ogni singolo quadratino di quella griglia, ogni secondo del video, per capire esattamente quali quadrati sono "sospetti".

Come impara senza un insegnante
Di solito, per insegnare a un computer a trovare un cattivo specifico, devi disegnare un riquadro attorno a loro in migliaia di video (come un insegnante che indica dicendo: "Guarda qui!"). Questo è costoso e lento.

Questo articolo utilizza la Supervisione Debole (Weak Supervision). Immagina di avere solo un elenco di video che dicono: "Questo video contiene un crimine", ma non sai esattamente quando o dove.

La Sfida: Come fai a trovare il cattivo se non sai dove guardare?
La Soluzione: Il sistema utilizza una strategia chiamata Apprendimento Multi-Istanza (Multiple Instance Learning - MIL). Esso ipotizza quali piccoli quadrati siano i colpevoli. Se il video è etichettato come "negativo", almeno uno di quei piccoli quadrati deve essere il cattivo. Il sistema impara a identificarli attraverso tentativi ed errori.

La Ricetta Segreta: La Regola della "Prossimità"
Gli autori hanno notato qualcosa di simile al comportamento umano: le cose brutte di solito non accadono in un solo minuscolo pixel isolato per un singolo istante. Accadono in un cluster (gruppo). Una rissa non accade solo in un punto per un singolo fotogramma; accade in un gruppo di persone per alcuni secondi.

Per questo hanno inventato una strategia "Top-k consapevole della prossimità" (Proximity-Aware Top-k).

Vecchio Metodo: "Scegli i 5 quadrati dall'aspetto più spaventoso, anche se sono sparsi in tutta la mappa e in tempi diversi."
Nuovo Metodo: "Scegli i 5 quadrati dall'aspetto più spaventoso, ma assicurati che siano vicini nel tempo e nello spazio."
È come dire: "Non cercare solo il rumore più forte; cerca un gruppo di rumori forti che avvengono l'uno accanto all'altro". Questo evita che il computer si confonda con il rumore di fondo casuale e lo aiuta a disegnare un riquadro pulito e solido attorno all'evento effettivo.

I Risultati: Una Nuova Mappa per il Futuro
Gli autori hanno testato il sistema su quattro importanti dataset video (come UCF-Crime e XD-Violence).

Migliore Accuratezza: Il loro "detective a griglia" ha trovato i cattivi con molta più precisione rispetto ai metodi precedenti, sia nel capire quando sono accaduti, sia dove si trovavano.
Nuove Risorse: Poiché nessuno aveva dati accurati sul "dove" per due di questi dataset, gli autori sono tornati indietro e hanno disegnato manualmente i riquadri per i video di test essi stessi. Stanno rilasciando queste nuove mappe (annotazioni) e il loro codice al pubblico, affinché altri ricercatori possano costruirci sopra.

In Breve
Questo articolo insegna ai computer a smettere di limitarsi a indovinare quando succede qualcosa di strano e a iniziare a individuare esattamente dove sta accadendo, usando un approccio basato su una griglia e una regola di "coesione" per gli eventi negativi, il tutto senza richiedere dati di addestramento costosi e disegnati a mano. Hanno inoltre fornito nuove "chiavi di risposta" (bounding boxes) affinché la comunità possa utilizzarle.

Sintesi Tecnica: Imparare Dove e Quando: Localizzazione Spazio-Temporale Basata su Patch nella Rilevazione di Anomalie Videoamente Supervisionata Debolmente

1. Definizione del Problema

La Rilevazione di Anomalie Video con Supervisione Debole (WSVAD) si è tradizionalmente concentrata sulla localizzazione temporale, ovvero identificare quando si verifica un'anomalia all'interno di una sequenza video utilizzando solo etichette a livello di video. Tuttavia, questo approccio trascura ampiamente la localizzazione spaziale, fallendo nel determinare dove all'interno di un fotogramma si manifesta l'anomalia.

Gli autori sostengono che la localizzazione spaziale sia critica per:

Interpretabilità: Permettere agli operatori umani di verificare gli avvisi e comprendere la causa di un'anomalia.
Processo Decisionale: Consentire azioni più fini come il tracciamento di oggetti sospetti o la prioritizzazione delle risorse.
Robustezza: Fornire indizi contestuali per distinguere le vere anomalie dal rumore di fondo, riducendo i falsi positivi causati dai bias del background.

La sfida principale consiste nell'apprendere segnali di localizzazione spaziale precisi senza una supervisione esplicita tramite bounding box, poiché l'ottenimento di tali annotazioni è costoso e soggettivo. I metodi esistenti spesso si affidano a rappresentazioni globali o punteggi a livello di clip, limitando la loro capacità di catturare pattern anormali localizzati.

2. Metodologia

Il paper propone un framework spazio-temporale basato su patch che modella congiuntamente l'insorgenza di anomalie sia nello spazio che nel tempo sotto un paradigma di Apprendimento Multi-Istanza (MIL).

2.1. Panoramica dell'Architettura

Il video in input viene partizionato in segmenti temporali (16 fotogrammi ciascuno) ed elaborato attraverso un estrattore di feature pre-addestrato (UniFormer) per generare rappresentazioni spazio-temporali a livello di patch. La dimensione della griglia è impostata su $7 \times 7$ patch per segmento.

L'architettura è composta da due rami principali:

Aggregazione Temporale: Le feature vengono rimodellate in sequenze temporali per patch e processate da un Transformer Temporale per modellare le dipendenze per ogni patch spaziale.
Aggregazione Spaziale: Le feature aggregate temporalmente vengono riorganizzate e passate attraverso un Transformer Spaziale per catturare le relazioni tra le patch all'interno di ogni segmento.

Questi rami alimentano due teste di predizione:

Ramo a Grana Grossa (Coarse-Grained): Produce punteggi di anomalia a livello di segmento tramite il pooling delle feature spaziali.
Ramo a Grana Fine (Fine-Grained): Genera probabilità di anomalia a livello di patch (griglia $7 \times 7$ ) per ogni segmento.

2.2. Perdita MIL Consapevole della Prossimità (Proximity-Aware Top-k MIL Loss)

Un'innovazione chiave è la strategia di selezione Proximity-Aware Top-k, che sostituisce la convenzionale selezione top-k basata esclusivamente sui singoli punteggi più alti. Gli autori osservano che gli eventi anormali si verificano tipicamente su intervalli temporalmente contigui.

La funzione di perdita opera come segue:

Selezione Temporale: Invece di scegliere i $K$ fotogrammi con il punteggio più alto globalmente, il modello utilizza una finestra scorrevole per trovare un blocco contiguo di $K$ segmenti con il più alto punteggio cumulativo di anomalia.
Selezione Spaziale: All'interno di questi segmenti selezionati, il modello identifica la regione spaziale più discriminante facendo scorrere una finestra convoluzionale ( $z \times z$ ) sulla griglia di patch e selezionando il blocco con la massima risposta sommata.
Calcolo della Perdita:
- Video Anomali: I blocchi temporali contigui selezionati e le corrispondenti patch spaziali ad alta risposta sono trattati come istanze positive per la perdita di Cross-Entropy Binaria (BCE).
- Video Normali: Tutte le patch sono trattate come istanze negative.
- Regolarizzazione: La norma $L1$ è applicata ai set anormali per incoraggiare la sparsità, mentre la norma $L2$ è applicata ai set normali per garantire che i punteggi rimangano vicini allo zero.

3. Contributi Principali

Il paper delinea tre contributi primari:

Nuova Architettura: Un'architettura spazio-temporale debolmente supervisionata basata su patch che produce punteggi di anomalia per singole patch, consentendo la localizzazione spaziale fine senza supervisione tramite bounding box durante l'addestramento.
Perdita MIL Proximity-Aware: Una nuova funzione di perdita top-k consapevole dei vicini dove le istanze selezionate sono formate tramite clustering basato sulla prossimità temporale e spaziale, piuttosto che puramente per punteggi più elevati.
Nuove Annotazioni: Il rilascio di annotazioni di bounding-box a livello di fotogramma per i test set di due dataset ampiamente utilizzati, XD-Violence e UBnormal, facilitando la valutazione standardizzata della localizzazione spaziale nella WSVAD.

4. Risultati Sperimentali

Il metodo è stato valutato su quattro benchmark: UCF-Crime, ShanghaiTech, XD-Violence e UBnormal.

4.1. Metriche

Gli autori utilizzano due metriche complementari:

Intersezione su Unione Temporale (TIoU): Misura la sovrapposizione tra le regioni predette e quelle della ground-truth.
Tasso di Rilevazione Basato su Tracce/Regioni (TBDR/RBDR): Una metrica più completa che tiene conto dei falsi positivi e valuta la coerenza spazio-temporale (tracce) piuttosto che la semplice sovrapposizione a livello di fotogramma.

4.2. Performance

TIoU: Il metodo proposto ("OURS") supera tutti i baseline allo stato dell'arte (inclusi Deep-MIL, VADCLIP, ST-Prompt e LSTM-MIL) su tutti e quattro i dataset. Ad esempio, su UCF-Crime, raggiunge il 40.51%, superando il precedente migliore (LSTM-MIL al 32.91%) di quasi il 7.6%.
TBDR/RBDR: Il metodo ottiene i punteggi più alti in entrambe le metriche su tutti i dataset. Su UCF-Crime, raggiunge il 77.20% di TBDR e il 69.83% di RBDR. Su UBnormal, raggiunge il 57.23% di TBDR e il 33.29% di RBDR, dimostrando una forte generalizzazione verso anomalie sottili.
Performance Zero-Shot: In un setting zero-shot (addestramento senza classi di anomalia specifiche), il modello proposto ha mostrato il minor calo di performance (calo del 3.08% in TBDR) rispetto ai baseline, indicando una capacità di generalizzazione superiore.
Efficienza: Il modello richiede circa 44.23 ms per un input di 60 fotogrammi, leggermente superiore ai baseline a causa dei moduli di raffinamento, ma comunque adatto all'inferenza in tempo reale.

4.3. Studi di Ablazione

Rimozione di Componenti: La rimozione del transformer spaziale ha causato il calo di performance più significativo (19.15% TBDR), evidenziando la necessità dell'attenzione spaziale. La rimozione del transformer temporale ha inoltre ridotto significativamente le performance.
Funzione di Perdita: Sostituire la standard MIL con la Proximity MIL ha migliorato l'AUC in vari framework esistenti (Deep-MIL, URDMU, VADCLIP), confermando la generalizzabilità della funzione di perdita.
Iperparametri: Una griglia $7 \times 7$ con una dimensione della finestra spaziale $z=2$ ha prodotto i risultati ottimali.

5. Significato e Rivendicazioni

Il paper sostiene di affrontare un limite fondamentale nella WSVAD spostando l'attenzione dalla pura localizzazione temporale alla rilevazione spazio-temporale congiunta. Riformulando la MIL a livello di patch spaziale, gli autori consentono la generazione di punteggi a livello di regione senza supervisione tramite bounding box.

Il significato del lavoro risiede in:

Migliore Interpretabilità: Fornire mappe spaziali esplicite delle anomalie invece di semplici timestamp temporali.
Riduzione dei Bias: Modellare esplicitamente l'evidenza spaziale aiuta a mitigare i bias del background presenti nei metodi precedenti che si affidavano a rappresentazioni globali.
Risorsa per la Comunità: Rilasciando le annotazioni di bounding-box per XD-Violence e UBnormal, gli autori mirano a standardizzare la valutazione della localizzazione spaziale, un compito precedentemente ostacolato dalla mancanza di ground truth in questi dataset.

Gli autori concludono che il loro framework ottiene guadagni sostanziali nell'accuratezza della localizzazione mantenendo al contempo un'efficienza computazionale pratica, aprendo la strada a un deployment più affidabile in applicazioni di sorveglianza e critiche per la sicurezza.