Weakly Supervised Video Anomaly Detection Using CNN-LSTM with Confidence-Aware Automated Pseudo Label Generation

Le telecamere di sorveglianza sorvegliano le nostre città, i negozi e le strade, catturando un flusso continuo di attività umana. Per decenni, l'obiettivo è stato quello di costruire computer che possano guardare queste riprese insieme a noi, individuando i problemi nel momento stesso in cui accadono. La sfida, tuttavia, è che insegnare a un computer a riconoscere un combattimento, un furto o un incendio è incredibilmente difficile. Richiede di mostrare alla macchina migliaia di esempi di questi eventi, con ogni singolo momento di pericolo segnalato da un esperto umano. Questa etichettatura manuale è lenta, costosa e spesso impossibile da eseguire per le enormi quantità di dati video generati ogni giorno. Senza queste etichette dettagliate, i programmi per computer standard faticano a imparare cosa sia normale e cosa non lo sia, confondendosi spesso a causa della vasta varietà della vita quotidiana.

Per risolvere questo problema, i ricercatori dell'Università di Shiraz hanno sviluppato un nuovo modo per insegnare ai computer come individuare anomalie senza la necessità che un essere umano etichetti ogni secondo di video. Invece di fare affidamento su costose note manuali, il loro sistema costruisce la propria comprensione di ciò che sta accadendo osservando il video attraverso tre diverse lenti. Primo, cerca il movimento, identificando qualsiasi parte dello schermo in cui i pixel cambiano. Secondo, cerca di riconoscere oggetti specifici, come una persona o un veicolo, all'interno di quelle aree in movimento. Infine, traccia un contorno preciso attorno a quegli oggetti per vedere esattamente quanto spazio occupano. Combinando queste tre osservazioni, il sistema genera le proprie "ipotesi" su quali parti di un video siano normali e quali siano strane. Queste ipotesi, note come pseudo-etichette, non sono perfette, ma i ricercatori hanno progettato un metodo speciale per pesare quanto il sistema sia sicuro di ogni ipotesi, ignorando quelle incerte e concentrandosi sui segnali chiari.

Il cuore di questo nuovo approccio è un modello informatico leggero che impara da queste ipotesi automatizzate. I ricercatori hanno utilizzato un sistema di visione pre-addestrato, che funge da paio di occhi che ha già imparato a riconoscere forme e oggetti da milioni di immagini, e ne hanno congelato le impostazioni affinché non cambiassero durante l'addestramento. Ciò ha risparmiato una enorme quantità di potenza di calcolo, riducendo il numero di parti regolabili del sistema di quasi il novantaquattro percento. Il modello ha poi utilizzato una componente di memoria per ricordare la sequenza degli eventi, collegando i punti tra i fotogrammi per capire come una scena si evolva nel tempo. Per garantire che il sistema non saltasse erraticamente tra l'etichettare una scena come normale e poi come anomala, hanno aggiunto una regola che incoraggiava previsioni fluide e coerenti da un momento all'altro.

Quando testato su una vasta collezione di video di sorveglianza contenenti tredici diversi tipi di crimini, il sistema ha operato con un alto grado di affidabilità. Ha identificato correttamente eventi anormali in circa l'ottanta percento dei casi di test e ha raggiunto un punteggio bilanciato del settantotto percento nel distinguere tra attività normali e anormali. I ricercatori hanno eseguito l'esperimento cinque volte con diversi punti di partenza casuali per garantire che i risultati fossero coerenti, e le prestazioni sono rimaste stabili in tutti i tentativi. Fondamentalmente, il sistema ha raggiunto questo risultato senza che alcun essere umano dovesse marcare manualmente i momenti pericolosi nei video di addestramento. Il processo automatizzato di rilevamento del movimento, identificazione degli oggetti e delineazione degli stessi ha dimostrato di essere un sostituto valido per l'annotazione umana, rendendo possibile scalare il monitoraggio video a dataset molto più ampi rispetto al passato.

Lo studio ha anche rivelato che ogni parte della pipeline automatizzata era essenziale. Quando i ricercatori hanno rimosso il rilevamento del movimento, il riconoscimento degli oggetti o la delineazione precisa, la capacità del sistema di individuare i problemi è diminuita significativamente. Ciò ha confermato che la combinazione di questi tre segnali visivi forniva un quadro più ricco e affidabile rispetto a qualsiasi singolo metodo da solo. Sebbene il sistema non sia ancora perfetto e possa ancora avere difficoltà in scene molto affollate o in condizioni di scarsa illuminazione, rappresenta un passo avanti significativo nel rendere pratica la sorveglianza automatizzata. Rimuovendo il collo di bottiglia dell'etichettatura manuale e riducendo drasticamente il costo computazionale, questo approccio offre una via realistica verso l'implementazione di sistemi di monitoraggio intelligente nel mondo reale, dove possono sorvegliare gli spazi pubblici con un livello di attenzione che gli esseri umani semplicemente non possono mantenere.