Strictly Causal Streaming Video Anomaly Detection with a Theoretically-Grounded State-Space Core

Nel ronzio silenzioso della lente di una telecamera di sicurezza, un flusso costante di immagini arriva, secondo dopo secondo. Per decenni, i computer hanno lottato per osservare questo flusso in tempo reale, cercando il singolo momento in cui qualcosa va storto: una caduta, una rissa, un furto. La sfida non è solo vedere l'evento, ma vederlo nell'istante in cui accade, senza dover aspettare per guardare una registrazione o bufferizzare un blocco di video per analizzarlo in seguito. Questo è il regno del rilevamento delle anomalie nei video, un campo in cui le macchine devono imparare il ritmo del comportamento normale e segnalare istantaneamente il battito che si interrompe. Tradizionalmente, i sistemi si sono affidati all'osservazione di gruppi di fotogrammi contemporaneamente, come leggere un paragrafo per comprendere una frase, il che crea un ritardo tra l'evento e l'allerta. Ma per le telecamere montate su robot o dispositivi mobili con energia limitata, quel ritardo è troppo lungo e la memoria necessaria per contenere quei blocchi di video è troppo pesante. L'obiettivo è un sistema che elabori ogni singolo fotogramma nel momento in cui arriva, utilizzando una quantità minima e fissa di memoria, e reagisca immediatamente.

Ricercatori dell'Indian Institute of Technology Jodhpur hanno costruito un nuovo tipo di rilevatore progettato per soddisfare questo rigoroso requisito. Invece di archiviare clip di video, il loro sistema tratta il flusso in entrata come un flusso continuo, aggiornando la propria comprensione interna con ogni nuova immagine ricevuta. Al cuore di questo sistema c'è una struttura matematica che ricorda il passato ma dimentica rapidamente il passato remoto, a meno che non accada qualcosa di importante. Il team ha addestrato questo sistema utilizzando solo video di attività normali, insegnandogli a prevedere come dovrebbe apparire il fotogramma successivo sulla base di ciò che è venuto prima. Quando il fotogramma effettivo arriva e non corrisponde alla previsione, il sistema lancia un allarme. Ciò che rende questo lavoro unico è che non funziona solo in teoria; i ricercatori hanno dimostrato matematicamente come le impostazioni di memoria del sistema controllino la sua velocità di reazione, e lo hanno testato su hardware reale presente in dispositivi di consumo, non solo su potenti supercomputer.

Il nucleo della loro invenzione è un meccanismo che agisce come un guardiano della memoria. In circostanze normali, il sistema conserva le informazioni per un po', smussando i piccoli cambiamenti. Tuttavia, i ricercatori hanno progettato un gate specifico che può chiudersi istantaneamente se l'immagine in entrata contrasta con ciò che il sistema si aspetta. Quando ciò accade, il sistema resetta efficacementamente la sua memoria in una frazione di secondo, permettendogli di reagire a un'anomalia quasi immediatamente. Per capire quanto debba essere veloce, il team ha derivato una regola che collega le impostazioni di memoria del sistema al suo tempo di reazione. Hanno scoperto che se il sistema si fosse affidato solo alle sue impostazioni di memoria standard, avrebbe impiegato quasi sessanta fotogrammi per reagire completamente a un cambiamento improvviso. Eppure, osservando il sistema in azione, esso reagiva in molto meno tempo, a volte in un solo o due fotogrammi. Questa discrepanza ha rivelato che il meccanismo del gate stava facendo il lavoro pesante, scavalcando le lente impostazioni di memoria nel momento in cui appariva un'irregolarità.

I ricercatori hanno testato il loro sistema su due dataset standard utilizzati per l'addestramento delle telecamere di sicurezza: uno presenta un camminamento di un campus universitario e l'altro mostra un'area trafficata. Hanno eseguito il software su un chip Apple M3 Pro, un processore presente nei moderni laptop, per misurare quanto velocemente potesse effettivamente girare nel mondo reale. I risultati sono stati sorprendenti per la loro velocità. Il sistema ha elaborato ogni fotogramma in meno di un millisecondo, raggiungendo una velocità di oltre 1.300 fotogrammi al secondo. Questo è molto più veloce della velocità di un normale feed video, il che significa che il sistema ha un enorme margine di sicurezza e potrebbe facilmente girare su hardware molto più debole. Tuttavia, l'accuratezza del sistema non era perfetta. Nel suo stato iniziale, non ottimizzato, identificava correttamente le anomalie circa il 68% delle volte nel dataset del campus e il 70% in quello dell'area trafficata. Sebbene questo sia inferiore ai punteggi del 90% o superiori spesso visti in altri studi, quegli studi tipicamente utilizzano metodi che analizzano clip video a posteriori o richiedono potenti schede grafiche che non possono girare su dispositivi edge. L'autore è stato attento a riportare questi numeri onestamente, sottolineando che il loro metodo è un primo passo verso una soluzione strettamente in tempo reale piuttosto che un prodotto finale e perfetto.

Un esame più approfondito dei risultati ha rivelato una sfumatura sorprendente su come il sistema impara. I ricercatori hanno testato se il "gate" speciale che permette il reset istantaneo della memoria fosse sempre utile. Nel dataset più piccolo, con meno video di addestramento, rimuovere il gate ha effettivamente migliorato l'accuratezza del sistema, suggerendo che il gate stava causando al sistema di apprendere eccessivamente i pochi esempi a disposizione. Ma sul dataset più grande, con molti più video, il gate è diventato essenziale, e la sua rimozione ha fatto scendere drasticamente l'accuratezza. Ciò suggerisce che il gate è uno strumento potente, ma richiede abbastanza dati per imparare come usarlo correttamente senza confondersi. Il team ha anche testato diverse dimensioni della memoria interna del sistema e ha scoperto che, sul dataset più piccolo, una memoria più piccola funzionava meglio, mentre su quello più grande, una memoria più grande aiutava leggermente. Questi risultati indicano che il design del sistema non è una soluzione universale; i suoi componenti interagiscono con la quantità di dati disponibili in modi complessi.

Lo studio conclude che, sebbene il sistema non sia ancora il detector più accurato disponibile, riesce a colmare un divario critico tra teoria e pratica. Dimostra che un sistema strettamente causale — uno che non guarda mai avanti e non bufferizza clip — può girare su hardware di consumo con una velocità incredibile. I ricercatori riconoscono che il loro lavoro è incompleto; non hanno ancora testato il sistema su un terzo dataset, più grande, e non hanno ancora ottimizzato le impostazioni del sistema per colmare il divario di accuratezza con i vecchi metodi. Notano anche che la loro attuale valutazione di dove avvenga esattamente un'anomalia in un video è un'approssimazione, e un test più preciso richiederebbe strumenti diversi. Tuttavia, il lavoro fornisce una chiara tabella di marcia su come costruire sistemi di comprensione video che siano veloci, efficienti e veramente in tempo reale, spostando il campo dal pesante ed elaborazione ritardata verso un futuro in cui le telecamere possano pensare e reagire nell'istante in cui accade qualcosa di insolito.