Frame-Level Evaluation in Weakly Supervised Video Anomaly Detection Mostly Measures Video-Level Ranking

Nel mondo della visione artificiale, esiste una corsa costante per insegnare alle macchine a osservare i flussi video e individuare problemi. Immaginate una telecamera di sicurezza che scansiona una strada trafficata, una stazione ferroviaria o il pavimento di una fabbrica. L'obiettivo è che il software si accorga quando qualcosa va storto — un combattimento che scoppia, una persona che cade o un veicolo che percorre la direzione sbagliata — e individui esattamente quando e dove accade. Per anni, i ricercatori hanno addestrato questi sistemi utilizzando un metodo chiamato supervisione debole. Invece di mostrare al computer ogni singolo secondo di un video e catalogare l'istante esatto in cui si verifica un evento, gli dicono semplicemente se l'intero video contiene un'anomalia o meno. È una scorciatoia pratica, molto simile a un insegnante che dice a uno studente "questo saggio contiene un errore" senza indicare la frase specifica. Per vedere se questi sistemi funzionano, gli scienziati utilizzano un test standard che classifica ogni singolo fotogramma di ogni video in un database, dal più sospetto al più normale, e controlla quanto bene il sistema separi i momenti negativi da quelli positivi.

Due ricercatori della SungKyunKwan University in Corea del Sud, Inpyo Song e Jangwon Lee, hanno deciso di esaminare più da vicino questo test standard. Si sono posti una domanda semplice ma profonda: quando un computer ottiene un punteggio elevato in questo test di classificazione, sa davvero quando è successo il problema, o è solo bravo a indovinare quali video contengono problemi? La loro indagine, pubblicata in uno studio recente, rivela una verità sorprendente su come questi sistemi vengono valutati. Hanno scoperto che il test standard è così pesantemente orientato al confronto tra diversi video che un computer può ottenere un punteggio quasi perfetto senza mai identificare un singolo momento specifico di pericolo all'interno di un video. È come se uno studente potesse superare un esame di storia indovinando correttamente quali libri di testo contengono errori, senza aver mai letto una singola pagina per trovare il refuso.

I ricercatori hanno iniziato scomponendo la matematica dietro il punteggio di classificazione standard. Si sono resi conto che questo punteggio è costruito su due diversi tipi di confronti. Il primo tipo confronta un momento negativo in un video con un momento positivo nello stesso video; questo è il test della vera localizzazione, che controlla se il sistema conosce la differenza tra un secondo sicuro e un secondo pericoloso all'interno della stessa registrazione. Il secondo tipo confronta un momento negativo in un video con un momento positivo in un video completamente diverso. Questo è il test di ordinamento a livello di video, che controlla se il sistema può distinguere che il Video A è più pericoloso del Video B. Quando hanno contato quanti di questi confronti sono avvenuti effettivamente all'interno dello stesso video, il numero era sorprendentemente piccolo. Attraverso tre grandi dataset utilizzati dal settore, meno dello 0,4% dei confronti era tra fotogrammi dello stesso video. La stragrande maggioranza del punteggio deriva dal confronto di fotogrammi tra video diversi.

Questo squilibrio crea ciò che gli autori chiamano "diluizione temporale". Man mano che il numero di video in un set di test cresce, la probabilità che il sistema venga testato sulla sua capacità di trovare l'istante esatto di un evento diminuisce rapidamente. Il sistema viene premiato principalmente per assegnare un punteggio complessivo alto a un video che contiene un'anomalia e un punteggio basso a un video che non la contiene. Per dimostrare che era questo il caso, i ricercatori hanno eseguito una serie di esperimenti controllati. Hanno addestrato semplici modelli informatici per fare nient'altro che assegnare un punteggio singolo e costante a ogni fotogramma di un video in base al fatto che quel video fosse etichettato come pericoloso o sicuro. Questi modelli non avevano la capacità di distinguere un momento dall'altro; il punteggio per il primo secondo di un video era identico a quello per l'ultimo secondo. Nonostante avessero capacità pari a zero nel localizzare un evento nel tempo, questi semplici modelli hanno comunque ottenuto punteggi molto alti sul test standard, che variavano dall'81 al 97 percento a seconda del dataset.

I ricercatori hanno poi preso gli output dei sistemi più avanzati e complessi attualmente disponibili e hanno eseguito una "sostituzione della media del video". Hanno preso i punteggi dettagliati secondo per secondo prodotti da questi sistemi complessi e hanno sostituito ogni singolo secondo con il punteggio medio di quell'intero video. Questo processo ha cancellato tutta l'informazione temporale fine, lasciando solo la valutazione complessiva del video. Se il test standard misurasse davvero la capacità di trovare l'istante esatto di un'anomalia, questo cambiamento avrebbe dovuto far crollare i punteggi. Invece, i punteggi si sono spostati appena. In 69 casi su 72 esperimenti controllati, il sistema ha mantenuto più del 90 percento del suo punteggio originale anche dopo che tutti i dettagli temporali erano stati rimossi. Lo stesso schema si è verificato per i risultati ufficiali pubblicati dagli autori di altri metodi leader. Anche quando i ricercatori hanno rimescolato l'ordine dei fotogrammi all'interno di un video, rimescolando la linea temporale ma mantenendo lo stesso set di punteggi, la performance di classificazione è rimasta ampiamente intatta.

Le scoperte suggeriscono che l'attuale standard per valutare questi sistemi non sta misurando ciò che i ricercatori pensano stia misurando. Un punteggio elevato nel test di classifica aggregata non prova che un sistema possa localizzare un evento; prova principalmente che il sistema può classificare i video in base al rischio complessivo. I ricercatori sostengono che questa distinzione sia fondamentale per le applicazioni nel mondo reale. Se una guardia giurata riceve un avviso che un video contiene un'anomalia, ha bisogno di sapere quando guardare, non solo quale video guardare. L'attuale protocollo di valutazione premia la capacità di scegliere il video giusto ma non verifica la capacità di trovare il momento giusto. Gli autori propongono che il settore cambi il modo in cui riporta i risultati. Raccomandano ai ricercatori di riportare sempre un punteggio separato che misuri quanto bene il sistema ordina i fotogrammi all'interno di un singolo video, insieme alla classificazione standard a livello di video. Suggeriscono anche che il design dei futuri test debba garantire che il numero di video non diluisca l'importanza di trovare l'istante esatto di un evento.

Questo lavoro non sostiene che gli attuali sistemi siano inutili o che non possano imparare a localizzare gli eventi. Dimostra semplicemente che il tabellone su cui stanno giocando non li costringe a farlo. Gli alti punteggi visti negli ultimi anni sono in gran parte il riflesso della capacità del sistema di classificare i video, una capacità che è utile ma distinta dalla capacità di individuare il tempo. Separando queste due abilità nel processo di valutazione, il settore può garantire che i futuri sistemi non siano solo bravi a indovinare quali video siano pericolosi, ma siano veramente capaci di guardare l'orologio e trovare l'esatto secondo in cui qualcosa va storto. La strada da seguire richiede un cambio di focus, allontanandosi da un singolo numero aggregato che maschera queste differenze, verso un quadro più chiaro che valorizzi la precisione del tempo tanto quanto l'identificazione dell'evento stesso.