A VLM Answer Is Not an Anomaly Score: Rank Compression in Training-Free Video Anomaly Detection

Nel ronzio silenzioso di un sistema di sorveglianza, una telecamera osserva un angolo di strada, il pavimento di una fabbrica o una stazione della metropolitana, in attesa che accada qualcosa di sbagliato. Per decenni, i computer hanno faticato a individuare questi momenti di difficoltà, noti come anomalie, perché sono rari, imprevedibili e spesso non sembrano nulla finché non accadono. I sistemi tradizionali richiedevano che gli ingegneri insegnassero loro cosa fosse un crimine o un incidente fornendo miglia di esempi, un processo lento e rigido. Recentemente, un nuovo tipo di intelligenza artificiale chiamato modello visione-linguaggio ha offerito una strada diversa. Questi sono sistemi potenti che possono vedere un'immagine e comprenderla attraverso la lente del linguaggio umano. Invece di essere addestrati su esempi specifici di violenza o furto, possono ricevere una domanda semplice: "Sta accadendo qualcosa di pericoloso qui?". Se il modello dice "Sì", il sistema segnala il momento. Sembra una soluzione semplice, ma uno studio recente rivela che il modo in cui ascoltiamo la risposta conta tanto quanto la risposta stessa.

Ricercatori della SungKyunKwan University in Corea del Sud hanno indagato come questi modelli traducano i loro pensieri in un punteggio che un computer possa usare per classificare gli eventi. Hanno scoperto che il modo standard di utilizzare questi modelli consisteva nel buttare via una vasta quantità di informazioni utili. Quando a un modello viene chiesto di giudicare un video, esso non sceglie semplicemente una singola parola come "Sì" o "No" da un elenco. Al contrario, calcola una probabilità per ogni possibile risposta che potrebbe dare. Pensatelo come una scala di certezza. Il modello potrebbe essere sicuro al 94% che un filmato sia pericoloso e sicuro al 56% che un altro filmato sia pericoloso. Con il vecchio metodo, entrambi i filmati riceverebbero l'etichetta "Sì" e il computer li tratterebbe come identici. I ricercatori hanno scoperto che questa perdita di dettaglio, che chiamano compressione del rango, causa la perdita dei sottili accorgimenti che separano un quasi-incidente da un pericolo evidente.

Per risolvere questo problema, il team ha testato un approccio diverso. Invece di aspettare che il modello scelga una singola parola, hanno esaminato l'intera distribuzione di probabilità che il modello ha generato per ogni possibile risposta. Hanno trasformato l'intera distribuzione di certezza in un unico numero preciso. Questo metodo, che chiamano lettura della probabilità (probability readout), ha permesso al sistema di vedere che il filmato al 94% era significativamente più pericoloso di quello al 56%, anche se entrambi erano etichettati come "Sì". Quando hanno testato questo metodo su quattro diversi grandi modelli e due principali benchmark per le anomalie video, i risultati sono stati sorprendenti. Il nuovo approccio ha superato il vecchio in ogni singolo test. Su un dataset, il miglioramento dell'accuratezza è stato di ben 13 punti percentuali, e su un altro ha raggiunto quasi i 20 punti. Questi guadagni non erano piccole fluttuazioni; erano costanti e significanti, apparendo indipendentemente dal modello specifico utilizzato o dal tipo di domanda posta.

I ricercatori hanno anche esplorato perché il vecchio metodo fallisse così spesso. Hanno scoperto che anche quando fornivano ai modelli una scala molto fine tra cui scegliere, permettendo loro di scegliere tra 91 numeri diversi invece di soli due, i modelli continuavano a comprimere le loro risposte in un manipolo di valori ripetuti. Il sistema finiva comunque per trattare molti filmati diversi come identici, creando un "pareggio" nella classificazione. Il nuovo metodo evitava completamente questa trappola. Utilizzando l'intera distribuzione di probabilità, il sistema poteva distinguere tra quasi ogni singolo momento del video, creando una classificazione fluida e dettagliata invece di una lista frastagliata di pareggi. Questa differenza era cruciala perché nella sicurezza, la capacità di classificare i momenti più pericolosi in cima alla lista è ciò che conta di più. Lo studio ha dimostrato che il nuovo metodo poteva raddoppiare il numero di pericoli reali a un basso tasso di falsi allarmi, rendendo il sistema praticamente due volte più utile senza richiedere alcun nuovo addestramento o potenza di calcolo extra.

Il team ha anche verificato per assicurarsi che questo vantaggio fosse reale e non solo un artefatto della formulazione della domanda o del modo in cui il modello veniva chiesto di spiegare se stesso. Hanno provato a chiedere ai modelli di descrivere la scena prima di dare un punteggio, o di spiegare il proprio ragionamento dopo. In ogni caso, il metodo che esaminava la distribuzione completa delle probabilità rimaneva superiore. Hanno persino testato se modelli più grandi e potenti colmassero il divario, ma hanno scoperto che il vantaggio persisteva e talvolta cresceva. L'unico caso in cui il vantaggio diminuiva era quando il modello era costretto a scrivere una spiegazione prima di dare il suo punteggio, il che sembrava comprimere la sua certezza interna. Ciò suggerisce che la chiave per sbloccare il pieno potamento di questi sistemi di IA risiede nel modo in cui leggiamo il loro output.

Questo lavoro non offre solo una piccola modifica; ridefinisce un passaggio critico in come utilizziamo l'intelligenza artificiale per la sicurezza. I ricercatori hanno dimostrato che l'interfaccia tra il processo di pensiero interno di un modello e il punteggio finale non è un dettaglio minore, ma una parte centrale delle prestazioni del sistema. Semplicemente cambiando il modo in cui si legge la risposta — guardando l'immagine completa della certezza invece della sola parola finale — gli ingegneri possono trasformare lo stesso modello congelato in un rilevatore molto più acuto. Lo studio conclude che per chiunque costruisca sistemi per monitorare i problemi, la scelta di come interpretare la risposta del modello è importante quanto il modello stesso. È un promemoria del fatto che, nel mondo dell'intelligenza artificiale, il segnale più potente è spesso nascosto nella sfumatura di ciò che è quasi stato detto, non solo nella parola finale pronunciata.