Riepilogo Tecnico: PaSBench-Video

Problematica

Gli attuali Modelli Linguistici Multimodali (MLLM) possiedono capacità di comprensione video, ma mancano della capacità di funzionare come monitor di sicurezza proattivi. Sebbene gli incidenti siano spesso preceduti da segnali di avvertimento visivamente riconoscibili, i benchmark esistenti non riescono a valutare la finestra critica tra il primo segno visibile di pericolo e il momento in cui si verifica il danno. Gli attuali benchmark di sicurezza soffrono di tre limitazioni primarie:

1. Input Statici: Si affidano a immagini statiche o sequenze di immagini piuttosto che a flussi video continui.
2. Mancanza di Calibrazione Temporale: Non distinguono tra avvisi prematuri (emessi prima che il rischio sia visibile) e avvisi tardivi (emessi dopo che il danno è avvenuto).
3. Assenza di Misurazione dei Falsi Positivi: Omettono la valutazione su scene benigne, ignorando il problema critico per cui i frequenti falsi allarmi degradano la fiducia dell'utente e causano affaticamento da allarme.

Di conseguenza, non esiste un banco di prova controllato per determinare se gli MLLM possano osservare causalmente un flusso video, identificare il momento preciso in cui un rischio diventa azionabile, emettere un avviso tempestivo e rimanere in silenzio sulle scene sicure.

Metodologia

Costruzione del Dataset: PaSBench-Video

Gli autori introducono PaSBench-Video, un benchmark composto da 740 video in quattro domini: guida, sanità, vita quotidiana (smart home) e produzione industriale.

• Split del Rischio (481 video): Clip verificate manualmente che contengono rischi di sicurezza in evoluzione. Ogni video è annotato con confini a livello di frame:
  • Inizio del rischio ($r$): Il primo frame in cui l'evidenza visiva supporta un avviso azionabile.
  • Incidente ($a$): Il frame in cui l'evento avverso ha inizio.
  • Fonte del Rischio e Azione di Evitamento: Agenti di pericolo specifici e interventi raccomandati.
• Split Senza Rischio (259 video): Clip benigne da situazioni normali di guida, sorveglianza e monitoraggio domestico, utilizzate esclusivamente per misurare i tassi di falsi positivi.
• Fonti dei Dati: Include dataset del mondo reale (es. DADA-2000, Nexar, OOPS) e dati sintetici generati tramite Kling v3 Omni per scenari sanitari e industriali dove i dati del mondo reale con una specifica granularità di annotazione non erano disponibili.
• Filtraggio: Un rigoroso filtro a due stadi (basato su modelli utilizzando Qwen3.5 e Gemini-3.1-Pro, seguito da giudizio umano) garantisce che le clip siano prevedibili (rischio inferibile dai frame passati/correnti), evitabili (intervento possibile), non intenzionali (non stunt messi in scena) e visivamente fondate.

Protocollo di Valutazione

Il benchmark impiega un protocollo di valutazione in streaming:

• Osservazione Causale: I modelli ricevono solo i frame passati e correnti all'interno di una finestra scorrevole (finestre di 3 secondi, stride di 0,3s).
• Task: Il modello deve decidere se emettere un avviso strutturato (identificando la fonte del rischio e l'azione) o rimanere in silenzio.
• Metriche: Una gerarchia di metriche progressivamente più rigorose parametrizzate dal tempo di intervento anticipato $\tau$ (default 1,0s):
  1. Any-Det@$\tau$: Rilevamento di qualsiasi avviso prima dell'incidente.
  2. Any-Hit@$\tau$: Rilevamento di un avviso all'interno della finestra di rischio valida $[r, a-\tau]$.
  3. First-Hit@$\tau$: Il primo avviso del video cade all'interno di $[r, a-\tau]$.
  4. First-Act@$\tau$: Il primo avviso è correttamente temporizzato e identifica correttamente la fonte del rischio e il contenuto.
• Tasso di Falsi Positivi: Misurato come la frazione di video senza rischio che innesca $\ge K$ avvisi.

Setup Sperimentale

Gli autori hanno testato 13 MLLM, inclusi modelli open-weight (Qwen3.5, Gemma) e modelli proprietari (Gemini, Claude, GPT). Tutti i modelli sono stati valutati con prompt identici, temperatura 0 e campionamento dei frame.

Risultati Chiave

1. Basse Prestazioni e Fallimento Qualitativo

Nessun modello ha superato il 20,0% sulla metrica più rigorosa (First-Act@1). Ciò indica che meno di un video su cinque riceve un avviso correttamente temporizzato che identifica anche correttamente la fonte del rischio. Il divario tra rilevamento (Any-Det) e avviso azionabile (First-Act) è enorme; ad esempio, Gemini 3.1 Pro rileva il rischio nel 93,6% dei video ma raggiunge un punteggio di First-Act di solo il 20,0%.

2. Accoppiamento Stretto tra Recall e Falsi Positivi

Esiste una forte correlazione positiva (Pearson $\rho=0,64$) tra recall e tassi di falsi positivi. I modelli non possono migliorare il rilevamento senza gonfiare proporzionalmente i falsi allarmi. Ciò suggerisce che gli attuali modelli funzionano come rilevatori di soglia di sensibilità piuttosto che sistemi che eseguono un reale ragionamento sul rischio. Aumentare la sensibilità sposta gli avvisi da "mancati" a "troppo anticipati", ma non aumenta la proporzione di avvisi "validi".

3. Prestazioni Dipendenti dal Dominio

Le prestazioni variano drasticamente in base alla discriminabilità visiva del dominio:

• Vita Quotidiana: I modelli ottengono una recall moderata con bassi tassi di falsi positivi perché i rischi sono spesso intrinsecamente anomali (es. una persona che cade, fiamme libere).
• Guida: I modelli performano scarsamente, attivandosi indiscriminatamente. Scene di routine (cambio corsia, incroci) e scene pre-collisione appaiono visivamente simili, causando l'attivazione di avvisi da parte dei modelli prima che il rischio sia effettivamente visibile (il 90% dei fallimenti per i modelli ad alta sensibilità sono stati "troppo anticipati").

4. Modalità di Fallimento

Anche quando la tempistica è corretta, i modelli spesso falliscono nell'identificare la fonte del rischio:

• Oggetto del Rischio Errato (36,9%): Identificazione della classe di entità corretta ma dell'istanza specifica errata (es. predire un autobus invece di una berlina).
• Scambio di Tipo di Entità (33,9%): Allucinazione di una categoria diversa di agente (es. predire un pedone quando l'ostacolo è un veicolo).
• Questi errori indicano una dipendenza da indizi di attività a livello di scena piuttosto che da un ragionamento causale sul fatto che un'attività possa degenerare in un danno.

5. Vincoli di Distribuzione

Oltre ai gap di capacità, i vincoli ingegneristici precludono l'immediata distribuzione:

• Latenza: Anche i modelli più veloci (GPT-5.4 mini) hanno latenze mediane (~3,5s) che superano di un ordine di grandezza lo stride di 0,3s della finestra.
• Costo: I costi di monitoraggio continuo per i modelli proprietari di alto livello superano i $2.000/giorno per telecamera, mentre i modelli open-weight soffrono di una latenza proibitiva.

Significato e Rivendicazioni

L'articolo afferma che PaSBench-Video fornisce il primo banco di prova controllato per valutare gli avvisi di sicurezza video proattivi che isola il progresso algoritmico dai miglioramenti infrastrutturali. Limitando l'osservazione ai soli frame passati e correnti e rimuovendo la pressione della velocità, il benchmark rivela che gli attuali MLLM si affidano a indizi di attività superficiali piuttosto che al ragionamento sull'emergere di un danno.

Gli autori sottolineano che il compito di avviso proattivo non è ancora pronto per la distribuzione a causa sia dei vincoli ingegneristici (latenza, costo) sia della capacità insufficiente (bassa recall, alti falsi positivi). Tuttavia, sostengono che testare questa capacità ora sia "tempestivo e necessario" per guidare il progresso algoritmico verso un reale ragionamento temporale sul rischio, andando oltre il semplice rilevamento dell'attività verso l'anticipazione del rischio. Il dataset viene rilasciato per facilitare questa ricerca, con l'obiettivo esplicito di sviluppare modelli che possano distinguere tra attività di routine e pericolo imminente.