Metadata-Aware Multi-Prompt Reasoning for Zero-Shot Accident Understanding

Sintesi Tecnica: Ragionamento Multi-Prompt Sensibile ai Metadati per la Comprensione di Incidenti Zero-Shot

Definizione del Problema
Il documento affronta la sfida della comprensione zero-shot degli incidenti nei video di sorveglianza. A differenza del rilevamento di eventi standard, questo compito richiede che un modello identifichi simultaneamente tre componenti distinte senza l'accesso a dati di addestramento del mondo reale etichettati:

1. Quando (When): L'esatta occorrenza temporale dell'impatto.
2. Cosa (What): La categoria specifica dell'incidente (ad es., tamponamento, collisione laterale, frontale).
3. Dove (Where): Le coordinate spaziali del punto fisico di impatto all'interno del fotogramma video.

Gli autori osservano che le riprese CCTV del mondo reale presentano difficoltà significative, tra cui brevi durate dell'impatto, categorie di incidenti visivamente simili e la tendenza dei modelli a concentrarsi su oggetti prominenti piuttosto che sull'effettiva interazione tra gli agenti stradali. Gli esistenti Modelli Vision-Language (VLM) spesso faticano quando sono chiamati a risolvere questo compito complesso e multifaccettato tramite una singola query end-to-end, portando a predizioni instabili.

Metodologia
La soluzione proposta è una pipeline in tre fasi che decompone il problema in Quando, Cosa e Dove, utilizzando modelli open-weight senza fine-tuning.

1. Rilevamento Temporale (Quando):

   • Meccanismo: Il sistema utilizza il Perception Encoder (PE) di Meta, un modello contrastivo vision-language, per punteggiare i fotogrammi campionati (a 8 FPS) in base al loro allineamento semantico con la query testuale "traffic accident".
   • Processo: I fotogrammi sono classificati per similarità del coseno. Vengono selezionati i top-$K$ fotogrammi e una finestra temporale viene definita espandendo i timestamp dei picchi più precoci e tardivi con un offset fisso ($\delta = 2$ secondi).
   • Output: Il tempo previsto dell'incidente è il punto medio di questa finestra espansa.

2. Classificazione Multi-Prompt Sensibile ai Metadati (Cosa):

   • Meccanismo: Un VLM generativo (Qwen-3.5-VL 9B) viene interrogato con cinque prompt complementari sui fotogrammi chiave selezionati e sui metadati (layout della scena, meteo, ora del giorno).
   • Prospettive dei Prompt: I cinque prompt coprono: (1) classificazione diretta di base, (2) analisi del movimento, (3) ragionamento sul contatto geometrico, (4) eliminazione contrastiva e (5) un elemento di spareggio (tiebreaker).
   • Adjudicazione: Gli output vengono aggregati tramite una procedura di voto consapevole dell'incertezza. Se la distribuzione del voto è ambigua (margine basso o alta entropia), il sistema scala verso una risoluzione in due fasi: un prompt di spareggio strutturato seguito, se necessario, da un'adjudicazione a coppie focalizzata condizionata dalla geometria dell'impatto.

3. Localizzazione Spaziale dell'Impatto (Dove):

   • Meccanismo: Un rilevatore open-vocabulary (OWL-v2) viene utilizzato per localizzare l'impatto.
   • Condizionamento: Inveve di query generiche, il rilevatore è istruito con frasi condizionate sia dal tipo di incidente previsto (dalla Fase 2) sia dal layout della scena (dai metadati). Ad esempio, "auto che si scontra contro la parte posteriore di un'altra auto su un'autostrada".
   • Aggregazione: I rilevamenti attraverso i fotogrammi chiave vengono raggruppati. Il punto di impatto finale è calcolato come il centroide pesato per punteggio dei centri delle bounding box dei top-$K$, e la regione di impatto è l'unione di queste box. Questa aggregazione impone la coerenza temporale, declassando i falsi positivi transitori.

Contributi Chiave

• Framework Decomposto: Una pipeline "Quando-Cosa-Dove" in tre fasi per la comprensione zero-shot di incidenti da CCTV, dove ogni fase è indipendentamente aggiornabile.
• Ragionamento Multi-Prompt: Uno schema di classificazione a cinque prompt con adjudicazione basata sull'entropia che risolve voti ambigui senza richiedere dati di calibrazione etichettati.
• Localizzazione Condizionata al Tipo: Una strategia che condiziona il rilevatore spaziale sul tipo di incidente previsto e sul contesto della scena, che gli autori sostengono mitighi il bias del foreground presente nei modelli di pointing esistenti.
• Efficienza: Il sistema opera su una singola GPU da 24 GB utilizzando solo modelli open-weight e non richiede fine-tuning.

Risultati
Il metodo è stato valutato sul benchmark ACCIDENT@CVPR 2026, che utilizza dati sintetici CARLA per lo sviluppo e clip CCTV reali a visuale fissa per i test. La metrica di valutazione è la media armonica dell'accuratezza temporale ($T$), dell'accuratezza spaziale ($S$) e dell'accuratezza di classificazione ($C$).

• Performance: La pipeline proposta ha raggiunto un Punteggio del Private Leaderboard di 0.4015, superando significativamente i baseline basati su regole (Baseline A: 0.2734; Baseline B: 0.3188).
• Analisi dei Componenti:
  • Localizzazione Spaziale: Ha fornito il maggior guadagno di performance. L'uso di OWL-v2 con condizionamento di tipo/scena ha migliorato il punteggio di 0.053 rispetto a un baseline di centro del fotogramma.
  • Rilevamento Temporale: La finestra espansa $\delta$ ha migliorato il punteggio di 0.039 rispetto all'uso di un singolo fotogramma di massima similarità.
  • Classificazione: L'ensemble multi-prompt con adjudicazione ha fornito un miglioramento costante, sebbene minore (0.0054), rispetto a un setting a singolo prompt.
• Analisi degli Errori: Gli errori residui sono stati principalmente attribuiti a collisioni distanti dove il rilevatore ha mancato l'impatto o ha selezionato un veicolo in primo piano, nonché a condizioni avverse come pioggia, notte o occlusioni.

Significatività e Rivendicazioni
Il documento sostiene che decomporre la comprensione video zero-shot in localizzazione temporale, classificazione semantica e grounding spaziale permetta un ragionamento più affidabile con i Vision-Language Models rispetto al prompting diretto a singolo step. Gli autori evidenziano come il condizionamento esplicito del rilevatore spaziale sul tipo di incidente previsto riduca il bias dell'oggetto in primo piano, un comune modo di fallimento dei modelli di pointing. Il lavoro dimostra che una pipeline modulare, basata sulla percezione, può raggiungere una robusta performance zero-shot su impegnativi filmati di sorveglianza senza la necessità di fine-tuning specifici per il dominio.