Riepilogo Tecnico: Stima della Distribuzione della Responsabilità in Video di Incidenti in Prospettiva Ego-View con Modelli Linguistici Multimodali Grandi

Definizione del Problema

L'attuale analisi degli incidenti stradali multimodale si basa pesantemente su riprese di telecamere infrastrutturali, immagini satellitari o registri degli incidenti strutturati. Queste fonti di dati presentano due criticità fondamentali: sono costose da implementare su larga scala e, cosa più importante, non riescono a catturare oggettivamente la prospettiva visiva disponibile per il conducente prima di un incidente. Di conseguenza, sono inadeguate per ragionare sulla evitabilità dell'incidente e sulla responsabilità del conducente dal punto di vista del veicolo coinvolto.

Questo articolo introduce la Stima della Distribuzione della Responsabilità come un nuovo compito per i video di incidenti in prospettiva ego-view. A differenza dei compiti convenzionali che prevedono un singolo label di incidente, la gravità o una spiegazione causale, questo compito richiede a un modello di prevedere una distribuzione proporzionale della responsabilità (percentuali che sommano al 100%) tra tutti gli agenti coinvolti (ad es., veicolo ego, altri veicoli, pedoni). Il modello deve ragionare su quali informazioni fossero disponibili al conducente ego, identificare la parte primariamente responsabile e allocare percentuali di responsabilità che riflettano una responsabilità condivisa, rispecchiando il ragionamento stradale del mondo reale.

Metodologia

Costruzione del Dataset

Gli autori hanno costruito un dataset basato su MM-AU, una collezione di video di incidenti dashcam in prospettiva ego-view con annotazioni testuali esistenti (descrizione della scena, cause, misure preventive). Poiché MM-AU manca di label di responsabilità, gli autori hanno sviluppato una pipeline di annotazione assistita da LLM:

• Input: Per ogni video, 8 fotogrammi campionati uniformemente che coprono la finestra dell'evento anomalo (assicurando l'inclusione del fotogramma dell'incidente) vengono presentati a un LLM insieme ai metadati della scena e alle annotazioni testuali.
• Generazione dell'Output: L'LLM viene istruito per produrre percentuali intere per il veicolo ego e per le altre parti (che sommano a 100%), identificare la parte primariamente responsabile, categorizzare l'altra parte e fornire una motivazione basata su prove visive/testuali.
• Vincoli: La temperatura è impostata a zero per massimizzare la coerenza. Il dataset risultante è approssimativamente bilanciato tra casi a priorità ego (52%) e a priorità di altra parte (48%).

Modello e Addestramento

Lo studio effettua il fine-tuning di Qwen3-VL-4B, un modello linguistico multimodale di grandi dimensioni, utilizzando LoRA (Low-Rank Adaptation) su tutti i livelli di proiezione lineare (rank $r=16$, fattore di scala $\alpha=32$).

• Input: Il modello riceve $k=10$ fotogrammi campionati, metadati della scena e annotazioni testuali.
• Output: Il modello genera autoregressivamente un output in formato JSON contenente la distribuzione della responsabilità prevista, la parte primaria, l'etichetta dell'altra parte e il ragionamento.
• Apprendimento dei Vincoli: Il requisito che le percentuali sommino a 100 è imposto implicitamente attraverso le istruzioni del prompt e la distribuzione dei dati di addestramento, piuttosto che attraverso espliciti vincoli di post-elaborazione.

Configurazione Sperimentale

Gli autori valutano il modello sottoposto a fine-tuning rispetto a un baseline zero-shot GPT-5 sotto tre condizioni di input:

1. RGB: Fotogrammi grezzi + annotazioni testuali.
2. RGB+Seg: Overlay di segmentazione semantica + annotazioni testuali.
3. Testo: Annotazioni testuali solo (nessuna immagine).

Metriche di Valutazione:

• Exact Match (EM): Percentuale di casi in cui la responsabilità del veicolo ego prevista corrisponde esattamente alla verità di base (ground truth).
• Within-10%/20% (W-10/W-20): Proporzione di casi con errore assoluto $\le$ 10 o 20 punti percentuali.
• MAE/RMSE: Errore Assoluto Medio e Errore Quadratico Medio sulla percentuale del veicolo ego.
• Primary Party Accuracy (PP): Accuratezza nell'identificare l'agente primariamente responsabile.

Risultati Chiave

Il modello Qwen3-VL-4B sottoposto a fine-tuning dimostra miglioramenti significativi rispetto al baseline zero-shot di GPT-5, in particolare sotto l'input RGB:

• Exact Match: Il modello fine-tuned raggiunge il 79,1%, rispetto al 38,5% di GPT-5 zero-shot.
• Primary Party Accuracy: Il modello fine-tuned raggiunge il 96,7%, superando l'89,0% di GPT-5.
• Riduzione dell'Errore: L'Errore Assoluto Medio (MAE) per la percentuale del veicolo ego scende da 12,1 (GPT-5) a 4,9 (fine-tuned), una riduzione di oltre la metà.

Ablazione e Analisi dell'Input:

• Necessità Visiva: Rimuovere l'input visivo (condizione Solo Testo) causa un drastico calo delle prestazioni per entrambi i modelli. Il MAE di GPT-5 più che raddoppia (12,1 $\to$ 24,9), e il MAE del modello fine-tuned aumenta drasticamente (4,9 $\to$ 35,1). Ciò conferma che i fotogrammi ego-view contengono informazioni critiche sulla responsabilità non recuperabili dal solo testo.
• Impatto della Segmentazione: Sostituire i fotogrammi RGB grezzi con overlay di segmentazione semantica (RGB+Seg) produce risultati comparabili o leggermente peggiori, suggerendo che l'aspetto visivo grezzo fornisce informazioni sufficienti o superiori per questo compito rispetto agli overlay di segmentazione strutturata.
• Fine-tuning vs. Zero-shot: Sebbene lo zero-shot di GPT-5 mostri una ragionevole prestazione "Within-10%" (79,1%), indicando che può ragionare approssimativamente sulla direzione della responsabilità, l'alto punteggio di Exact Match del modello fine-tuned dimostra che l'addestramento su etichette annotate da LLM riesce ad ancorare efficacemente il modello a valori percentuali specifici piuttosto che limitarsi a classificare correttamente le parti.

Significato e Contributi

L'articolo rivendica tre contributi primari:

1. Nuova Formulazione del Compito: Introduce la "Stima della Distribuzione della Responsabilità" come un nuovo compito per la comprensione multimodale degli incidenti, andando oltre la classificazione binaria o la spiegazione causale verso l'allocazione proporzionale.
2. Fondazione Ego-Centrica: Evidenzia il valore unico dei video ego-view per il ragionamento centrato sul conducente, stabilendo il primo benchmark per questo specifico compito.
3. Dimostrazione di Fattibilità: I risultati stabiliscono un forte benchmark iniziale, dimostrando che i modelli linguistici multimodali possono eseguire efficacemente un ragionamento sfumato e basato su vincoli (allocando percentuali che sommano a 100) quando sottoposti a fine-tuning con dati appropriati.

Gli autori posizionano questo lavoro come una fondazione per un "ragionamento multimodale socialmente e legalmente significativo", suggerendo che i video ego-centrici offrono una base promettente per comprendere l'evitabilità degli incidenti e la distribuzione della responsabilità che prospettive esterne non possono fornire.

Limitazioni e Considerazioni Etiche

L'articolo mantiene una posizione modesta riguardo alle proprie affermazioni:

• Validità delle Etichette: Le etichette di responsabilità sono generate da un LLM e fungono da proxy per la valutazione; non sono annotazioni di esperti umani o verità legale. Il processo attuale non tiene conto delle leggi specifiche per giurisdizione.
• Ambito dei Dati: Il modello si basa su fotogrammi campionati e testo, mancando di prove fisiche esplicite (ad es., velocità esatta, forza frenante, traiettorie), il che può limitare il ragionamento temporale fine-grained.
• Complessità: L'attuale formulazione si concentra sulle interazioni tra due parti; gli incidenti che coinvolgono tre o più agenti richiedono una decomposizione più complessa non ancora affrontata.
• Avvertenza Etica: Il sistema è esplicitamente definito come un prototipo di ricerca esplorativa. Non deve essere utilizzato per decisioni legali, giudiziarie o assicurative automatizzate. Gli autori sottolineano il rischio di bias di automazione e la necessità di un'architettura human-in-the-loop per qualsiasi futura applicazione nel mondo reale. Inoltre, sono state segnalate preoccupazioni relative alla privacy riguardanti le informazioni identificabili personalmente nei video dashcam.