Towards Driver Behavior Understanding: Weakly-Supervised Risk Perception in Driving Scenes

Il paper presenta RAID, un vasto dataset annotato per la percezione del rischio alla guida, e un nuovo framework di apprendimento debolmente supervisionato che, sfruttando le intenzioni e le risposte del conducente, identifica le fonti di pericolo ottenendo significativi miglioramenti rispetto agli stati dell'arte.

L'essenziale

Immagina di essere un guidatore esperto. Quando sei in macchina, il tuo cervello non si limita a guardare la strada; sta costantemente facendo una partita a scacchi invisibile con tutto ciò che ti circonda. Se un pedone guarda il tuo parabrezza, il tuo cervello si rilassa un po'. Se un bambino corre verso il marciapiede senza guardarti, il tuo cervello preme immediatamente il freno.

Questo articolo parla di come insegnare alle auto intelligenti (le auto a guida autonoma) a fare esattamente la stessa cosa: capire non solo cosa succede, ma come lo pensano le persone.

Ecco la spiegazione semplice, divisa in tre parti chiave:

1. Il Problema: Le auto sono "cieche" alle intenzioni

Fino a poco tempo fa, le auto intelligenti erano come giocatori di scacchi che vedono solo i pezzi sulla scacchiera, ma non sanno cosa sta pensando l'avversario. Sapevano calcolare la probabilità di un incidente (es. "quella macchina sta andando veloce, potremmo scontrarci"), ma non capivano la percezione del rischio umana.
Un guidatore umano non aspetta che un camion gli sbarrhi la strada per frenare; lo fa prima, perché percepisce il pericolo. Le macchine, invece, spesso reagiscono troppo tardi perché non capiscono le "vibrazioni" della strada.

2. La Soluzione: RAID (Il nuovo "Libro di Ricette" per le auto)

Gli autori hanno creato un enorme database chiamato RAID (Risk Assessment In Driving scenes).
Pensa a RAID come a un enorme archivio di video girati nella vita reale, dove ogni scena è stata "annotata" da esperti umani. Non si tratta solo di dire "c'è un'auto", ma di scrivere:

• "Il guidatore voleva andare dritto, ma ha deviato perché..."
• "Il pedone stava guardando l'auto? Sì o No?"
• "C'era un semaforo o un incrocio?"

È come se avessimo insegnato a un bambino a guidare mostrandogli migliaia di video e dicendogli: "Guarda qui, il guidatore ha frenato perché quel pedone sembrava distratto. Guarda qui, ha accelerato perché il pedone lo stava guardando dritto negli occhi".

3. Il Metodo: L'Investigatore Privato

Hanno anche creato un "cervello" artificiale (un algoritmo) per analizzare questi video. Ecco come funziona, usando una metafora:

Immagina che l'auto sia un detective che guarda una scena del crimine (la strada).

• Il vecchio metodo: Il detective guardava solo gli oggetti (c'è un'auto, c'è un pedone) e cercava di indovinare chi fosse il colpevole basandosi solo sulla posizione.
• Il nuovo metodo (RAID): Il detective guarda la scena e si chiede: "Se togliessi questo pedone dalla scena, il guidatore continuerebbe a guidare dritto o fermerebbe la macchina?".
  • Se togliendo il pedone la macchina continuerebbe dritta, allora quel pedone è la causa del rischio.
  • Inoltre, il detective controlla gli occhi del pedone. Se il pedone guarda l'auto, il rischio scende (è come se dicesse "ti vedo, stai tranquillo"). Se il pedone guarda altrove, il rischio sale (è come se dicesse "non mi importa di te").

Perché è importante?

Prima di questo studio, i dati mancavano di dettagli cruciali, come dove guarda la testa del pedone. È come cercare di capire se un amico ti sta ascoltando guardandogli solo il corpo, senza vedere il viso.
Con RAID, l'auto può dire: "Quel ciclista sta attraversando, ma mi sta guardando negli occhi. Quindi è sicuro che mi veda. Posso passare lentamente senza frenare di colpo".

Il Risultato

Hanno testato il loro sistema su due grandi banche dati di video stradali. Il risultato? Il loro metodo ha funzionato molto meglio dei precedenti (circa il 20-23% in più).
In parole povere: le auto sono diventate molto più brave a "leggere" la mente degli altri utenti della strada, rendendo i viaggi più sicuri e fluidi, proprio come farebbe un guidatore umano esperto.

In sintesi: Hanno dato alle auto un "senso comune" visivo, insegnando loro che il rischio non è solo una questione di distanze e velocità, ma di chi guarda chi e di cosa sta pensando chi è intorno a noi.

Sommario tecnico

Titolo

Verso la comprensione del comportamento del conducente: Percezione del rischio debolmente supervisionata in scenari di guida.

1. Il Problema

La sicurezza stradale e l'obiettivo di una mobilità a collisione zero richiedono sistemi intelligenti in grado di comprendere la percezione del rischio da parte del conducente. Questo è un processo cognitivo complesso che non si limita alla previsione di collisioni (probabilità di impatto), ma include la risposta volontaria del conducente agli stimoli esterni e l'attenzione degli altri utenti della strada (es. pedoni) verso il veicolo ego.

Le sfide principali identificate sono:

• Definizione del rischio: La maggior parte dei sistemi attuali definisce il rischio solo in termini di collisione imminente, ignorando come i guidatori percepiscono e reagiscono al rischio (es. deviare dalla traiettoria per evitare un ostacolo).
• Limiti dei dataset esistenti: I dataset attuali (come JAAD, PIE, HDDS) soffrono di scarsa diversità di scenari, mancanza di annotazioni comportamentali chiave (come l'attenzione del pedone) e assenza di annotazioni facciali necessarie per valutare l'attenzione in modo affidabile.
• Mancanza di correlazione: Esiste un vuoto nella ricerca che colleghi l'attenzione del pedone (es. contatto visivo) direttamente alla valutazione del rischio e alla pianificazione della traiettoria del conducente.

2. Metodologia

Gli autori propongono un approccio basato su due pilastri principali: un nuovo dataset e un framework di identificazione del rischio debolmente supervisionato.

A. Il Dataset RAID (Risk Assessment In Driving scenes)

È un dataset su larga scala curato specificamente per la ricerca sulla percezione del rischio.

• Dati: 4.691 clip video annotate, raccolte nella Bay Area di San Francisco, con dati sincronizzati da telecamere, LiDAR, GPS e dati CAN (comandi del conducente: sterzo, frenata, acceleratore).
• Annotazioni a 4 livelli:
  1. Azione del conducente: Intenzione di manovra (Svolta a sinistra, destra, dritto).
  2. Topologia stradale: Incrocio a 4 vie, 3 vie, rettilineo.
  3. Situazione di rischio: Identificazione dell'agente di traffico più influente (es. pedone che attraversa, veicolo parcheggiato) con bounding box e classificazione in 10 categorie.
  4. Risposta del conducente: Classificazione tra "Continue" (movimento ininterrotto) e "Alter" (fermata o deviazione dovuta al rischio).
• Attenzione del pedone: Un sottoinsieme di 695 scenari include annotazioni complete di corpo e viso, permettendo di classificare l'attenzione del pedone come "Guarda" (Looking), "Non guarda" (Not Looking) o "Non sicuro".

B. Framework di Identificazione del Rischio (Weakly-Supervised)

Il problema è formulato come un problema di causa-effetto: identificare l'oggetto (causa) che influenza il cambiamento di comportamento del conducente (effetto).

• Architettura:
  • Estrazione delle feature: Utilizzo di Mask R-CNN e Deep SORT per rilevare e tracciare gli agenti.
  • Grafo Spazio-Temporale: Costruzione di un grafo $G_t$ dove i nodi sono gli agenti (incluso il veicolo ego) e gli archi modellano le relazioni di apparizione e interazione.
  • Predizione dell'Azione del Conducente: Un modulo Encoder-Decoder basato su LSTM (con ResNet-50 come backbone) predice l'azione futura del conducente basandosi sui frame passati. Questo fornisce un segnale di supervisione strutturato.
  • Identificazione dell'Oggetto di Rischio: Viene utilizzata una convoluzione parziale. Durante l'inferenza, gli agenti vengono mascherati iterativamente. L'agente la cui rimozione porta il modello a predivere con la massima confidenza uno stato "Continue" (senza deviazioni) viene identificato come l'oggetto di rischio principale.
• Valutazione dell'Attenzione del Pedone:
  • Classificazione: Addestramento di ResNet-101 su ritagli di viso e corpo.
  • Rilevamento: Modifica di un rilevatore di volti esistente con un ramo aggiuntivo per la classificazione dell'attenzione.
  • Valutazione del Rischio Congiunto: Una formula combina il punteggio di rischio dell'oggetto ($s_{roi}$) e l'attenzione del pedone ($s_{look}$):
    $$s_{risk} = s_{roi} + \frac{(1 - s_{look})}{2}$$
    Questo riduce il punteggio di rischio se il pedone sta guardando il veicolo ego.

3. Contributi Chiave

1. Dataset RAID: Il primo dataset su larga scala in scenari di guida naturalistici che include situazioni di rischio diversificate, annotazioni di attenzione del pedone (con box facciali) e dati CAN sincronizzati.
2. Framework Debolmente Supervisionato: Un modello che identifica gli oggetti di rischio modellando la relazione tra l'azione intenzionale del conducente e la sua risposta comportamentale, senza bisogno di annotazioni pixel-per-pixel sugli oggetti di rischio.
3. Integrazione dell'Attenzione: Introduzione di un metodo per analizzare l'impatto dell'attenzione del pedone (basato sul viso) sulla percezione del rischio, colmando un gap nella letteratura precedente.

4. Risultati Sperimentali

Il modello è stato valutato sia sul nuovo dataset RAID che sul dataset esistente HDDS.

• Performance su HDDS: Il metodo proposto supera lo stato dell'arte (SOTA) con un guadagno del 20,6% rispetto agli approcci precedenti (es. DROID [12]).
• Performance su RAID: Il metodo raggiunge un guadagno del 23,1% rispetto alle baseline esistenti.
  • L'aggiunta del modulo di predizione dell'azione del conducente ("Ours+") migliora ulteriormente l'accuratezza media (mAcc) sul dataset RAID, portandola al 22,10%.
  • Le categorie come "Veicolo che blocca la corsia" mostrano una diminuzione delle prestazioni quando si usa l'azione del conducente come supervisione aggiuntiva, a causa di un disallineamento tra l'etichetta (es. "dritto") e il comportamento visivo (manovra laterale), un problema identificato per lavori futuri.
• Attenzione del Pedone:
  • L'uso di annotazioni facciali per la classificazione dell'attenzione supera significativamente i metodi basati solo sul corpo (mAP 83,76% vs 62,10%).
  • La classe "Non guarda" è più facile da classificare (più rappresentata nei dati reali), ma più difficile da rilevare in termini di bounding box a causa delle piccole dimensioni dei volti distanti.

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale verso sistemi di guida autonoma più sicuri e "umanocentrici".

• Oltre la collisione: Sposta il focus dalla semplice previsione di collisioni alla comprensione della percezione del rischio, che è ciò che guida effettivamente le decisioni umane.
• Interazione Umano-AI: Dimostra che l'attenzione visiva (contatto oculare) è un segnale cruciale per ridurre l'incertezza nelle interazioni veicolo-pedone.
• Risorsa per la Ricerca: RAID fornisce una base solida per lo sviluppo di algoritmi che devono gestire eventi rari (long-tail distribution) e scenari complessi di interazione, superando i limiti dei dataset precedenti.

In sintesi, il paper introduce un nuovo paradigma per l'analisi del rischio che integra la risposta comportamentale del conducente con l'analisi visiva degli altri utenti della strada, fornendo sia un dataset ricco di annotazioni che un modello efficace per l'identificazione delle cause di rischio in scenari di guida reali.