Hazard-Aware Traffic Scene Graph Generation

Questo lavoro propone un nuovo framework per la generazione di grafi di scena del traffico che, integrando dati sugli incidenti e informazioni sulla profondità, supera i limiti delle approcci esistenti identificando e classificando le minacce per la sicurezza rispetto al veicolo egoista.

L'essenziale

Immagina di guidare un'auto in una città affollata. Il tuo cervello è un supercomputer che deve decidere istantaneamente: "Devo frenare per quel pedone? Devo cambiare corsia per quella macchina? Quella strada è libera?".

Il problema è che ci sono troppe cose da guardare: alberi, cartelli, nuvole, macchine parcheggiate, ciclisti. La maggior parte di queste cose non è pericolosa, ma il tuo cervello (e le auto a guida autonoma) rischia di sprecare energie preoccupandosi di tutto, invece di concentrarsi su ciò che conta davvero.

Questo articolo presenta HATS, un nuovo "cervello digitale" progettato per le auto che sa esattamente cosa guardare e quanto è pericoloso.

Ecco come funziona, spiegato con delle metafore semplici:

1. Il Problema: Il "Rumore" della Strada

Immagina di essere in una stanza piena di persone che chiacchierano. Se cerchi di ascoltare tutti contemporaneamente, non capisci nulla. Le auto attuali cercano di analizzare ogni singolo oggetto nella scena (ogni persona, ogni oggetto), ma spesso si perdono nei dettagli inutili. Non sanno distinguere tra un "cartello che non serve a nulla" e un "bambino che sta per attraversare".

2. La Soluzione: HATS (Il Guardiano Attento)

HATS è come un guardiano esperto che sta al tuo posto di guida. Non guarda tutto con la stessa intensità; fa tre cose fondamentali:

• Filtra il "Rumore" (Il Filtro ERES):
  Immagina che HATS abbia un tunnel di luce che punta solo dove l'auto sta andando. Tutto ciò che è fuori da questo tunnel (come un albero lontano o un'auto parcheggiata dietro di te) viene ignorato o messo in secondo piano. Questo permette al sistema di concentrarsi solo sulle persone o oggetti che potrebbero davvero toccare la tua strada.

• Usa la "Memoria degli Incidenti" (La Conoscenza KG):
  Qui sta la vera magia. La maggior parte delle auto guarda solo ciò che vede ora (con le telecamere). HATS, invece, ha un libro di storia degli incidenti stradali aperto accanto.

  • Metafora: Se vedi un'auto che si avvicina da destra, una telecamera normale dice: "C'è un'auto". HATS, consultando il suo libro degli incidenti, pensa: "Ah, le auto che arrivano da destra in questa situazione spesso causano incidenti gravi. Quindi questa è pericolosa".
  • Usa i dati reali di migliaia di incidenti passati per capire non solo cosa c'è, ma quanto è pericoloso.

• Disegna la Mappa del Pericolo (Il Grafico TSG):
  Alla fine, HATS non ti dà solo un elenco di cose. Disegna una mappa mentale colorata (un "Grafico di Scena") che ti mostra:

  • Chi è il pericolo: (Es. "Quel pedone").
  • Da dove arriva: (Es. "Da destra").
  • Come ti colpisce: (Es. "Potrebbe farti un tamponamento laterale").
  • Quanto è grave: Usa dei colori (come un semaforo). Verde per "nessun problema", Giallo per "attenzione", Rosso per "pericolo imminente".

3. Come ha imparato?

Gli scienziati hanno addestrato questo sistema usando:

1. Foto reali di strade (dal dataset Cityscapes).
2. Migliaia di report di incidenti reali (per insegnare al sistema a riconoscere i pattern di pericolo).
3. Dati di profondità (per capire quanto sono lontani gli oggetti, non solo come appaiono).

4. I Risultati: Perché è meglio?

Quando hanno messo HATS alla prova contro altri sistemi intelligenti:

• È più veloce nel trovare i pericoli: Non perde tempo a guardare le nuvole.
• È più preciso sulla gravità: Sa dire la differenza tra un'auto che passa e un'auto che sta per investire qualcuno.
• È più sicuro: Riesce a prevedere scenari complessi (come un'auto che arriva da un incrocio) meglio dei sistemi che guardano solo le immagini.

In Sintesi

Pensa a HATS non come a una semplice telecamera, ma come a un co-pilota esperto che ha letto tutti i libri di storia degli incidenti stradali. Mentre tu guidi, lui filtra il caos, ti indica con un dito chi è il vero pericolo, ti dice da dove arriva e ti sussurra: "Attenzione, quello lì è rosso, è pericoloso!".

L'obiettivo finale? Rendere la guida autonoma (e assistita) più sicura, perché invece di cercare di capire tutto, impara a preoccuparsi solo di ciò che conta davvero per la tua vita.

Sommario tecnico

1. Il Problema

La consapevolezza situazionale in scenari di guida complessi è una sfida critica. I sistemi esistenti di comprensione della scena spesso falliscono in due aspetti fondamentali:

• Mancanza di rilevanza per la sicurezza: Sebbene eccellano nel rilevare categorie semantiche specifiche o regioni visivamente salienti, non riescono a valutare la "rilevanza per la sicurezza" (safety-relevance) degli oggetti.
• Predicati generici inadeguati: I grafi della scena (Scene Graphs - SG) tradizionali utilizzano predicati spaziali generici (es. "sopra", "dentro") o si concentrano solo sugli oggetti in primo piano. Questi non sono sufficienti per la guida autonoma, dove è cruciale comprendere le relazioni specifiche legate al traffico e ai pericoli potenziali rispetto al veicolo ego (ego-vehicle).

L'obiettivo è creare un sistema che non solo percepisca l'ambiente, ma identifichi i pericoli prominenti, ne comprenda le relazioni specifiche con il veicolo e generi un output interpretabile che guidi l'allocazione dell'attenzione del conducente.

2. Metodologia: Il Framework HATS

Il modello proposto, HATS (Hazard-Aware Traffic Scene Graph Generation), è un framework ego-centrico che integra percezione visiva, conoscenza strutturata e dati storici sugli incidenti. L'architettura si divide in due rami principali:

A. Ramo Principale: Generazione del Grafo della Scena del Traffico (TSGG)

Questo ramo elabora l'immagine per generare un grafo centrato sul veicolo ego.

1. Modulo di Segmentazione Panottica (PS): Utilizza un modello basato su Mask2Former (ResNet50) per localizzare e classificare tutte le entità nella scena (sfondo e primo piano) come istanze non sovrapposte, garantendo una percezione olistica.
2. Selezione delle Entità Relative al Percorso Ego (ERES): Poiché processare tutte le entità è costoso e rumoroso, questo modulo filtra le candidate. Utilizza un meccanismo di cross-attention apprendibile tra il "token del percorso" (estratto dalla maschera del percorso di guida) e le entità per selezionare solo quelle che potrebbero impattare il percorso del veicolo (es. pedoni con diritto di passaggio, infrastrutture critiche).
3. Generazione del Grafo (TSGG): Collega le entità selezionate al veicolo ego, generando triplets ego-centrici. Invece di predicati visivi generici, il modello predice tre dimensioni specifiche:
   • Meccanismo di effetto: (es. sideswipe, head-on, rear-end).
   • Lato relativo: (sinistra, destra, fronte).
   • Gravità: (livelli da "info" a "imminente").

B. Ramo Ausiliario: Costruzione e Incorporamento della Knowledge Graph (KG)

Questo ramo fornisce conoscenza di dominio strutturata basata su dati reali.

1. Costruzione della KG: I dati grezzi provengono dai file di indagine sugli incidenti stradali (NHTSA). Vengono organizzati in una Knowledge Graph unificata tramite una pipeline a quattro stadi:
   • Creazione di nodi da dati tabellari eterogenei.
   • Wiring delle relazioni strutturali (schema-driven).
   • Arricchimento con relazioni causali (chi ha causato l'incidente, fattori critici).
   • Allineamento con ontologie esterne (es. categorie Cityscapes).
     La KG risultante contiene ~16k nodi e ~153k relazioni.
2. Knowledge Graph Embedding (KGE): Viene proposto un metodo di embedding avanzato che:
   • Inizializza i nodi fondendo proprietà categoriali e numeriche (literal-aware).
   • Utilizza un meccanismo di message passing adattivo basato su FiLM (Feature-wise Linear Modulation) per gestire le proprietà degli archi (qualifiers), permettendo di modulare i messaggi in base al contesto.
   • Impiega un scorer basato su Transformer per valutare le triplets.

C. Fusione e Predizione

Il modulo TSGG fonde quattro rappresentazioni complementari per ogni coppia "veicolo-entità":

• Rappresentazione visiva (RGB + Disparità/Depth).
• Rappresentazione semantica (embedding del decoder + logit di rilevanza).
• Rappresentazione geometrica (sovrapposizione col percorso).
• Rappresentazione KGE (conoscenza storica sugli incidenti).

Un meccanismo di gating appreso pesa dinamicamente questi segnali. Gli head dedicati predicono poi meccanismo, lato e gravità, producendo un grafo finale dove i pericoli sono colorati in base alla gravità e annotati con il loro meccanismo di interazione.

3. Contributi Chiave

1. Nuova Formulazione del Problema (TSGG): Introduzione del compito di "Generazione di Grafi della Scena del Traffico", focalizzato su relazioni specifiche per il traffico e pericoli prominenti, con annotazioni relazionali create sul dataset Cityscapes.
2. Pipeline di Costruzione della KG: Sviluppo di una pipeline a quattro stadi per strutturare dati di incidenti isolati in una KG unificata, con un metodo KGE che gestisce nodi multi-attributo e archi iper-relazionali, superando i baseline esistenti.
3. Integrazione Innovativa dei Dati: Primo lavoro che utilizza dati storici sugli incidenti stradali per l'interpretazione di immagini del traffico, incorporando esplicitamente l'embedding della KG come modalità supplementare per guidare la valutazione della gravità.

4. Risultati Sperimentali

Il modello è stato valutato su 820 immagini del dataset Cityscapes (con annotazioni relazionali create ad hoc) su 10 task da 5 prospettive.

• Embedding della KG (KGE): Il modulo KGE ha ottenuto prestazioni eccezionali, raggiungendo un H@10 del 99.77% per la predizione degli oggetti e del 99.79% per le triplets, superando significativamente il baseline StareE.
• Prioritizzazione dei Pericoli (HP): HATS ha superato il metodo di riferimento CFHP in tutte le metriche (mAP@K, MRR@K, NDCG@K), dimostrando una capacità superiore di classificare i pericoli critici nelle posizioni superiori della lista.
• Generazione del Grafo (SGDet): Nel task di rilevamento del grafo della scena, HATS ha ottenuto un R@50 del 62.79% e un mR@50 del 76.13%, superando notevolmente modelli come MOTIFS, VCTREE e PSGTR. Il miglioramento nel mean Recall (mR@K) indica che il modello gestisce bene anche le relazioni rare ma critiche per la sicurezza.
• Classificazione di Rilevanza e Prominenza: Il modello ha raggiunto un F1-score del 95.03% per la rilevanza delle entità e del 90.89% per la prominenza, dimostrando di identificare correttamente quali oggetti richiedono attenzione immediata.
• Studio Ablativo: La rimozione del modulo ERES ha causato un crollo delle prestazioni (>40% di calo), confermando che la selezione delle entità è prerequisito per l'efficacia degli altri moduli. Anche la rimozione della KG o dei dati di profondità ha degradato significativamente la capacità di predire la gravità e il meccanismo di collisione.

5. Significato e Impatto

Il lavoro HATS rappresenta un passo avanti significativo verso la guida autonoma sicura e interpretabile.

• Interpretabilità: Fornisce al conducente (o al sistema di guida autonoma) un output strutturato che non si limita a dire "c'è un'auto", ma spiega "c'è un'auto a destra che potrebbe causare uno sideswipe con gravità 'imminente'".
• Uso della Conoscenza di Dominio: Dimostra che integrare dati storici sugli incidenti (conoscenza di dominio) con la percezione visiva migliora drasticamente la capacità di ragionamento su scenari di rischio, superando i limiti dei modelli puramente basati su dati visivi.
• Efficienza: L'approccio a due stadi (selezione ERES + generazione grafo) riduce il rumore computazionale, focalizzando le risorse solo sulle entità rilevanti per la sicurezza.

In sintesi, HATS colma il divario tra la percezione visiva generica e la comprensione semantica specifica per la sicurezza, offrendo un framework robusto per la generazione di grafi della scena orientati alla prevenzione degli incidenti.