Offline Reinforcement Learning using Human-Aligned Reward Labeling for Autonomous Emergency Braking in Occluded Pedestrian Crossing

Sintesi Tecnica: Apprendimento per Rinforzo Offline tramite Etichettatura delle Ricompense Allineata all'Umano per la Frenata d'Emergenza Automatica in Scenari di Attraversamento Pedonale Occluso

Formulazione del Problema

Il documento affronta un collo di bottiglia critico nello sviluppo dei sistemi di Guida Autonoma (AD): la scarsità di etichette di ricompensa significative nei dataset del mondo reale necessari per l'Apprendimento per Rinforzo Offline (Offline RL). Sebbene i dataset reali (es. Waymo, nuScenes, A2D2) offrano dati ricchi e ad alta fedeltà, essi tipicamente mancano dei segnali di ricompensa necessari per addestrare gli agenti a distinguere tra comportamenti desiderabili e indesiderabili. Le soluzioni esistenti spesso si affidano alla simulazione, che soffre del problema del "sim-to-real" (gap tra simulazione e realtà), o utilizzano rappresentazioni dello stato a bassa dimensionalità che ignorano la ricchezza percettiva delle osservazioni basate su immagini.

Il compito specifico investigato è il controllo longitudinale del veicolo all'interno di uno scenario di attraversamento pedonale occluso. In questo ambiente ad alto rischio, un veicolo autonomo (AV) deve navigare in un attraversamento pedonale dove i pedoni possono essere nascosti da altri veicoli (occlusione) ed emergere improvvisamente. La sfida consiste nel generare etichette di ricompensa che si allineino ai valori di sicurezza umani (priorità alla sicurezza rispetto all'efficienza in potenziali scenari di collisione) senza la necessità di annotazione umana diretta di ogni singolo fotogramma, consentendo così l'addestramento di agenti di Offline RL basati sulla percezione direttamente da dataset statici.

Metodologia

La soluzione proposta introduce una nuova pipeline di etichettatura delle ricompense che trasforma i dataset AD non etichettati in dati pronti per l'addestramento con l'Offline RL. La metodologia si compone di tre fasi primarie:

1. Segmentazione Semantica e Valutazione del Rischio:

   • Mappatura Semantica: Le immagini grezze della telecamera vengono elaborate attraverso un modello ResNet18 UNet per generare mappe di segmentazione semantica a livello di pixel. Queste mappe identificano 28 classi, inclusi pedoni, veicoli, strisce pedonali e segnaletica stradale.
   • Componente di Sicurezza Adattiva ($c_t$): Il sistema analizza strati specifici della mappa semantica per calcolare un flag di sicurezza adattivo ($c_t$). Questo flag è determinato da tre fattori di rischio:
     • Presenza di Pedoni ($F_p$): Rileva se un pedone si trova sulla strada rispetto al marciapiede.
     • Occlusione dello Striscione ($F_c$): Valuta se uno stristone pedonale è parzialmente occluso dal traffico, creando incertezza.
     • Storia del Pedone ($F_h$): Utilizza una memoria storica per tracciare i pedoni che appaiono e poi scompaiono (indicando un'occlusione), segnalandoli come rischio medio.
   • Logica Decisionale: Questi fattori vengono sommati e passati attraverso una funzione sigmoide scalata. Se la probabilità risultante supera una soglia ($\psi = 0.75$), $c_t$ viene impostato a 1, attivando la componente di ricompensa per la sicurezza e disattivando la componente di efficienza.

2. Costruzione della Funzione di Ricompensa:
   Il segnale di ricompensa finale ($R_{final}$) è una somma pesata di tre componenti, commutate dinamicamente in base a $c_t$:

   • Sicurezza ($g_{safe}$): Penalizza le alte velocità in prossimità dei pedoni e le collisioni. Attivata quando $c_t=1$.
   • Efficienza ($g_{efficient}$): Incoraggia velocità più elevate quando non è imminente una collisione. Attivata quando $c_t=0$.
   • Fluidità ($g_{smooth}$): Penalizza le accelerazioni brusche, sempre attiva.
   • Integrazione Sensoriale: Per i dati del mondo reale, la distanza dai pedoni è inferita utilizzando il modello della telecamera a foro stenopeico combinato con la segmentazione semantica, mentre velocità e accelerazione sono derivate dal bus CAN del veicolo e dall'IMU.

3. Addestramento Offline RL con Attenzione Spaziale:
   Per addestrare l'agente, il documento propone una pipeline basata sulla percezione che sfrutta le mappe semantiche per guidare l'estrazione delle caratteristiche:

   • Estrazione delle Caratteristiche: Le immagini della telecamera passano attraverso un autoencoder ResNet18 per produrre embedding di caratteristiche latenti.
   • Attenzione Spaziale: Gli strati semantici rilevanti per il compito (pedone, stristone, veicolo) vengono isolati e utilizzati per applicare l'attenzione spaziale alle caratteristiche latenti. Ciò avviene tramite moltiplicazione incrociata pesata, dove le caratteristiche del pedone ricevono il peso maggiore ($\omega_{ped}=1.0$), seguite dagli stristoni ($\omega_{cross}=0.75$) e dai veicoli ($\omega_{veh}=0.50$). Questo meccanismo costringe l'agente a concentrarsi sugli oggetti salienti rilevanti per l'evitamento delle collisioni.

Contributi Chiave

Il documento delinea tre contributi principali:

1. Etichettatura delle Ricompense Allineata all'Umano: Un approccio innovativo per generare etichette di ricompensa per i dataset AD esistenti, consentendo il loro utilizzo per l'end-to-end Offline RL senza richiedere nuove raccolte dati.
2. Meccanismo di Sicurezza Adattivo: Una funzione di ricompensa che incorpora una componente di sicurezza adattiva derivata dalle mappe di segmentazione semantica. Ciò consente all'agente di dare priorità dinamicamente alla sicurezza rispetto all'efficienza in base ai fattori di rischio in tempo reale, come la posizione del pedone e l'occlusione.
3. Attenzione Spaziale tramite Mappe Semantiche: Un metodo per utilizzare gli strati di segmentazione semantica per fornire livelli variabili di attenzione spaziale a diverse classi di oggetti all'interno dell'osservazione dell'immagine, migliorando il processo decisionale dell'agente focalizzandosi sugli elementi salienti della scena.

Risultati Sperimentali

Il metodo è stato valutato in due contesti: una simulazione CARLA e un sottoinsieme del dataset reale Audi Autonomous Driving Dataset (A2D2).

• Simulazione (CARLA):

  • Algoritmi Testati: I dati etichettati sono stati utilizzati per addestrare CQL, IQL e BPPO.
  • Baseline: Il metodo proposto ("Gen") è stato confrontato con la Condivisione di Dati Non Etichettati (UDS) (assegnazione di ricompense nulle) e un approccio basato su Modelli Linguistici Visivi (VLM).
  • Performance: L'impostazione IQL (Gen) ha ottenuto le prestazioni più elevate, con tassi di successo del 98-100% in scenari di occlusione parziale. Il metodo proposto ha generalmente prodotto comportamenti più stabili e affidabili rispetto alle baseline UDS o VLM.
  • Limitazioni: Le prestazioni sono diminuite in scenari altamente congestionati e con occlusione totale, particolarmente per CQL e BPPO, suggerendo che la visuale della telecamera frontale presenta dei limiti in contesti di traffico denso.

• Mondo Reale (A2D2):

  • Confronto: Le etichette di ricompensa generate sono state confrontate con quelle annotate manualmente da un essere umano.
  • Risultati: Sebbene la distribuzione complessiva delle ricompense fosse simile, si è riscontrata una disparità moderata in specifiche classificazioni di sicurezza. In particolare, il metodo ha segnalato determinati stati non sicuri (es. pedoni pesantemente occlusi) che l'annotatore umano aveva mancato. Viceversa, il metodo a volte non ha identificato pedoni chiaramente visibili a causa delle limitazioni nei fattori di rischio specifici utilizzati (es. confusione tra segnaletica stradale e superficie stradale).

Significato e Rivendicazioni

Il documento afferma che la sua importanza primaria risiede nel colmare il divario tra i dataset AD del mondo reale su larga scala e non etichettati e i requisiti dell'Offline RL. Automatizzando la generazione di etichette di ricompensa allineate all'uomo, il metodo consente l'addestramento di agenti basati sulla percezione senza i costi proibitivi dell'annotazione manuale o i problemi di fedeltà della simulazione.

Gli autori sottolineano che, sebbene il metodo generi con successo segnali di ricompensa significativi e migliori le prestazioni della policy in simulazione, non è un sostituto perfetto del giudizio umano. I risultati di A2D2 evidenziano che il metodo può rilevare pericoli che gli umani trascurano (grazie all'analisi sistematica delle mappe semantiche), ma manca anche del ragionamento contestuale sfumato tipico dei conducenti umani. Il documento conclude che questo approccio fornisce un punto di partenza vitale per l'Offline RL in scenari complessi, sebbene il lavoro futuro debba affrontare il ragionamento temporale e l'integrazione multi-vista per gestire in modo più robusto gli ambienti di traffico denso.