🤖 machine learning

Multi-Agent Reinforcement Learning for Safe Autonomous Driving Under Pedestrian Behavioral Uncertainty

Questo articolo propone un framework di apprendimento per rinforzo multi-agente che addestra congiuntamente veicoli autonomi e pedoni con tratti di personalità nascosti, dimostrando che tale approccio genera scenari di interazione più realistici e riduce significativamente i tassi di collisione rispetto a baseline basate su regole e all'addestramento di un singolo agente.

Autori originali: Prakash Aryan, Kaushik Raghupathruni, Timo Kehrer, Sebastiano Panichella

Pubblicato 2026-05-21

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Prakash Aryan, Kaushik Raghupathruni, Timo Kehrer, Sebastiano Panichella

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un'auto a guida autonoma come guidare in una città affollata. Di solito, gli ingegneri testano queste auto in simulazioni dove le persone che camminano per strada sono come attori che seguono una sceneggiatura rigorosa. Camminano in linea retta, attraversano solo agli attraversamenti pedonali e non fanno mai nulla di sorprendente.

Il problema? Le persone reali sono disordinate. A volte sono distratte, a volte hanno fretta e a volte decidono di "attraversare illegalmente" (jaywalk) proprio davanti a un'auto. Se un'auto a guida autonoma viene addestrata solo su "pedoni perfetti", potrebbe schiantarsi quando incontra un essere umano reale e imprevedibile.

Questo articolo propone un nuovo modo per addestrare le auto a guida autonoma: lascia che anche i pedoni imparino a essere imprevedibili.

Ecco una spiegazione di ciò che hanno fatto, utilizzando semplici analogie:

1. L'Approccio "Partner di Danza" (Apprendimento Multi-Agente)

Invece di insegnare all'auto (SDC) mentre i pedoni seguono semplicemente una sceneggiatura, i ricercatori hanno messo l'auto e 12 pedoni in una stanza virtuale e li hanno insegnati insieme utilizzando una tecnica chiamata Apprendimento per Rinforzo Multi-Agente (MARL).

Il Vecchio Modo: L'auto è come uno studente che pratica il pianoforte mentre un insegnante suona un metronomo. Lo studente impara a mantenere il tempo, ma se il metronomo si ferma improvvisamente o accelera, lo studente va nel panico.
Il Nuovo Modo: L'auto e i pedoni sono come partner di danza che imparano una routine insieme. I pedoni non seguono solo una sceneggiatura; hanno le loro "personalità" (come essere cauti o temerari) nascoste all'auto. Imparano a reagire all'auto e l'auto impara a reagire a loro.

2. Il Tratto "Personality" Nascosto

In questa simulazione, ogni pedone riceve un segreto "tratto della personalità" all'inizio del gioco. Questo tratto determina la probabilità che attraversino illegalmente.

Il Tocco: L'auto a guida autonoma non può vedere questo tratto. È come cercare di indovinare se una persona sta per scendere dal marciapiede basandosi solo sul linguaggio del corpo, senza sapere se ha fretta o sta semplicemente sognando ad occhi aperti.
Questo crea incertezza. L'auto deve essere pronta a tutto, proprio come farebbe un conducente umano.

3. I Risultati: Imparare ad "Aspettare"

Quando l'auto e i pedoni si sono allenati insieme, è successo qualcosa di interessante:

I Pedoni Hanno Imparato: Hanno capito che se l'auto sta arrivando velocemente verso di loro, è più intelligente aspettare un secondo che correre contro di essa. Hanno imparato una forma di "attesa cooperativa" senza che nessuno lo abbia loro detto esplicitamente.
L'Auto Ha Imparato: Poiché i pedoni erano più realistici (a volte in attesa, a volte che si lanciavano fuori), l'auto è diventata migliore nel gestire il caos.
La Scheda Punteggi:
- Metodo Vecchio (Pedoni Sceneggiati): L'auto raggiungeva il suo obiettivo solo il 35% delle volte e si schiantava il 33% delle volte.
- Metodo Nuovo (Addestramento Congiunto): L'auto raggiungeva il suo obiettivo il 78% delle volte e si schiantava solo il 14% delle volte.

4. Il Test del "Divario di Velocità"

I ricercatori volevano sapere: L'auto capisce davvero la differenza tra un attraversamento pedonale sicuro e un pedone che attraversa illegalmente?

Hanno inventato una metrica chiamata "Differenziale di Velocità". Pensala come controllare quanto velocemente un conducente rallenta quando vede un bambino rispetto a un adulto.

La Scoperta: Quando l'auto si avvicinava a un pedone a un attraversamento pedonale, rallentava in modo piacevole. Ma quando si avvicinava a un pedone che attraversava illegalmente, procedeva ancora 2,65 metri al secondo più velocemente.
Cosa significa questo: L'auto non stava anticipando completamente il pedone che attraversava illegalmente. Stava ancora guidando un po' troppo velocemente per la sorpresa. Tuttavia, poiché i pedoni erano addestrati ad aspettare a volte, l'auto non si è schiantata spesso come accadeva con i vecchi modelli rigidi.

5. Il Controllo di Realtà dell'"Attraversamento Illegale"

Lo studio ha scoperto che l'attraversamento illegale era raro (solo il 13% delle volte in cui le persone attraversavano la strada), ma era responsabile del 62% di tutti gli incidenti.

Questo evidenzia che anche una piccola quantità di comportamento imprevedibile causa il maggior pericolo.
Il sistema ha gestito bene la situazione fino a un certo punto. Se rendevano l'attraversamento illegale troppo comune (50% delle volte), il sistema iniziava a crollare, il che ha senso: nessuno può guidare in sicurezza se tutti corrono nella strada in modo casuale.

La Conclusione

L'articolo afferma che, addestrando le auto a guida autonoma insieme a pedoni "intelligenti" che hanno personalità nascoste e imparano dall'auto, otteniamo un terreno di prova molto più realistico e sicuro. Non si tratta solo dell'auto che impara a guidare; si tratta dell'intero ambiente che impara a interagire.

Il risultato? Un'auto a guida autonoma molto migliore nel sopravvivere alla realtà disordinata e imprevedibile di una strada cittadina, riducendo gli incidenti del 30% rispetto all'addestramento dell'auto da sola contro pedoni statici e sceneggiati.

Riepilogo Tecnico: Apprendimento per Rinforzo Multi-Agente per la Guida Autonoma Sicura in Condizioni di Incertezza Comportamentale dei Pedoni

Enunciato del Problema
I test attuali basati sulla simulazione per le Auto a Guida Autonoma (SDC) si affidano spesso a modelli di pedoni scriptati o semplificati che non riescono a catturare l'eterogeneità e l'incertezza del comportamento reale di attraversamento degli esseri umani. Questa limitazione è particolarmente acuta negli scenari che coinvolgono l'attraversamento irregolare (jaywalking), governato da tratti della personalità latenti invisibili al veicolo. Di conseguenza, le valutazioni di sicurezza potrebbero non esporre adeguatamente le SDC a situazioni di "intento latente", portando a valutazioni irrealistiche della loro capacità di gestire interazioni imprevedibili con i pedoni.

Metodologia
Gli autori propongono un framework di Apprendimento per Rinforzo Multi-Agente (MARL) in cui una SDC e 12 pedoni vengono addestrati congiuntamente per generare scenari di interazione più realistici. Il sistema è implementato utilizzando Multi-Agent Proximal Policy Optimization (MAPPO) all'interno di un ambiente basato su JAX eseguito su una singola GPU con 512 ambienti paralleli.

Progettazione dell'Ambiente: La simulazione si svolge in una mappa urbana di 120×120 m che presenta un incrocio a quattro vie e un incrocio a T. La scena include 12 agenti pedonali, un aumento significativo rispetto ai lavori precedenti che utilizzano tipicamente solo pochi pedoni di sfondo.
Comportamento dei Pedoni: I pedoni utilizzano la ricerca del percorso Dijkstra scriptata per la locomozione a basso livello. Le decisioni di alto livello (procedere/attendere) sono controllate da una politica RL. Crucialmente, a ogni pedone viene assegnato un tratto della personalità latente ( $\tau_j$ ) campionato all'inizio di un episodio, che rappresenta la loro tendenza all'attraversamento irregolare. Questo tratto è nascosto alla SDC. Se un pedone decide di "procedere", un lancio probabilistico determina se attraversa in un passaggio pedonale designato o compie un attraversamento irregolare, in base al suo specifico $\tau_j$ .
Modello SDC: La SDC utilizza un modello cinematico a bicicletta con una velocità massima di 30 km/h. Opera secondo il paradigma di Addestramento Centralizzato, Esecuzione Decentralizzata (CTDE).
Architettura di Addestramento:
- Attori: La SDC e tutti i 12 pedoni condividono i parametri degli attori (agenti omogenei).
- Critic: Un critic centralizzato condiviso osserva uno stato globale (58 dimensioni), inclusi le posizioni e le velocità di tutti gli agenti, lo stato della SDC e le tendenze nascoste all'attraversamento irregolare dei pedoni.
- Ricompense: Il sistema utilizza una funzione di ricompensa mista (50% pedone, 50% SDC) per incoraggiare la cooperazione. I pedoni ricevono ricompense per il progresso e un bonus di "attesa intelligente" quando attendono vicino a una SDC che si avvicina rapidamente. La SDC viene penalizzata severamente per le collisioni e per l'eccesso di velocità vicino a attraversamenti occupati, ma non riceve alcuna ricompensa positiva per fermarsi indefinitamente per evitare lo sfruttamento della ricompensa (reward hacking).
Quantificazione dell'Incertezza: Gli autori introducono una metrica della Differenziale di Velocità per misurare la reazione della SDC all'incertezza. Calcola la differenza nella velocità della SDC quando si avvicina a utenti del passaggio pedonale prevedibili rispetto a pedoni irregolari imprevedibili a distanze specifiche. Una differenziale positiva indica che la SDC non è riuscita ad anticipare l'incontro con l'attraversamento irregolare.

Contributi Chiave

Ambiente di Addestramento Congiunto MARL: Il documento descrive un ambiente innovativo in cui una SDC e 12 pedoni vengono addestrati congiuntamente, con l'attraversamento irregolare guidato da un tratto della personalità latente invisibile al veicolo. Questo estende il lavoro precedente sugli incroci MARL scalando il numero di agenti e introducendo incertezza comportamentale guidata da tratti.
Metrica della Differenziale di Velocità: Viene introdotta una nuova metrica per quantificare, direttamente dalle traiettorie, come varia la velocità di una SDC tra incontri prevedibili e imprevedibili, fornendo una misura a livello di traiettoria dell'incertezza.
Comportamento Cooperativo Emergente: Lo studio dimostra empiricamente che l'addestramento congiunto porta a un comportamento cooperativo emergente di attesa nei pedoni (che imparano ad attendere quando la SDC si avvicina a velocità) e riduce le collisioni rispetto all'addestramento di un singolo agente.

Risultati Sperimentali
Le valutazioni sono state condotte su 500 episodi con semi fissi:

Prestazioni vs Baseline: La SDC MARL addestrata congiuntamente ha raggiunto un tasso di completamento degli obiettivi del 78% con un tasso di collisioni del 14%. Questo ha superato significativamente la migliore baseline basata su regole (35% obiettivi, 33% collisioni) e una SDC RL a singolo agente addestrata contro pedoni scriptati (65% obiettivi, 20% collisioni).
Analisi dell'Incertezza: La metrica della differenziale di velocità ha rivelato che vicino ai pedoni irregolari (0–3 m), la SDC viaggiava 2,65 m/s più velocemente (8,08 m/s) rispetto a vicino agli utenti del passaggio pedonale (5,43 m/s), indicando una mancanza di anticipazione per l'attraversamento irregolare.
Attribuzione delle Collisioni: Sebbene l'attraversamento irregolare abbia rappresentato solo il 13% degli eventi di attraversamento, è stato responsabile del 62% di tutte le collisioni.
Vantaggi dell'Addestramento Congiunto: L'addestramento congiunto ha ridotto le collisioni del 30% rispetto all'RL a singolo agente (dal 20% al 14%). Inoltre, la SDC addestrata congiuntamente si è generalizzata bene ai pedoni scriptati (76% obiettivi), e persino una SDC a singolo agente accoppiata con pedoni addestrati MARL ha visto il suo tasso di collisioni scendere dal 20% al 16%.
Studio di Ablazione: Le prestazioni sono degradate in modo graduale man mano che i tassi di attraversamento irregolare aumentavano dallo 0% al 30%, ma sono degradate bruscamente quando l'attraversamento irregolare ha raggiunto il 50%, suggerendo che il sistema tollera livelli realistici di incertezza ma fatica quando l'imprevedibilità diventa dominante.

Significato e Affermazioni
Il documento afferma che il contributo principale è la generazione di comportamenti pedonali più ricchi durante l'addestramento e la valutazione delle SDC senza una programmazione esplicita dell'attesa cooperativa. Gli autori sostengono che il realismo del modello pedonale modella direttamente la valutazione di sicurezza di una SDC; i modelli scriptati sottorappresentano l'elemento sorpresa dell'attraversamento irregolare. Esponendo le SDC a situazioni di intento latente tramite l'addestramento congiunto guidato da tratti, il framework produce una valutazione di sicurezza più rigorosa. La metrica della differenziale di velocità proposta offre uno strumento quantitativo per valutare quanto bene una politica SDC gestisca l'incertezza, completando le valutazioni basate sulla percezione umana. Il lavoro suggerisce che l'addestramento congiunto MARL è un percorso praticabile per esporre le SDC ai comportamenti complessi ed eterogenei presenti negli ambienti urbani reali.