🤖 machine learning

Interacting safely with cyclists using Hamilton-Jacobi reachability and reinforcement learning

Questo articolo presenta un framework che integra l'analisi di raggiungibilità di Hamilton-Jacobi con l'apprendimento per rinforzo profondo, al fine di garantire interazioni sicure ed efficienti tra veicoli autonomi e ciclisti modellando le risposte comportamentali umane.

Autori originali: Aarati Andrea Noronha, Jean Oh

Pubblicato 2026-02-23

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Aarati Andrea Noronha, Jean Oh

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere alla guida di un'auto a guida autonoma. Davanti a te c'è un ciclista. Il tuo obiettivo è superarlo in modo sicuro, ma anche veloce. Il problema è: come fai a capire quanto il ciclista si sente a suo agio?

Se sei troppo prudente (come un'auto che ha paura di tutto), potresti fermarti per ore, bloccando il traffico. Se sei troppo aggressivo (come un guidatore umano di fretta), potresti spaventare il ciclista o causare un incidente.

Questo articolo di ricerca propone una soluzione intelligente che combina due "superpoteri" per risolvere questo dilemma: la matematica della sicurezza assoluta e l'intelligenza che impara dall'esperienza.

Ecco come funziona, spiegato in modo semplice:

1. Il Problema: La Danza tra Auto e Bici

I ciclisti sono imprevedibili. A volte rallentano, a volte accelerano, a volte guardano da un'altra parte. Le auto attuali tendono a essere troppo paurose: se vedono una bici, si fermano o rallentano tantissimo, perdendo tempo. I guidatori umani, invece, a volte sono troppo audaci.
L'obiettivo è trovare il "punto dolce": passare vicino abbastanza da non perdere tempo, ma lontano abbastanza da non spaventare nessuno.

2. I Due Superpoteri in Gioco

A. La "Sfera di Sicurezza" Matematica (Hamilton-Jacobi)

Immagina di avere una sfera di sicurezza invisibile intorno all'auto.

Se l'auto entra in questa sfera, la matematica dice: "Attenzione! Potresti scontrarti!".
Questo metodo è come un guardiano severo: ti dice esattamente quali zone sono pericolose e ti vieta di entrarci. È sicuro al 100%, ma è così severo che l'auto potrebbe non muoversi mai perché ha paura di toccare il bordo della sfera. È come un bambino che non vuole mai giocare perché ha paura di cadere.

B. L'Intelligenza che Impara (Reinforcement Learning)

Qui entra in gioco l'Intelligenza Artificiale (AI). Immagina un ciclista virtuale che ha fatto milioni di simulazioni.

Questo ciclista virtuale impara per tentativi ed errori: "Se passo così vicino, il ciclista reale si spaventa. Se passo così, invece, va tutto bene".
L'AI cerca di essere veloce e ottimizzare il percorso, ma ha bisogno di una guida per non diventare pericolosa.

3. La Magia: Unire i Due Mondi

Gli autori hanno unito questi due mondi in un unico sistema:

La Matematica fa da "Freno di Sicurezza": Calcola la sfera di sicurezza e dice all'AI: "Non andare oltre questa linea rossa".
L'AI fa da "Guida Intelligente": All'interno di quel limite di sicurezza, l'AI decide come muoversi per arrivare alla meta il più velocemente possibile.

4. Il Tocco Geniale: Capire l'Emozione del Ciclista

C'è un dettaglio fondamentale che rende questo lavoro speciale.
Nella vita reale, un ciclista non reagisce solo alla velocità dell'auto, ma anche a quanto si sente a suo agio. Se un'auto passa troppo vicina, anche se non lo tocca, il ciclista potrebbe spaventarsi e fare una manovra improvvisa.

Il sistema ha creato un "traduttore di emozioni":

Hanno usato un computer che studia i dati reali di guidatori e ciclisti.
Questo computer impara a riconoscere quando un ciclista si sente "a disagio" (come quando un cane abbaia se ti avvicini troppo).
L'auto usa questa informazione: se il sistema dice "Il ciclista è spaventato", l'auto si allontana leggermente, anche se matematicamente non c'è pericolo di collisione. È come se l'auto dicesse: "So che non ti toccherò, ma vedo che sei teso, quindi mi sposto un po' per farti stare tranquillo".

5. I Risultati: Chi ha vinto?

Hanno testato il sistema con dati reali (migliaia di chilometri di guida registrati a Ann Arbor, Michigan) e l'hanno confrontato con:

Guidatori umani reali.
Altri sistemi di auto a guida autonoma più vecchi.

Il risultato?

Sicurezza: L'auto proposta è più sicura dei guidatori umani (che a volte sono troppo rischiosi) e più sicura dei vecchi sistemi (che a volte sono troppo lenti).
Velocità: Riesce a superare i ciclisti più velocemente dei sistemi troppo prudenti, perché capisce quando è davvero sicuro passare.
Equilibrio: Trova il perfetto compromesso tra "non fare incidenti" e "non bloccare il traffico".

In Sintesi

Pensa a questo sistema come a un cavaliere esperto che cavalca accanto a un amico (il ciclista).

Non è un robot che segue ciecamente le regole (troppo lento).
Non è un guidatore spericolato (troppo veloce).
È un amico che guarda il suo compagno di viaggio, capisce se è spaventato, e adatta il suo passo di conseguenza per garantire che entrambi arrivino a destinazione sani e salvi, nel minor tempo possibile.

Questa ricerca ci avvicina a un futuro in cui le auto non solo evitano gli incidenti, ma capiscono le persone che condividono la strada con loro.

Titolo: Interazione sicura con i ciclisti utilizzando la raggiungibilità di Hamilton-Jacobi e l'apprendimento per rinforzo

Autori: Aarati Andrea Noronha e Jean Oh (Carnegie Mellon University, 2020)

1. Il Problema

L'interazione tra veicoli autonomi (AV) e ciclisti rappresenta una delle sfide più complesse nella guida autonoma. La letteratura esistente descrive il movimento dei ciclisti come casuale, lento e imprevedibile. Gli algoritmi di navigazione attuali tendono a essere eccessivamente cauti, sacrificando l'efficienza temporale (ottimalità) per garantire la sicurezza, o falliscono nel quantificare oggettivamente il livello di sicurezza. D'altro canto, i guidatori umani possono essere troppo aggressivi.
Il problema principale è formulare un algoritmo di navigazione che:

Garantisca la sicurezza evitando zone di collisione definite.
Massimizzi l'efficienza temporale (raggiungere la destinazione nel minor tempo possibile).
Quantifichi il "livello di comfort" del ciclista, modellando la sua risposta latente al veicolo.
Si adatti a un sistema a due agenti (veicolo e ciclista), superando i limiti dei precedenti lavori focalizzati su agenti singoli.

2. Metodologia

L'approccio proposto integra l'analisi di raggiungibilità di Hamilton-Jacobi (HJ) con il Deep Q-Learning (DQN) in un quadro unificato.

A. Modellazione del Sistema e Teoria dei Giochi

Il problema è formulato come un gioco differenziale a somma zero tra due agenti:

Agente Ego (Veicolo): Input di controllo $u$ .
Disturbo (Ciclista): Input di disturbo $d$ .
Lo stato del sistema $s$ è definito da tre variabili relative al ciclista rispetto al veicolo: distanza longitudinale ( $\Delta x$ ), velocità relativa longitudinale ( $\Delta v$ ) e distanza laterale ( $\Delta y$ ).

B. Analisi di Raggiungibilità (Safety Guarantee)

Viene calcolata una funzione valore come soluzione di un'equazione differenziale alle derivate parziali di Hamilton-Jacobi-Bellman (HJB) dipendente dal tempo.

Insieme di collisione ( $C_0$ ): Stati che portano a collisione.
Insieme raggiungibile all'indietro ( $B$ ): Insieme di stati potenzialmente pericolosi che potrebbero portare a una collisione, calcolato partendo da $C_0$ .
Funzione Valore ( $v(s)$ ): Fornisce una misura quantitativa della sicurezza. Se $v(s) > 0$ , lo stato è sicuro (esiste una strategia di controllo per evitare collisioni); se $v(s) \le 0$ , la collisione è inevitabile.

C. Modellazione del Disturbo e Comfort del Ciclista (Contributo Chiave)

A differenza dei lavori precedenti che trattavano il ciclista come un disturbo puramente cinetico, questo studio modella l'input di disturbo come una funzione della risposta latente del ciclista (comfort/disagio).

Viene utilizzato un Auto-Encoder per classificare gli stati come "sicuri" o "pericolosi" basandosi sui dati reali (Safety Pilot Michigan Database).
Gli stati sicuri (valore HJ positivo) vengono usati per addestrare l'encoder.
L'errore di ricostruzione (differenza tra input e output dell'auto-encoder) determina se uno stato è un "outlier" (pericoloso).
Questo permette al sistema di prevedere come un ciclista reagirebbe se il veicolo si trovasse troppo vicino, anche se cinematicamente non ci sarebbe collisione immediata.

D. Navigazione tramite Deep Q-Learning

Per bilanciare sicurezza e tempo, la funzione valore HJ viene utilizzata come segnale di ricompensa strutturato all'interno di una rete Deep Q.

La rete DQN apprende una politica che massimizza la ricompensa cumulativa (safety + tempo).
L'uso del experience replay e dell'ottimizzatore Adam garantisce la stabilità dell'apprendimento.
L'obiettivo è trovare un compromesso ottimale: non essere eccessivamente cauti (come la sola HJ) né troppo rischiosi.

3. Contributi Chiave

Estensione a due agenti: Adattamento dell'approccio di Fisac et al. (2019), originariamente per agenti singoli, a un sistema interattivo veicolo-ciclista.
Quantificazione del Comfort: Introduzione di un modello che traduce la percezione umana (comfort del ciclista) in un input di disturbo matematico, utilizzando l'apprendimento automatico (auto-encoder) per classificare gli stati rari e pericolosi.
Bilanciamento Ottimale: Un algoritmo che garantisce garanzie di sicurezza matematiche (tramite HJ) mantenendo l'efficienza temporale (tramite RL).
Metrica di Sicurezza Quantitativa: Capacità di definire e misurare oggettivamente la possibilità di sorpassare un ciclista a velocità e distanze ragionevoli.

4. Risultati Sperimentali

Il framework è stato valutato utilizzando il Safety Pilot Michigan Database (circa 40.000 eventi di ciclisti filtrati). Sono stati confrontati tre approcci: guidatori umani, l'algoritmo Fisac '19 e il framework proposto.

Metriche di valutazione:

Fattore di Sicurezza: Valore medio della funzione HJ (valori più alti indicano maggiore sicurezza).
Stati Pericolosi (%): Percentuale di tempo trascorsa in stati potenzialmente pericolosi.
Tempo: Tempo totale per completare le traiettorie.
Collisioni e Raggiungimento Obiettivo.

Risultati principali (Tabella I):

Sicurezza: Il framework proposto ha ottenuto il miglior fattore di sicurezza (-2.01) rispetto ai guidatori umani (-2.31) e a Fisac '19 (-2.18). Ha ridotto la percentuale di stati pericolosi al 31.6% (contro il 39.0% degli umani e il 36.8% di Fisac).
Tempo: Il metodo proposto è stato più veloce dei guidatori umani (233s vs 253s), ma leggermente più lento di Fisac '19 (199s). Questo ritardo è giustificato dal fatto che il metodo Fisac '19 non tiene conto del disagio percepito dal ciclista, risultando tecnicamente più veloce ma meno "umano" e confortevole.
Collisioni: Nessun incidente registrato in nessuno dei tre gruppi sui 60 eventi testati.
Visualizzazione: Le traiettorie generate mostrano un percorso più fluido e ottimizzato rispetto ai guidatori umani, con una maggiore consapevolezza della vicinanza al ciclista.

5. Significato e Conclusione

Questo lavoro dimostra che è possibile superare il compromesso tradizionale tra sicurezza rigorosa e efficienza nella guida autonoma.

Innovazione Teorica: L'integrazione di HJ (per garanzie formali) e RL (per ottimizzazione) in un sistema multi-agente è un passo avanti significativo.
Impatto Pratico: La capacità di modellare la "risposta latente" del ciclista (il suo disagio) permette al veicolo di comportarsi in modo più naturale e prevedibile, riducendo l'ansia degli utenti vulnerabili della strada senza sacrificare la sicurezza.
Scalabilità: Sebbene testato su un sistema a due agenti, il framework è progettato per essere esteso a sistemi multi-agente complessi, aprendo la strada a una navigazione autonoma più sicura e socialmente accettabile in ambienti urbani densi.

In sintesi, l'approccio proposto non solo evita le collisioni, ma ottimizza l'interazione sociale sulla strada, rendendo i veicoli autonomi più sicuri e più facili da prevedere per i ciclisti.