⚡ electrical engineering

Dynamic Lookahead Distance via Reinforcement Learning-Based Pure Pursuit for Autonomous Racing

Questo paper propone un framework di controllo ibrido che integra l'ottimizzazione delle politiche prossimali (PPO) con il classico algoritmo Pure Pursuit per regolare dinamicamente la distanza di anticipazione in base a velocità e curvatura, migliorando significativamente i tempi sul giro e la stabilità su circuiti non visti sia in simulazione che su veicoli reali in scala 1:10.

Autori originali: Mohamed Elgouhary, Amr S. El-Wakeel

Pubblicato 2026-03-31

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Mohamed Elgouhary, Amr S. El-Wakeel

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover guidare un'auto da corsa a velocità folle su una pista complessa, piena di curve strette e rettilinei lunghi. Il problema è che l'auto è autonoma: non ha un pilota umano che guarda avanti, calcola la curva e gira il volante. Deve farlo da sola, in millisecondi.

Questo articolo parla di come gli autori hanno insegnato a un'auto autonoma a guidare meglio, rendendola più veloce e sicura, senza doverla "ripensare" completamente.

Ecco la spiegazione semplice, con qualche metafora per chiarire le idee.

1. Il Problema: L'Auto che "Guarda" Troppo o Troppo Poco

Per guidare, un'auto autonoma usa un algoritmo chiamato Pure Pursuit (Inseguimento Puro). È come se l'auto avesse un punto immaginario davanti a sé su cui deve puntare il muso. Questo punto si chiama "distanza di sguardo" (lookahead distance).

Se l'auto guarda troppo vicino (distanza corta): È come se guidassi guardando solo il cofano della tua auto. Riesci a fare curve strette benissimo, ma sui rettilinei l'auto diventa nervosa, oscilla e perde il controllo.
Se l'auto guarda troppo lontano (distanza lunga): È come se guardassi l'orizzonte. Sui rettilinei vai dritta e stabile, ma quando arriva una curva stretta, l'auto non fa in tempo a girare e "taglia" la curva, uscendo di strada o rallentando troppo.

Il problema è che le piste cambiano: a volte ci sono curve, a volte rettilinei. Un'impostazione fissa non funziona bene ovunque. Prima, gli ingegneri dovevano cambiare manualmente questa impostazione ogni volta che cambiava pista, un po' come dover cambiare le scarpe ogni volta che cambi terreno.

2. La Soluzione: Un "Allenatore" Intelligente (Reinforcement Learning)

Gli autori hanno deciso di non cambiare le regole del gioco, ma di aggiungere un allenatore intelligente basato sull'Intelligenza Artificiale (specificamente un algoritmo chiamato PPO).

Immagina che l'auto sia un ciclista principiante che sa pedalare e sterzare (l'algoritmo classico), ma non sa quando guardare lontano e quando guardare vicino.
L'allenatore (l'IA) osserva due cose:

A che velocità va l'auto.
Com'è la strada che arriva tra un attimo e tra un po' (se sta arrivando una curva o un rettilineo).

Basandosi su queste informazioni, l'allenatore dice all'auto: "Ora che siamo in rettilineo, guarda lontano per essere stabile!" oppure "Attenzione, curva stretta tra 2 secondi, guarda vicino per essere preciso!".

3. Come hanno fatto? (L'Addestramento)

Non hanno insegnato tutto all'auto nella vita reale (sarebbe pericoloso e costoso!). Hanno usato un videogioco ultra-realistico (un simulatore chiamato F1TENTH).

Hanno fatto guidare l'auto virtuale migliaia di volte.
Se l'auto faceva una bella curva veloce, l'allenatore le dava un "premio" (punti).
Se sbatteva contro il muro o oscillava, le dava una "multa".
Dopo milioni di tentativi, l'IA ha imparato da sola la regola perfetta: cambiare dinamicamente la distanza di sguardo in base alla situazione.

4. I Risultati: Velocità e Adattabilità

Hanno messo alla prova questa intelligenza su due piste che l'auto non aveva mai visto prima (Montreal e Yas Marina).

Risultato: L'auto con l'allenatore IA è stata più veloce di tutte le altre versioni.
Il trucco: È riuscita a guidare a velocità più alte (più aggressive) senza sbattere. Le auto con le impostazioni fisse dovevano rallentare per non sbagliare.
Il test reale: Hanno provato l'auto su una vera pista in miniatura (1:10) nel mondo reale. Funzionava! L'auto ha fatto il giro completo senza cadere, dimostrando che quello che ha imparato nel videogioco funziona anche nella realtà.

In Sintesi: Perché è importante?

Questo lavoro è importante perché non ha sostituito il vecchio sistema di guida (che è semplice e affidabile) con un sistema complicato e incomprensibile. Ha invece aggiunto un piccolo "cervello" adattivo che regola un solo parametro.

È come se avessimo preso un'auto da corsa classica e le avessimo messo un navigatore GPS che, invece di dirti solo "svolta a destra", ti dice: "Guarda la strada a 50 metri di distanza ora, ma tra 2 secondi guarda solo a 2 metri perché la curva è stretta".

Il messaggio finale: Unendo la semplicità delle regole classiche con l'intelligenza dell'apprendimento automatico, si ottiene un sistema che è veloce, sicuro e capace di adattarsi a qualsiasi pista senza bisogno di essere riprogrammato ogni volta.

Titolo

Distanza di Anticipazione Dinamica tramite Controllo Pure Pursuit Basato su Reinforcement Learning per Corse Autonome

1. Il Problema

Il controllo Pure Pursuit (PP) è un algoritmo di tracciamento del percorso ampiamente utilizzato nei veicoli autonomi grazie alla sua semplicità concettuale e alle prestazioni in tempo reale. Tuttavia, la sua efficacia è fortemente dipendente dalla scelta della distanza di anticipazione (lookahead distance, $L_d$ ):

Valori piccoli: Migliorano il tracciamento nelle curve ma causano instabilità e oscillazioni dello sterzo sui tratti rettilinei.
Valori grandi: Garantiscono movimenti più fluidi e stabili sui rettilinei, ma riducono la precisione nelle curve strette, portando il veicolo a "tagliare" le curve.

Nelle implementazioni tradizionali, $L_d$ è un parametro fisso o regolato da regole euristiche manuali (es. in base alla velocità o alla curvatura). Questo approccio richiede un'attenta sintonizzazione per ogni tracciato, veicolo e profilo di velocità, risultando spesso subottimale in scenari di racing ad alta velocità dove le condizioni cambiano dinamicamente. Le strategie end-to-end basate sul Deep Learning, sebbene potenti, spesso sacrificano l'interpretabilità e la robustezza, rendendo difficile la loro validazione e il trasferimento su hardware reale.

2. Metodologia Proposta

Gli autori propongono un framework di controllo ibrido che integra un agente di Reinforcement Learning (RL) con il classico controllore Pure Pursuit. L'obiettivo non è sostituire il controllore geometrico, ma adattarne dinamicamente il parametro critico ( $L_d$ ) in tempo reale.

Algoritmo di Apprendimento: Viene utilizzato Proximal Policy Optimization (PPO), implementato tramite la libreria Stable-Baselines3.
Ambiente di Addestramento: L'agente è addestrato in simulazione utilizzando l'ambiente F1TENTH Gym.
Spazio di Osservazione (Input): L'agente riceve un vettore di stato a 5 dimensioni:
- Velocità del veicolo ( $v_t$ ).
- Curvatura del percorso a tre orizzonti diversi (vicino, medio, lontano: $\kappa_{0,t}, \kappa_{1,t}, \kappa_{2,t}$ ).
- Variazione di curvatura ( $\Delta \kappa_t$ ).
Spazio di Azione (Output): Un valore continuo che rappresenta la nuova distanza di anticipazione $L_{t+1}$ , vincolato nell'intervallo $[0.35, 4.0]$ metri.
Funzione di Ricompensa: Progettata per bilanciare velocità, fluidità, minimizzazione della curvatura, evitamento collisioni (tramite LiDAR) e progresso lungo il percorso. Include una penalità per le oscillazioni e un termine di "shaping" basato su un'euristica ideale per stabilizzare l'addestramento.
Architettura di Sistema:
1. Localizzazione: Filtro particellare Monte Carlo (MCL) basato su LiDAR.
2. Pianificazione Globale: Generazione di una linea di gara ottimale (minimum-curvature) tramite il framework TUM global_racetrajectory_optimization.
3. Controllo Locale: Il controllore Pure Pursuit calcola lo sterzo basandosi sulla $L_d$ fornita dall'agente PPO.
4. Integrazione: Il sistema opera in un ambiente ROS2, permettendo il trasferimento diretto dalla simulazione all'hardware.

3. Contributi Chiave

Controllore Ibrido: Introduzione di un controllore Pure Pursuit potenziato da RL che adatta dinamicamente la distanza di anticipazione online, mantenendo la struttura interpretabile del controllore geometrico.
Addestramento Specifico: Progettazione di un setup PPO basato su velocità e caratteristiche di curvatura multi-orizzonte, con una funzione di ricompensa che promuove progresso, fluidità e sicurezza.
Generalizzazione Zero-Shot: Valutazione della politica appresa su tracciati mai visti (senza ri-addestramento) e confronto con baseline a $L_d$ fisso e adattivo euristico.
Validazione Sim-to-Real: Dimostrazione del trasferimento della politica appresa su un veicolo reale in scala 1:10 (piattaforma Roboracer), superando le limitazioni dei controllori fissi.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tracciati simulati (Austin, Montreal, Yas Marina) e su un veicolo reale.

Generalizzazione su Tracciati Non Visti:
- Montreal: La politica RL ha completato 10 giri su 10 con un profilo di velocità +13% rispetto al baseline, ottenendo un tempo medio di 33.16 s. Il baseline adattivo (euristico) ha completato i giri solo al +10% (34.15 s), mentre il PP fisso ha richiesto una riduzione del -10% per essere stabile (41.36 s).
- Yas Marina: La politica RL ha completato i giri al +15% di velocità, con un tempo di 46.05 s. Il baseline adattivo ha gestito solo il +14% (46.79 s), mentre il PP fisso non è riuscito a completare giri ripetuti a velocità accelerate, ottenendo 52.81 s solo al profilo originale.
- Conclusione: La politica appresa ha dimostrato una maggiore robustezza, tollerando profili di velocità più aggressivi e riducendo la necessità di ri-sintonizzazione per ogni tracciato.
Validazione su Veicolo Reale (Sim-to-Real):
- Su un veicolo Roboracer reale (scala 1:10), il controllore Dynamic-L ha completato 10 giri su 10 con un tempo medio di 11.13 s (su un profilo di velocità limitato a 5 m/s).
- Il controllore Pure Pursuit a distanza fissa ha fallito nel completare giri ripetuti in modo affidabile nelle stesse condizioni.
- Questo conferma il successo del trasferimento della politica dalla simulazione alla realtà senza modifiche aggiuntive.

5. Significato e Impatto

Questo lavoro dimostra che è possibile combinare l'adattabilità del Deep Reinforcement Learning con l'affidabilità e la trasparenza del controllo geometrico classico.

Interpretabilità: A differenza delle reti neurali end-to-end che agiscono direttamente su sterzo e acceleratore, questo metodo modifica solo un singolo parametro interpretabile ( $L_d$ ), rendendo il sistema più facile da analizzare e integrare in stack di autonomia modulari (come ROS2).
Robustezza: Il metodo riduce drasticamente il carico di lavoro per la sintonizzazione manuale, adattandosi automaticamente a diverse geometrie dei tracciati e profili di velocità.
Applicabilità: Offre una soluzione pratica per scenari di racing autonomo ad alta velocità, dove la sicurezza e la reattività sono critiche, ponendo un passo avanti verso strategie di controllo contestualmente consapevoli nel campo della robotica.