⚡ electrical engineering

Learning to Tune Pure Pursuit in Autonomous Racing: Joint Lookahead and Steering-Gain Control with PPO

Questo articolo propone un approccio basato sull'apprendimento per rinforzo (PPO) che ottimizza congiuntamente la distanza di anticipazione e il guadagno sterzante del controllo Pure Pursuit per le corse autonome, dimostrando sperimentalmente prestazioni superiori rispetto ai metodi tradizionali e adattativi in termini di tempi sul giro, precisione di tracciamento e fluidità dello sterzo.

Autori originali: Mohamed Elgouhary, Amr S. El-Wakeel

Pubblicato 2026-02-23

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Mohamed Elgouhary, Amr S. El-Wakeel

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover guidare un'auto da corsa autonomamente su una pista complessa, piena di curve strette e rettilinei veloci. Il problema è: come fai a decidere quanto guardare avanti e quanto sterzare?

Questo articolo parla di un nuovo modo per insegnare alle auto a guidare da sole, combinando un metodo classico e intelligente con un "cervello" che impara dall'esperienza.

Ecco la spiegazione semplice, con qualche analogia per renderla chiara.

1. Il Problema: Il "Cacciatore di Punti" (Pure Pursuit)

Il metodo tradizionale che usano molte auto autonome si chiama Pure Pursuit (letteralmente "Inseguimento Puro").
Immagina di essere un cacciatore che insegue una preda.

L'auto guarda un punto sulla strada che è un po' più avanti (chiamato "punto di mira").
Sterza per puntare verso quel punto.
Più il punto è lontano, più la guida è fluida ma lenta nelle curve.
Più il punto è vicino, più l'auto è scattante ma rischia di fare la "serpentina" (oscillare) sui rettilinei.

Il problema: Nella vita reale, non puoi scegliere una distanza fissa per il punto di mira. Se lo tieni fisso, l'auto va bene solo in un tipo di situazione. Se cambi pista o velocità, devi riscrivere tutto il codice per trovare il punto perfetto. È come se dovessi cambiare gli occhiali ogni volta che cambi stanza.

2. La Soluzione: Un "Allenatore" che Impara (Reinforcement Learning)

Gli autori hanno detto: "E se invece di fissare la distanza, insegnassimo all'auto a decidere in tempo reale quanto guardare avanti?"

Hanno usato un'intelligenza artificiale chiamata PPO (una tecnica di apprendimento per rinforzo).

L'Analogia: Immagina un allenatore di Formula 1 che siede nel copilota. Invece di dire "sterza a sinistra", l'allenatore osserva la strada (curva stretta? rettilineo?) e sussurra all'auto: "Ora guarda 2 metri avanti e sterza forte" oppure "Ora guarda 4 metri avanti e sterza piano".
L'auto non impara a guidare da zero (che sarebbe lento e pericoloso), ma impara solo a regolare i due parametri magici:
1. Distanza di sguardo (Lookahead): Quanto guardare avanti.
2. Guadagno dello sterzo (Steering Gain): Quanto aggressivamente sterzare verso quel punto.

3. Come hanno fatto? (La "Palestra" Virtuale)

Non hanno fatto guidare l'auto vera subito (sarebbe stato troppo rischioso!).

Hanno creato una palestra virtuale (un simulatore chiamato F1TENTH) dove l'auto ha fatto milioni di giri.
Ogni volta che l'auto sbagliava (andava fuori strada o faceva la serpentina), prendeva una "penalità". Ogni volta che andava veloce e dritta, prendeva un "premio".
Dopo milioni di tentativi, l'IA ha imparato la ricetta perfetta: "Quando vedo una curva stretta, accorcio lo sguardo e aumento la forza dello sterzo. Quando vedo un rettilineo, allungo lo sguardo per essere più fluido."

4. Il Risultato: Un'Auto che si Adatta

Hanno testato questa intelligenza su due livelli:

In simulazione: L'auto ha guidato su piste che non aveva mai visto prima (come il circuito di Montreal o Yas Marina) e ha vinto contro le auto che usavano regole fisse.
Nella realtà: Hanno messo il "cervello" appreso su un'auto vera in miniatura (grande come una scatola da scarpe).
- Risultato: L'auto con l'IA ha fatto i giri più veloci, ha tenuto meglio la traiettoria e ha sterzato in modo più fluido rispetto alle auto tradizionali.

Perché è importante?

Prima, se volevi cambiare pista, dovevi riscrivere il software e fare ore di prove.
Ora, con questo sistema, l'auto ha un "senso comune" matematico. Sa adattare il suo comportamento istantaneamente, proprio come un pilota umano esperto che sente la strada e cambia il modo di guidare in base alla curva.

In sintesi:
Hanno preso un metodo di guida semplice e affidabile (Pure Pursuit) e gli hanno dato un "cervello" che impara a regolare i propri parametri mentre corre. È come passare da un'auto con il cruise control fisso a un'auto con un copilota esperto che ti dice esattamente quanto accelerare e sterzare in ogni singolo istante.

1. Il Problema

Il controllo geometrico Pure Pursuit (PP) è ampiamente utilizzato nella guida autonoma e nelle corse per la sua efficienza computazionale e la chiarezza geometrica. Tuttavia, le sue prestazioni sono altamente sensibili alla scelta dei parametri chiave:

Distanza di sguardo (Lookahead distance, $L_d$ ): Un valore troppo piccolo causa oscillazioni sulle rettilinee, mentre un valore troppo grande provoca sottosterzo nelle curve strette.
Guadagno dello sterzo (Steering gain, $g$ ): Un guadagno troppo aggressivo introduce rumore, mentre uno troppo conservativo rallenta la convergenza.

I metodi tradizionali adattano questi parametri tramite regole fisse basate sulla velocità o sulla curvatura (es. $L_d = f(v)$ ). Questi approcci spesso falliscono nel trasferirsi su circuiti diversi o profili di velocità variabili e richiedono un'accurata ritaratura manuale per ogni nuovo scenario. Sostituire completamente PP con metodi complessi come il Model Predictive Control (MPC) comporta costi computazionali elevati e difficoltà di modellazione. L'obiettivo è quindi migliorare le prestazioni di PP mantenendone la semplicità e l'interpretabilità, adattando i parametri in tempo reale.

2. Metodologia

Gli autori propongono un approccio ibrido che combina il controllo geometrico classico con l'Apprendimento per Rinforzo (RL).

Architettura di Controllo:
- Il controller mantiene la legge di sterzata geometrica di Pure Pursuit invariata.
- Un agente RL, basato sull'algoritmo Proximal Policy Optimization (PPO), seleziona online e congiuntamente la distanza di sguardo ( $L_d$ ) e il guadagno dello sterzo ( $g$ ) ad ogni passo di controllo.
- L'agente non sostituisce PP, ma ne "tunea" i parametri.
Spazio di Osservazione e Azione:
- Osservazione ( $s_t$ ): Vettore compatto composto dalla velocità del veicolo ( $v_t$ ) e da "tap" di curvatura previsti lungo la traiettoria di riferimento (curvatura a breve, medio e lungo raggio, più la variazione di curvatura).
- Azione ( $a_t$ ): Un vettore continuo 2D che outputta i nuovi valori per $L_d$ (range: 0.35 - 4.0 m) e $g$ (range: 0.45 - 1.15).
- I comandi vengono filtrati da un smussatore del primo ordine per evitare cambi bruschi.
Addestramento e Ambiente:
- L'addestramento avviene in simulazione utilizzando l'ambiente F1TENTH Gym su una mappa di Hockenheim.
- Viene utilizzata una traiettoria di riferimento a curvatura minima (generata da ottimizzazione globale) con un profilo di velocità scalato del +30% per aumentare la difficoltà e favorire la generalizzazione.
- Funzione di Ricompensa: Bilancia velocità, errore di inseguimento, smoothness delle azioni, sicurezza (evitare collisioni) e allineamento con un "insegnante" (teacher) lineare di fallback.
- Deploy: La policy addestrata è integrata in uno stack ROS 2. Se i comandi RL diventano obsoleti, il sistema torna automaticamente a una regola lineare di sicurezza.
Validazione:
- Zero-shot: Valutazione su circuiti mai visti durante l'addestramento (Montreal e Yas Marina).
- Sim-to-Real: Test su un veicolo fisico F1TENTH (1:10) con LiDAR e localizzazione MCL.

3. Contributi Chiave

Framework RL-Pure Pursuit: Un sistema che adatta dinamicamente sia $L_d$ che $g$ preservando la semplicità e l'interpretabilità del controllo geometrico.
Ricetta di Addestramento Pratica: Una configurazione dettagliata (design della ricompensa, tuning degli iperparametri, tecniche di stabilità) che permette di apprendere una policy sensibile a curvatura e velocità.
Valutazione Completa: Confronto estensivo in simulazione e su veicolo reale contro:
- PP a sguardo fisso.
- PP adattivo basato su regole lineari (velocità $\to$ $L_d$ ).
- Variante RL che adatta solo $L_d$ (senza $g$ ).
- Un tracker MPC cinematico (baseline forte).
Interpretabilità: Analisi visiva di come la policy modella $L_d$ e $g$ in funzione della geometria della pista e della velocità.

4. Risultati Sperimentali

I risultati dimostrano che l'approccio proposto supera sistematicamente le alternative:

Prestazioni in Simulazione (Circuiti Montreal e Yas Marina):
- La policy RL-PP congiunta ( $L_d, g$ ) ottiene i tempi sul giro più rapidi, permettendo di correre a velocità superiori (+16% su Montreal, +17.2% su Yas Marina) rispetto agli altri controller mantenendo la stabilità.
- Supera significativamente il PP adattivo lineare e il PP a sguardo fisso.
- Sorprende anche il tracker MPC cinematico in termini di tempi sul giro e precisione di inseguimento, pur essendo un metodo basato su modelli più complesso.
- L'ablation study conferma che imparare a controllare anche il guadagno $g$ (oltre a $L_d$ ) porta benefici misurabili rispetto all'adattamento di $L_d$ da solo.
Validazione su Veicolo Reale (F1TENTH):
- Con un profilo di velocità limitato a 6 m/s per sicurezza, la policy congiunta ottiene il miglior tempo medio sul giro (9.46 s) con la minima deviazione standard.
- Il PP fisso e l'MPC sono più lenti (9.85 s e 15.42 s rispettivamente).
- Il sistema ha operato senza mai attivare il fallback di sicurezza (teacher), dimostrando la robustezza della policy appresa.
- Le traiettorie mostrano un inseguimento fluido con errori laterali ridotti e sterzata più regolare.

5. Significato e Impatto

Questo lavoro dimostra che l'Apprendimento per Rinforzo può essere utilizzato efficacemente per potenziare i controllori geometrici classici senza sacrificarne l'interpretabilità o l'efficienza computazionale.

Robustezza e Generalizzazione: La capacità di trasferire la policy da un circuito di addestramento a circuiti sconosciuti (zero-shot) e dal simulatore alla realtà (sim-to-real) senza ritaratura è un risultato significativo.
Efficienza: Rispetto all'MPC, la soluzione proposta richiede meno sforzo di modellazione e ottimizzazione online, rendendola ideale per piattaforme con risorse computazionali limitate.
Futuro: L'approccio apre la strada all'uso di RL per l'ottimizzazione di parametri in tempo reale in sistemi di controllo critici per la sicurezza, riducendo la dipendenza da regole fisse e manuali.

In sintesi, il paper valida l'idea che un "tuning intelligente" dei parametri di un controllore semplice possa superare le prestazioni di controllori complessi o di versioni statiche dello stesso controllore, offrendo una soluzione pratica per la guida autonoma ad alte prestazioni.