🤖 AI

Self-Paced Curriculum Reinforcement Learning for Autonomous Superbike Racing in Simulation

Questo articolo presenta un framework di apprendimento per rinforzo a curriculum auto-ritmato che integra l'algoritmo Soft Actor-Critic con la generazione dinamica di compiti per addestrare efficientemente un agente autonomo per la corsa di superbike stabile e veloce in una simulazione fisicamente accurata, superando gli approcci SAC standard.

Autori originali: Luca Ghisi, Jacopo Essenziale, Carlo D'Eramo, Matteo Luperto

Pubblicato 2026-06-09

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Luca Ghisi, Jacopo Essenziale, Carlo D'Eramo, Matteo Luperto

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di insegnare a un bambino piccolo come andare in bicicletta. Se lo lanciassi semplicemente su un'autostrada trafficata dicendo: "Vai!", probabilmente cadrebbe immediatamente. Ma se iniziassi con un vialetto tranquillo, poi passassi a un parco pianeggiante e infine introducessi dolci colline, imparerebbe molto più velocemente.

Questo articolo riguarda l'insegnamento a un "bambino" informatico (un agente IA) come gareggiare con una superbike ad alta velocità in un simulatore di videogiochi chiamato VRider SBK. I ricercatori hanno scoperto che il modo standard di insegnare all'IA non funzionava bene per le motociclette, quindi hanno inventato un metodo di addestramento più intelligente e a tappe.

Ecco la suddivisione del loro lavoro utilizzando analogie semplici:

1. La grande sfida: Due ruote contro quattro

La maggior parte della ricerca sull'IA nelle corse si concentra sulle auto. Le auto sono come camion pesanti; sono stabili. Se prendono una curva troppo velocemente, l'auto potrebbe scivolare un po', ma di solito rimane in piedi.

Le motociclette sono diverse. Sono come funamboli.

L'equilibrio è fondamentale: Per curvare, un pilota deve inclinarsi. Se non si inclina abbastanza, cade verso l'esterno. Se si inclina troppo, cade verso l'interno.
La lotta dell'IA: Il computer doveva imparare non solo come sterzare e accelerare, ma anche come bilanciare costantemente la moto mentre si inclinava ad angoli estremi. Se l'IA sbagliava l'equilibrio, la moto precipitava e cadeva — un problema che le auto non hanno.

2. La soluzione: L'allenatore "auto-ritmato"

I ricercatori hanno utilizzato un normale allenatore per l'IA chiamato SAC (Soft Actor-Critic). Pensa a SAC come a un allenatore severo che getta lo studente direttamente nel profondo.

Hanno combinato SAC con un nuovo metodo chiamato SPDL (Self-Paced Deep Reinforcement Learning). Pensa a SPDL come a un allenatore intelligente e adattivo che osserva lo studente e regola la difficoltà in tempo reale:

L'inizio: L'allenatore dice all'IA: "Segui solo il centro della pista. Non preoccuparti della velocità per ora". Questo è la modalità "facile".
Il progresso: Man mano che l'IA diventa brava a stare in piedi, l'allenatore sposta lentamente gli obiettivi. "Ok, ora prova a seguire la 'linea di corsa ideale' (il percorso più veloce)".
La fine: Alla fine, l'allenatore dice: "Ora vai il più veloce possibile su quella linea perfetta".

L'articolo sostiene che questo approccio "auto-ritmato" abbia funzionato molto meglio del metodo standard. L'IA ha imparato a correre più velocemente, è caduta meno spesso e ha terminato l'addestramento prima.

3. Come l'IA "vede" la pista

Per far capire la moto all'IA, i ricercatori le hanno fornito una speciale "plancia" di informazioni (Spazio degli Stati):

Consapevolezza del corpo: Sa quanto sta andando veloce, quanto si sta inclinando e quanto sono scivolosi gli pneumatici.
Memoria: Fondamentalmente, ricorda la sua recente storia di inclinazione. Proprio come un pilota umano sente la moto oscillare prima di cadere, l'IA usa questa cronologia per impedire a se stessa di tremare troppo.
La mappa: Vede 60 punti davanti a sé sulla pista, come guardare lungo una strada per vedere le curve in arrivo.

4. Il "Tabellone dei punteggi" (Ricompense)

Nell'addestramento dell'IA, il computer riceve punti (ricompense) per i comportamenti corretti e perde punti per quelli errati. I ricercatori hanno progettato un tabellone dei punteggi molto specifico per le motociclette:

Bene: Muoversi in avanti lungo la pista.
Male: Uscire dalla pista, colpire i muri o oscillare troppo.
La penalità di "Inclinazione": Hanno punito specificamente l'IA per l'oscillazione della moto (oscillazione) mentre era inclinata. Questo ha costretto l'IA a imparare curve fluide e controllate invece di quelle brusche.

5. I risultati: Cosa è successo?

I ricercatori hanno testato questo sistema su una famosa pista da corsa chiamata Barcellona e altre.

L'IA "Standard" (solo SAC): Nelle prime fasi dell'addestramento, non riusciva nemmeno a completare un giro. Continuava a sbandare e a cadere.
L'IA "Auto-ritmata" (SPDL): Ha completato i giri senza cadere. Alla fine dell'addestramento, era 0,57 secondi più veloce per giro rispetto all'IA standard.
Il "Test di Trasferimento": Hanno preso l'IA addestrata su una motocicletta Ducati e l'hanno messa su una Kawasaki, una Honda e una Yamaha senza riaddestrarla.
- Risultato: Ha funzionato! L'IA riusciva a guidare le nuove moto ragionevolmente bene, dimostrando che ha imparato la capacità generale di bilanciare una moto, non solo come guidare un modello specifico.
- Eccezione: Ha avuto qualche difficoltà con la BMW, descritta come "aggressiva e difficile da guidare", suggerendo che alcune moto siano semplicemente più difficili da imparare rispetto ad altre.

6. Cosa manca ancora?

Gli autori sono onesti riguardo ai limiti.

Il problema "Velocità vs Precisione": A volte l'IA si entusiasma così tanto per la velocità che entra in una curva troppo rapidamente e la supera (vedi Fig. 4 nell'articolo). Prioritizza la velocità rispetto al prendere la linea perfetta.
Una pista alla volta: Attualmente, addestrano un'IA separata per ogni pista. Sperano di poter addestrare un'unica IA che possa gestire qualsiasi pista che veda per la prima volta.

Riassunto

Questo articolo presenta il primo tentativo di successo di insegnare a un'IA come gareggiare con una motocicletta in un simulatore utilizzando un metodo di apprendimento "a tappe". Lasciando che l'IA parta da un percorso facile e aumentando gradualmente la difficoltà, sono riusciti a creare un pilota che resta in piedi, impara più velocemente e può persino passare tra diversi modelli di moto. È un grande passo verso la guida autonoma delle motociclette, sebbene l'IA debba ancora imparare a essere un po' più precisa quando affronta le curve ad alte velocità.

Riepilogo Tecnico: Apprendimento per Rinforzo con Curriculum Self-Paced per la Corse di Superbike Autonome in Simulazione

Definizione del Problema

Le corse autonome hanno raggiunto traguardi significativi utilizzando il Deep Reinforcement Learning (RL), in particolare per i veicoli a quattro ruote in simulatori ad alta fedeltà come Gran Turismo. Tuttavia, le corse di moto rimangono ampiamente inesplorate nella letteratura RL a causa di sfide fisiche e dinamiche fondamentalmente diverse. A differenza delle auto, le moto da corsa richiedono che l'agente gestisca attivamente l'angolo di piega per contrastare le forze centrifughe durante la percorrenza delle curve. Il mancato controllo di tale angolo risulta in una perdita di equilibrio e nella caduta — un modo di fallimento assente nei veicoli a quattro ruote. Inoltre, le moto da corsa possiedono un rapporto potenza-peso più elevato, sottoponendo l'agente a dinamiche di frenata e accelerazione più aggressive. La sfida principale è addestrare un agente che possa gestire simultaneamente lo sterzo, il controllo di acceleratore/freno e il complesso equilibrio necessario per la stabilità su due ruote ai limiti fisici del veicolo.

Metodologia

Gli autori propongono un framework implementato in VRider SBK, un simulatore basato su Unity con fisica accurata, che presenta piste e modelli di moto del Campionato Mondiale Superbike reale. Il sistema integra il Soft Actor-Critic (SAC) con il Self-Paced Deep Reinforcement Learning (SPDL).

1. Spazio degli Stati e delle Azioni

Spazio degli Stati: Il vettore di osservazione combina caratteristiche propriocettive e globali, normalizzate nell'intervallo $[-1, 1]$ $[- 1, 1]$ .
- Propriocettivo: Velocità lineare/angolare, angolo di sterzo e di piega attuale/precedente, cronologia dell'angolo di piega ( $\theta$ ), rapporti di scivolamento dello pneumatico e azioni di controllo precedenti. L'inclusione della cronologia dell'angolo di piega è fondamentale per anticipare e sopprimere i comportamenti oscillatori.
- Globale: 60 punti di percorso 3D equispaziati campionati lungo la traiettoria attuale (linea centrale e limiti della pista) tramite interpolazione di spline Catmull-Rom, fornendo un look-ahead adattato alla velocità.
Spazio delle Azioni: Due azioni continue in $[-1, 1]$ $[- 1, 1]$ :
1. Sterzo (che guida anche l'angolo di piega della moto).
2. Un segnale combinato acceleratore/freno (mutuamente esclusivo).

2. Progettazione della Ricompensa

La funzione di ricompensa è densa e multi-componente, progettata per minimizzare il tempo sul giro penalizzando l'instabilità. Include:

Progresso: Spostamento lungo la traiettoria, negato se la moto viaggia all'indietro o fuori percorso.
Penalità: Tempo fuori pista, contatto con le barriere (basato sull'energia cinetica) e specifiche penalità di stabilità per grandi variazioni nello sterzo, nella piega e nella velocità angolare tra i passi.
Penalità di Cronologia: Penalità basate su funzione sigmoide sugli accumuli di delta di angolo per scoraggiare il comportamento oscillatorio in sterzo e piega.
Condizioni di Fallimento: Gli episodi vengono resettati se la moto cade, colpisce una barriera o supera i timer di penalità.

3. Curriculum Self-Paced (SPDL)

Inve Instead di un design manuale del curriculum, il sistema utilizza lo SPDL per generare dinamicamente i compiti in base alle prestazioni dell'agente. La difficoltà è definita dalla traiettoria che l'agente deve seguire:

Variabili di Contesto:
- $c_1$ : Distanza dalla traiettoria mediana (linea centrale).
- $c_2$ : Distanza dalla linea di gara ideale.
- $c_3$ : Limite di velocità massima.
Meccanismo: L'algoritmo mantiene una distribuzione di contesto $p(c|\nu)$ e ottimizza un compromesso tra la massimizzazione della ricompensa e la convergenza verso una distribuzione target (la linea ideale a velocità massima). Un vincolo di divergenza KL impedisce salti di difficoltà troppo bruschi. Quando l'agente supera una soglia di prestazione $\delta$ , il curriculum si sposta automaticamente dalla facile traiettoria mediana verso la linea di gara ideale.

Contributi Chiave

Architettura RL per Veicoli a Due Ruote: Uno spazio di stato su misura che include la cronologia dell'angolo di piega e un segnale di ricompensa specificamente progettato per gestire le instabilità tipiche delle moto (cadute, oscillazioni).
Integrazione di Curriculum Automatizzato: La prima integrazione di SPDL con Unity ML-Agents per le corse di moto, consentendo la generazione dinamica e automatica dei compiti senza intervento manuale.
Stabilimento del Baseline: Risultati sperimentali preliminari che stabiliscono il primo baseline RL per le corse di moto autonome, dimostrando un'efficienza di addestramento e una stabilità superiori rispetto allo standard SAC.

Risultati Sperimentali

Gli esperimenti sono stati condotti sul circuito di Barcellona (primario) e generalizzati a Cremona e Phillip Island, utilizzando la Ducati Panigale V4 R e altri quattro modelli di moto.

Efficienza di Addestramento: All'iterazione 1150, un agente SAC standard non è riuscito a completare un singolo giro, perdendo ripetutamente il controllo. L'agente SPDL ha completato tutti i giri con zero cadute e un tempo medio di 1:32.85. All'iterazione 1900, lo SPDL ha raggiunto un tempo sul giro di 1:30.75, superando il baseline SAC addestrato (1:31.32) di 0,57 secondi.
Stabilità: Gli agenti SPDL hanno dimostrato significativamente meno cadute ed escursioni fuori pista rispetto a SAC.
Generalizzazione del Circuito: Gli agenti addestrati con SPDL hanno completato con successo i giri su Cremona e Phillip Island con zero cadute e zero collisioni, dimostrando robustezza attraverso diverse geometrie di pista.
Generalizzazione della Moto: Una policy addestrata sulla Ducati Panigale V4 R è stata trasferita ad altri modelli (Kawasaki, Honda, Yamaha, BMW) senza ri-addestramento.
- La Kawasaki Ninja ZX-10RR ha mostrato il miglior trasferimento, seguendo la Ducati di soli 0,87s a Barcellona.
- I modelli Honda e Yamaha hanno persino superato la Ducati a Phillip Island grazie a una migliore gestione di specifiche curve.
- La BMW M1000 RR ha faticato su Phillip Island, non riuscendo a completare il giro, evidenziando la difficoltà del trasferimento a moto più aggressive e difficili da guidare.

Significato e Limitazioni

Il documento afferma di aver stabilito il primo baseline RL per le corse di superbike autonome, provando che la combinazione di SAC con l'apprendimento di curriculum self-paced è efficace per gestire le dinamiche uniche dei veicoli a due ruote. Il framework si generalizza con successo su più piste e modelli di moto, suggerendo che la policy appresa cattura priorità di controllo generalizzabili piuttosto che semplici dinamiche specifiche della moto.

Tuttavia, gli autori notano modestamente le attuali limitazioni:

Precisione della Traiettoria: L'agente tende a dare priorità alla velocità rispetto alla precisione, superando occasionalmente le curve (come visto nei risultati qualitativi).
Addestramento su Singola Pista: Attualmente viene addestrato un agente separato per ogni pista; il lavoro futuro mira alla generalizzazione multi-pista.
Sensori: Il sistema attualmente si basa su input vettoriali; le iterazioni future potrebbero incorporare input basati sulla visione e architetture attore-critico asimmetriche per migliorare l'efficienza del campionamento e il realismo.

Questo lavoro serve come passo fondamentale verso le corse di superbike autonome competitive, con direzioni future che mirano a testare in contesti di gara competitiva piuttosto che solo in modalità time-trial.