Curriculum-based Sample Efficient Reinforcement Learning for Robust Stabilization of a Quadrotor

Titolo: Apprendimento per Rinforzo basato su Curriculum per la Stabilizzazione Robusta di un Quadrotore

1. Il Problema

L'articolo affronta la sfida di progettare un controller basato sull'Apprendimento per Rinforzo (RL) per la stabilizzazione robusta di un quadrotore (specificamente un Crazyflie 2.1). L'obiettivo è controllare direttamente le RPM dei motori (approccio end-to-end) per stabilizzare simultaneamente la posizione e l'orientamento (yaw) partendo da condizioni iniziali casuali, incluse velocità lineari e angolari non nulle.

Il problema principale risiede nell'inefficienza del campione (sample inefficiency) dei metodi RL convenzionali a "singola fase" (one-stage training). Questi metodi richiedono milioni di interazioni e tempi di calcolo elevati per convergere, spesso fallendo nel raggiungere specifiche prestazioni di controllo (tempo di assestamento e precisione allo stato stazionario) anche con risorse computazionali massicce. Inoltre, la progettazione manuale delle ricompense e l'ottimizzazione degli iperparametri richiedono un notevole sforzo umano e tempo.

2. Metodologia

Gli autori propongono un approccio innovativo basato sul Curriculum Learning (CL), ispirato all'apprendimento umano, che scompone il compito complesso in tre fasi sequenziali, trasferendo la conoscenza da una fase alla successiva.

• Struttura del Curriculum (Tre Fasi):

  1. Fase $\Omega_1$ (Hovering): Il drone impara a decollare e mantenere una posizione fissa target $(0,0,1)$ partendo da una posizione iniziale fissa $(0,0,0)$. L'obiettivo è apprendere i valori base di RPM per il volo stazionario.
  2. Fase $\Omega_2$ (Accoppiamento): La complessità aumenta introducendo condizioni iniziali casuali (posizioni, orientamenti) all'interno di un cilindro di raggio 2m. Il drone deve raggiungere il target con yaw a $0^\circ$, imparando l'accoppiamento tra gradi di libertà traslazionali e rotazionali.
  3. Fase $\Omega_3$ (Robustezza): Viene introdotta la difficoltà finale: condizioni iniziali casuali includono anche velocità lineari e angolari non nulle (range $[-1, 1]$). Il policy apprende a correggere le deviazioni indotte da queste velocità iniziali.

• Funzione di Ricompensa e Troncamento:
  È stata progettata una funzione di ricompensa additiva che penalizza l'esplorazione eccessiva, l'instabilità e l'imprecisione, premiando la stabilità e la navigazione fluida.

  • Ricompensa Target ($T_e$): Penalizza la distanza dalla posizione e dall'orientamento target.
  • Ricompensa Esplorazione ($E$): Definisce uno spazio di esplorazione limitato (cilindro) per evitare tempi di addestramento eccessivi.
  • Ricompensa Stabilità ($S$): Premia il mantenimento della posizione e dell'assetto entro tolleranze predefinite.
  • Ricompensa Navigazione ($w_e$): Penalizza i cambiamenti bruschi nelle velocità angolari.
  • Troncamento: Gli episodi vengono interrotti se il drone supera i limiti di sicurezza (es. angoli di rollio/pitch > $\pm 15^\circ$) o esce dal cilindro di esplorazione, accelerando il ciclo di apprendimento.

• Setup Tecnico:

  • Algoritmo: Proximal Policy Optimization (PPO).
  • Ambiente: Gym-PyBullet-Drones (simulazione fisica).
  • Architettura: Reti neurali MLP (Actor-Critic) con 4 layer.
  • Input: 12 dimensioni (posizione, angoli di Eulero, velocità lineari e angolari).
  • Output: RPM per i 4 motori.

3. Contributi Chiave

1. Metodologia CL a Tre Stadi: Un workflow strutturato e modulare che espande progressivamente il dominio di inizializzazione del drone, tenendo conto della natura sottodimensionata (underactuated) del sistema e dell'accoppiamento tra i gradi di libertà. Questo differisce da approcci precedenti che modificavano solo i pesi della funzione di ricompensa.
2. Specifiche di Prestazione Rigorose: La proposta di una funzione di ricompensa e condizioni di troncamento mirate a soddisfare metriche di controllo teoriche specifiche (tempo di assestamento < 5s, errore di posizione < 2.5 cm, errore di yaw < $2^\circ$), cruciali per applicazioni di ispezione aerea.
3. Efficienza dei Campioni: Dimostrazione che il CL supera significativamente l'addestramento a singola fase, raggiungendo l'obiettivo di stabilizzazione robusta con una frazione dei campioni necessari, mentre l'approccio tradizionale fallisce anche dopo 100 milioni di step.

4. Risultati

I risultati sono stati validati in un ambiente di simulazione (Gym-PyBullet-Drones) e confrontati con un agente addestrato in una singola fase.

• Efficienza Computazionale:
  • Addestramento a Singola Fase: Dopo 100 milioni di step (23.4 ore), l'agente non ha raggiunto l'obiettivo (bassa ricompensa cumulativa).
  • Curriculum Learning: Ha raggiunto l'obiettivo in circa 41.5 milioni di step (11 ore totali), riducendo il tempo di addestramento e il consumo di risorse di oltre il 50% rispetto al tentativo di addestramento esteso, pur utilizzando la stessa architettura e reward function.
• Robustezza e Stabilizzazione:
  • Testati 30 scenari con condizioni iniziali casuali (posizioni, orientamenti e velocità in 3 regioni diverse).
  • Il policy addestrato con CL ha portato il drone alla configurazione target in meno di 5 secondi nella maggior parte dei casi.
  • Anche in casi estremi (velocità iniziali elevate), il drone ha eseguito manovre complesse (avvicinandosi al suolo per compensare) ma è riuscito a stabilizzarsi con successo.
• Scenario di Ispezione:
  • In uno scenario simulato di ispezione (sequenza di punti di vista con orientamenti specifici), il drone ha tracciato con successo i target mantenendo errori di posizione e yaw entro le specifiche richieste, dimostrando l'applicabilità pratica per missioni di ispezione aerea.

5. Significatività

Questo lavoro è significativo perché:

• Supera i limiti attuali dell'RL per i droni: Dimostra che l'addestramento end-to-end per la stabilizzazione robusta è fattibile senza richiedere risorse computazionali proibitive, rendendo l'RL più accessibile per applicazioni reali.
• Ponte verso il Sim2Real: L'approccio modulare e l'efficienza dei campioni facilitano il trasferimento della politica dai simulatori ai droni reali, un passo critico spesso ostacolato dalla lentezza dell'addestramento.
• Generalizzazione: Il controller appreso non solo stabilizza il drone, ma lo fa rispettando vincoli di sicurezza e prestazioni di controllo classici, posizionandosi come un potenziale controllore di basso livello affidabile e generico per UAV.

In sintesi, l'articolo valida l'ipotesi che un curriculum learning ben strutturato possa trasformare un problema di controllo complesso e ad alta dimensionalità in un compito risolvibile in modo efficiente, superando le limitazioni dei metodi RL tradizionali.