Curriculum Reinforcement Learning for Quadrotor Racing with Random Obstacles

Titolo

Apprendimento per Rinforzo con Curriculum per la Gara di Quadricotteri con Ostacoli Casuali

1. Il Problema

La corsa autonoma di droni (drone racing) in ambienti affollati rappresenta una sfida significativa per la ricerca. Sebbene i quadricotteri abbiano dimostrato un'agilità eccezionale in laboratori controllati o su piste prive di ostacoli, la navigazione ad alta velocità in ambienti densi di ostacoli rimane un problema irrisolto.
Le difficoltà principali includono:

• Conflitto di obiettivi: La necessità di massimizzare la velocità attraversando i cancelli (gate) è intrinsecamente in conflitto con la necessità di evitare gli ostacoli. Poiché i cancelli sono percepiti come ostacoli dal sistema di visione, un algoritmo di evitamento standard tenderebbe a bypassare i cancelli invece di attraversarli.
• Generalizzazione: I metodi esistenti, basati su pianificazione di percorso o apprendimento per imitazione, spesso falliscono nel generalizzare a configurazioni di ostacoli non viste o nel trasferire le politiche apprese dalla simulazione alla realtà (problema sim-to-real).
• Robustezza: Le attuali soluzioni soffrono di bassi tassi di successo e scarsa robustezza quando affrontano ostacoli casuali in scenari reali.

2. Metodologia

Gli autori propongono un framework di Apprendimento per Rinforzo (RL) basato su Curriculum e visione end-to-end per addestrare un controller robusto capace di gestire ostacoli imprevisti.

A. Architettura della Politica

• Input: Il sistema utilizza una politica end-to-end che mappa direttamente le osservazioni visive (mappe di profondità da una camera Intel D435i) e lo stato del drone (posizione, velocità, orientamento) ai comandi di controllo.
• Output: I comandi sono espressi come Collective Thrust and Body Rate (CTBR): spinta collettiva normalizzata e velocità angolari ($\omega_x, \omega_y, \omega_z$).
• Rete Neurale: L'architettura è leggera e composta da:
  • Un estrattore di caratteristiche per le mappe di profondità (CNN a 3 livelli).
  • Un estrattore per lo stato del drone (MLP a 2 livelli).
  • Un'unità GRU (Gated Recurrent Unit) per catturare le dipendenze temporali.
  • Una rete Attore-Critico per la generazione delle azioni.
  • L'intera rete è eseguita in tempo reale su un Raspberry Pi a bordo.

B. Funzione di Ricompensa

Per risolvere il conflitto tra attraversamento dei cancelli ed evitamento degli ostacoli, è stata progettata una funzione di ricompensa composita che bilancia diversi termini:

• Progresso ($r_{prog}$): Incoraggia l'avvicinamento al prossimo cancello.
• Allineamento ($r_{theta}$): Allinea il drone al cancello e facilita manovre ad alto angolo di imbardata per vedere gli ostacoli.
• Evitamento Ostacoli ($r_{avoid}$): Una ricompensa continua (non solo penalità discrete) basata sulla distanza dal punto di collisione più vicino, fondamentale per evitare che il drone bypassi i cancelli.
• Passaggio del cancello ($r_{pass}$) e Collisione ($r_{crash}$): Ricompense binarie per il successo o il fallimento.
• Smoothness e Velocità: Penalità per azioni brusche e per velocità superiori a quelle desiderate.

C. Strategie di Addestramento

Il framework integra tre componenti chiave per migliorare la generalizzazione e l'efficienza:

1. Apprendimento per Curriculum Multi-Stadio:
   • Livello 1: Addestramento a bassa velocità su piste senza ostacoli.
   • Livello 2: Introduzione di ostacoli casuali, mantenendo bassa la velocità desiderata.
   • Livello 3: Aumento della velocità desiderata, rimozione delle penalità di velocità e aumento della densità degli ostacoli.
2. Randomizzazione del Dominio:
   • Utilizzo di un generatore di ostacoli che posiziona oggetti casuali tra i cancelli garantendo sempre un percorso percorribile.
   • Inizializzazione casuale della posizione del drone e dei cancelli per coprire diverse configurazioni di partenza.
3. Aggiornamento Multi-Scena:
   • Invece di aggiornare la politica su una singola scena alla volta, il metodo utilizza un numero variabile di scene parallele. Questo bilancia esplorazione (fasi iniziali) e sfruttamento (fasi finali), prevenendo l'overfitting su configurazioni specifiche.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti in simulazione, in simulazione Hardware-in-the-Loop (HITL) e in voli reali.

• Confronto con Baseline: Il metodo proposto supera significativamente le politiche basate su RL esistenti (che usano randomizzazione ma non curriculum) e le politiche basate solo sullo stato (senza visione).
  • Tasso di Successo (SR): Il metodo proposto raggiunge il 100% di successo su tre diverse piste (a S, a 3D Circle, a J) in ambienti ricchi di ostacoli, contro il 30-40% delle baseline.
  • Tempo di Giro (LT): Il sistema è in grado di volare a velocità fino a 10 m/s in simulazione e 8 m/s nel mondo reale, mantenendo tempi di giro competitivi.
• Ablazione: Lo studio di ablazione dimostra che la rimozione di qualsiasi componente (Curriculum, ricompensa di evitamento, o GRU) porta a un crollo delle prestazioni o al fallimento totale dell'addestramento.
• Robustezza: Il sistema mantiene alte prestazioni anche con variazioni nella densità degli ostacoli (fino a 5 ostacoli tra due cancelli) e spostamenti casuali dei cancelli (fino a ±1.0 m).
• Volo Reale: Il controllo end-to-end è stato eseguito con successo su un drone fisico dotato di Raspberry Pi e camera Intel D435i, con trasferimento sim-to-real zero-shot (nessun addestramento aggiuntivo nel mondo reale).

4. Contributi Chiave

1. Curriculum Learning Sistematico: Una strategia multi-stadio che permette all'agente di passare gradualmente dalla navigazione semplice alla corsa complessa in ambienti affollati, migliorando la generalizzazione.
2. Paradigma Multi-Scena: Un metodo di aggiornamento dinamico che migliora l'efficienza dell'addestramento RL e la consistenza della generalizzazione su diverse configurazioni di ostacoli.
3. Design della Ricompensa Risolutivo: Una funzione di ricompensa strutturata che risolve il conflitto intrinseco tra l'evitamento degli ostacoli e il passaggio dei cancelli, permettendo manovre aggressive ma sicure.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo verso la corsa autonoma di droni in ambienti non strutturati e reali.

• Dimostra che è possibile addestrare controller end-to-end basati sulla visione che sono sia veloci che sicuri, superando i limiti dei metodi tradizionali di pianificazione.
• La capacità di gestire ostacoli casuali senza ri-addestramento (zero-shot transfer) rende la tecnologia potenzialmente applicabile a scenari reali dinamici.
• L'implementazione su hardware leggero (Raspberry Pi) conferma la fattibilità di sistemi di intelligenza artificiale a bordo per applicazioni ad alta velocità.

Il codice e i video sono disponibili pubblicamente, facilitando la riproducibilità e l'ulteriore sviluppo nella comunità robotica.