💻 computer science

Vision-Guided Outdoor Flight and Obstacle Evasion via Reinforcement Learning

Questo articolo propone un framework di apprendimento per rinforzo guidato dalla visione che permette ai quadricotteri di navigare autonomamente ed evitare ostacoli in ambienti esterni sconosciuti e privi di GNSS attraverso un processo di addestramento in due fasi che coinvolge l'apprendimento supervisionato e l'ottimizzazione curricolare, ottenendo un riuscito trasferimento sim-to-real zero-shot.

Autori originali: Shiladitya Dutta, Aayush Gupta, Varun Saran, Avideh Zakhor

Pubblicato 2026-05-26

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Shiladitya Dutta, Aayush Gupta, Varun Saran, Avideh Zakhor

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un drone telecomandato. Di solito, devi tenere in mano un telecomando, guardare uno schermo e sterzarlo costantemente per evitare di schiantarti contro alberi, edifici o altri ostacoli. Se perdi il segnale o la batteria si esaurisce, il drone si ferma. Questo articolo presenta un metodo per insegnare a un drone a volare da solo attraverso una foresta o una città disordinate e sconosciute, senza un pilota umano, utilizzando solo i propri "occhi" e il proprio "cervello".

Ecco come hanno fatto, spiegato in modo semplice:

Il Problema: Il Collo di Bottiglia del "Pilota"

La maggior parte dei droni odierni è come un'auto con un conducente che non dorme mai. Sono eccellenti nel muoversi velocemente e girare di scatto, ma non possono volare da soli in luoghi insidiosi (come sotto una fitta chioma di alberi o in una zona di guerra) perché hanno bisogno di un umano che dica loro costantemente dove andare. L'obiettivo di questa ricerca era costruire un drone che potesse osservare il mondo, capire dove si trovano gli ostacoli e raggiungere una destinazione da solo.

La Soluzione: Un Cervello in Due Parti

I ricercatori hanno costruito un "cervello" per il drone che funziona in due parti principali, simile a come un umano impara a guidare:

Gli Occhi (L'Autoencoder): Il drone utilizza una camera stereo (due lenti come gli occhi umani) per vedere la profondità. Tuttavia, il video grezzo è troppo grande per essere elaborato rapidamente da un piccolo computer. Quindi, hanno prima addestrato un'IA speciale per agire come un "riassuntore". Esamina la complessa vista 3D del mondo e la comprime in una semplice "sensazione" a basso livello dello spazio. Pensa a come trasformare un film in alta definizione in uno schizzo rapido che cattura l'essenza della stanza.
Il Pilota (La Rete LSTM): Una volta che il drone ha questo "schizzo" del mondo, lo passa a una seconda parte del cervello chiamata LSTM. Questo è un tipo di IA che è brava a ricordare le cose nel tempo. Esamina lo schizzo, ricorda dove si trovava un secondo prima e decide: "Ok, devo girare a sinistra e accelerare". Emette comandi semplici come "procedi a questa velocità" o "gira leggermente", che il software integrato del drone può seguire immediatamente.

L'Addestramento: Dai Videogiochi alla Realtà

Non puoi insegnare a un vero drone a volare facendolo schiantare mille volte; si romperebbe. Quindi, i ricercatori hanno insegnato al drone prima in una simulazione di videogiochi.

Fase 1: Il Tutor (Apprendimento Privilegiato): Immagina un pilota allievo che impara a volare. All'inizio, ha un super-tutor che conosce il percorso perfetto attraverso la foresta. Il drone AI osserva questo "percorso perfetto" e riceve una ricompensa per rimanere vicino ad esso. È come le rotelle di una bicicletta; il drone impara le regole di base per non colpire le cose e muoversi verso un obiettivo.
Fase 2: Il Volo in Solitaria (Apprendimento a Curricolo): Una volta che il drone conosce le basi, il tutor scompare. Il drone viene lanciato in un livello di gioco più difficile e complesso con ostacoli casuali. Ora, deve capire il percorso da solo. I ricercatori hanno reso il gioco gradualmente più difficile (aggiungendo più muri, curve più strette) per insegnare al drone ad adattarsi a nuove situazioni.

Il Trucco Magico: Colmare il Divario (Sim-to-Real)

La sfida più grande nella robotica è che ciò che funziona in un videogioco spesso fallisce nel mondo reale. In un gioco, la fisica è perfetta. Nella realtà, c'è vento, la camera è sfocata e il drone potrebbe essere più pesante o più leggero del previsto.

Per risolvere questo problema, i ricercatori hanno utilizzato una tecnica chiamata Randomizzazione del Dominio.

L'Analogia: Immagina di addestrare un calciatore. Se si allena solo su un campo d'erba perfetto e asciutto, potrebbe fallire quando piove o il campo è fangoso. Invece, questo team ha addestrato il suo drone in un "simulatore del caos". Hanno modificato casualmente la velocità del vento, aggiunto rumore statico alle immagini della camera, reso il drone più pesante o più leggero e persino simulato malfunzionamenti dei sensori.
Il Risultato: Addestrando in questo ambiente caotico e imprevedibile, il drone ha imparato a essere "resistente". Quando ha finalmente volato all'aperto, non gli importava se soffiava il vento o se la camera era un po' sfocata. Aveva già visto "peggio" nella simulazione.

Il Test nel Mondo Reale

Hanno testato questo sistema su un vero drone robusto (un DJI M300, che è circa 10 volte più pesante del minuscolo drone che avevano simulato) in un campo all'aperto.

L'Impostazione: Hanno sistemato ostacoli come pilastri e muri in un cortile e in un campo aperto.
Le Condizioni: C'era vento, l'illuminazione era insidiosa e il drone doveva navigare senza GPS (utilizzando solo la sua camera e i sensori interni).
L'Esito: Il drone ha volato con successo attraverso questi ambienti sconosciuti, ha schivato gli ostacoli e ha raggiunto il suo obiettivo al 100% nei loro test. Ha volato a circa 2,6 metri al secondo (circa 10 km/h), che è un passo svelto.

Perché Questo È Importante

L'articolo afferma che questo metodo è speciale perché il drone non ha dovuto essere ricalibrato per il specifico drone pesante che hanno utilizzato. L'hanno addestrato su un minuscolo drone leggero in un gioco, e ha funzionato perfettamente su un gigantesco drone pesante del mondo reale. Questo suggerisce che se insegni a un drone a volare utilizzando "comandi di velocità" (dicendogli quanto velocemente andare) piuttosto che fisica complessa, può adattarsi a quasi qualsiasi drone, grande o piccolo, senza bisogno di un nuovo manuale per ciascuno.

In breve, hanno insegnato a un drone a essere un esploratore coraggioso e autosufficiente, capace di gestire mondi disordinati e sconosciuti imparando in un videogioco caotico e portando poi quella resistenza nel mondo reale.

Riepilogo Tecnico: Volo All'Aperto Guidato da Visione ed Evasione di Ostacoli tramite Apprendimento per Rinforzo

Enunciato del Problema

Sebbene i quadricotteri offrano elevata mobilità, il loro impiego in ambienti privi di GNSS e telemetria (ad esempio, sotto la chioma degli alberi, sotterranei, zone di guerra) è attualmente limitato dalla necessità di un controllo continuo da parte del pilota o dal ricorso a percorsi preimpostati. La navigazione autonoma tradizionale scompone spesso i compiti in unità separate di percezione, pianificazione e controllo, che possono subire errori cumulativi nella stima dello stato e nel rumore dei sensori. Inoltre, i metodi esistenti basati sull'apprendimento producono spesso politiche legate a dinamiche specifiche dei droni o richiedono controllori predittivi basati su modelli (MPC) che non possono essere implementati direttamente su droni commerciali off-the-shelf tramite API standard di comando della velocità. La sfida principale affrontata è raggiungere una navigazione autonoma robusta e zero-shot in ambienti esterni sconosciuti e ricchi di ostacoli, utilizzando esclusivamente sensori di bordo (visione stereo e VIO) e un'interfaccia generica di comando della velocità, senza richiedere tarature specifiche della piattaforma.

Metodologia

Gli autori propongono una politica sensorimotoria modulare end-to-end addestrata tramite un paradigma di Apprendimento per Rinforzo (RL) e Apprendimento Privilegiato in due fasi. L'architettura del sistema e la pipeline di addestramento sono le seguenti:

1. Architettura del Sistema

Testa di Percezione: Un autoencoder denoising pre-addestrato mappa immagini di profondità stereo ad alta dimensionalità ( $192 \times 108$ ) in uno spazio latente a bassa dimensionalità ( $R^{128}$ ). Questo encoder è addestrato sul dataset DIML con rumore gaussiano iniettato per garantire robustezza al rumore della profondità stereo e a ambienti variabili.
Pianificazione e Controllo: Una rete Long Short-Term Memory (LSTM) elabora le caratteristiche di profondità latente concatenate e il vettore di stato (posizione relativa dell'obiettivo, tassi di rollio/pitch/yaw, errore di rotta). L'LSTM genera comandi di velocità ( $v_x, v_z, \omega$ ) direttamente compatibili con le API dei droni commerciali (ad esempio, DJI).
Spazio degli Stati: Include la posizione relativa dell'obiettivo, i tassi angolari, la differenza di rotta e le immagini di profondità appiattite.
Spazio delle Azioni: Velocità orizzontale, velocità verticale e velocità angolare di imbardata, scalate alle capacità massime del drone.

2. Pipeline di Addestramento

La politica è addestrata nel simulatore Flightmare utilizzando l'Ottimizzazione della Politica Prossimale (PPO) attraverso tre fasi distinte:

Fase 1: Generazione di Traiettorie Ottimali: Un pianificatore di movimento globale genera traiettorie dinamicamente fattibili con minimizzazione del jerk in ambienti randomizzati.
Fase 2: Apprendimento Privilegiato: La politica è addestrata in un ambiente semplice (pilastri distanziati) utilizzando le traiettorie ottimali come segnale di supervisione. La funzione di ricompensa include un termine per la prossimità alla traiettoria ottimale per guidare la convergenza iniziale e insegnare comportamenti di volo efficienti nel tempo.
Fase 3: Affinamento del Curriculum: La politica è affinata in un ambiente di curriculum complesso con tre regioni di difficoltà crescente (pilastri, pannelli, muri). Crucialmente, la ricompensa per la traiettoria ottimale viene rimossa in questa fase per impedire alla politica di adattarsi eccessivamente a un singolo percorso in ambienti multimodali, incoraggiando una generalizzazione robusta.

3. Colmare il Divario Sim-to-Reale

Per garantire il trasferimento all'hardware reale, gli autori impiegano:

Randomizzazione del Dominio: Randomizzazione della massa del drone, dell'inerzia e della latenza di controllo; aggiunta di rumore gaussiano alle misurazioni dello stato; e sfocatura gaussiana sugli input di profondità per simulare il degrado dei sensori nel mondo reale.
Modellazione della Ricompensa: Vengono applicate penalità specifiche per l'entità della velocità di imbardata, dell'accelerazione e del jerk (derivata terza) per scoraggiare le oscillazioni ad alta frequenza e garantire profili di volo fluidi e meccanicamente solidi che si generalizzano attraverso diverse dinamiche dei droni.

Risultati Chiave

Valutazione in Simulazione

Prestazioni: La politica ha ottenuto alti tassi di successo (99,2% a 1,0 m/s, scendendo al 78% a 7,0 m/s) in percorsi a ostacoli simulati.
Studi di Ablazione: La rimozione dei termini di ricompensa per jerk, accelerazione o entità della velocità ha portato a oscillazioni erratiche ad alta frequenza, confermando la necessità di penalità per la fluidità per un controllo stabile.
Strategia di Addestramento: L'approccio ibrido (Apprendimento Privilegiato + Curriculum) ha superato le politiche addestrate esclusivamente sull'apprendimento privilegiato o esclusivamente sull'apprendimento curriculare, ottenendo i tassi di successo stabili più alti e il tempo minimo per raggiungere l'obiettivo.
Robustezza: Rispetto alla linea di base MAVRL, il metodo proposto ha mantenuto alti tassi di successo mentre le dinamiche del drone venivano scalate (simulando un aumento di peso di 10 volte), mentre le prestazioni di MAVRL si degradavano rapidamente. La politica proposta ha generato un jerk di traiettoria significativamente inferiore attraverso diverse scale.

Esperimenti nel Mondo Reale

Configurazione: Gli esperimenti sono stati condotti su un DJI Matrice 300 RTK (6,3 kg, circa 10 volte più pesante del drone Kingfisher simulato) equipaggiato con una camera stereo Zed2i e Jetson AGX Xavier.
Ambienti: I test sono stati eseguiti in tre configurazioni all'aperto (Muro, Triangolo, Triangolo Invertito) con posizioni di partenza/obiettivo variabili, inclusi ambienti modificati con ostacoli nascosti e spazi di manovra ridotti.
Prove VIO: Utilizzando esclusivamente l'Odometria Visivo-Inerziale (VIO) per il posizionamento, il sistema ha ottenuto un tasso di successo del 100% su 18 prove. La distanza media dall'obiettivo è stata di 2,27 m, attribuita alla deriva VIO (fino a 3 m) piuttosto che a un fallimento di navigazione, poiché il drone ha evitato con successo gli ostacoli e raggiunto la vicinanza dell'obiettivo.
Prove GNSS: Utilizzando il GNSS per il posizionamento, il sistema ha ottenuto un tasso di successo del 100% con una distanza media dall'obiettivo di 0,81 m, dimostrando una navigazione precisa senza collisioni.
Velocità: Il drone ha mantenuto una velocità media di 2,58 m/s, vicina al massimo comandato di 3,0 m/s.

Significato e Affermazioni

Il documento afferma che il sistema proposto colma con successo il divario Sim-to-Reale per il volo autonomo basato sulla visione in ambienti sconosciuti. Il significato principale risiede nella dimostrazione di un trasferimento zero-shot verso una piattaforma di droni (DJI M300) con dinamiche sostanzialmente diverse dalla simulazione di addestramento (differenza di peso di 10 volte) e in ambienti mai incontrati durante l'addestramento.

Gli autori sottolineano che, utilizzando l'apprendimento per rinforzo con una specifica modellazione della ricompensa e randomizzazione del dominio, anziché apprendimento per imitazione legato a dinamiche specifiche, la politica impara a generare comandi di velocità robusti e a basso jerk. Ciò consente al sistema di interfacciarsi con droni commerciali off-the-shelf tramite API standard senza tarature specifiche della piattaforma. Il lavoro valida che politiche robuste possono astrarre dinamiche di volo complesse, abilitando una navigazione affidabile in ambienti esterni affollati e privi di GNSS utilizzando esclusivamente visione stereo di bordo e VIO.