Aerial Inspection Behaviors via RL-based Quadrotor Control for Under-canopy Forest Environments

Riepilogo Tecnico: Comportamenti di Ispezione Aerea tramite Controllo di Quadricotteri Basato su RL per Ambienti Forestali Sotto la Chioma

Enunciato del Problema
Questo articolo affronta la sfida di dispiegare quadricotteri autonomi per missioni di ispezione all'interno di ambienti forestali situati sotto la chioma. Sebbene i quadricotteri siano ben adatti per spazi confinati e ingombri, le pipeline di autonomia convenzionali si basano tipicamente su uno stack di controllo strutturato (ad esempio, PID o tracciamento geometrico) combinato con pianificatori di movimento. Gli autori indagano se un controller di livello motore appreso, end-to-end, possa servire come strato di esecuzione alternativo e pratico all'interno di uno stack di autonomia guidato da pianificatore. Il problema specifico consiste nel raggiungere un tracciamento simultaneo del riferimento di posizione e di imbardata (view-pose tracking) per supportare vari comportamenti di ispezione, come la navigazione punto-a-punto, la scansione circolare e le traiettorie elicoidali, operando in presenza di rumore nelle misurazioni di stato e di disturbi esterni.

Metodologia
La soluzione proposta utilizza un'architettura di autonomia gerarchica composta da tre livelli distinti:

1. Navigazione di Alto Livello (Pianificatore TSP): Data una mappa nota della foresta e un insieme di regioni di ispezione definite dall'utente, un pianificatore del Problema del Commesso Viaggiatore (TSP) calcola la sequenza ottimale per visitare questi bersagli. La funzione di costo è basata sulla distanza euclidea, ignorando quota e imbardata per la generazione iniziale della sequenza.
2. Pianificazione di Percorso di Livello Intermedio (Pianificatore RRT):* Un pianificatore RRT* (Rapidly-exploring Random Tree Star) 3D informato genera percorsi privi di collisioni tra i bersagli sequenziali definiti dal TSP. Questo pianificatore rispetta i limiti specifici di tracciamento e i confini di sicurezza del controller di livello inferiore (ad esempio, assicurando che i punti di passaggio siano entro un raggio di 3 metri per tenere conto delle condizioni di terminazione dell'addestramento). Restituisce una sequenza di punti di passaggio privi di collisioni e profili di assetto.
3. Esecuzione di Basso Livello (Controller RL): Il contributo principale è una politica di Apprendimento per Rinforzo (RL) profonda che mappa le osservazioni di stato direttamente ai comandi di giri al minuto (RPM) dei motori.
   • Formulazione: Il problema è modellato come un Processo Decisionale di Markov Parzialmente Osservabile (POMDP).
   • Spazio di Osservazione: Include l'errore di posizione rumoroso, l'errore di quaternione, la velocità lineare, la velocità angolare e l'azione precedente (per mantenere le proprietà di Markov). Durante l'addestramento viene iniettato rumore gaussiano per migliorare la robustezza.
   • Spazio di Azione: La politica produce RPM dei motori normalizzati, che vengono convertiti in valori RPM grezzi nella simulazione.
   • Modellazione della Ricompensa: Una funzione di ricompensa multi-componente incoraggia la sopravvivenza (evitando collisioni), il tracciamento preciso della posizione (utilizzando ricompense esponenziali a doppia banda per gli errori orizzontali e verticali), la minimizzazione della velocità, il tracciamento accurato dell'angolo geodetico (imbardata) e la fluidità dell'azione (penalizzando i cambiamenti rapidi nei comandi del motore).
   • Architettura: La politica è un Perceptron Multistrato (MLP) con 17 ingressi e 4 uscite, addestrato utilizzando la libreria Stable-Baselines3 all'interno di un ambiente Gym-PyBullet-Drones.

Contributi Chiave
Gli autori presentano tre contributi principali:

1. Politica di Controllo End-to-End: Un controller di basso livello basato su RL che mappa le osservazioni di stato direttamente agli RPM dei motori per il tracciamento simultaneo di posizione e imbardata, eliminando la necessità di una decomposizione esplicita in controllo di posizione ad anello esterno e controllo di assetto ad anello interno.
2. Integrazione di Sistema: Una dimostrazione che questo controller appreso può essere dispiegato in modo affidabile come modulo di esecuzione all'interno di un framework di navigazione di livello superiore (TSP + RRT*) per missioni a lungo raggio sotto la chioma.
3. Validazione: L'intero sistema è stato validato su cinque scenari di ispezione distinti, dimostrando la fattibilità del controller RL in ambienti complessi simili a foreste.

Risultati e Validazione
Il sistema è stato valutato in un ambiente forestale simulato contenente 200 tronchi cilindrici. La validazione ha coperto cinque scenari specifici:

1. Navigazione Sotto la Chioma: Il quadricottero ha navigato con successo tra otto bersagli di ispezione, con il TSP che determinava l'ordine e l'RRT* che generava il percorso. Il controller RL ha tracciato i conseguenti punti di passaggio privi di collisioni.
2. Tracciamento View-Pose: Il drone ha ispezionato cinque alberi a quote variabili, mantenendo una distanza di sicurezza di 1 metro e puntando il proprio asse x verso ciascun albero.
3. Scansione di Scena Stazionaria: Il quadricottero ha mantenuto una posizione fissa ruotando di 360 gradi per scansionare un'area specifica.
4. Tracciamento di Traiettoria Circolare: Il drone ha tracciato un percorso circolare attorno a un tronco d'albero a quota costante e a una distanza orizzontale di 50 cm.
5. Tracciamento di Traiettoria Elicoidale: Il drone ha eseguito una traiettoria elicoidale attorno a un albero, variando la propria imbardata per mantenere la vista del centro del tronco durante la salita e la discesa.

In tutti gli scenari, il controller ha dimostrato un movimento fluido e preciso con piccoli errori di tracciamento di posizione e imbardata. I risultati indicano che il controller basato su RL gestisce efficacemente l'esecuzione di comportamenti di ispezione complessi generati dai pianificatori di alto livello.

Significato e Affermazioni
L'articolo afferma che un controller stabilizzante di livello motore appreso, quando supportato da uno strato di guida alla navigazione, è un modulo di esecuzione di basso livello vitale ed efficace per l'ispezione forestale sotto la chioma. Il lavoro suggerisce che le politiche end-to-end possono ridurre la necessità di decomposizione del controller progettata manualmente, preservando al contempo le garanzie di sicurezza fornite dai pianificatori di livello superiore. Gli autori mantengono un tono modesto riguardo al dispiegamento immediato, notando che il lavoro attuale è una validazione basata sulla simulazione. Affermano che i lavori futuri si concentreranno sul trasferimento sim-to-real e sulla validazione su hardware reale per valutare l'applicabilità del controller in missioni pratiche di ispezione aerea nel mondo reale.