Quadrotor Navigation using Reinforcement Learning with Privileged Information

Dit artikel presenteert een op versterkingslering gebaseerde navigatiemethode voor quadrotors die, door gebruik te maken van tijd-van-aankomst-kaarten als bevoorrechte informatie en een specifieke verliesfunctie, succesvol grote obstakels omzeilt en in de praktijk is getest met een 86% slagingspercentage zonder botsingen.

De kern

Stel je voor dat je een kleine, razendsnelle drone bestuurt die door een dichte, donkere bos moet vliegen. Er staan enorme bomen in de weg, er zijn grotten en smalle doorgangen. Een gewone drone zou hier waarschijnlijk vastlopen, tegen een boom aan vliegen of in een hoekje blijven hangen omdat ze niet weet hoe ze om een groot obstakel heen moet vliegen.

Deze paper beschrijft hoe de onderzoekers van de Carnegie Mellon University een slimme drone hebben gemaakt die dit probleem oplost. Ze hebben een manier bedacht om de drone te leren vliegen alsof ze een "superkracht" heeft, maar zonder die superkracht te gebruiken op het moment dat het er echt toe doet.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: De "Kijk-voor-de-neus" valkuil

Vroeger leerden we drones om te vliegen door ze te laten kijken wat er direct voor hun neus zit (zoals een mens die door een donkere gang loopt en alleen de muur voor zich ziet).

• Het probleem: Als je tegen een enorme muur aanloopt en je kijkt alleen recht vooruit, weet je niet dat je linksom moet om de muur heen. Je blijft steken.
• De oplossing: De drone moet leren "in de verte" kijken, zelfs als ze dat niet kan zien.

2. De Superkracht: De "Toekomst-kaart" (Privileged Information)

Tijdens het trainen in de computer (de simulatie) geven de onderzoekers de drone een geheime kaart. Dit noemen ze "Privileged Information" of bevoorrechte informatie.

• De analogie: Stel je voor dat je een spelletje "Mijnheer" speelt, maar je mag tijdens het oefenen een kaartje zien dat precies aangeeft welke weg de kortste is naar de finish, zelfs als die weg om een enorme berg heen gaat.
• De ToA-kaart (Time-of-Arrival): Dit is een digitale kaart die de drone vertelt: "Als je hier bent, ben je over 2 seconden bij de finish. Als je daarheen gaat, ben je over 5 seconden." De drone leert hierdoor de richting van de kortste weg te voelen, zelfs als ze de finish niet kan zien.

3. De Leermethode: Van "Oefenen met bril" naar "Vliegen zonder bril"

Dit is het slimste deel van de truc:

• Oefenen (Training): De drone oefent in een virtuele wereld met de "Toekomst-kaart" in haar hand. Ze leert: "Ah, als ik naar links draai, wordt de tijd tot de finish korter, dus dat is de goede kant op!" Ze leert ook om haar neus (de yaw-hoek) te draaien als ze een bocht moet maken, net als een auto die een scherpe bocht neemt.
• De echte wereld (Testen): Zodra de drone echt gaat vliegen, wordt de kaart weggehaald. De drone heeft de kaart niet meer. Maar omdat ze zo goed heeft geoefend, heeft ze de gevoel van die kaart in haar hoofd opgeslagen. Ze vliegt nu puur op basis van wat haar camera ziet (diepe schaduwen, muren), maar ze gedraagt zich alsof ze nog steeds de kaart heeft. Ze weet instinctief hoe ze om grote obstakels heen moet vliegen.

4. Het Leren van de "Zenuwen" (Verliesfuncties)

Om de drone niet te laten crashen, gebruiken de onderzoekers een soort "boetesysteem" (verliesfuncties):

• Niet te hard remmen: Als je te snel op een muur afvliegt, krijg je een boete.
• Rustig vliegen: Als je te veel schokt, krijg je een boete.
• De "Kijk-richting" boete: Dit is nieuw. Als de drone een grote muur ziet, moet ze haar neus draaien (yaw) om eromheen te vliegen. Als ze dat niet doet en recht vooruit blijft vliegen, krijgt ze een boete. Dit zorgt ervoor dat de drone niet vastloopt in een hoek.

5. Van Computer naar Werkelijke Wereld (Sim-to-Real)

Een groot probleem bij drones is dat ze in de computer anders reageren dan in het echt. In de computer is de zwaartekracht perfect, maar in het echt kan de batterij wat minder kracht leveren of is de wind anders.

• De oplossing: De onderzoekers hebben de drone tijdens het trainen "gek" gemaakt. Ze hebben de zwaartekracht willekeurig veranderd, de startpositie willekeurig gemaakt en ruis toegevoegd aan de sensoren.
• De analogie: Het is alsof je een atleet traint in een gymzaal waar de vloer soms nat is, soms glad, en waar de lichten soms flitsen. Als die atleet dan de echte wedstrijd loopt, voelt hij zich nergens door verrast. Hij is al gewend aan de chaos. Dankzij dit "willekeurige trainen" vliegt de drone in het echt (dag en nacht, in bossen) net zo goed als in de computer.

Het Resultaat

Deze slimme drone heeft het volgende bereikt:

• Ze vliegt razendsnel (tot 4 meter per seconde).
• Ze heeft 20 keer succesvol gevlogen in de buitenwereld (dag en nacht) zonder ooit te crashen.
• Ze heeft een afstand van bijna 600 meter afgelegd door dichte bossen en obstakels.
• Ze is 34% succesvoller dan eerdere methoden.

Kort samengevat:
De onderzoekers hebben een drone getraind alsof ze een waarzegger was (met een kaart van de toekomst), zodat ze in het echt, zonder die kaart, toch de slimste route kiest om om grote obstakels heen te vliegen. Ze hebben haar ook getraind in een chaotische omgeving zodat ze in de echte wereld niet uit haar evenwicht raakt. Het is een enorme stap naar drones die zelfstandig en veilig kunnen vliegen in onze complexe, rommelige wereld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Quadrotor Navigation using Reinforcement Learning with Privileged Information" in het Nederlands.

Probleemstelling

Traditionele navigatiebenaderingen voor quadcopters splitsen perceptie, planning, schatting van de toestand en controle op in aparte taken. End-to-end leermethodes, die een neurale netwerk gebruiken om ruwe sensorinformatie direct om te zetten in acties, bieden voordelen zoals lagere latentie en minder rekenkracht, wat geschikt is voor lichtgewicht platforms. Echter, bestaande methodes hebben moeite in uitdagende omgevingen met grote obstakels (zoals hoge muren of terrein), scherpe hoeken en doodlopende straten. Bestaande modellen presteren goed bij smalle obstakels, maar falen vaak wanneer het doel wordt geblokkeerd door grote structuren, omdat ze vastlopen in lokale minima of geen globale route kunnen vinden zonder expliciete kaarten.

Methodologie

De auteurs presenteren een end-to-end reinforcement learning (RL) methode die trainen met geprivilegieerde informatie (privileged information) combineert met een differentieerbare simulatie.

1. Differentieerbare Dynamica en Training:

   • Het probleem wordt gemodelleerd als een Markov Decision Process (MDP).
   • In plaats van een volledig complex quadcopter-model, gebruiken de auteurs een puntmassa-dynamiekmodel (point-mass dynamics) met Verlet-integratie. Dit model is differentieerbaar, wat toelaat om de loss-functie direct terug te propageren door de dynamica (Analytical Policy Gradient). Dit zorgt voor zeer efficiënt trainen.
   • De simulatie gebruikt een aangepaste GPU-versneller (gebaseerd op VisFly/Habitat-Sim) met willekeurig gegenereerde obstakels.

2. Netwerkarchitectuur:

   • Input: Een dieptekaart (depth image), doel-informatie (snelheid en "goal importance"), en de huidige staat van de drone (snelheid en oriëntatie).
   • Verwerking: Specifieke feature extractors (Conv2D en Lineaire lagen) verwerken elke input. Deze worden samengevoegd en ingevoerd in een Gated Recurrent Unit (GRU) om geheugen van eerdere observaties te behouden voor soepele besturing.
   • Output: Een massa-genormaliseerde duwkracht (thrust) en een gierhoek (yaw). Het voorspellen van de yaw is een cruciaal verschil met eerdere werken.

3. Verliesfuncties (Loss Functions) en Gekwalificeerde Informatie:

   • Time-of-Arrival (ToA) Kaarten als Gekwalificeerde Informatie: Tijdens het trainen krijgt het netwerk toegang tot ToA-kaarten (bereid met de Fast Marching Method). Deze kaarten geven de kortste reistijd naar het doel aan, rekening houdend met obstakels. De gradiënten van deze kaart sturen de snelheid van de drone. Belangrijk: Deze kaart is niet beschikbaar tijdens het testen (deployments); het netwerk moet de navigatiepatronen uit de ToA-gradiënten leren en toepassen op basis van alleen dieptekaarten.
   • Yaw Alignment Loss: Een nieuwe loss-functie die de x-as van het lichaam van de drone uitlijnt met de gewenste bewegingsrichting. Dit stelt de drone in staat om zich te heroriënteren (te draaien) rond grote obstakels, in plaats van star naar het doel te blijven kijken.
   • Andere Loss-termen: Inclusief obstakelvermijding (afstand en botsingssnelheid), gladheid (versnelling en jerk), en snelheidsbeperkingen.

4. Sim-to-Real Overbrugging:

   • Lichaamssnelheids-attitude controle (Body Rate Attitude Control): Om de kloof tussen het simpele puntmassa-model en de echte rigide dynamica te overbruggen, wordt een PD-regelaar gebruikt die niet alleen de gewenste oriëntatie, maar ook de gewenste hoeksnelheid (body rates) volgt. Dit vermindert de besturingslatentie aanzienlijk.
   • Domeinrandomisatie (Domain Randomization): Om robuustheid te garanderen, worden tijdens het trainen parameters zoals zwaartekracht, startpositie en sensorruis gevarieerd. Dit helpt het model om fouten in de thrust-modellering (bijv. door batterijspanning) te compenseren.

Belangrijkste Bijdragen

1. Yaw-uitlijning: Een nieuwe objectieve functie die de drone in staat stelt om van richting te veranderen en rond grote obstakels te draaien, wat essentieel is voor complexe omgevingen.
2. ToA-gebaseerde Privileged Learning: Een methode om kortste paden te leren tijdens het trainen via ToA-kaarten, zonder dat deze kaarten tijdens de uitvoering nodig zijn. Dit lost het probleem op van het vastlopen in holle obstakelgebieden.
3. Verbeterde Sim-to-Real: Implementatie van een attitude-regelaar met hoeksnelheidsfeedback en uitgebreide domeinrandomisatie, wat leidt tot succesvolle vluchten in de echte wereld zonder fine-tuning.
4. Uitgebreide Validatie: Evaluatie in fotorealistische simulaties en hardware-experimenten (dag en nacht), inclusief open-source release van de software.

Resultaten

• Simulatie: De methode bereikte een succescpercentage van 86% in diverse uitdagende omgevingen (grotten, industrie, mijnen). Dit is 34% beter dan de state-of-the-art baselines (zoals "Back to Newton's Laws" en een versie zonder ToA). De methode had de laagste botsingsratio.
• Hardware: De policy werd succesvol gedeployed op een aangepaste quadcopter (15 cm, 1,7 kg) met een Intel RealSense camera en NVIDIA Orin NX.
  • 20 vluchten uitgevoerd in buitenomgevingen (open arena en bos met dichte begroeiing).
  • Totale afgelegde afstand: 589 meter.
  • Snelheden tot 4 m/s.
  • 0 botsingen tijdens de tests.
  • De drone slaagde erin om zich aan te passen aan modelonnauwkeurigheden (zoals een 15% afwijking in duwkracht) dankzij de zwaartekrachtsrandomisatie.

Betekenis en Conclusie

Dit werk toont aan dat end-to-end leermethodes voor quadcopters effectief kunnen worden ingezet in complexe, ongestructureerde omgevingen met grote obstakels, mits er gebruik wordt gemaakt van gekwalificeerde informatie tijdens het trainen en zorgvuldige sim-to-real technieken worden toegepast. De combinatie van ToA-kaarten voor globale oriëntatie en yaw-alignment voor lokale manoeuvres lost een van de grootste beperkingen van eerdere visuele navigatiesystemen op: het vermogen om uit lokale minima te ontsnappen en rond grote barrières te navigeren. De succesvolle hardware-implementatie zonder fine-tuning bevestigt de robuustheid van de aanpak voor toepassingen in reddingsoperaties en inspectie in moeilijke omgevingen.