Approximate Imitation Learning for Event-based Quadrotor Flight in Cluttered Environments

Deze paper introduceert een nieuwe benadering voor 'Approximate Imitation Learning' die het mogelijk maakt een quadcopter met slechts één event-camera snel en robuust door rommelige omgevingen te vliegen door de dure simulatie van events te omzeilen en in plaats daarvan een offline dataset te combineren met online training op basis van lichte state-informatie.

De kern

Stel je voor dat je een drone bestuurt die door een dicht, wervelend bos moet vliegen. Normale camera's, zoals die op je telefoon, werken hierbij als een trage fotograaf: als je te snel beweegt, wordt de foto wazig (bewegingsonscherpte). De drone wordt dan "blind" en botst tegen bomen aan.

De onderzoekers van dit papier hebben een slimme oplossing gevonden met een gebeurteniscamera (event camera). Denk aan deze camera niet als een fotograaf die elke seconde een foto maakt, maar als een razendsnelle alarmist. Deze camera merkt alleen veranderingen op (zoals een boom die voorbij komt) en schreeuwt direct: "Hier! Nu!" zonder wazigheid. Dit maakt de drone extreem snel en wendbaar.

Maar er is een probleem: het trainen van een drone om met zo'n camera te vliegen in een computer-simulatie is als het bouwen van een hele stad in Minecraft, maar dan in slow-motion. Het kost enorm veel rekenkracht en tijd om die "alarmist"-data (de gebeurtenissen) in de computer te simuleren.

Hier komt de nieuwe methode van de onderzoekers om de hoek kijken. Ze noemen het "Benaderend Imitatie-Leren". Hier is hoe het werkt, vertaald naar alledaagse analogieën:

1. De Twee Studenten (De Leerling en de Vervanger)

Stel je voor dat je een drone wilt leren vliegen.

• De Event-Student (De echte leerling): Deze drone kijkt alleen naar de gebeurteniscamera. Hij is slim, maar zijn "oefenboek" (de simulatie) is heel duur en traag om te vullen.
• De Benaderende Student (De snelle vervanger): Deze drone kijkt naar een simpele lijst met cijfers over waar hij is en hoe snel hij gaat (staat-informatie). Dit is heel makkelijk en snel om in de computer te simuleren.

2. De Slimme Trainingsmethode

In plaats van de dure "Event-Student" duizenden keren te laten oefenen in de zware simulatie, doen ze het zo:

• Stap 1: Het Offline Boek (Pre-training): Ze nemen een grote stapel oude, vooraf berekende data (zoals een leerboek) en leren de Event-Student de basis. Ze gebruiken ook echte data uit de buitenwereld om hem niet te laten "dromen" van een onbestaande wereld.
• Stap 2: De Vervanger doet het zware werk: Nu komt de slimme truc. Ze laten de snelle vervanger (die alleen naar cijfers kijkt) duizenden keren oefenen in de simulatie. Omdat hij geen zware "gebeurtenis-foto's" hoeft te maken, gaat dit 28 keer sneller!
• Stap 3: De Overdracht: De snelle vervanger leert hoe hij moet reageren op de situatie. Omdat hij en de echte Event-Student dezelfde "hersenen" (de acties) delen, leert de echte drone indirect mee. Het is alsof je een sporter laat trainen op een loopband (snel en veilig), en hij zijn vaardigheden overbrengt naar het echte veld.

3. Het Resultaat: Een Vliegende Kunstenaar

Dankzij deze methode hebben ze een drone getraind die:

• Snelheid: Tot wel 35 km/u (9,8 m/s) haalt door een bos vol obstakels.
• Zicht: Alleen een kleine gebeurteniscamera gebruikt, geen dure LiDAR of zware radar.
• Betrouwbaarheid: Zelfs in de echte wereld, waar bomen en licht anders zijn dan in de computer, vliegt hij stabiel.

Waarom is dit belangrijk?

Vroeger was het trainen van robots met dit soort snelle camera's als het proberen te bakken van een taart in een oven die uren opwarmt. Het was te duur en te traag.
Met deze nieuwe methode is het alsof je een snelle magnetron hebt: je bereidt de basis vooraf (offline), en dan bak je de taart razendsnel (online) zonder de hele oven te hoeven opwarmen.

Kortom: Ze hebben een manier gevonden om drones razendsnel en slim te maken door een slimme "tussenvorm" te gebruiken die de zware rekenkracht omzeilt, zodat de drone in het echte leven als een acrobaat door het bos kan razen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Approximate Imitation Learning for Event-based Quadrotor Flight in Cluttered Environments" in het Nederlands.

Probleemstelling

De kernuitdaging die dit artikel aanpakt, is het realiseren van snelle en wendbare vlucht van quadcopters in complexe, overwoekerde omgevingen (zoals bossen) met behulp van visuele sensoren.

• Beperkingen van standaard camera's: Traditionele camera's integreren licht over een bepaalde blootstellingstijd, wat leidt tot bewegingsonscherpte (motion blur) bij hoge snelheden. Dit verslechtert de perceptiekwaliteit en maakt snelle navigatie onmogelijk.
• Beperkingen van Event Camera's: Hoewel event camera's (die asynchroon veranderingen in intensiteit registreren) geen bewegingsonscherte hebben en zeer lage latentie bieden, is het trainen van end-to-end besturingspolitieken hiermee extreem rekenintensief. Het simuleren van event-data in een omgeving is computationeel duur, wat het leren van robuuste politieken via imitatie-leren (Imitation Learning - IL) of versterkingsleren (RL) inefficiënt maakt.
• Huidige oplossingen: Bestaande methoden gebruiken vaak tussenliggende representaties of standaard camera's, wat de voordelen van event camera's tenietdoet, of ze zijn te traag om te trainen vanwege de noodzaak om events te renderen tijdens elke interactie.

Methodologie: Benaderende Imitatie-Lering (Approximate Imitation Learning)

De auteurs stellen een nieuw kader voor, genaamd Approximate Imitation Learning (Approximate IL), dat het trainen van event-based politieken efficiënter maakt door het renderen van events tijdens de online training te elimineren.

Het proces verloopt in twee hoofdfasen:

1. Offline Training (Representatie Leren):

   • Er wordt een groot offline dataset gebruikt dat bestaat uit gerenderde event-data en de acties van een "leraar" (teacher). De leraar is een politiek getraind met state-informatie (waaronder afstandskarten) via Proximal Policy Optimization (PPO).
   • Een Event Student (een neurale netwerkarchitectuur met EfficientNet en GRU-lagen) leert om event-data direct te mappen naar besturingscommando's door de acties van de leraar na te bootsen (Behavior Cloning).
   • Om de kloof tussen simulatie en realiteit (sim-to-real gap) te verkleinen, wordt een dataset uit de echte wereld (M3ED) gebruikt voor een auxiliaire taak: het voorspellen van afstandskarten (distance maps) op basis van events. Dit helpt het netwerk om dieptewerking te leren zonder dat er actieve leraar-acties nodig zijn voor deze specifieke dataset.
   • Vectorized Event Rendering: Om de offline dataset efficiënt te genereren, stellen de auteurs een nieuwe methode voor om event-representaties direct te genereren uit hoogwaardige video's via vectorisatie in PyTorch. Dit is 34% sneller en veel geheugenefficiënter dan bestaande methoden zoals ESIM.

2. Online Training (Finetuning zonder Events):

   • Dit is het kerninnovatiepunt. In plaats van dat de student tijdens de online interacties in de simulator opnieuw events moet renderen (wat duur is), wordt een Approximate Student gebruikt.
   • De Approximate Student ontvangt lichtgewicht state-informatie (zoals positie, snelheid en hoek) in plaats van event-data.
   • Deze student leert om de interne features en acties van de Event Student na te bootsen. Omdat de state-informatie in simulatie goedkoop te genereren is, kan de politiek (de gedeelde actie-decoder) worden gefinetuned via online interacties (geïnspireerd door DAgger) zonder de hoge kosten van event-rendering.
   • De Event Student zelf wordt niet direct bijgewerkt met nieuwe data, maar zijn gedrag wordt indirect verbeterd doordat de gedeelde actie-decoder wordt geoptimaliseerd door de Approximate Student.

Belangrijkste Bijdragen

1. Approximate Imitation Learning Framework: Een nieuw paradigma dat offline representatie-lering combineert met online finetuning via een "state-based" student, waardoor de noodzaak om tijdens training events te renderen volledig wordt verwijderd.
2. Efficiënte Event-Rendering: Een vectorisatie-algoritme voor het direct genereren van dichte event-representaties uit video's, wat de trainingskosten en het geheugengebruik drastisch verlaagt.
3. End-to-End Event Control: Een systeem dat quadcopters laat vliegen op basis van alleen event-data, zonder tussenliggende representaties of standaard camera's.
4. Real-World Validatie: Succesvolle implementatie op een fysieke quadcopter met een enkele event-camera, wat de bruikbaarheid in de echte wereld bewijst.

Resultaten

De methode werd getest in simulatie (Flightmare) en in reële vluchttests.

• Simulatie:
  • De methode behaalde een succespercentage van 100% in omgevingen met een Poisson-delta van 0.04 (dicht bos), vergeleken met 80% voor standaard Behavior Cloning (BC) en slechts 30% voor DAgger (dat wel events renderde maar minder data-efficiënt was).
  • De gemiddelde snelheid bedroeg 8,76 m/s (tot 9,8 m/s in tests), wat aanzienlijk hoger is dan veel bestaande methoden.
  • Trainingskosten: De benadering vermindert de trainingstijd in de "Policy"-fase met een factor 28 ten opzichte van DAgger, omdat het geen online event-rendering vereist.
• Real-World Tests:
  • De quadcopter vloog succesvol door overwoekerde, binnen- en buitenomgevingen met obstakels.
  • De drone bereikte snelheden tot 9,8 m/s in cluttered omgevingen, uitsluitend gebaseerd op input van een enkele monochrome event-camera (DVXplorer Micro) en onboard computing (NVIDIA Jetson TX2).
  • Het systeem toonde robuustheid tegenover variaties in obstakeldichtheid.

Betekenis en Impact

Dit werk is significant omdat het een van de eerste methoden is die snelle, agile vlucht in complexe omgevingen mogelijk maakt met enkel event-camera's, zonder afhankelijk te zijn van dure tussenliggende perceptiemodules of standaard camera's.

De belangrijkste doorbraak is het oplossen van het "rekenkundige bottleneck"-probleem bij het trainen van event-based robotica. Door te bewijzen dat je kunt leren van events, maar kunt finetunen met goedkope state-simulatie, opent dit de deur voor het toepassen van event-based learning op andere, eveneens dure te simuleren sensormodi, zoals tactiele sensoren, radar of LiDAR. Het stelt onderzoekers in staat om robuuste, hoogwaardige politieken te trainen die eerder onbereikbaar waren vanwege de simulatiekosten.