Het vliegen van een drone door een dicht bos met hoge snelheid is een probleem van timing in fracties van seconden. De machine moet een obstakel zien, beslissen hoe te bewegen en een commando naar de motoren sturen voordat hij een boom raakt. Decennialang hebben ingenieurs dit opgelost door een kaart van de wereld in de computer van de drone te bouwen, een pad te plannen en dat vervolgens te volgen. Maar het bouwen van een kaart kost tijd en rekenkracht, en als de kaart niet klopt, crasht de drone. Een nieuwere aanpak probeert drones te leren vliegen door naar experts te kijken, waarbij de machine een directe link leert tussen wat ze ziet en hoe ze beweegt, net zoals een kind leert fietsen door het evenwicht te voelen in plaats van de fysica van de wielen te berekenen. Deze methode, bekend als imitatieleerproces (imitation learning), heeft veelbelovend gebleken, maar faalt vaak wanneer de drone een situatie tegenkomt die hij nog niet eerder heeft gezien, of wanneer de computer te traag is om het tempo van de vlucht bij te houden.

De uitdaging is nog groter voor kleine drones die vliegen op de rand van hun rekenkracht. Moderne kunstmatige intelligentiemodellen die taal en afbeeldingen kunnen begrijpen zijn ongelooflijk zwaar en vereisen enorme hoeveelheden geheugen om te draaien. Om een beslissing te nemen, moeten deze modellen informatie vaak stap voor stap verwerken, zoals het lezen van een boek, woord voor woord. Voor een drone die met vijf meter per seconde beweegt, betekent het wachten tot een trage computer een lange zin heeft uitgelezen dat de drone achttien meter kan afleggen zonder de besturing te bewegen, een afstand die een crash in een dichtbegroeid bos garandeert. Onderzoekers hadden een manier nodig om deze slimme modellen licht genoeg te maken om te draaien op een kleine, op batterijen werkende computer, terwijl ze nog steeds snel genoeg beslissingen nemen om veilig te kunnen vliegen.

Een onderzoeker heeft een nieuw systeem ontwikkeld genaamd Aero-VPA dat dit probleem aanpakt door de manier waarop de drone denkt te veranderen. In plaats van een zware, woord-voor-woord verwerkingsmethode te gebruiken, bouwden zij een gestroomlijnde architectuur die de toekomstige staat van de wereld voorspelt in één snelle blik. Het systeem gebruikt een compact visueel brein dat naar de camerabeelden kijkt en een kleine set regels om te voorspellen wat er hierna zal gebeuren, waarbij het de noodzaak overslaat om elke pixel van de afbeelding opnieuw te construeren. Dit stelt de drone in staat om in slechts vijf snelle stappen een volledige reeks bewegingscommando's te genereren, een snelheid die past binnen de strikte tijdslimieten van de computer van een kleine drone. De onderzoeker testte dit systeem in een zeer realistische computersimulatie van een quadrotor-drone die door procedureel gegenereerde bossen navigeert, waarbij bomen willekeurig werden geplaatst om een verscheidenheid aan uitdagingen te creëren.

De eerste resultaten waren verrassend en onthulden een verborgen fout in de manier waarop deze machines leren. Wanneer de onderzoeker de drone simpelweg trainde door de acties van een expertpiloot te kopiëren, leerde de drone een gevaarlijke afkorting. De drone stopte met kijken naar de bomen of het pad voor zich en herhaalde in plaats daarvan gewoon het laatste commando dat hij naar de motoren had gestuurd. In een simulatie waarin de drone perfect vloog, werkte deze gewoonte prima omdat het laatste commando meestal correct was. Maar op het moment dat de drone uit koers raakte, bleef hij het verkeerde commando herhalen, waardoor hij blindelings tegen obstakels vloog. Dit gedrag, dat de onderzoeker het "copycat"-probleem noemt, betekende dat hoewel de drone op papier perfect leek, hij geen enkele missie kon voltooien van zestig wanneer hij op eigen kracht vloog.

Om dit op te lossen, introduceerde de onderzoeker een trainingsmethode waarbij de drone mocht vliegen, en telkens wanneer hij een fout maakte, greep een veiligheidssupervisor in om te corrigeren en de drone de juiste zet voor die specifieke situatie te leren. Dit verbeterde het succespercentage van de drone, maar het liep nog steeds tegen een plafond aan. De drone vloog een tijdje, maar crashte dan, of kwam vast te zitten in een lus van aarzeling. Het succespercentage schommelde rond de twintig procent, wat betekende dat de drone in vier van de vijf pogingen crashte of faalde. De onderzoeker realiseerde zich dat het zicht van de drone te smal was; de drone kon alleen zien wat er direct voor hem was, en zodra een obstakel buiten het zicht kwam, vergat de drone dat het er was.

De doorbraak kwam niet door de drone slimmer te maken, maar door het een vangnet te geven dat niet afhankelijk was van leren. De onderzoeker voegde een eenvoudige, deterministische veiligheidslaag toe die als een schild fungeerde. Dit schild hield een geheugen bij van alles wat de drone in de afgelopen vijftien seconden had gezien, waardoor een mentale kaart van de ruimte om hem heen werd gecreëerd, inclusief obstakels die achter de drone of aan de zijkant van de drone waren terechtgekomen. Als de drone richting een herkend obstakel probeerde te vliegen, zou het schild hem zachtjes wegduwen of vertragen. Het had ook regels voor wat te doen als de drone vast kwam te zitten of zijn weg kwijt was, zoals achteruit vliegen langs het pad dat hij zojuist had afgelegd, of zichzelf richting het volgende doel duwen.

Toen dit veiligheidsschild aan de getrainde drones werd toegevoegd, veranderden de resultaten drastelijk. Het succespercentage van de best presterende drone steeg van eenentwintig procent naar tweeënvijftig procent. Het aantal crashes daalde van tweeënzeventig procent naar slechts tweeentwintig procent. De afruil was dat de drone voorzichtiger werd; hij vertraagde vaker en deed er langer over om zijn missies te voltooien, waarbij het aantal vluchten dat simpelweg de tijd uit tijddeerde steeg van drie procent naar drieentwintig procent. Echter, de drone vloog niet langer tegen bomen aan. Het schild werkte zo goed dat het de prestaties van elke geteste versie van de drone verbeterde, ongeacht hoe de drone was getraind.

De onderzoeker stelde vast dat de veiligheidslaag bijzonder effectief was in de dichtstbegroeide bossen, waar de bomen het dichtst bij elkaar stonden. In deze nauwe ruimtes steeg het succespercentage van de drone met het schild van een magere zeven procent naar bijna zevenenveertig procent. Zonder het schild zou de drone in deze omstandigheden bijna altijd crashen. Het schild beheerde dit door obstakels te onthouden die niet meer in het camerabeeld waren, waardoor de drone niet blindelings tegen een boom vloog die hij net gepasseerd had. Het systeem leerde ook om te gaan met de vertraging tussen het zien van een obstakel en de reactie daarop, een veelvoorkomend probleem in de robotica waarbij de hersenen van de machine iets langzamer zijn dan de ogen.

Ondanks deze successen merkt de onderzoeker voorzichtig op dat dit werk nog in de simulatiefase zit. De drone heeft nog niet in de echte wereld gevlogen, en de computer die werd gebruikt voor de tests was een krachtige cloudserver, niet de kleine, energiezuinige chip waar het systeem voor ontworpen is. De huidige versie van de drone vliegt met een gemiddelde snelheid van ongeveer één meter per seconde, wat veel langzamer is dan de drie tot zeven meter per seconde waarmee de experts konden vliegen. De onderzoeker heeft verschillende hindernissen geïdentificeerd die nog bestaan, zoals hoe de drone omgaat met wind, hoe de camera kijkt in fel zonlicht, en hoe het systeem presteert op de eigenlijke kleine computer waarvoor het bedoeld is.

De studie benadrukte ook een fundamentele les over het leren van machines om te vliegen. Simpelweg een expert kopiëren is niet genoeg als de machine een afkorting vindt die wel werkt tijdens de training, maar faalt in de echte wereld. De neiging van de drone om zijn laatste commando te herhalen was een slim trucje dat de drone leerde om fouten tijdens de training te minimaliseren, maar het was een fatale fout in een dynamische omgeving. Het veiligheidsschild loste het leerproces van de drone niet op; het beperkte simpelweg de acties van de drone om hem veilig te houden terwijl hij de rest uitzocht. De onderzoeker vond dat het vermogen van de drone om te leren nog steeds beperkt was, en dat de veiligheidslaag het zware werk deed om rampen te voorkomen.

Dit werk vormt een belangrijke stap naar het mogelijk maken van autonome vluchten van kleine drones in complexe, ongestructureerde omgevingen zonder een enorme computer of een vooraf gemaakte kaart nodig te hebben. Door een lichtgewicht, snel denkend brein te combineren met een eenvoudige, op geheugen gebaseerde veiligheidslaag, heeft de onderzoeker een weg naar de toekomst gewezen voor wendbare vluchten op edge-hardware. Het systeem is niet perfect en is nog niet klaar voor de echte wereld, maar het demonstreert dat met de juiste combinatie van snelheid, geheugen en voorzichtigheid, een kleine drone kan leren om door een bos te navigeren zonder te crashen. De volgende stappen zullen het testen van het systeem op daadwerkelijke hardware en in echte buitenomstandigheden inhouden om te zien of de lessen geleerd uit de simulatie standhouden wanneer de wind waait en de bomen bewegen.