Learning-based quadrotor tracking control using Recursive Gaussian Processes

Het vliegen met een drone is een delicaat evenwicht, een constante onderhandeling tussen de wetten van de fysica en de software die probeert deze te besturen. Voor een quadrotor, een klein luchtvaartuig met vier draaiende rotoren, is het behouden van een nauwkeurig pad moeilijk omdat de lucht eromheen nooit perfect stilstaat. Windstoten, de complexe wervelingen van lucht die door de rotoren zelf worden gecreëerd, en kleine imperfecties in de constructie van de machine werken allemaal samen om de drone uit koers te duwen. Traditionele vluchtcontrollers vertrouwen op wiskundige modellen om te voorspellen hoe de drone zou moeten bewegen, maar deze modellen zijn nooit perfect. Wanneer de echte wereld afwijkt van de wiskunde, wankelt de drone, waardoor de tracking traag of schokkerig wordt. Jarenlang hebben ingenieurs geprobeerd dit op te lossen door computers te leren van hun fouten, waarbij ze machine learning gebruiken om de gaten in het model op te vullen. Deze slimme systemen waren echter historisch gezien te zwaar voor de computer van de drone zelf om tijdens het vliegen uit te voeren, waardoor onderzoekers ze alleen in simulaties of op de grond konden testen.

Een team van onderzoekers aan de Politecnico di Milano heeft nu die kloof overbrugd door een systeem te creëren dat een echte drone in staat stelt om zijn eigen vliegpad te leren en te corrigeren terwijl hij in de lucht is. Ze ontwikkelden een methode die een standaard vluchtcontroller combineert met een leeralgoritme genaamd een Recursive Gaussian Process. Beschouw dit leeralgoritme als een zeer efficiënt geheugensysteem dat niet alleen elke ontmoete datapunt opslaat, wat een kleine computer snel zou overbelasten, maar in plaats daarvan een gecureerde, compacte samenvatting bijhoudt van de belangrijkste informatie. Dit stelt de drone in staat om zijn begrip van de wind en zijn eigen eigenaardigheden in realtime bij te werken, zonder te hoeven stoppen om een enorme database te verwerken. De onderzoekers testten dit systeem op een echte quadrotor genaamd de ANT-X Lab drone, waarbij ze deze door een reeks complexe, golvende paden in een binnenarena vlogen. De resultaten waren duidelijk: door de drone te laten leren van zijn eigen fouten tijdens de vlucht, verminderde het systeem de trackingfouten met tussen de 38% en 75% vergeleken met dezelfde drone die zonder deze leerfunctionaliteit vloog.

De kernuitdaging waar de onderzoekers mee te maken kregen, was de computationele kosten van het leren. Standaard machine learning-modellen die gebruikmaken van Gaussian processes zijn ongelooflijk krachtig in het voorspellen van onbekende gedragingen, maar ze vereisen meestal dat een computer alles vanaf nul opnieuw berekent telkens wanneer er een nieuwe datapunt arriveert. Voor een drone die met hoge snelheid vliegt, is dit te traag. De onderzoekers losten dit op door een "recursieve" aanpak te gebruiken. In plaats van elke nieuwe observatie als een nieuw begin te behandelen, werkt het systeem zijn interne model stapsgewijs bij, vergelijkbaar met hoe een persoon een mentale kaart verfijnt terwijl hij door een nieuwe stad loopt, in plaats van de hele kaart telkens opnieuw te tekenen bij elke stap. Om dit nog sneller te maken, hebben ze vooraf een vaste set referentiepunten, of "basisvectoren", geselecteerd die het waarschijnlijke bereik van de bewegingen van de drone dekken. Het leeralgoritme past vervolgens alleen de waarden aan die bij deze vaste punten horen, in plaats van te proberen elk moment van de vlucht te onthouden. Deze truc verminderde de computationele belasting genoeg om het hele systeem direct op de ingebouwde computer van de drone te draaien, een significante sprong ten opzichte van eerdere pogingen die een aparte, krachtige grondstation nodig hadden om het denken te doen.

Om ervoor te zorgen dat de drone veilig en effectief kon leren, ontwierp het team een specifieke workflow. Voordat het leren begint, zweeft de drone en stabiliseert deze. Vervolgens zorgt een "opwarmperiode" van vier seconden ervoor dat het systeem initiële gegevens kan verzamelen en zijn interne instellingen kan afstemmen zonder direct het vliegpad te proberen te corrigeren. Dit voorkomt dat de drone overreageert op ruis of plotselinge, onkarakteristieke bewegingen. Zodra het systeem klaar is, begint het te luisteren naar het verschil tussen waar de drone naartoe gestuurd werd en waar hij werkelijk heen ging. Dit verschil, veroorzaakt door wind of aerodynamische weerstand, is wat het leeralgoritme probeert te voorspellen en te compenseren. De onderzoekers gebruikten een speciale filteringstechniek om de ruwe sensordata te verzachten, om ervoor te zorgen dat de drone niet leerde van willekeurige sensorfouten maar van echte patronen in de lucht. Deze zorgvuldige voorbereiding stelde het leersysteem in staat om zich te concentreren op de ware fysica van de vlucht, in plaats van op de ruis van de sensoren.

De experimenten omvatten het vliegen van de drone langs diverse sinusvormige, of golfachtige, paden. Sommige paden herhaalden hetzelfde patroon keer op keer, terwijl andere hun vorm of snelheid continu veranderden, wat testte of het systeem kon zich aanpassen aan nieuwe situaties die het nog niet eerder had gezien. In de tests kreeg de drone de opdracht om paden met verschillende snelheden en amplitudes te volgen, waarbij hij heen en weer bewoog in een rechte lijn. De resultaten toonden aan dat de leergestuurde controller aanzienlijk beter presteerde dan de standaard controller. Bij het vliegen van een constant, herhalend golfpatroon met een matige snelheid, verminderde het leersysteem de gemiddelde fout tot slechts 4,5 centimeter, een dramatische verbetering ten opzichte van de 17,3 centimeter fout die de standaard controller vertoonde. Zelfs toen het vliegpad constant veranderde, zoals in een zwaaibeweging waarbij de snelheid en richting varieerden, slaagde het leersysteem er nog steeds in om de fout met bijna 40% te verkleinen. De verbetering was het meest uitgesproken wanneer de drone vloog binnen het bereik van de omstandigheden die hij tijdens zijn leerfase had gezien, maar het bood nog steeds aanzienlijke voordelen in nieuwe, variërende omstandigheden.

Een van de belangrijkste aspecten van dit werk is dat het bewijst dat leergestuurde controle veilig en effectief kan worden uitgevoerd op echte hardware, niet alleen in computersimulaties. De onderzoekers toonden aan dat het systeem de complexiteit van een echte omgeving kon aan, inclusief de subtiele aerodynamische effecten die moeilijk wiskundig te modelleren zijn. Door het algoritme succesvol direct op de drone te draaien, lieten ze zien dat de computationele beperkingen van kleine drones geen harde barrière meer vormen voor het gebruik van geavanceerde leermethoden. De studie benadrukte ook het belang van hoe het leersysteem wordt afgesteld. De onderzoekers ontwikkelden een nieuwe methode om de interne parameters van het systeem aan te passen, gebruikmakend van een techniek geïnspireerd door hoe Kalmanfilters werken, wat het systeem in staat stelde om veel effectiever de beste instellingen voor het leren te vinden dan voorgaande methoden. Deze afstelling was cruciaal om te voorkomen dat de drone te gevoelig of onstabiel werd tijdens het leren.

Het succes van dit project suggereert een toekomst waarin drones autonomer kunnen zijn en complexe taken kunnen uitvoeren in onvoorspelbare omgevingen. Als een bezorgdrone kan leren om te compenseren voor een plotselinge windvlaag of een verandering in luchtdichtheid zonder menselijke tussenkomst, wordt het een veel betrouwbaarder hulpmiddel. Het werk van de onderzoekers biedt een concreet pad vooruit, door te laten zien dat het combineren van klassieke regeltechniek met moderne, efficiënte leeralgoritmen het mogelijk maakt om vluchtsystemen te creëren die zowel slim als robuust zijn. De sleutel lag niet alleen in het leren zelf, maar in de engineering die het leren snel genoeg maakte om in realtime te gebeuren. Door de computationele eisen laag te houden en het leerproces gefocust te houden, heeft het team een theoretisch concept in een praktische realiteit veranderd, waarmee zij hebben aangetoond dat een kleine drone inderdaad kan leren om beter te vliegen terwijl hij vliegt.