Temporally smoothed incremental model-based heuristic dynamic programming for command-filtered cascaded online learning flight control

Stel je voor dat je een robot leert om een vliegtuig te besturen. Je wilt het niet een rigide, vooraf geschreven handleiding geven, want de wind verandert, het gewicht van de brandstof verschuift en de lucht wordt dunner op grotere hoogtes. In plaats daarvan wil je dat de robot leert terwijl hij aan het werk is, door uit te vogelen wat de perfecte bewegingen zijn terwijl hij bezig is. Dit is de wereld van "Approximate Dynamic Programming" (ADP). Denk aan ADP als een superintelligente student die leert door dingen te proberen, fouten te maken en vervolgens zijn brein (een neuraal netwerk) aan te passen om het de volgende keer beter te doen. Het is als een videogamekarakter dat steeds beter wordt in het ontwijken van obstakels naarmate het vaker speelt, maar dan voor echte, zware machines zoals vliegtuigen.

Er zit echter een addertje onder het gras. Wanneer deze lerende robots enthousiast of verward raken, kunnen ze beginnen te trillen. Ze kunnen de besturingshendel wild heen en weer bewegen, in een poging een kleine fout te corrigeren. In de echte wereld is dit gevaarlijk. Het laat het vliegtuig schudden, verspilt brandstof en kan de mechanische onderdelen die de vleugels bewegen beschadigen. De grote vraag voor wetenschappers is: Hoe leren we een robot snel te leren zonder hem te leren om jitterig te zijn? We hebben een manier nodig om tegen de robot te zeggen: "Hé, wees vloeiend. Draai je nek niet in als je een vogel ziet."

Dit artikel pakt precies dat probleem aan voor vluchtbesturing. De auteurs, Yifei Li en Dr. Erik-Jan van Kampen, stellen een nieuwe manier voor om deze vliegende robots te trainen, zodat ze leren om kalm en stabiel te zijn. Ze introduceren een methode genaamd "Temporally Smoothed Incremental Model-based Heuristic Dynamic Programming" (TS-IHDP). In gewone taal is dit een chique recept om een vliegtuig te leren een specifieke invalshoek (angle of attack – hoe steil het gericht is) te volgen zonder uit elkaar te trillen.

De onderzoekers ontdekten dat het simpelweg vertellen van de robot dat hij "vloeiend moet zijn" niet genoeg is; je moet slim zijn over hoe je hem straft voor het zijn van jitterig. Ze ontwikkelden een systeem dat werkt als een strenge maar eerlijke coach. Als de besturingscommando's van de robot te veel gaan springen, trekt de coach automatisch de regels aan. Als de robot te stijf is en zijn doel mist, versoepelt de coach de regels. Ze voegden ook een "low-pass filter" toe, wat werkt als een schokdemper voor het brein van de robot. Het vlakt de hoogfrequente, nerveuze signalen af voordat ze de vleugels bereiken.

Cruciaal is dat ze niet één groot brein bouwden om alles te doen. In plaats daarvan ontwierpen ze een "gecascadeerde" besturingsstructuur, wat lijkt op een team van twee personen. De eerste persoon, de outer-loop agent, fungeert als de missiecommandant. Zijn enige taak is om de perfecte snelheid en richting te bepalen waar de neus van het vliegtuig naartoe wijst (de pitch rate). Hij raakt de vleugels niet direct aan. De tweede persoon, de inner-loop agent, fungeert als de piloot. Hij luistert naar de bevelen van de commandant en beweegt daadwerkelijk de besturingsvlakken (de vleugels en staart) om de neus die kant op te bewegen. Dit teamwork is essentieel omdat het voorkomt dat de robot in de war raakt. Als één groot brein probeerde beide taken tegelijk te doen, zou het overweldigd raken en beginnen te trillen. Door de taak te splitsen, kan de "commandant" zich concentreren op het grote plaatje, en kan de "piloot" zich concentreren op de vloeiende uitvoering, wat het hele systeem veel stabieler maakt.

Door middel van computersimulaties lieten ze zien dat hun nieuwe methode werkt. De robots leerden veel vloeiender te vliegen dan voorheen, waarbij ze de wilde trillingen vermeden die gewoonlijk optreden bij deze systemen. Ze volgden hun doelwitten nauwkeuriger en beschadigden hun eigen besturingsvlakken niet. Het artikel suggereert dat door deze "vloeiendheidscoach" te combineren met een schokabsorberend filter en een team van twee personen, we data-gestuurde vluchtbesturing veiliger en betrouwbaarder kunnen maken, zelfs wanneer de fysica van het vliegtuig enigszins onzeker is.

Het verhaal van de Jitterige Piloot

Laten we duiken in het verhaal van hoe dit werkt. Stel je voor dat je een papegaai probeert te leren om een specifief liedje na te doen. Als je alleen zegt: "Kopieer dit," kan de papegaai enthousiast worden en de noten te snel, te hard of met vreemde pauzes roepen. In de wereld van vluchtbesturing is de "papegaai" het computerbrein (het neurale netwerk), en het "liedje" is het vliegpad.

Het probleem is dat wanneer de papegaai een fout maakt, hij vaak overcompenseert. Hij roept te hard, en corrigeert dan weer te hard de andere kant op, wat een jitterige bende creëert. In het artikel noemen de auteurs dit "oscillatory control actions". Het is alsof je een auto bestuurt waarbij je het stuur eerst naar links en dan naar rechts en dan weer naar links rukt, in een poging in de rijstrook te blijven. Het ziet er grappig uit, maar het is doodeng en slijt de auto uit.

Om dit op te lossen, bouwden de auteurs een nieuw trainingssysteem. Eerst gebruikten ze iets dat een "incremental model" wordt genoemd. Denk hierbij aan een lokale kaart. In plaats van te proberen de hele wereld te onthouden (de volledige fysica van het vliegtuig), kijkt de robot alleen naar het kleine stukje grond direct voor zich. Hij vraagt: "Als ik nú een klein beetje naar rechts duw, wat gebeurt er daarna?" Dit maakt het leren veel sneller en gemakkelijker, zoals leren fietsen door te focussen op de volgende inch van het wegdek in plaats van op de hele reis.

Maar zelfs met een lokale kaart kon de robot nog steeds jitterig worden. Daarom voegden de auteurs een "temporal smoothness penalty" toe. Stel je voor dat jij de trainer van de papegaai bent. Je hebt een regel: "Als je je volume te snel verandert tussen de noten door, verlies je punten." In de computer is dit een wiskundige straf. Elke keer dat het besturingssignaal van de robot van het ene moment naar het andere te snel springt, voegt het systeem een "boete" toe aan de score. De robot leert dat vloeiend zijn de enige manier is om een goed cijfer te krijgen.

Er was echter een lastig deel: Hoe groot moet de boete zijn? Als de boete te klein is, blijft de papegaai doorroepen. Als de boete te groot is, wordt de papegaai bang en stopt hij met zingen, waardoor hij het doel mist. De auteurs losten dit op met een "primal-dual" benadering. Dit is als het hebben van een slimme trainer die de papegaai in de gaten houdt en de boete in realtime aanpast. Als de papegaai nog te jitterig is, verhoogt de trainer de boete. Als de papegaai te traag is en de noten mist, verlaagt de trainer de boete. Het systeem vindt automatisch de perfecte balans zonder dat een mens hoeft te gokken.

Ten slotte voegden ze een "low-pass filter" toe. Denk aan dit als een noise-cancelling koptelefoon voor het brein van de robot. Zelfs als het brein van de robot een lichtelijk schokkerig signaal uitzendt, vlakt het filter dit af voordat het de vleugels bereikt. Het is als het plaatsen van een schokdemper op een hobbelige weg; de auto beweegt nog steeds, maar de rit is veel vloeiender.

Wat ze vonden

De auteurs namen deze ideeën door in een computersimulatie van een vliegend voertuig. Ze testten hun nieuwe "vloeiende" robot tegen oudere methoden.

De resultaten waren duidelijk. De oude methoden, die deze speciale vloeiendheidstraining niet hadden, resulteerden in robots die ofwel te jitterig waren, ofwel vast kwamen te zitten in een lus van overcompensatie. Ze lieten de besturingsvlakken zo hard trillen dat de simulatie aantoonde dat de robot zijn fysieke limieten bereikte, zoals een automotor die doorvecht totdat hij kapot gaat.

In contrast hiermee produceerde de nieuwe TS-IHDP-methode een robot die leerde om vloeiend te vliegen. De "pitch rate" (hoe snel de neus van het vliegtuig omhoog en omlaag beweegt) en de "control surface deflections" (hoeveel de vleugels kantelen) waren veel rustiger. De robot stopte niet alleen met trillen; hij vloog ook daadwerkelijk beter. Hij volgde de doelhoek (angle of attack) nauwkeuriger en verspilde geen energie aan nutteloze trillingen.

Een interessante ontdekking was over de "slimme trainer" (de primal-dual methode). De auteurs ontdekten dat als ze de regels te strikt instelden, de robot te voorzichtig werd. Hij bewoog niet snel genoeg om het doel bij te houden, wat leidde tot slechte tracking. Maar als ze de trainer de regels automatisch lieten aanpassen, vond de robot een "sweet spot" waarbij hij zowel vloeiend als responsief was.

Ze testten ook wat er gebeurt als de "wind" verandert—het simuleren van onzekerheid in de fysica van het vliegtuig. De robot die getraind was met hun nieuwe methode, vooral die met de schokabsorberende filter, ging met deze verrassingen veel beter om dan de anderen. Hij bleef op koers, zelfs wanneer de regels van het spel licht veranderden.

De Conclusie

Dit artikel beweert niet dat het alle problemen van vluchtbesturing voor altijd heeft opgelost. Het is immers een simulatie, geen echt vliegtuig in de lucht. Maar het suggereert een zeer veelbelovend pad voorwaarts. Door lerende robots te leren om waarde te hechten aan vloeiendheid evenzeer als aan nauwkeurigheid, en door hen een manier te geven om hun eigen gedrag automatisch af te stemmen, kunnen we data-gestuurde vluchtbesturing veiliger en betrouwbaarder maken.

De auteurs laten zien dat je niet hoeft te kiezen tussen een robot die snel leert en een robot die vloeiend vliegt. Met de juiste combinatie van lokale kaarten, automatische regelaanpassing en schokabsorbers, kun je beide hebben. Het is een stap naar het maken van de toekomst van autonome vlucht, die minder lijkt op een jitterig videogamekarakter en meer op een gracieuze, stabiele vogel.