Adaptive Nonlinear Control with Online Identification and Receding-Horizon Optimization

Het besturen van een machine die door de fysieke wereld beweegt, is een constante onderhandeling tussen wat de machine zou moeten doen en wat hij daadwerkelijk doet. In de ideale wereld van ingenieursleerboeken is het gedrag van een robot perfect voorspelbaar: je geeft het een commando, en het beweegt precies zoals de wiskunde zegt dat het zal doen. Maar in de werkelijkheid zijn machines rommelig. Hun onderdelen slijten, hun gewicht verandert naarmate ze brandstof verbruiken, en de lucht waar ze tegenaan duwen, gedraagt zich op manieren die moeilijk te vangen zijn. Bovendien zijn de sensoren die een robot vertellen waar hij zich bevindt nooit perfect; ze zijn altijd enigszins ruisachtig. De centrale uitdaging voor ingenieurs is om een controlesysteem te bouwen dat met deze rommeligheid in real-time kan omgaan. Het moet de ware aard van de machine ontdekken terwijl deze in beweging is, voorspellen waar hij als volgende heen gaat, en de commando's direct aanpassen om op koers te blijven, allemaal zonder te wachten op menselijk ingrijpen of tot de machine stopt.

Dit is het probleem dat wordt aangepakt door een nieuwe benadering genaamd AMIGO, ontwikkeld door onderzoeker Igor Ladnik. Het systeem is ontworpen om complexe machines, zoals drones of ruimtevaartuigen, te begeleiden door drie afzonderlijke activiteiten te combineren die in een specifieke volgorde plaatsvinden. Eerst luistert het systeem naar de machine om de werkelijke kenmerken ervan te leren kennen. Ten tweede gebruikt het die nieuwe kennis om een langetermijnpad naar een bestemming uit te stippelen. Ten derde voert het dat pad uit terwijl het voortdurend kleine, snelle correcties maakt om onverwachte schokken of fouten op te vangen. De methode werd getest in simulaties op drie zeer verschillende machines: een wiskundig model van een vibrerend systeem, een quadcopter-drone en een ruimtevaartuig dat probeert te landen op de Maan. In elk geval identificeerde het systeem de werkelijke fysieke eigenschappen van de machine, berekende een veilig traject en begeleidde het voertuig naar een stabiele stop, zelfs toen het werkelijke gedrag van de machine aanzienlijk verschilde van de initiële aannames.

De kern van dit werk is een methode om een computer te leren over een machine te leren terwijl deze al in beweging is. Stel je een ruimtevaartuig voor dat afdaalt naar een maanoppervlak. De ingenieurs die het gebouwd hebben, hebben een beste schatting van hoe zwaar het is en hoeveel stuwkracht de motor produceert. Maar naarmate de brandstof opbrandt, wordt het vaartuig lichter, en de motor is misschien niet perfect efficiënt. Als de computer die de afdaling controleert alleen vertrouwt op de oorspronkelijke schattingen, kan hij de benodigde afremming verkeerd berekenen en crashen. AMIGO lost dit op door een initiële vluchtfase te wijden aan "luisteren". Tijdens deze fase beweegt de machine onder een veilige, constante controle terwijl de computer kijkt hoe hij reageert. Door de werkelijke bewegingen van de machine te vergelijken met wat het model van de computer voorspelde, gebruikt het systeem een wiskundige techniek om het begrip van het gewicht en de motorkracht van de machine te verfijnen. In de simulatie van de maanlanding maakte dit proces het mogelijk voor de computer om de efficiëntie van de motor te identificeren met een fout van minder dan één tiende van een procent, waardoor de werkelijke aard van het ruimtevaartuig effectief werd geleerd nog voordat de kritieke landingsfase begon.

Zodra het systeem een betrouwbaar model van de machine heeft, gaat het over naar de planningsfase. Hier reageert de computer niet alleen op het huidige moment; hij kijkt ver in de toekomst. Hij berekent een volledig traject, een lange lijst met commando's die de machine van de huidige positie naar een veilige landing zullen leiden. Dit is geen eenvoudige rechte lijn; het is een complex pad dat rekening houdt met het veranderende gewicht van de machine en de noodzaak om zachtjes af te remmen. De computer lost dit probleem op door achteruit te werken vanaf het doel. Hij vraagt: "Om op het perfecte punt aan het einde te zijn, waar moet ik dan een moment eerder zijn? En een moment daarvoor?" Door deze logica te herhalen, bouwt hij een gedetailleerd plan dat een balans vindt tussen de noodzaak om het doel te bereiken en de noodzaak om de minste brandstof en inspanning te gebruiken. In het maanvoorbeeld duurde deze planningsfase ongeveer tien seconden computertijd om een pad te genereren dat het vaartuig van een hoogte van 800 meter naar het oppervlak zou brengen, rekening houdend met de zwaartekracht van de Maan en de veranderende massa van het vaartuig.

De laatste fase is waar de machine daadwerkelijk vliegt, geleid door het plan maar klaar om zich aan te passen. Dit is waar het systeem het meest glanst. De computer volgt niet simpelweg het vooraf berekende pad als een trein op een spoor. In plaats daarvan evalueert hij voortdurend de situatie. Elke fractie van een seconde kijkt hij naar waar de machine zich daadwerkelijk bevindt, vergelijkt dit met waar het plan zei dat hij zou moeten zijn, en berekent een kleine correctie. Als een windvlaag de drone uit koers duwt, of als de motor iets anders presteert dan verwacht, berekent het systeem onmiddellijk een nieuwe, kortetermijncorrectie om weer op koers te komen. Dit gebeurt zo snel dat de machine nooit echt ver van zijn beoogde pad afwijkt. In de simulatie van de quadcopter, die zichzelf moest stabiliseren terwijl het gewicht en de balans onbekend waren, identificeerde het systeem de juiste fysieke eigenschappen en hield het de drone vervolgens stabiel door continu de kanteling en positie te corrigeren totdat het een zweefvlucht bereikte.

De kracht van deze benadering ligt in de manier waarop het omgaat met de limieten van de machine zelf. Echte motoren kunnen niet met oneindige kracht duwen, en ze kunnen hun vermogen niet onmiddellijk veranderen; ze hebben fysieke limieten aan hoe hard ze kunnen duwen en hoe snel ze die druk kunnen veranderen. Veel controlesystemen negeren deze limieten of proberen er achteraf mee om te gaan, wat kan leiden tot instabiliteit. AMIGO bouwt deze limieten direct in het planningsproces in. Wanneer de computer het pad berekent, weet hij precies hoeveel kracht de motor kan produceren en hoe snel hij die kracht kan veranderen. Als een manoeuvre meer kracht vereist dan de motor kan leveren, past het systeem het plan automatisch aan om binnen veilige grenzen te blijven. In het scenario van de maanlanding beheerde het systeem de hoofdmotorstuwkracht en de kleinere attitude-controle motoren om ervoor te zorgen dat het vaartuig nooit meer eiste dan de hardware kon leveren, waardoor de afdaling vloeiend en veilig bleef.

De resultaten van deze simulaties laten zien dat het systeem robuust genoeg is om aanzienlijke onzekerheid aan te kunnen. In het geval van de quadcopter begon de computer met onjuiste schattingen van de massa van de drone en de verdeling van het gewicht. De initiële schattingen weken merkbaar af, maar de identificatiefase corrigeerde deze fouten snel. Tegen de tijd dat de drone zijn stabilisatieprocedure begon, kende de computer de werkelijke fysieke eigenschappen van de drone met hoge precisie. De uiteindelijke landing van de maanlander-simulatie demonstreerde het vermogen van het systeem om een lange, complexe afdaling te beheren. Het vaartuig begon op 800 meter boven het oppervlak met een specifieke snelheid en oriëntatie. Gedurende de afdaling identificeerde het systeem de efficiëntie van de motor, plande een traject dat rekening hield met de brandstofconsumptie en voerde een zachte landing uit. Het vaartuig raakte de grond met een verticale snelheid van minder dan 6 centimeter per seconde, een zachte aankomst die veilig zou zijn voor een echte missie.

Wat dit werk bijzonder opmerkelijk maakt, is dat het niet vereist dat de machine stopt of pauzeert om te leren. De identificatie, planning en controle vinden plaats in een continue lus terwijl de machine in beweging is. Het systeem is ontworpen om te werken binnen de strikte tijdsgrenzen van een echte computer. Het weet dat het niet een oneindige hoeveelheid tijd kan besteden aan het berekenen van het perfecte pad; het moet een goed genoeg antwoord produceren voordat het volgende moment arriveert. Als de computer tijd tekortkomt, gebruikt het simpelweg het beste plan dat het tot nu toe heeft berekend, waardoor wordt gegarandeerd dat de machine nooit de controle verliest. Deze balans tussen leren, plannen en handelen stelt het systeem in staat om zich aan te passen aan de echte wereld, waar omstandigheden nooit statisch zijn en perfecte informatie nooit beschikbaar is.

Het artikel concludeert dat deze methode een solide fundament biedt voor het begeleiden van autonome machines in moeilijke omgevingen. Het heeft succesvol aangetoond dat een enkel systeem de werkelijke aard van een machine kan leren kennen, een complex traject kan plannen en dat traject met precieze correcties kan uitvoeren, terwijl de fysieke limieten van de hardware worden gerespecteerd. De simulaties bestreken een reeks uitdagingen, van een eenvoudig vibrerend systeem tot een complex ruimtevaartuig dat landt op een andere wereld. Hoewel het werk in simulatie is uitgevoerd, suggereren de resultaten dat de benadering levensvatbaar is voor real-world toepassingen waar veiligheid en aanpassingsvermogen van cruciaal belang zijn. De volgende stap in dit onderzoek zou zijn om het systeem op daadwerkelijke hardware te testen en te onderzoeken hoe het nog complexere onzekerheden kan aanpakken, zoals plotselinge veranderingen in de omgeving of defecten in de sensoren van de machine. Voor nu staat het werk als een demonstratie van hoe een machine kan leren om zichzelf te besturen, niet door een rigide script te volgen, maar door zijn eigen aard te begrijpen en zich aan te passen aan de wereld om hem heen.