Hybrid Reinforcement Learning and Search for Flight Trajectory Planning

Het vliegen van een vliegtuig van de ene stad naar de andere is zelden een kwestie van een rechte lijn op een kaart trekken. Hoewel de aarde rond is, is de atmosfeer niet uniform; het is een verschuivende, driedimensionale oceaan van wind, temperatuur en druk die constant verandert. Om het meest efficiënte pad door deze omgeving te vinden, moeten piloten en geautomatiseerde systemen een route berekenen die het brandstofverbruik minimaliseert terwijl ze door deze onzichtbare stromingen navigeren. Dit is een complexe wiskundige uitdaging omdat het vliegtuig zelf een machine van enorme complexiteit is, waarbij elke verandering in snelheid of hoogte interageert met het weer op manieren die krachtige computersimulaties vereisen om te voorspellen. Wanneer een vlucht dagen van tevoren wordt gepland, hebben computers voldoende tijd om deze zware berekeningen uit te voeren. Echter, in een noodsituatie, zoals wanneer een passagier kritiek ziek wordt en het vliegtuig moet uitwijken naar het dichtstbijzijnde ziekenhuis, moeten dezelfde berekeningen in seconden worden uitgevoerd. Een systeem dat accuraat maar traag is, is nutteloos in een crisis, terwijl een systeem dat snel maar onnauwkeurig is, kan leiden tot gevaarlijke brandstoftekorten of gemiste bestemmingen.

Onderzoekers aan de Universiteit van Bologna hebben, in samenwerking met Airbus-prestatiemodellen, een nieuwe manier ontwikkeld om dit probleem op te lossen door twee verschillende soorten kunstmatige intelligentie te combineren. Het eerste type, bekend als reinforcement learning (versterkend leren), werkt als een ervaren piloot die duizenden routes heeft gevlogen en direct een goed pad kan herkennen op basis van de algemene vorm van de reis en het weer. Het tweede type is een traditioneel zoekalgoritme, dat werkt als een nauwgezette ingenieur die elke mogelijke variatie controleert om te garanderen dat het absoluut beste pad wordt gevonden. De onderzoekers ontdekten dat door de "piloot"-AI eerst een ruwe, snelle route te laten schetsen, ze de "ingenieur"-AI vervolgens de instructie konden geven om alleen naar de paden nabij die schets te kijken. Deze aanpak, die zij testten op een standaard desktopcomputer, stelde het systeem in staat om een oplossing tot wel 5al 50 procent sneller te vinden dan bij het gebruik van de nauwgezette zoektocht alleen, terwijl het bijna exact dezelfde hoeveelheid brandstof verbruikte.

De kern van deze nieuwe methode ligt in de manier waarop de twee systemen van kunstmatige intelligentie met elkaar communiceren. Het eerste systeem, de reinforcement learning agent, is getraind op duizenden willekeurige vluchtscenario's door Europa. Zijn taak is niet om het perfecte pad te vinden, maar om heel snel een zeer goed pad te vinden. Het kijkt naar het startpunt, de bestemming en het weer, en tekent vervolgens een eenvoudige lijn die hen verbindt met slechts enkele bochten. Het negeert de fijne details van hoogteveranderingen om de berekeningen snel te houden, waarbij de focus ligt op de algemene richting en de wind. Dit proces kost de agent slechts ongeveer anderhalve seconde te voltooien, ongeacht hoe lang de vlucht is. Zodra dit ruwe pad is getekend, neemt het tweede systeem het over. Dit is de traditionele planner, die normaal gesproken veel tijd besteedt aan het controleren van elk mogelijke route in een enorm raster van opties. In deze nieuwe hybride opstelling krijgt de planner een strikte instructie: het is alleen toegestaan om binnen een smalle corridor rond het door de eerste agent getekende ruwe pad te zoeken naar het definitieve, perfecte route.

Door het zoekgebied te beperken, hebben de onderzoekers een enorme, tijdrovende probleem effectief veranderd in een veel kleiner, beheersbaar probleem. Stel je een zoektocht voor die normaal gesproken een miljoen verschillende mogelijkheden zou moeten controleren; door de ruwe schets te gebruiken om de zoektocht te sturen, hoeft het systeem er misschien slechts enkele duizenden te controleren. De resultaten van hun tests, die vluchten tussen willekeurige punten op aarde simuleerden, toonden aan dat deze afkorting niet gepaard ging met hoge kosten. In bijna alle gevallen was het brandstofverbruik van het hybride systeem identiek aan dat van het trage, uitputtende systeem. Wanneer er verschillen waren, waren deze minimaal, meestal minder dan één procent. Dit betekent dat het vliegtuig niet significant meer brandstof verbruikte door de afkorting te nemen, maar dat de computer een enorme hoeveelheid tijd bespaarde.

De onderzoekers testten ook hoe deze methode standhield onder verschillende omstandigheden, zoals een veranderende dichtheid van het zoekraster of de lengte van de vlucht. Ze ontdekten dat de methode het meest effectief was wanneer het zoekraster groot en complex was, wat precies is wanneer een snelle oplossing het hardst nodig is. In deze moeilijke scenario's verkortte het hybride systeem de rekentijd met bijna de helft. Ze ontdekten echter ook een limiet aan hoe klein het zoekgebied kon worden gemaakt. Als de corridor rond het ruwe pad te smal werd gemaakt, miste het systeem soms de beste route, wat leidde tot een iets hoger brandstofverbruik. Dit leerde hen dat de balans tussen snelheid en nauwkeurigheid afhangt van de specifieke grootte van het zoekraster, maar dat het systeem met de juiste instellingen consistent snelle, hoogwaardige resultaten kan leveren.

De implicaties van dit werk reiken verder dan alleen het besparen van tijd op een computerscherm. In de echte wereld kan het vermogen om een vluchtpad in seconden te herberekenen een kwestie van leven of dood zijn tijdens een medische noodsituatie of een plotseling weerevent. De onderzoekers merkten op dat, hoewel hun huidige tests het weer als een vaste, bekende factor behandelden, de structuur van hun systeem is ontworpen om in de toekomst met onzekerheid om te gaan. Omdat de reinforcement learning agent getraind is om patronen te herkennen, zou deze potentieel aangepast kunnen worden om met onvoorspelbare weersveranderingen om te gaan, zoals plotselinge stormen, door te leren deze te vermijden voordat ze zelfs maar plaatsvinden. Voor nu laat de studie zien dat het combineren van een snelle, intuïtieve gok met een zorgvuldige, gedetailleerde controle een krachtige manier is om complexe planningsproblemen op te lossen. Het bewijst dat je in de risicovolle wereld van de luchtvaart niet altijd elke mogelijke optie hoeft te controleren om het beste pad te vinden; soms is weten waar je moet kijken genoeg.