Hybrid Reinforcement Learning and Search for Flight Trajectory Planning

Das Fliegen eines Flugzeugs von einer Stadt zu einer anderen ist selten nur eine Frage des Ziehens einer geraden Linie auf einer Landkarte. Obwohl die Erde rund ist, ist die Atmosphäre nicht einheitlich; sie ist ein sich ständig verändernder, dreidimensionaler Ozean aus Wind, Temperatur und Druck, der sich ständig wandelt. Um den effizientesten Pfad durch diese Umgebung zu finden, müssen Piloten und automatisierte Systeme eine Route berechnen, die den Treibstoffverbrauch minimiert, während sie gleichzeitig diese unsichtbaren Strömungen navigieren. Dies ist eine komplexe mathematische Herausforderung, da das Flugzeug selbst eine Maschine von immenser Komplexität ist, bei der jede Änderung von Geschwindigkeit oder Höhe in einer Weise mit dem Wetter interagiert, die leistungsstarke Computersimulationen erfordert, um sie vorherzusagen. Wenn ein Flug Tage im Voraus geplant wird, haben Computer genügend Zeit, um diese schweren Berechnungen durchzuführen. In einem Notfall jedoch, etwa wenn ein Passagier kritisch erkrankt und das Flugzeug zum nächstgelegenen Krankenhaus umgeleitet werden muss, müssen dieselben Berechnungen in Sekundenschnelle durchgeführt werden. Ein System, das zwar genau, aber langsam ist, ist in einer Krise nutzlos; ein System, das zwar schnell, aber ungenau ist, könnte jedoch zu gefährlichen Treibstoffengpässen oder verpassten Zielen führen.

Forscher der Universität Bologna haben in Zusammenarbeit mit Airbus-Leistungsmodellen einen neuen Weg entwickelt, um dieses Problem zu lösen, indem sie zwei verschiedene Arten von künstlicher Intelligenz kombinieren. Die erste Art, bekannt als Reinforcement Learning (bestärkendes Lernen), agiert wie ein erfahrener Pilot, der bereits tausende Routen geflogen ist und basierend auf der allgemeinen Form der Reise und dem Wetter sofort einen guten Pfad erkennen kann. Der zweite Typ ist ein traditioneller Suchalgorithmus, der wie ein akribischer Ingenieur agiert, der jede mögliche Variation prüft, um sicherzustellen, dass der absolut beste Weg gefunden wird. Die Forscher fanden heraus, dass sie, indem sie die „Pilot“-KI zuerst eine grobe, schnelle Route skizzieren ließen, die „Ingenieur“-KI anweisen konnten, nur nach den Pfaden in der Nähe dieser Skizze zu suchen. Dieser Ansatz, den sie auf einem Standard-Desktopcomputer testeten, ermöglichte es dem System, eine Lösung bis zu 50 Prozent schneller zu finden als durch die Verwendung der akribischen Suche allein, während es fast exakt die gleiche Menge an Treibstoff verbrauchte.

Der Kern dieser neuen Methode liegt darin, wie die beiden Systeme der künstlichen Intelligenz miteinander kommunizieren. Das erste System, der Reinforcement-Learning-Agent, wurde mit tausenden zufälligen Flugszenarien über Europa trainiert. Seine Aufgabe ist es nicht, den perfekten Pfad zu finden, sondern einen sehr guten sehr schnell zu finden. Er betrachtet den Startpunkt, das Ziel und das Wetter und zeichnet dann eine einfache Linie, die sie mit nur wenigen Kurven verbindet. Er ignoriert die feinen Details von Höhenänderungen, um seine Berechnungen schnell zu halten, und konzentriert sich stattdessen auf die allgemeine Richtung und den Wind. Dieser Prozess dauert für den Agenten nur etwa anderthalb Sekunden, unabhängig davon, wie lang der Flug ist. Sobald dieser grobe Pfad gezeichnet ist, übernimmt das zweite System. Dies ist der traditionelle Planer, der normalerweise viel Zeit damit verbringt, jeden möglichen Weg in einem riesigen Raster von Optionen zu prüfen. In diesem neuen Hybrid-Setup erhält der Planer eine strikte Anweisung: Er darf nur innerhalb eines engen Korridors um den vom ersten Agenten gezeichneten groben Pfad nach der endgültigen, perfekten Route suchen.

Durch die Einschränkung des Suchbereichs verwandelten die Forscher effektiv ein massives, zeitaufwendiges Problem in ein viel kleineres, handhabbares Problem. Stellen Sie sich eine Suche vor, die normalerweise eine Million verschiedene Möglichkeiten prüfen müsste; indem das System die grobe Skizze zur Führung der Suche nutzt, muss es vielleicht nur einige tausend prüfen. Die Ergebnisse ihrer Tests, die Flüge zwischen zufälligen Punkten auf der Erde simulierten, zeigten, dass dieser Shortcut keinen hohen Preis hatte. In fast jedem Fall war der Treibstoffverbrauch des Hybridsystems identisch mit dem des langsamen, erschöpfenden Systems. Wenn es Unterschiede gab, waren sie winzig, meist weniger als ein Prozent. Das bedeutet, dass das Flugzeug durch die Abkürzung nicht signifikant mehr Treibstoff verbrauchte, der Computer aber eine enorme Zeit einsparte.

Die Forscher testeten auch, wie gut diese Methode unter verschiedenen Bedingungen standhält, wie etwa bei einer Änderung der Dichte des Suchrasters oder der Länge des Fluges. Sie fanden heraus, dass die Methode am effektivsten war, wenn das Suchraster groß und komplex war, was genau dann der Fall ist, wenn eine schnelle Lösung am dringendsten benötigt wird. In diesen schwierigen Szenarien senkte das Hybridsystem die Rechenzeit um fast die Hälfte. Sie entdeckten jedoch auch eine Grenze dafür, wie stark der Suchbereich verkleinert werden konnte. Wenn der Korridor um den groben Pfad zu schmal gemacht wurde, übersehen sie manchmal den besten Weg, was zu einem etwas höheren Treibstoffverbrauch führte. Dies lehrte sie, dass das Gleichgewicht zwischen Geschwindigkeit und Genauigkeit von der spezifischen Größe des Suchrasters abhängt, aber mit den richtigen Einstellungen konnte das System konsistent schnelle, qualitativ hochwertige Ergebnisse liefern.

Die Auswirkungen dieser Arbeit gehen über das bloße Zeitsparen auf einem Computerbildschirm hinaus. In der realen Welt könnte die Fähigkeit, eine Flugroute in Sekunden neu zu berechnen, in einem medizinischen Notfall oder bei einem plötzlichen Wetterereignis eine Frage von Leben und Tod sein. Die Forscher merkten an, dass ihre aktuellen Tests das Wetter als einen festen, bekannten Faktor behandelten, die Struktur ihres Systems jedoch darauf ausgelegt ist, in Zukunft auch mit Unsicherheit umzuge-gehen. Da der Reinforcement-Learning-Agent darauf trainiert ist, Muster zu erkennen, könnte er potenziell angepasst werden, um mit unvorhersehbaren Wetteränderungen, wie etwa plötzlichen Stürmen, umzugehen, indem er lernt, diese zu vermeiden, noch bevor sie eintreten. Vorerst zeigt die Studie, dass die Kombination aus einer schnellen, intuitiven Vermutung und einer sorgfältigen, detaillierten Prüfung ein leistungsstarker Weg ist, um komplexe Planungsprobleme zu lösen. Sie beweist, dass man in der hochriskanten Welt der Luftfahrt nicht immer jede einzelne Möglichkeit prüfen muss, um den besten Weg zu finden; manchmal reicht es aus, zu wissen, wo man suchen muss.