Temporally smoothed incremental model-based heuristic dynamic programming for command-filtered cascaded online learning flight control

Stellen Sie sich vor, Sie bringen einem Roboter das Fliegen eines Flugzeugs bei. Sie wollen ihm kein starres, vorgefertigtes Handbuch geben, denn der Wind ändert sich, das Gewicht des Treibstoffs verschiebt sich und die Luft wird in größeren Höhen dünner. Stattdessen möchten Sie, dass der Roboter während des Betriebs lernt und die perfekten Bewegungen findet, während er es versucht. Dies ist die Welt des „Approximate Dynamic Programming“ (ADP). Betrachten Sie ADP als einen superintelligenten Schüler, der durch Ausprobieren lernt, Fehler macht und dann sein Gehirn (ein neuronales Netz) anpasst, um beim nächsten Mal besser zu werden. Es ist wie ein Videospiel-Charakter, der besser darin wird, Hindernissen auszuweichen, je öfter er spielt, aber für echte, schwere Maschinen wie Flugzeuge.

Es gibt jedoch einen Haken. Wenn diese lernenden Roboter aufgeregt oder verwirrt sind, können sie anfangen zu zucken. Sie könnten den Steuerknüppel wild hin und her reißen, um einen winzigen Fehler zu korrigieren. In der realen Welt ist das gefährlich. Es lässt das Flugzeug erschüttern, verschwendet Treibstoff und kann die mechanischen Teile, die die Flügel bewegen, beschädigen. Die große Frage für Wissenschaftler ist: Wie bringen wir einem Roboter bei, schnell zu lernen, ohne ihn zittrig zu machen? Wir brauchen eine Möglichkeit, dem Roboter zu sagen: „Hey, sei sanft. Versuch nicht, deinen Nacken zu brechen, nur um diesen Vogel anzusehen.“

Dieses Paper befasst sich genau mit diesem Problem für die Flugsteuerung. Die Autoren, Yifei Li und Dr. Erik-Jan van Kampen, schlagen eine neue Methode vor, um diese fliegenden Roboter zu trainieren, damit sie lernen, ruhig und stetig zu sein. Sie führen eine Methode namens „Temporally Smoothed Incremental Model-based Heuristic Dynamic Programming“ (TS-IHDP) ein. Auf einfache Weise ausgedrückt ist dies ein ausgeklügeltes Rezept, um einem Flugzeug beizubringen, einen bestimmten Anstellwinkel (wie steil es zeigt) zu verfolgen, ohne dabei zu zittern.

Die Forscher fanden heraus, dass es nicht ausreicht, dem Roboter einfach nur zu sagen: „Sei sanft“; man muss intelligent damit umgehen, ihn für sein Zittern zu bestrafen. Sie entwickelten ein System, das wie ein strenger, aber fairer Trainer agiert. Wenn die Steuerbefehle des Roboters zu stark herumspringen, zieht der Trainer automatisch die Regeln nach. Wenn der Roboter zu steif ist und sein Ziel verfehlt, lockert der Trainer die Regeln. Sie fügten auch einen „Tiefpassfilter“ hinzu, der wie ein Stoßdämpfer für das Gehirn des Roboters wirkt. Er glättet die hochfrequenten, nervösen Signale, bevor sie die Flügel erreichen.

Entscheidend ist, dass sie nicht ein einziges riesiges Gehirn gebaut haben, das alles erledigt. Stattdessen entwarfen sie eine „kaskadierte“ Steuerungsstruktur, was wie ein Zweier-Team funktioniert. Die erste Person, der Outer-Loop-Agent, fungt als Missionskommandant. Seine einzige Aufgabe ist es, die perfekte Geschwindigkeit und Richtung zu bestimmen, in die die Nase des Flugzeugs zeigen soll (die Nickrate). Er berührt die Flügel nicht direkt. Die zweite Person, der Inner-Loop-Agent, fungt als Pilot. Er hört auf die Befehle des Kommandanten und bewegt tatsächlich die Steuerflächen (Flügel und Heck), um die Nase in diese Richtung zu bewegen. Diese Teamarbeit ist entscheidend, weil sie verhindert, dass der Roboter verwirrt wird. Wenn ein einziges riesiges Gehirn versuchen würde, beide Aufgaben gleichzeitig zu erledigen, würde es überfordert werden und anfangen zu zittern. Durch die Aufteilung der Aufgabe kann sich der „Kommandant“ auf das große Ganze konzentrieren und der „Pilot“ kann sich auf die sanfte Ausführung konzentrieren, was das gesamte System viel stabiler macht.

Die Geschichte des zittrigen Piloten

Tauchen wir in die Geschichte ein, wie das funktioniert. Stellen Sie sich vor, Sie versuchen, einem Papagei beizubringen, ein bestimmtes Lied nachzuahmen. Wenn Sie nur sagen: „Kopiere das“, könnte der Papagei aufgeregt werden und die Noten zu schnell, zu laut oder mit seltsamen Pausen krächzen. In der Welt der Flugsteuerung ist der „Papagei“ das Computergehirn (das neuronale Netz) und das „Lied“ ist der Flugpfad.

Das Problem ist, dass der Papagei, wenn er einen Fehler macht, oft überreagiert. Er krächzt zu heftig, korrigiert dann wieder zu heftig in die andere Richtung und erzeugt so ein zittriges Chaos. In dem Paper nennen die Autoren dies „oszillierende Steueraktionen“. Es ist wie das Fahren eines Autos, bei dem man das Lenkrad erst nach links, dann nach rechts und dann wieder nach links reißt, um in der Spur zu bleiben. Es sieht lustig aus, ist aber erschreckend und verschleißt das Auto.

Um dies zu beheben, bauten die Autoren ein neues Trainingssystem. Zuerst verwendeten sie etwas, das man ein „inkrementelles Modell“ nennt. Denken Sie an dies als eine lokale Karte. Anstatt zu versuchen, den gesamten Globus auswendig zu lernen (die gesamte Physik des Flugzeugs), schaut der Roboter nur auf das winzige Stück Boden direkt vor sich. Er fragt: „Wenn ich den Stick jetzt ein kleines Stück nach rechts drücke, was passiert als Nächstes?“ Dies macht das Lernen viel schneller und einfacher, so als würde man das Fahrradfahren lernen, indem man sich auf den nächsten Zentimeter des Asphalts konzentriert, statt auf die gesamte Reise.

Aber selbst mit einer lokalen Karte könnte der Roboter immer noch zittrig werden. Deshalb fügten die Autoren eine „zeitliche Glättungsstrafe“ hinzu. Stellen Sie sich vor, Sie sind der Trainer des Papageien. Sie haben eine Regel: „Wenn du dein Volumen zwischen den Noten zu schnell änderst, verlierst du Punkte.“ In der Computerwelt ist dies eine mathematische Strafe. Jedes Mal, wenn das Steuersignal des Roboters von einem Moment zum nächsten zu schnell springt, zieht das System eine „Geldstrafe“ von seinem Punktestand ab. Der Roboter lernt, dass Sanftheit der einzige Weg ist, um eine gute Note zu bekommen.

Es gab jedoch einen kniffligen Teil: Wie hoch sollte die Strafe sein? Wenn die Strafe zu klein ist, krächzt der Papagei weiter. Wenn die Strafe zu groß ist, bekommt der Papagei Angst und hört ganz auf zu singen, wodurch er das Ziel verfehlt. Die Autoren lösten dies mit einem „Primal-Dual“-Ansatz. Dies ist wie ein intelligenter Trainer, der den Papageien beobachtet und die Strafe in Echtzeit anpasst. Wenn der Papagei immer noch zu zittrig ist, erhöht der Trainer die Strafe. Wenn der Papagei zu langsam ist und die Noten verpasst, senkt der Trainer die Strafe. Das System findet automatisch das perfekte Gleichgewicht, ohne dass ein Mensch raten muss.

Schließlich fügten sie einen „Tiefpassfilter“ hinzu. Denken Sie an dies als ein Noise-Cancelling-Headset für das Gehirn des Roboters. Selbst wenn das Gehirn des Roboters ein leicht ruckartiges Signal aussendet, glättet der Filter es, bevor es die Flügel erreicht. Es ist wie das Anbringen eines Stoßdämpfers an einer holprigen Straße; das Auto bewegt sich immer noch, aber die Fahrt ist viel sanfter.

Was sie herausfanden

Die Autoren ließen diese Ideen durch eine Computersimulation eines fliegenden Fahrzeugs laufen. Sie testeten ihren neuen „sanften“ Roboter gegen ältere Methoden.

Die Ergebnisse waren eindeutig. Die alten Methoden, die nicht über dieses spezielle Sanftheitstraining verfügten, führten dazu, dass die Roboter entweder zu zittrig waren oder in einer Schleife aus Überreaktionen stecken blieben. Sie ließen die Steuerflächen so stark vibrieren, dass die Simulation zeigte, wie der Roboter seine physikalischen Grenzen erreichte, vergleichbar mit einem Automotor, der so lange hochdreht, bis er kaputt geht.

Im Gegensatz dazu produzierte die neue TS-IHDP-Methode einen Roboter, der lernte, sanft zu fliegen. Die „Nickrate“ (wie schnell sich die Nase des Flugzeugs auf und ab bewegt) und die „Auslenkung der Steuerflächen“ (wie sehr sich die Flügel neigen) waren viel ruhiger. Der Robot hörte nicht nur auf zu zittern, sondern flog tatsächlich besser. Er verfolgte den Ziel-Anstellwinkel genauer und verschwendete keine Energie an nutzlosen Vibrationen.

Eine interessante Entdeckung war bezüglich des „intelligenten Trainers“ (der Primal-Dual-Methode). Die Autoren fanden heraus, dass, wenn sie die Regeln zu streng ansetzten, der Roboter zu vorsichtig wurde. Er bewegte sich nicht schnell genug, um aufzuholen, was zu einer schlechten Verfolgung des Ziels führte. Aber wenn sie den Trainer die Regeln automatisch anpassen ließen, fand der Roboter einen Mittelweg, bei dem er sowohl sanft als auch reaktionsschnell war.

Sie testeten auch, was passiert, wenn sich der „Wind“ ändert – eine Simulation der Unsicherheit in der Physik des Flugzeugs. Der mit ihrer neuen Methode trainierte Roboter, insbesondere der mit dem Stoßdämpfer-Filter, bewältigte diese Überraschungen viel besser als die anderen. Er blieb auf Kurs, selbst wenn sich die Regeln des Spiels leicht änderten.

Das Fazit

Dieses Paper behauptet nicht, alle Probleme der Flugsteuerung für immer gelöst zu haben. Es ist schließlich eine Simulation, kein echtes Flugzeug am Himmel. Aber es deutet einen sehr vielversprechenden Weg an. Indem wir lernende Roboter lehren, Sanftheit genauso wichtig zu nehmen wie Genauigkeit, und indem wir ihnen eine Möglichkeit geben, ihr eigenes Verhalten automatisch zu optimieren, können wir datengesteuerte Flugsteuerung sicherer und zuverlässiger machen.

Die Autoren zeigen, dass man sich nicht zwischen einem Roboter, der schnell lernt, und einem Roboter, der sanft fliegt, entscheiden muss. Mit der richtigen Kombination aus lokalen Karten, automatischer Regelanpassung und Stoßdämpfern kann man beides haben. Es ist ein Schritt in Richtung einer Zukunft, in der autonomer Flug weniger wie ein zittriger Videospiel-Charakter und mehr wie ein anmutiger, stetiger Vogel wirkt.