Trajectory-Tracking Control of Multi-DOF Manipulators Subject to Payload Variations using Deep Reinforcement Learning

Stellen Sie sich eine Welt vor, in der Roboter die ultimativen Helfer sind, fähig dazu, Autoteile zu schweißen, Menschen aus Trümmern zu retten oder Boxen in einem Lager zu stapeln. Aber damit ein Roboter wirklich hilfreich sein kann, muss er genau wissen, wie er seine Arme bewegen muss. Das ist die Aufgabe eines „Controllers“, des Gehirns, das den Gelenken des Roboters sagt, wohin sie gehen sollen. Normalerweise tragen diese Roboter Dinge – Werkzeuge, schwere Boxen oder sogar Feuerlöscher, die leichter werden, während sie sprühen. Das Problem ist: Wenn sich das Gewicht in der Hand eines Roboters ändert, ändert sich auch die Art und Weise, wie sich sein Arm bewegt. Es ist wie der Versuch, ein Fahrrad zu fahren, an das plötzlich ein schwerer Rucksack geschnallt wurde; man muss kräftiger treten und anders lenken, um auf dem Weg zu bleiben.

Jahrelang haben Wissenschaftler versucht, Roboter mit alten mathematischen Tricksatz beizubringen, mit diesen Gewichtsänderungen umzugehen. Diese Methoden sind wie die Gabe eines starren Regelwerks an den Roboter: „Wenn es schwer wird, drücke fester.“ Aber diese Regeln versagen oft, wenn sich das Gewicht plötzlich oder drastisch ändert, was dazu führt, dass der Roboter wackelt, sein Ziel überschießt oder sich sogar selbst in Stücke schüttelt. Hier kommt eine neuere, glanzvollere Idee ins Spiel: Deep Reinforcement Learning (DRL). Betrachten Sie dies als das Lehren eines Roboters nicht durch ein Regelbuch, sondern indem man ihn immer und immer wieder ein Videospiel spielen lässt. Der Roboter versucht sich zu bewegen, erhält einen „Score“ für gute Leistungen und lernt aus seinen Fehlern, bis er ein Meisterspieler wird. Diese Arbeit untersucht, ob dieser „spielbasierte“ Ansatz einen Roboter dazu bringen kann, einem beweglichen Ziel perfekt zu folgen, selbst wenn sich das Gewicht in seiner Hand ständig ändert, schrumpft oder springt.

Die Forscher hinter dieser Studie beschlossen, diese Idee an einem populären sechsarmigen Roboter namens UR5e auf die Probe zu stellen. Sie wollten sehen, ob sie diesen Roboter mit einem speziellen spielbasierten Algorithmus namens Soft Actor-Critic (SAC) trainieren können. Die große Herausforderung bestand darin, dass der Roboter einem schnellen, gewundenen Pfad folgen musste, während er Lasten trug, die von nichts (0 kg) bis zu einem schweren Gewicht (5 kg) reichten, wobei sich das Gewicht manchmal mitten in der Bewegung ändern würde.

Um den Roboter klug genug zu machen, um mit jedem Gewicht umzugehen, nutzte das Team nicht nur ein spezifisches Gewicht beim Training. Stattdessen verwendeten sie einen Trick namens „Domain Randomization“. Stellen Sie sich ein Videospiel vor, bei dem der Level-Designer die Schwerkraft, die Reibung oder das Gewicht des Charakters bei jedem Spielstart zufällig ändert. Durch das Training des Roboters in dieser chaotischen, sich ständig ändernden Umgebung lernte der Roboter eine flexible Strategie, die für jedes Gewicht funktionierte, anstatt eine einzige Lösung für eine spezifische Last auswendig zu lernen. Sie gaben dem Roboter auch ein spezielles „Gedächtnis“, indem sie ihm nicht nur sagten, wo er gerade ist, sondern auch, wo er vor einem Moment war und wohin er als Nächstes muss. Dies half dem Roboter, Veränderungen in der Physik seines Arms vorauszusehen, ähnlich wie ein Surfer, der auf die nächste Welle blickt, anstatt nur auf das Wasser unter seinen Füßen zu starren.

Die Ergebnisse ihrer Simulationen waren äußerst beeindruckend. Als sie ihren neuen „spieltrainierten“ Roboter gegen einen traditionellen Controller (einen Standard-PID-Controller, welcher dem Ansatz mit dem alten Regelbuch entspricht) testeten, war der Unterschied eklatant. Der traditionelle Controller hatte massiv mit Gewichtsänderungen zu kämpfen. Wenn der Roboter eine schwere Last trug und das Gewicht plötzlich sank, oder wenn er ohne Gewicht startete und plötzlich schwer wurde, geriet der alte Controller in Verwirrung. Er schoss über das Ziel hinaus, wackelte heftig und erzeugte riesige Tracking-Fehler. In dem schwierigsten Test, bei dem die Nutzlast auf komplexe Weise variierte (stillstand, dann langsam änderte, dann plötzlich sprang), lag der durchschnittliche Fehler des alten Controllers bei unordentlichen 19,41 Grad, und er verbrauchte viel ruckartige, ineffiziente Energie.

Im Gegensatz dazu war der neue DRL-Controller ein geschmeidiger Akteur. Er hielt den Roboter mit einem durchschnittlichen Fehler von nur 1,41 Grad auf dem Pfad. Das ist eine massive Verbesserung von etwa 92,72 %. Er war nicht nur präziser, sondern bewegte sich auch viel sanfter. Das Drehmoment (die Kraft, die er auf die Gelenke ausübte) des alten Controllers schwankte wild mit einem Durchschnitt von 5,26 Nm, während der neue Controller diese Sprünge auf nur 1,72 Nm reduzierte. Das bedeutet, der Roboter bewegte sich anmutig, verbrauchte weniger Energie und belastete seine Motoren weniger.

Die Studie zeigte auch, dass dieses „randomisierte Training“ das Geheimrezept war. Als sie versuchten, den Roboter mit nur einem festen Gewicht zu trainieren und ihn dann mit einem anderen Gewicht testeten, scheiterte dies kläglich, wobei die Fehler in die Höhe schossen. Aber weil sie ihn mit einer wilden Mischung aus Gewichten trainierten, erlernte er eine allgemeine Fähigkeit, die überall funktionierte. Die Forscher fanden heraus, dass die Art und Weise, wie sie die „Bewertungskarte“ (die Reward-Funktion) des Roboters gestalteten, ebenfalls entscheidend war. Sie mussten ein Gleichgewicht finden zwischen Punkten für das Erreichen des Ziels, Punkten für flüssige Bewegungen und Punkten dafür, keine Energie zu verschwenden. Wenn sie sich nur um das Erreichen des Ziels gekümmert hätten, würde der Roboter sich selbst in Stücke schütteln; wenn sie sich nur um die Geschmeidigkeit gekümmert hätten, wäre er weniger reaktionsfähig bei der Korrektur seines Pfades. Die perfekte Mischung dieser Belohnungen lehrte den Roboter, sowohl präzise als auch sanft zu sein.

Natürlichlich findet dies derzeit alles in einer Computersimulation statt. Die Autoren weisen vorsichtig darauf hin, dass der Roboter zwar in der virtuellen Welt ein Champion lernen konnte, es aber noch Hürden gibt, bevor er ein Champion in der realen Welt sein kann. Für den einen Fall hatte der Roboter während des Trainings manchmal „schlechte Tage“, an denen er einen plötzlichen, seltsamen Fehler machte, und sie vermuten, dass die Gabe eines besseren Gedächtnisses (wie eines Langzeitgedächtnis-Netzwerks) helfen könnte. Sie warnen auch davor, dass das zufällige Erkunden in der realen Welt gefährlich sein könnte, weshalb sie herausfinden müssen, wie sie diese virtuellen Fähigkeiten sicher auf eine physische Maschine übertragen können.

Kurz gesagt legt diese Arbeit nahe, dass wir, indem wir Roboter lehren, ein Spiel zu spielen, bei dem sich die Regeln (das Gewicht) ständig ändern, Controller erschaffen können, die weitaus anpassungsfähiger und präziser sind als die alten Methoden. Es ist ein vielversprechender Schritt in Richtung Roboter, die die chaotische, unvorhersehbare Realität der echten Welt bewältigen können, ohne dass ein Mensch ständig ihre Einstellungen anpassen muss.