Guided Riemannian Optimization (GuRO): Bridging Model Predictive Control and Decision Transformers

Roboter, die sich in der realen Welt bewegen, stehen vor einem ständigen, schwierigen Balanceakt. Sie müssen entscheiden, wie sie treten, drehen oder klettern, in Umgebungen, die oft uneben, rutschig oder unvorhersehbar sind. Um diese Entscheidungen zu treffen, haben sich Ingenieure traditionell auf zwei Hauptansätze verlassen. Der erste ist wie ein sorgfältiger Navigator, der ständig eine Karte prüft und den besten Weg vorwärts neu berechnet, basierend auf einem bekannten Modell der Welt. Diese Methode ist effizient und leicht zu verstehen, hat aber Schwierigkeiten, wenn die Karte falsch ist oder sich das Gelände auf eine Weise verändert, die die Karte nicht vorhergesagt hat. Der zweite Ansatz ist eher wie ein Kind, das das Laufen lernt: Es probiert vieles aus, fällt hin, steht wieder auf und lernt langsam durch Versuch und Irrtum, was funktioniert. Diese Methode kann schließlich sehr komplexe Bewegungen meistern, erfordert aber eine enorme Menge an Zeit und Übung und scheitert oft, wenn die Aufgabe zu schwierig oder die Fehler zu kostspielig sind.

Jahrelang haben Forscher versucht, das Beste aus beiden Welten zu kombinieren: die sorgfältige Planung des Navigators und die Anpassungsfähigkeit des Lernenden. Eine neuere Idee ist entstanden, die die Bewegungshistorie und die Belohnungen eines Roboters wie eine Geschichte behandelt und leistungsstarke Computermodelle nutzt, die ursprünglich zum Lesen menschlicher Sprache entwickelt wurden, um die nächste beste Aktion vorherzusagen. Während dies vielversprechend ist, sind diese „geschichtelesenden“ Modelle notorisch schwierig zu trainieren. Sie geraten oft in einen Zyklus aus langsamem, instabilem Lernen und sind nicht in der Lage, den effizientesten Weg zu einer Lösung zu finden. Ein Forschungsteam der Universität Manchester hat nun einen neuen Weg entwickelt, um diese Modelle zu führen, was ihnen hilft, komplexe Roboterbewegungen viel schneller und zuverlässiger als je zuvor zu erlernen.

Die Forscher konzentrierten sich darauf, einem vierbeinigen Roboter, bekannt als Quadruped, das Navigieren in anspruchsvollen Umgebungen beizubringen. Sie wollten, dass der Roboter über unebenen Boden geht, Treppen steigt und glatte Hänge hinaufklettert, ohne zu fallen. Um dies zu erreichen, entwickelten sie ein Hybridsystem, das die Lücke zwischen dem sorgfältigen Planer und dem Lernenden durch Versuch und Irrtum schließt. Sie verwendeten eine Technik namens Model Predictive Control (Modellprädiktive Regelung), die als Echtzeit-Leitfaden fungiert. In jedem Moment berechnet dieser Leitfaden einen kurzen, lokal perfekten Pfad, dem der Roboter folgen soll, und zeigt dem Roboter im Wesentlichen, was im Moment ein guter Zug ist. Dieser Leitfaden muss nicht die gesamte Zukunft kennen; er muss nur die nächsten Schritte kennen.

Diese kurzen, hochwertigen Pfade, die der Leitfaden generiert, wurden dann in einen Decision Transformer eingespeist, das „geschichtelesende“ Modell. Anstatt dass der Roboter alles von Grund auf lernen muss, indem er herumwandert und Fehler macht, lernte das Modell durch das Studium der exzellenten Beispiele, die der Leitfaden lieferte. Dies eliminierte die Notwendigkeit für massive Mengen an Offline-Daten oder endlose Stunden des Ausprobierens in der realen Welt. Der Roboter konnte von den Vorschlägen des Leitfadens lernen und sein eigenes Verständnis dafür verfeinern, wie man sich effizient bewegt. Das Training dieser großen Modelle ist jedoch immer noch ein mathematisch schwieriges Problem. Die Landschaft der möglichen Lösungen ist voller scharfer Spitzen und tiefer Täler, was es einfachen Lernalgorithmen leicht macht, steckenzubleiben oder sich zu langsam zu bewegen.

Um dies zu lösen, führten die Forscher eine neue Art der Navigation durch den Lernprozess ein. Sie behandelten den mathematischen Raum, in dem das Gehirn des Roboters existiert, nicht als flaches, einfaches Gitter, sondern als eine gekrümmte Oberfläche, ähnlich der Erdoberfläche. Standard-Lernmethoden bewegen sich in geraden Linien, was auf einer gekrümmten Oberfläche ineffizient sein kann. Die neue Methode, die die Autoren Guided Riemannian Optimization nennen, versteht die Krümmung dieses Raums. Sie passt die Richtung des Lernens an, um den natürlichen Konturen des Problems zu folgen, was es dem Gehirn des Roboters ermöglicht, die beste Lösung viel schneller zu finden. Dieser Ansatz ist wie ein Wanderer, der die Beschaffenheit des Geländes kennt und die direkteste Route auf einen Hügel nimmt, anstatt in einer geraden Linie zu gehen, die zu einer Sackgasse oder einem steilen Abhang führen könnte.

Das Team testete dieses System an einem Unitree AlienGo-Roboter, einer vierbeinigen Maschine, in einer simulierten Umgebung, die die reale Physik nachbildet. Sie setzten den Roboter drei unterschiedlichen Herausforderungen aus: das Gehen über unebenes Gelände, das Steigen von Treppen und das Erklimmen einer reibungsarmen geneigten Fläche. Sie verglichen ihre neue Methode mit mehreren etablierten Techniken, einschließlich Standard-Reinforcement-Learning-Algorithmen und anderen Versionen des Decision Transformers, die den Lernansatz auf gekrümmten Oberflächen nicht verwendeten. Die Ergebnisse zeigten einen klaren Vorteil für das neue System. In jeder Aufgabe erreichte der mit der geführten, krümmungsbewussten Methode trainierte Roboter ein höheres Leistungsniveau und tat dies mit weniger Versuchen als die anderen Methoden.

Die Daten zeigten, dass der Roboter lernte, auf unebenem Boden zu gehen, Treppen zu steigen und glatte Hänge zu erklimmen, mit größerer Stabilität und Geschwindigkeit. Der Trainingsprozess selbst war signifikant effizienter, wobei die Loss-Funktion – ein Maß dafür, wie falsch die Vorhersagen des Roboters waren – viel schneller sank als bei traditionellen Methoden. Statistische Analysen bestätigten, dass diese Verbesserungen nicht auf Zufall beruhten. Die neue Methode übertraf konsequent die besten existierenden Alternativen und bewies, dass die Kombination eines Echtzeit-Planers mit einem geschichtelesenden Modell und die Optimierung des Lernprozesses durch das Verständnis der zugrunde liegenden Geometrie ein leistungsstarkes Werkzeug für die Robotersteuerung schafft.

Diese Arbeit legt nahe, dass die Zukunft des Roboterlernens vielleicht nicht darin liegt, zwischen sorgfältiger Planung und Versuch und Irrtum zu wählen, sondern sie miteinander zu verweben. Indem man einen Planer nutzt, um hochwertige Beispiele bereitzustellen, und einen spezialisierten mathematischen Ansatz verwendet, um den Lernprozess zu navigieren, können Roboter komplexe physische Aufgaben schneller und robuster meistern. Die Forscher haben demonstriert, dass dieser Ansatz in der Simulation effektiv funktioniert und einen vielversprechenden Weg für den Einsatz intelligenter, anpassungsfähiger Roboter in der realen Welt bietet, in der die Bedingungen selten perfekt sind und die Kosten eines Fehlers hoch sind.