Robust Optimal Tracking Control for Center-of-Mass-Offset Mecanum Mobile Robots Using Off-Policy Integral Reinforcement Learning

In der Welt der Robotik ist Bewegung oft eine Frage von Kompromissen. Ein Standard-Radroboter fährt vorwärts und dreht sich, aber um seitlich zu fahren, muss er seinen gesamten Körper drehen. Diese Einschränkung macht das Navigieren in engen Räumen, wie etwa überfüllten Lagern oder schmalen Fabrikgängen, zu einer langsamen und ungeschickten Angelegenheit. Um dies zu lösen, entwickelten Ingenieure das Mecanum-Rad. Dies sind Standardräder, die mit einem Ring kleiner, schräger Rollen ausgestattet sind. Diese einfache Ergänzung ermöglicht es dem Roboter, in jede beliebige Richtung zu gleiten – vorwärts, rückwärts, seitwärts oder sogar diagonal –, ohne jemals die Ausrichtung seiner Vorderseite ändern zu müssen. Es ist ein leistungsstarkes Werkzeug für die Automatisierung, das Maschinen ermöglicht, Hindernissen mit der Agilität eines Menschen durch eine belebte Menge zu navigieren.

Es ist jedoch weitaus schwieriger, als es scheint, diese Roboter präzise zu bewegen. Die Physik eines Mecanum-Roboters wird durch zwei Hauptfaktoren kompliziert. Erstens sind die Räder selbst anfällig für Rutschen; die Rollen greifen nicht perfekt auf dem Boden, was zu kleinen, unvorhersehbaren Bewegungsfehlern führt. Zweitens, und vielleicht kritischer, ist das Problem des Gleichgewichts. Wenn ein Roboter eine Last trägt, wie etwa einen Karton oder einen Roboterarm, verschiebt sich das Zentrum seines Gewichts oft weg von seinem geometrischen Mittelpunkt. Diese Verschiebung verändert, wie der Roboter dem Drehen widersteht und wie das Gewicht auf seine vier Räder verteilt wird. Wenn ein Steuerungssystem diese Gewichtsverlagerung und das unvermeidliche Rutschen der Räder nicht berücksichtigt, wird der Roboter vom Kurs abkommen, oszillieren oder nicht seinem beabsichtigten Pfad folgen können.

Forscher der Electric Power University in Hanoi, Vietnam, haben dieses Problem angegangen, indem sie einen neuen Weg entwickelt haben, um diesen Robotern beizubringen, wie sie auf Kurs bleiben. Ihre Arbeit konzentriert sich auf eine spezifische Art der intelligenten Steuerung, die aus Erfahrung lernt, anstatt sich auf eine perfekte, vorab berechnete Karte der Physik des Roboters zu verlassen. In ihrer Studie entwickelten sie ein System, das es einem vierrädrigen Mecanum-Roboter ermöglicht, einen gewünschten Pfad mit hoher Präzision zu verfolgen, selbst wenn sich die Gewichtsverteilung des Roboters ständig ändert und die Räder rutschen. Sie erreichten dies durch den Einsatz einer Methode namens Off-Policy Integral Reinforcement Learning, eine Technik, die es dem Roboter ermöglicht, die beste Bewegungsweise durch Beobachtung von während des Betriebs gesammelter Daten zu lernen, anstatt im Voraus jedes Detail seiner eigenen Mechanik kennen zu müssen.

Die Kernherausforderung, die die Forscher adressierten, ist, dass Roboter in der realen Welt „unordentlich“ sind. Theoretische Modelle gehen von perfekten Bedingungen aus, aber in der Realität kann ein Roboter eine schwere Last tragen, die sich während der Bewegung verschiebt, oder seine Räder könnten auf einem glatten Boden den Grip verlieren. Traditionelle Steuerungsmethoden haben oft Schwierigkeiten mit diesen Unwägbigkeiten und erfordern, dass Ingenieure das System konservativ abstimmen oder stets exaktes Wissen über das Gewicht und die Reibung des Roboters haben. Der neue Ansatz, der in dieser Arbeit vorgeschlagen wird, behandelt das Steuerungsproblem als ein Spiel zwischen zwei gegensätzlichen Kräften. Auf der einen Seite steht der Controller des Roboters, der versucht, den Aufwand zu minimieren, um auf dem Pfad zu bleiben. Auf der anderen Seite steht die „Worst-Case“-Störung, die den maximalen Fehler darstellt, der durch Rutschen oder Gewichtsverlagerung verursacht wird. Das Ziel ist es, eine Strategie zu finden, die am besten funktioniert, selbst wenn die Umgebung versucht, den Roboter so stark wie möglich vom Kurs abzubringen.

Um dies zu lösen, verwendeten die Forscher einen mathematischen Rahmen, der als Hamilton–Jacobi–Isaacs-Gleichung bekannt ist. Da diese Gleichung zu komplex ist, um sie mit einer einfachen Formel für einen echten Roboter zu lösen, nutzte das Team einen cleveren Umweg unter Verwendung von Künstlicher Intelligenz. Sie setzten drei neuronale Netze ein – Computersysteme, die dem menschlichen Gehirn nachempfunden sind –, um die Lösung zu erlernen. Ein Netzwerk fungiert als Kritiker (Critic) und bewertet, wie gut der Roboter abschneidet. Ein zweites Netzwerk, der Control Actor, entscheidet, welche Motorbefehle an die Räder gesendet werden. Das dritte Netzwerk, der Disturbance Actor, lernt, die schlimmsten möglichen Fehler vorherzusagen, die die Umgebung dem Roboter entgegensetzen könnte. Durch das gemeinsame Training dieser Netzwerke mit den während der Bewegungen des Roboters gesammelten Daten lernt das System eine robuste Strategie, die eine flüssige Bewegung mit der Fähigkeit zur Widerstandsfähigkeit gegen Störungen in Einklang bringt.

Die Forscher testeten ihren neuen Controller in zwei unterschiedlichen Szenarien mittels Computersimulationen. Im ersten Szenario simulierten sie einen Roboter mit einem festen, unveränderlichen Gewichtsversatz, ähnlich einem Roboter, der einen schweren Karton trägt, der sich nie bewegt. In dieser stabilen Umgebung schnitt der neue Controller genauso gut ab wie eine Standard-Lernmethode und hielt den Roboter mit hoher Genauigkeit auf seinem kreisförmigen Pfad. Die Motoren des Roboters erzeugten ein sanftes, stetiges Drehmoment, und das System lernte schnell, ohne instabil zu werden. Dies bestätigte, dass die neue Methode auch dann funktioniert, wenn die physikalischen Eigenschaften des Roboters konstant, aber vom Idealdesign abweichend sind.

Das zweite Szenario war weitaus anspruchsvoller. Hier simulierten die Forscher einen Roboter, bei dem sich der Schwerpunkt ständig verschob, als ob der Roboter einen Roboterarm trüge, der sein eigenes Gewicht im Raum bewegt. Sie führten zudem zeitvariable Radschlupf-Effekte und Änderungen des Gesamtgewichts des Roboters ein, was eine Maschine imitierte, die schwere Lasten aufnimmt und absetzt. In dieser chaotischen Umgebung begann die Standard-Lernmethode zu kämpfen und zeigte größere Fehler in der Ausrichtung des Roboters sowie eine weniger sanfte Steuerung. Im Gegensatz dazu behielt der neue Off-Policy-Controller eine enge Spur auf dem gewünschten Pfad bei. Er kompensierte erfolgreich die Gewichtsverlagerung und die rutschenden Räder, wodurch die Tracking-Fehler klein blieben und die Motorbefehle glatt verliefen. Die Simulation zeigte, dass der neue Controller den Fehler im Kurswinkel des Roboters effektiver reduzierte als die Standardmethode, was seine überlegene Fähigkeit zur Bewältigung komplexer, sich ändernder Unwägbigkeiten bewies.

Die Studie kommt zu dem Schluss, dass dieser neue Ansatz eine signifikante Verbesserung für mobile Roboter darstellt, die in unvorhersehbaren Umgebungen operieren. Indem er die Worst-Case-Störungen explizit berücksichtigt und aus Daten lernt, anstatt sich auf perfekte Modelle zu verlassen, erreicht das System ein Maß an Robustheit, das traditionellen Methoden fehlt. Die Forscher verifizierten, dass das System stabil bleibt und dass der Lernprozess nicht zu erratischem Verhalten führt, selbst unter schwerer Unsicherheit. Obwohl die bisherigen Ergebnisse auf Computersimulationen basieren, bilden sie ein starkes Fundament für zukünftige Arbeiten. Der nächste Schritt wird es sein, diesen Controller auf einem physischen Roboter zu testen, um von der Sicherheit einer digitalen Simulation in die unordentliche, unvorhersehbare Realität eines Fabrikbodens überzugehen. Sollte dies erfolgreich sein, könnte diese Technologie Mecanum-Roboter in der Lage machen, autonomer und zuverlässiger in dynamischen Umgebungen zu agieren, von automatisierten Lagern bis hin zu Service-Umgebungen, in denen sich die Bedingungen ständig ändern.