Reinforcement Learning on Cost-Constrained Quadrupedal Hardware
Diese Arbeit zeigt auf, dass der Einsatz von Reinforcement Learning auf kostengünstiger quadrupedaler Hardware durch die Verwendung eines Vorwärtsmodells durchschnittlicher Verzögerungen in Kombination mit einem zeitbewussten neuronalen Netzwerk, das autonom einen robusten, biologisch inspirierten zentralen Mustergenerator erlernt, signifikante Sim-to-Real-Gaps infolge von Aktuatorverzögerungen überwinden kann.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Welpen das Laufen beizubringen, indem Sie Anweisungen aus einem weit entfernten Raum rufen, der durch ein sehr langes, verheddertes Telefonkabel verbunden ist. Bis Ihre Stimme die Ohren des Welpen erreicht, ist er bereits über seine eigenen Pfoten gestolpert. Bis er versucht, seinen Schritt basierend auf Ihrem neuen Ruf zu korrigieren, ist er bereits erneut gefallen. Dies ist der tägliche Kampf der „Sim-to-Real“-Robotik, ein Feld, in dem Wissenschaftler versuchen, Robotern das Bewegen beizubringen, indem sie sie in einer perfekten, sofortigen Videospielwelt trainieren, nur um sie dann in die chaotische, langsame und verrauschte reale Welt zu schicken.
Das Kernproblem ist die „Latenz“, also die Verzögerung zwischen einem Befehl und der Aktion. Bei teuren, hochtechnologischen Robotern ist diese Verzögerung winzig – so klein, dass sie fast unsichtbar ist. Aber bei billigen, erschwinglichen Robotern kann die Verzögerung riesig sein, wie das Warten auf eine langsame Internetverbindung, um ein Video zu laden. Wenn diese Verzögerung zu groß wird, kann der Roboter nicht einfach auf das reagieren, was er gerade sieht; er muss erraten, was als Nächstes passieren wird. Das macht das Gehirn des Roboters zu einem Rätsel: Er muss herausfinden, wie er laufen kann, ohne genau zu wissen, wo sich seine Beine jetzt gerade befinden, sondern nur, wo sie vor einem Moment waren. Die große Frage lautet: Müssen wir teure, superschnelle Roboter bauen, um dieses Problem zu lösen, oder können wir einen billigen Roboter klug genug machen, mit dem Lag umzugehen?
Dieses Paper erzählt die Geschichte eines Teams, das beschloss, den zweiten Weg zu versuchen. Sie nahmen einen sehr günstigen, vierbeinigen Roboter namens Mini Pupper 2 im Wert von 300 $, der unter einer massiven Verzögerung von 76 Millisekunden in seinen Motoren leidet. Anstatt zu versuchen, die Hardware zu reparieren oder eine komplexe mathematische Brücke zu bauen, um die Position des Roboters zu erraten, suchten sie Inspiration in der Natur. Sie fragten: Wie bewegen sich Tiere, wenn ihre Nerven langsam sind? Die Antwort liegt im Rückenmark, das einen speziellen Rhythmusgenerator nutzt, um die Beine in Bewegung zu halten, selbst wenn das Gehirn langsam reagiert.
Die Forscher trainierten verschiedene Arten von „Gehirn“-Netzwerken (neuronale Netze), um diesen billigen Roboter zu steuern. Sie fanden heraus, dass ein einfaches, Standard-Gehirn (genannt MLP) kläglich scheiterte, sofern sie es nicht stundenlang manuell mit einem komplexen Satz von Regeln abstimmten. Ein fortgeschritteneres, „zeitbewusstes“ Gehirn (genannt LSTM) tat jedoch etwas Magisches von selbst. Es lernte, die verrauschten, verzögerten Signale von den Sensoren des Roboters zu ignorieren und stattdessen seinen eigenen internen Rhythmus zu erzeugen, genau wie die zentralen Mustergeneratoren (CPGs), die in den Rückenmarken von Wirbeltieren zu finden sind.
Die Ergebnisse waren beeindruckend. Dieser selbstgelehrte Rhythmus war so stark, dass der Roboter weiterlaufen konnte, selbst als die Forscher künstlich weitere 320 Millisekunden Verzögerung auf den bestehenden Lag aufaddierten. Während das Gehirn des einfachen Roboters zusammenbrach und das Laufen einstellte, behielt das zeitbewusste Gehirn seinen stetigen Trab bei. Das Paper legt nahe, dass dies kein glücklicher Zufall ist, sondern eine allgemeine Strategie. Wenn man einen Roboter zwingt, mit langsamer, verrauschter Hardware zu kämpen, ist die klügste Lösung, die er finden kann, nicht zu versuchen, auf die Gegenwart zu reagieren, sondern seine eigene Zukunft zu generieren.
Das Team entdeckte auch, dass der Versuch, die tatsächlichen, verrauschten Sensordaten des Roboters (wie Geschwindigkeit und Kraftaufwand) zu nutzen, die Situation sogar verschlechterte. Da die billigen Sensoren so unzuverlässig waren, lief der Roboter besser, wenn das Team ihm sagte, er solle so tun, als existierten diese Sensoren nicht, und sich stattdessen ganz auf seinen internen Rhythmus zu verlassen. Sie bauten ein zweischichtiges System: einen „Rhythmushalter“ (das LSTM), der das langfristige Timing übernimmt, und einen einfachen „Prädiktor“ (ein kleines neuronales Netz), der errät, wo sich die Beine befinden sollten, und damit die defekten realen Sensoren ersetzt.
Am Ende beweist das Paper, dass man keinen 10.000-Dollar-Roboter braucht, um gut zu laufen. Man braucht nur einen billigen Roboter mit einem Gehirn, das weiß, wie man wartet. Indem sie den biologischen Trick der Generierung eines internen Rhythmus nachahmten, schlossen die Forscher die Lücke zwischen der Simulation und der realen Welt und zeigten, dass die beste Art, mit einer langsamen, verrauschten Welt umzugehen, manchmal darin besteht, nicht mehr auf sie zu hören, sondern nach dem eigenen Takt zu tanzen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.