Stellen Sie sich eine Welt vor, in der Computer lernen, Dinge so zu tun, wie ein Kleinkind das Laufen lernt: durch Hinfallen, Aufstehen und erneutes Versuchen. Dies ist das Herzstück des Reinforcement Learning (RL), eines Zweigs der künstlichen Intelligenz, bei dem ein „Schüler“ (der Algorithmus) durch Interaktion mit einer „Umgebung“ lernt und Belohnungen für gute Züge erhält. Jahrelang hat der Großteil dieses Lernens innerhalb von Computern stattgefunden, in perfekten, reibungsfreien virtuellen Welten, den sogenannten Simulationen. Es ist, als würde man Basketball in einem Videospiel üben, in dem der Ball niemals falsch springt und der Korb sich niemals bewegt. Während dies großartig für das Training ist, ist es ein wenig so, als würde man versuchen, Surfen nur in einem Schwimmbecken zu lernen; wenn man schließlich auf den echten Ozean trifft, sind die Wellen chaotisch, der Sand körnig und die Regeln sind anders. Die große Frage für Wissenschaftler lautet: Wie bringen wir diese digitalen Gehirne dazu, direkt an echten Robotern zu lernen, ohne zuerst eine perfekte Simulation zu benötigen?

Dieses Papier mit dem Titel „The Open Ant: A Robot Platform for Reinforcement Learning Research“ stellt eine Lösung vor, die darauf abzielt, diese Lücke zu schließen. Die Autoren haben einen physischen Roboter gebaut, der fast genau wie ein berühmter virtueller Roboter namens „Gymnasium Ant“ aussieht und agiert, ihn jedoch billig, leicht zu reparieren und einfach genug für Forscher gemacht hat, die keine Robotik-Experten sind. Sie fanden heraus, dass dieser Roboter in etwa einer Stunde selbstständig in der realen Welt laufen kann, indem er zwei sehr unterschiedliche Lernmethoden nutzt. Sie zeigten auch, dass in einem Computer simulierte Fähigkeiten auf den echten Roboter übertragen werden können, obwohl sich die Leistungsrangfolge des Roboters ändert, sobald er den echten Boden berührt. Am wichtigsten ist jedoch, dass sie bewiesen haben, dass ein Team von Studenten mit wenig Robotik-Erfahrung den Roboter in nur wenigen Tagen bauen, reparieren und von ihm lernen konnte, was darauf hindeutet, dass die Hürde für reale Robotik-Experimente endlich sinkt.

Der Roboter, der wie ein Videospiel-Charakter aussieht

Lange Zeit war Reinforcement Learning ein Superstar in der Welt der Videospiele und Simulationen. Es ist die Technologie hinter Computern, die Menschen in komplexen Spielen wie Go oder Backgammon besiegen können. Aber wenn Wissenschaftler versuchen, diese Algorithmen in die reale Welt zu übertragen – um einem Roboter das Gehen, Fliegen oder Greifen beizubringen –, wird es unordentlich. Das echte Leben steckt voller Überraschungen: Kabel verheddern sich, Motoren überhitzen und der Boden ist nicht perfekt glatt. Aus diesem Grund bleiben viele Forscher in Simulationen, in denen sie tausende Experimente in einer Sekunde durchführen können, ohne etwas kaputt zu machen. Aber es gibt einen Haken: Was in einer Simulation perfekt funktioniert, scheitert oft in der Realität.

Die Autoren dieses Papiers wollten das ändern. Sie fragten: „Können wir einen Roboter bauen, der so einfach zu benutzen und zu reparieren ist, dass selbst ein Forscher, der nur weiß, wie man Simulationen programmiert, mit echten Experimenten beginnen kann?“ Um dies zu beantworten, erschufen sie den Open Ant.

Der Open Ant ist ein vierbeiniger Roboter, geformt wie eine Spinne oder eine Ameise, inspiriert von einem sehr populären virtuellen Roboter namens „Gymnasium Ant“. In der virtuellen Welt ist dieser Ant ein mathematisches Modell, das lernt, vorwärts zu laufen. Der Open Ant ist die physische Version eben dieses Charakters. Er hat einen runden Körper und vier Beine, die jeweils aus zwei Gelenken (einem Hüft- und einem Kniegelenk) bestehen und von Motoren angetrieben werden. Das Team traf einige kluge Entscheidungen, um die Sache einfach zu halten:

• Kein Löten: Man muss kein Elektronik-Wizenz sein, um ihn zu bauen. Er verwendet Teile, die man im Handel kaufen kann.
• Stromversorgung per Stecker: Anstatt sich um schwere Batterien zu sorgen, wird er an eine Steckdose angeschlossen, sodass er stundenlang ohne Unterbrechung laufen kann.
• 3D-gedruckter Körper: Wenn ein Bein bricht (was passiert, wenn Roboter das Laufen lernen), kann man einfach ein neues drucken. Es ist wie ein Ersatzreifen für ein Auto, nur dass man den Reifen selbst druckt.

Der Roboter kostet etwa 2.200 $ zum Bau mit hochwertigen Teilen oder rund 500 $, wenn man billigere, empfindlichere Motoren verwendet (eine Version, die sie „Physical Ant Lite“ nennen). Er ist klein, etwa ein Drittel der Größe der virtuellen Version, aber robust genug, um einiges einzustecken.

In einer Stunde laufen lernen

Der große Test war: Kann dieser Roboter tatsächlich von selbst laufen lernen, beginnend bei Null Wissen? Die Forscher richteten ein einfaches Spiel für den Roboter ein. Anstatt einfach nur vorwärts zu laufen (was erfordern würde, dass jemand den Roboter jedes Mal zurück zum Start zieht, wenn er gegen eine Wand stößt), ließen sie den Roboter innerhalb eines Kreises vor und zurück laufen. Eine Kamera oberhalb beobachtete den Roboter und gab ihm eine „Belohnung“ (einen Punkt), jedes Mal, wenn er sich in die richtige Richtung bewegte. Wenn der Robot zu nah an den Rand des Kreises kam, kehrte sich das Ziel um, und er musste sich umdrehen und in die andere Richtung laufen. Dies bedeutete, dass der Roboter ewig weiterlernen konnte, ohne dass ein Mensch ihn zurücksetzen musste.

Sie testeten zwei sehr unterschiedliche Lernalgorithmen an dem Roboter:

1. SARSA(λ): Eine einfachere, ältere Methode, die lernt, indem sie verschiedene Bewegungen ausprobiert und sich merkt, was funktioniert hat.
2. SAC (Soft Actor-Critic): Eine modernere, komplexere Methode, die tiefe neuronale Netze verwendet (ähnlich dem Gehirn einer Deep-Learning-KI).

Die Ergebnisse waren beeindruckend. Mit dem einfacheren SARSA(λ)-Algorithmus lernte der Roboter in etwa einer Stunde direkter Erfahrung, kompetent zu laufen. Es war kein perfekter, olympischer Lauf, aber es war stetig und konnte Geschwindigkeiten von 2 bis 4 cm/s erreichen. Dasselbe geschah mit dem komplexeren SAC-Algorithmus. In fünf separaten Versuchen lernte der Roboter in etwa einer Stunde zuverlässig zu laufen. Das ist eine große Sache, denn es zeigt, dass man keinen Supercomputer oder Monate des Trainings benötigt, um einen Roboter in Bewegung zu setzen; man kann es direkt an der Hardware tun.

Der „Sim-to-Real“-Zaubertrick (und seine Fehler)

Ein gängiger Trick in der Robotik besteht darin, einen Roboter zuerst in einer Simulation zu trainieren und dann dieses „Gehirn“ auf den echten Roboter zu kopieren. Dies nennt man „Sim-to-Real“. Die Forscher versuchten dies mit dem Open Ant. Sie trainierten 2.304 verschiedene „Gehirne“ in der virtuellen Simulation und testeten sie dann auf dem echten Roboter, ohne weiteres Training.

Hier ist das, was sie herausfanden:

• Es funktioniert, aber nicht perfekt: Fast alle simulierten Gehirne konnten den echten Roboter in die richtige Richtung laufen lassen. Das bedeutet, dass die Simulation ein guter genug Abbild der Realität war, um die Grundlagen zu lehren.
• Die Rangfolge änderte sich: Das ist der knifflige Teil. Der Roboter, der in der Simulation der „beste“ Läufer war, war nicht unbedingt der beste in der realen Welt. Tatsächlich war der Spitzenreiter in der Simulation am Ende nur der sechstbeste auf dem echten Roboter. Dies deutet darauf darauf hin, dass Simulationen zwar hilfreich sind, aber nicht perfekt vorhersagen können, wie ein Roboter in der chaotischen realen Welt abschneidet. Wenn man einfach nur das „beste“ Simulationsgehirn wählt und es auf einen echten Roboter überträgt, könnte man überrascht werden.

Warum das für alle wichtig ist

Der spannendste Teil dieses Papiers ist nicht nur, dass der Roboter läuft; es ist, dass der Roboter zugänglich ist. Die Autoren wollten sehen, ob reguläre Forscher, die normalerweise nur mit Code arbeiten, mit einem echten Roboter umgehen können. Sie nahmen den Open Ant mit zu einer Winterschule für Studenten und Forscher, die sehr wenig Erfahrung mit Robotik hatten.

Das Ergebnis? Innerhalb von drei Tagen konnten fünf verschiedene Studententeams die Roboter erfolgreich bauen, sie steuern und sogar Fähigkeiten von der Simulation auf die Realität übertragen. Eine Gruppe lokaler Studenten bemerkte, dass sie, sobald sie verstanden hatten, wie die Teile zusammenpassen, den gesamten Roboter in weniger als zwei Stunden montieren konnten. Wenn sie es ohne Anleitung versuchten, dauerte es vier bis sechs Stunden, aber sie konnten ihre Fehler korrigieren und weitermachen.

Das Papier hebt auch hervor, wie einfach es ist, den Roboter zu reparieren, wenn etwas schiefgeht. Während der Experimente wurden die Füße des Roboters abgenutzt, und sogar ein Bein brach. Da die Teile 3D-gedruckt und das Design Open-Source sind, konnte das Team in Minuten einen neuen Fuß drucken oder ein gebrochenes Bein verstärken. Sie fügten dem Roboter sogar „Socken“ aus einem weichen, griffigen Material (TPU) an den Füßen hinzu, um das Rutschen und das Abnutzen zu verhindern.

Das Fazre Fazit

Das „Open Ant“-Papier behauptet nicht, die gesamte Robotik gelöst zu haben. Es sagt nicht, dass Roboter nun alles tun können, was Menschen können. Stattdessen bietet es ein praktisches, Open-Source-Werkzeug an, das es mehr Menschen ermöglicht, es auszuprobieren. Es zeigt, dass man mit ein wenig cleverem Design – durch die Verwendung von Standardteilen, 3D-Druck und einfachen Aufgaben – die Eintrittsbarriere für reale KI-Experimente senken kann.

Die Autoren legen nahe, dass diese Plattform es Forschern ermöglicht, sich weniger um den „Overhead“ des Roboterbaus zu sorgen und sich statischer auf die Wissenschaft des Lernens zu konzentrieren. Ob Sie nun ein Student, ein Hobbyist oder ein erfahrener Wissenschaftler sind, der Open Ant beweist, dass das Lernen aus physischer Erfahrung kein Luxus mehr ist, der Laboren mit Millionen an Ausrüstung vorbehalten ist. Es ist etwas, das in einem Klassenzimmer, einer Garage oder einem kleinen Büro getan werden kann – mit einem Roboter, der in der Zeit, die man braucht, um eine Tasse Kaffee aufzubrühen, laufen lernen kann.