💻 computer science

Benchmarking Action Spaces in Reinforcement Learning for Vision-based Robotic Manipulation

Diese Arbeit bewertet vier Aktionsräume für die visuelle Robotermanipulation und zeigt durch Sim-to-Real-Experimente, dass Gelenkgeschwindigkeit die glattesten Bewegungen sowie die beste Aufgabenleistung beim Greifen und Drücken liefert, während sie gleichzeitig praktische Orientierungshilfe für RL-Praktiker bietet.

Ursprüngliche Autoren: Seyed Alireza Azimi, Homayoon Farrahi, Abhishek Naik, Colin Bellinger, A. Rupam Mahmood

Veröffentlicht 2026-06-19

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Seyed Alireza Azimi, Homayoon Farrahi, Abhishek Naik, Colin Bellinger, A. Rupam Mahmood

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboterarm bei, Aufgaben wie das Aufheben eines Blocks oder das Verschieben eines Blocks über einen Tisch auszuführen. Um dies zu tun, verwenden Sie eine Methode namens Reinforcement Learning (Bestärkendes Lernen), was wie ein Videospiel ist, bei dem der Roboter durch Versuch und Irrtum lernt: Er probiert etwas aus, erhält eine „Belohnung“ (Score), wenn er es gut macht, und lernt aus seinen Fehlern.

Es gibt jedoch einen kniffligen Teil: Wie sagt man dem Roboter, was er tun soll? Das ist der „Aktionsraum“ (Action Space). Es ist die Sprache, mit der Sie dem Roboter Anweisungen geben.

Dieses Paper ist wie ein Kochwettbewerb, bei dem vier verschiedene Köche (die vier Aktionssprachen) versuchen, demselben Roboter beizubringen, zwei spezifische Gerichte zu kochen: Einen Block aufheben und Einen Block schieben. Die Forscher trainierten den Roboter in einer virtuellen Küche (Simulation) und schickten ihn dann in eine echte Küche, um zu sehen, ob die Lektionen in der Realität Bestand haben.

So versuchten die vier „Köche“ (Aktionsräume), Anweisungen zu geben:

Der „Schritt-für-Schritt“-Koch (Pose Increment): „Bewege deine Hand 1 Zoll nach vorne, dann 1 Zoll nach oben.“ Er sagt dem Roboter genau, wohin er als Nächstes gehen soll, in kleinen Schritten.
Der „Tachometer“-Koch (Pose Velocity): „Bewege deine Hand mit einer Geschwindigkeit von 1 Zoll pro Sekunde nach vorne.“ Er sagt dem Roboter, wie schnell er in eine bestimmte Richtung fahren soll.
Der „Gelenk-für-Gelenk“-Koch (Joint Position Increment): „Beuge deinen Ellbogen ein winziges Stück, dann rotiere dein Handgelenk ein winziges Stück.“ Er konzentriert sich darauf, die einzelnen Gelenke des Roboterarms zu bewegen.
Der „Fluss“-Koch (Joint Velocity): „Bewege deinen Ellbogen mit dieser Geschwindigkeit und dein Handgelenk mit jener Geschwindigkeit.“ Er sagt den Gelenken des Roboters, wie schnell sie sich drehen sollen.

Der große Test: Virtuelle vs. Reale Welt

Die Forscher trainierten alle vier Köche in einer perfekten, reibungsfreien Videospielwelt (Simulation). In dieser perfekten Welt machten alle vier Köche einen großartigen Job. Sie lernten die Aufgaben schnell und erreichten hohe Punktzahlen. Es war schwer zu sagen, wer der Beste war.

Doch dann schickten sie die Roboter in die reale Welt. Hier wurde es unordentlich. Die reale Welt hat Reibung, Schwerkraft und unperfekte Sensoren. Die „perfekten“ Anweisungen aus dem Videospiel ließen sich nicht immer gut auf die Realität übertragen.

Die Ergebnisse

Die „Schritt-für-Schritt“- und „Tachometer“-Köche (Kartesisch/Weltraum): Diese Köche hatten am meisten Mühe. Wenn sie versuchten, die Hand des Roboters in der realen Welt zu bewegen, wurde der Roboter oft verwirrt. Er zog den Block eher, anstatt ihn anzuheben, oder geriet in instabile Positionen und scheiterte komplett.
- Warum? Diese Köche verlassen sich auf einen komplexen Übersetzer (genannt Inverse Kinematik), um „bewege die Hand hierhin“ in „bewege die Gelenke so“ umzuwandeln. In der realen Welt werden winzige Fehler in den Messungen des Roboters durch diesen Übersetzer verstärkt, was dazu führt, dass der Roboter ruckartige, ungenaue Bewegungen macht.
Der „Gelenk-für-Gelenk“-Koch: Dieser Koch machte es sehr gut beim Aufheben des Blocks (100 % Erfolgsquote) und war am schnellsten. Er erforderte jedoch viel Feinabstimmung der „Muskelsteifigkeit“ des Roboters, um ihn vor Zittern oder Vibrationen zu bewahren.
Der „Fluss“-Koch (Joint Velocity): Dies war der Gewinner.
- Erfolg: Er erreichte eine Erfolgsquote von 100 % beim Aufheben des Blocks.
- Geschmeidigkeit: Er bewegte sich am flüssigsten. Die Bewegungen des Roboters waren geschmeidig, nicht ruckartig.
- Sicherheit: Er verursachte am wenigsten „Ruckeln“ (plötzliche, harte Änderungen der Kraft) und hatte die wenigsten Kollisionen.
- Schieben: Er schob den Block über die weiteste Distanz.

Das Geheimrezept: Warum Joint Velocity gewann

Das Paper erklärt dies mit einer einfachen Physik-Analogie.

Positionssteuerung (Die anderen Köche) ist wie einem Auto zu sagen: „Fahre exakt zur 100-Meter-Markierung.“ Wenn man einen winzigen Rechenfehler macht, muss das Auto sofort voll in die Eisen gehen oder das Gaspedal durchtreten, um zu korrigieren. Das verursacht ruckartige, harte Bewegungen.
Geschwindigkeitssteuerung (Der Gewinner) ist wie einem Auto zu sagen: „Fahre mit 50 km/h.“ Das Auto gleitet ganz natürlich dahin. Wenn man die Richtung ändern möchte, lenkt man sanft. Die Physik der Robotergelenke glättet die Bewegung von Natur aus und wirkt wie ein Stoßdämpfer.

Das Fazit

Wenn Sie einen Roboter bauen, der die Welt mit einer Kamera sehen und mit Objekten interagieren muss (wie das Aufheben einer Tasse oder das Verschieben einer Box), ist es der zuverlässigste Weg, um ihn in der realen Welt reibungslos arbeiten zu lassen, seinen Gelenken zu sagen, wie schnell sie sich bewegen sollen (Joint Velocity).

Während die anderen Methoden in der Videospielwelt perfekt funktionierten, waren sie zu empfindlich gegenüber der chaotischen Realität der echten Welt. Die „Joint Velocity“-Methode war robust genug, um die Unvollkommenheiten des echten Lebens zu bewältigen, was dazu führte, dass der Roboter anmutig agierte und die Aufgabe erfolgreich erledigte.

Technisches Resümee: Benchmarking von Aktionsräumen in der Reinforcement Learning für visuelle robotergestützte Manipulation

Problemstellung

Reinforcement Learning (RL) hat sich als leistungsstarker Rahmen für die Robotersteuerung etabliert, doch seine praktische Anwendung in der realen Manipulation steht vor erheblichen Hürden hinsichtlich Sicherheit, Bewegungsglätte und der Sim-to-Real-Transferleistung. Eine kritische, jedoch unterexplorierte Designentscheidung in RL-Formulierungen ist der Aktionsraum. Während vorangegangene Studien verschiedene Aktionsraum-Repräsentationen untersucht haben (z. B. Gelenkposition, Drehmoment, Geschwindigkeit), stützten sie sich weitgehend auf zustandsbasierte Beobachtungen innerhalb rein simulierter Umgebungen. Dies hinterlässt eine Lücke im Verständnis darüber, wie das Design des Aktionsraums die Lern-Dynamik und die Transferleistung beeinflusst, wenn visuelle Beobachtungen (die partielle Beobachtbarkeit und perzeptuellen Rauschen einführen) genutzt werden, insbesondere bei kontaktreichen Aufgaben wie Greifen und Drücken.

Methodik

Die Autoren führten eine umfassende Benchmarking-Studie durch, bei der vier gängige Aktionsraum-Repräsentationen über zwei visuelle Manipulationsaufgaben an einem Franka Emika Panda Roboterarm verglichen wurden:

PandaPickCuboid: Eine prähensile Aufgabe, bei der der Roboter ein rotes Quaderobjekt erreichen, greifen und auf eine Zielhöhe heben muss.
PandaPushCuboid: Eine nicht-prähensile Aufgabe, bei der der Roboter einen Quader über eine Oberfläche drücken muss.

Evaluierte Aktionsräume

Die Studie verglich die folgenden Repräsentationen:

Pose-Inkrement ( $\delta x$ ): Kartesische Positions- und Orientierungsinkremente.
Pose-Geschwindigkeit ( $\dot{x}$ ): Kartesische Geschwindigkeitsbefehle.
Gelenkpositions-Inkrement ( $\delta q$ ): Inkremente der Gelenkwinkel.
Gelenkgeschwindigkeit ( $v$ ): Ziel-Gelenkgeschwindigkeiten.

Systemarchitektur

Algorithmus: Die Policies wurden mittels Proximal Policy Optimization (PPO) trainiert, da dieser Algorithmus eine hohe Kompatibilität mit hochdimensionalen visuellen Eingaben aufweist und eine demonstrierte Effektivität beim Sim-to-Real-Transfer besitzt.
Simulation: Das Training erfolgte in MuJoCo unter Nutzung von Domain Randomization (visuelle und dynamische Perturbationen), um die Sim-to-Real-Lücke zu schließen.
Einsatz in der Realwelt: Die Policies wurden über das Franka ROS Interface bereitgestellt. Das System nutzte spezifische Aktuationsschnittstellen:
- Positionsbasierte Aktionen ( $\delta x, \delta q$ ) wurden via Inverser Kinematik (IK) auf Gelenkziele abgebildet und mittels eines Gelenkimpedanzreglers ausgeführt.
- Geschwindigkeitsbasierte Aktionen ( $\dot{x}, v$ ) wurden direkt auf Ziel-Gelenkgeschwindigkeiten abgebildet.
Beobachtungen: Der Agent erhielt ein RGB-Bild (64x64), propriozeptive Daten (Gelenkpositionen/-geschwindigkeiten, Greiferstatus), die Höhe des Endeffektors sowie die vorherige Aktion.

Kernergebnisse

1. Diskrepanz zwischen Simulation und Realwelt

In der Simulation erreichten alle Aktionsräume vergleichbar hohe Erfolgsraten (0,98–1,00) für die Greifaufgabe. Diese Leistung übertrug sich jedoch nicht linear auf die reale Welt. Die Wahl des Aktionsraums veränderte die Robustheit des Sim-to-Real-Transfers signifikant.

2. Performance auf PandaPickCuboid (Greifen)

Gelenkgeschwindigkeit ( $v$ ): Erzielte eine Erfolgsrate von 100 % mit einer medianen Abschlusszeit von 3,58 s. Sie wies den niedrigsten gemessenen Ruck (Jerk) auf und vermied konsistent Kollisionen.
Gelenkpositions-Inkrement ( $\delta q$ ): Erzielte ebenfalls eine Erfolgsrate von 100 % mit der schnellsten medianen Zeit (2,12 s). Ein stabiler Einsatz erforderte jedoch eine sorgfältige Abstimmung der Impedanzgewinne, um Vibrationen zu verhindern.
Pose-Inkrement ( $\delta x$ ): Performte schlecht (41,67 % Erfolgsrate). Die Policy zog das Objekt häufig in Richtung der Roboterbasis, bevor sie es hob – ein Verhalten, das in der Simulation nicht beobachtet wurde.
Pose-Geschwindigkeit ( $\dot{x}$ ): Versagte vollständig (0 % Erfolgsrate) und driftete oft in instabile Konfigurationen ab oder verließ den Arbeitsraum.

3. Performance auf PandaPushCuboid (Drücken)

Gelenkgeschwindigkeit ( $v$ ): Erzielte die größte mediane Verschiebung (0,405 m), zeigte jedoch heftigere Kollisionen mit den Objektkanten.
Gelenkpositions-Inkrement ( $\delta q$ ): Erzielte die zweithöchste Verschiebung (0,104 m), zeigte aber ein komplyanteres Verhalten mit weniger heftigen Kontaktereignissen aufgrund des abgestimmten Impedanzreglers.
Kartesische Aktionen ( $\delta x, \dot{x}$ ): Performten in Bezug auf die Verschiebung schlecht.

4. Analyse von Ruck (Jerk) und Sicherheit

Die Studie analysierte den Ruck (Änderungsrate der Beschleunigung) als Stellvertreter für Bewegungsglätte und Drehmomentschwankungen.

Gelenkgeschwindigkeit produzierte sowohl in der Simulation als auch in den Realwelt-Versuchen konsistent den niedrigsten Ruck.
Erklärung: Die Autoren postulieren, dass die positionsbasierte Steuerung (unter Verwendung hoher Proportionalgewinne $K_p$ ) hochfrequente Fluktuationen in der Policy-Ausgabe verstärkt, was zu großen Drehmomentschwankungen und hohem Ruck führt. Im Gegensatz dazu wirkt die Geschwindigkeitssteuerung wie ein Tiefpassfilter; die Integration von Geschwindigkeitsbefehlen zur Erzeugung von Positionen glättet die hochfrequenten Rauschanteile der Kommandos naturgemäß, was zu glatteren Trajektorien führt.
IK-Sensitivität: Kartesische Aktionsräume verlassen sich auf die Inverse Kinematik (IK). Diskrepanzen in den Gelenkparametern zwischen Simulation und Realität pflanzen sich durch das IK-Mapping fort und erzeugen ungenaue Gelenkziele, die reale Aktoren nur schwer verfolgen können, insbesondere nahe Singularitäten.

Zentrale Beiträge und Bedeutung

Die Arbeit bietet praktischen Leitfaden für RL-Praktiker, indem sie zeigt, dass die Aktionsraum-Repräsentation ein entscheidender Faktor für den Sim-to-Real-Transfer ist, insbesondere bei visuell basierten Aufgaben.

Überlegenheit der Gelenkgeschwindigkeit: Die Autoren kommen zu dem Schluss, dass die Gelenkgeschwindigkeit die beste Balance aus Robustheit, Glätte und Aufgabenleistung für visuelle Greif- und Druckaufgaben bietet. Sie erreichte die höchsten Erfolgsraten und die glattesten Bewegungen, ohne die komplexe Impedanzabstimmung zu benötigen, die bei positionsbasierten Methoden erforderlich ist.
Limitierungen kartesischer Räume: Die Studie hebt hervor, dass kartesische Aktionsräume (Pose-Inkrement/Geschwindigkeit) sehr empfindlich auf Sim-to-Real-Diskrepanzen reagieren, insbesondere bezüglich der Fehlermargen beim IK-Mapping und der Fähigkeit der Aktoren zur Zielverfolgung.
Sicherheit und Compliance: Während die Gelenkgeschwindigkeit die glatteste Bewegung lieferte, merken die Autoren an, dass positionsbasierte Aktionen (via abgestimmter Impedanz) ein komplyanteres Verhalten während des Kontakts ermöglichten, was die Schwere von Kollisionen reduzierte.

Die Arbeit unterstreicht, dass eine Simulationsleistung zwar eine notwendige Basis ist, aber nicht ausreicht, um den Erfolg in der realen Welt vorherzusagen. Die Wahl des Aktionsraums formt fundamental die Lern-Dynamik und die physische Sicherheit der eingesetzten Policy.