Technische Samenvatting: Benchmarking van Actieruimtes in Reinforcement Learning voor Visie-gebaseerde Robotmanipulatie

Probleemstelling

Reinforcement learning (RL) is opgekomen als een krachtig framework voor robotbesturing, maar de praktische toepassing ervan in de echte wereld staat voor aanzienlijke hindernissen met betrekking tot veiligheid, bewegingsvloeiendheid en sim-to-real transferprestaties. Een cruciale, maar nog onvoldoende onderzochte ontwerpkeuze in RL-formuleringen is de actieruimte (action space). Hoewel eerdere studies actieruimte-representaties hebben onderzocht (bijv. gewrichtspositie, koppel, snelheid), vertrouwden zij grotendeels op state-gebaseerde observaties binnen simulatie-omgevingen alleen. Dit laat een gat in het begrip van hoe de vormgeving van de actieruimte de leerdynamiek en transferprestaties beïnvloedt wanneer visie-gebaseerde observaties (die partiële observeerbaarheid en perceptuele ruis introduceren) worden gebruikt, met name bij contactrijke taken zoals pakken en duwen.

Methodologie

De auteurs voerden een uitgebreide benchmarkingstudie uit waarbij vier veelvoorkomende actieruimte-representaties werden vergeleken over twee visie-gebaseerde manipulatietaken op een Franka Emika Panda robotarm:

1. PandaPickCuboid: Een prehensiele taak waarbij de robot een rode kubus moet bereiken, grijpen en optillen naar een doelhoogte.
2. PandaPushCuboid: Een non-prehensiele taak waarbij de robot een kubus over een oppervlak moet duwen.

Geëvalueerde Actieruimtes

De studie vergeleek de volgende representaties:

• Pose Increment ($\delta x$): Cartesiaanse positie- en oriëntatie-incrementen.
• Pose Velocity ($\dot{x}$): Cartesiaanse snelheidscommando's.
• Joint Position Increment ($\delta q$): Incrementen van gewrichtshoeken.
• Joint Velocity ($v$): Doelgewrichtssnelheden.

Systeemarchitectuur

• Algoritme: Policies werden getraind met behulp van Proximal Policy Optimization (PPO), gekozen vanwege de compatibiliteit met hoogdimensionale visuele inputs en de aangetoonde effectiviteit in sim-to-real transfer.
• Simulatie: Training vond plaats in MuJoCo, gebruikmakend van domain randomization (visuele en dynamische perturbaties) om de sim-to-real kloof te overbruggen.
• Real-World Deployment: Policies werden uitgerold via de Franka ROS Interface. Het systeem maakte gebruik van specifieke actuatie-interfaces:
  • Positie-gebaseerde acties ($\delta x, \delta q$) werden via Inverse Kinematics (IK) gemapt naar gewrichtstargets en uitgevoerd met een joint impedance controller.
  • Snelheid-gebaseerde acties ($\dot{x}, v$) werden direct gemapt naar doelgewrichtssnelheden.
• Observaties: De agent ontving een RGB-afbeelding (64x64), proprioceptieve data (gewrichtsposities/snelheden, grijpstatus), end-effector hoogte en de vorige actie.

Belangrijkste Resultaten

1. Discrepantie tussen Simulatie en de Werkelijkheid

In simulatie behaalden alle actieruimtes vergelijkbare hoge succespercentages (0.98–1.00) voor de paktaak. Deze prestaties vertaalden zich echter niet lineair naar de echte wereld. De keuze van de actieruimte veranderde de robuustheid van de sim-to-real transfer aanzienlijk.

2. Prestaties op PandaPickCuboid (Pakken)

• Joint Velocity ($v$): Behaalde een succespercentage van 100% met een mediane voltooiingstijd van 3,58s. Het vertoonde de laagste gemeten jerk en vermeed consistent botsingen.
• Joint Position Increment ($\delta q$): Behaalde ook een succespercentage van 100% met de snelste mediane tijd (2,12s). Echter, stabiele inzet vereiste zorgvuldige afstemming van de impedantie-gains om trillingen te voorkomen.
• Pose Increment ($\delta x$): Presteerde slecht (41,67% succes). De policy sleep het object vaak naar de basis van de robot voordat het werd opgetild, een gedrag dat niet in de simulatie werd waargenomen.
• Pose Velocity ($\dot{x}$): Faalde volledig (0% succes), waarbij het vaak in onstabiele configuraties terechtkwam of buiten het werkbereik driftte.

3. Prestaties op PandaPushCuboid (Duwen)

• Joint Velocity ($v$): Behaalde de grootste mediane verplaatsing (0,405m) maar vertoonde meer krachtige botsingen met de randen van het object.
• Joint Position Increment ($\delta q$): Behaalde de op één na hoogste verplaatsing (0,104m) maar vertoonde meer compliant gedrag met minder krachtige contactgebeurtenissen dankzij de afgestemde impedantiecontroller.
• Cartesian Actions ($\delta x, \dot{x}$): Presteerden slecht wat betreft verplaatsing.

4. Analyse van Jerk en Veiligheid

De studie analyseerde jerk (de verandering in versnelling) als een proxy voor bewegingsvloeiendheid en koppelvariatie.

• Joint Velocity produceerde consistent de laagste jerk in zowel simulatie- als real-world trials.
• Verklaring: De auteurs stellen dat positie-gebaseerde controle (met gebruik van hoge proportionele gains $K_p$) hoogfrequente fluctuaties in de output van de policy versterkt, wat leidt tot grote koppelvariaties en hoge jerk. Daarentegen werkt snelheid-controle als een laagdoorlaatfilter; de integratie van snelheid-commando's om positie te genereren vlakt hoogfrequente ruis van nature uit, wat resulteert in vloeiendere trajecten.
• IK-gevoeligheid: Cartesiaanse actieruimtes vertrouwen op Inverse Kinematics (IK). Discrepanties in de link-parameters tussen simulatie en de werkelijkheid planten zich voort door de IK-mapping, wat resulteert in onnauwkeurige gewrichtstargets die de echte actuatoren moeilijk kunnen volgen, vooral nabij singulariteiten.

Belangrijkste Bijdragen en Betekenis

Het artikel biedt praktisch advies voor RL-prakticendi door aan te tonen dat de representatie van de actieruimte een cruciale factor is in sim-to-real transfer, met name voor visie-gebaseerde taken.

• Superioriteit van Joint Velocity: De auteurs concluderen dat joint velocity de beste balans biedt tussen robuustheid, vloeiendheid en taakprestaties voor visie-gebaseerd pakken en duwen. Het behaalde de hoogste succespercentages en de vloeiendste bewegingen zonder de complexe impedantie-afstemming die nodig is voor positie-gebaseerde methoden.
• Beperkingen van Cartesiaanse Ruimtes: De studie benadrukt dat cartesiaanse actieruimtes (pose increment/velocity) zeer gevoelig zijn voor sim-to-real discrepanties, met name wat betreft IK-mappingfouten en de mogelijkheid van actuatoren om trajecten te volgen.
• Veiligheid en Compliance: Hoewel joint velocity de vloeiendste beweging bood, merken de auteurs op dat positie-gebaseerde acties (via afgestelde impedantie) meer compliant gedrag boden tijdens contact, waardoor de ernst van botsingen werd verminderd.

Het werk onderstreept dat hoewel simulatieprestaties een noodzakelijke baseline zijn, ze onvoldoende zijn om echt wereld succes te voorspellen. De keuze van de actieruimte vormt fundamenteel de leerdynamiek en de fysieke veiligheid van de ingezette policy.