Technische Samenvatting: Affordance-gebaseerde Hiërarchische Reinforcement Learning voor Quadrupedale Pedipulatie

Probleemstelling

De autonome manipulatie van objecten door quadrupedale robots blijft een aanzienlijke onderzoeksuitdaging. Hoewel eerdere studies succesvol reinforcement learning (RL) hebben gebruikt voor low-level beleidsleren (locomotie en basismanipulatie), rust de uitvoering van taken in open wereldomgevingen vaak op door experts ontworpen high-level trajecten. Specifiek is de autonome selectie van zowel een haalbare robotbasispose als een geschikte interactieplaats op een doelobject nog onvoldoende onderzocht. Deze kloof is kritiek omdat het manipuleren van objecten op ongelijk terrein complexiteiten introduceert zoals ongemodelleerde oppervlaktegeometrie, onbekende wrijving en de noodzaak om het evenwicht te bewaren op de resterende ledematen terwijl één ledemaat met het object interageert. Huidige benaderingen missen vaak het vermogen om autonoom affordance-bewuste poses te identificeren die rekening houden met de bereikbaarheid van het object, lokale terreinkarakteristieken en oppervlaktekenmerken zonder menselijke begeleiding.

Methodologie

De auteurs stellen een drie-lagen hiërarchisch reinforcement learning (RL) framework voor dat visuele affordance-analyse integreert met ontkoppelde controlebeleid (control policies). Het systeem is ontworpen om autonoom naar een doelobject te navigeren, een haalbaar interactiepunt te identificeren en een "pedipulatie"-taak uit te voeren (manipulatie met behulp van de poten van de robot).

1. Hiërarchische Architectuur

Het framework bestaat uit drie afzonderlijke lagen:

• High-Level (Pose Affordance & Navigatie): Een visuele module verwerkt LiDAR point cloud-data om terrein en objecten te segmenteren. Het berekent lokale terreinhellingen en objectgeometrie om een haalbare doelbasispose (positie en koers) voor de robot te genereren. Deze pose zorgt ervoor dat de robot binnen bereik van het object is en correct georiënteerd is ten opzichte van de terreinhelling.
• Mid-Level (Navigatiebeleid): Dit beleid ontvangt de doelpose en de staat van de robot (snelheid, oriëntatie) om snelheidscommando's te voorspellen. Het stuurt de low-level controller in een closed-loop manner aan om de doelbasispositie te bereiken.
• Low-Level (Locomotie & Pedipulatie Beleid):
  • Locomotie: Een getraind beleid geeft gewrichtsposities uit om de snelheidcommando's van de navigatielaag uit te voeren.
  • Pedipulatie: Zodra de robot de doelpose bereikt, schakelt het systeem over naar het pedipulatiebeleid. Dit beleid is geconditioneerd op high-level waypoints gegenereerd via cubic spline interpolatie tussen een "home"-positie, een visueel geïdentificeerd contactpunt op het object, en een tussenliggend offsetpunt. Het beleid bestuurt de end-effector (specifiek de voorste rechterpoot) om het object te duwen terwijl het evenwicht wordt behouden met de andere drie poten.

2. Affordance-gebaseerde Planning

De kerninnovatie ligt in de pose affordance module. In plaats van te vertrouwen op vooraf gedefinieerde trajecten, berekent het systeem dynamisch:

• Doelbasispose: Afgeleid van het centrum van het object, de gewenste duwkoers en de lokale terreinhelling.
• Interactiepunt: Bepaald door de oppervlaktegeometrie van het object te analyseren om het punt te vinden dat het dichtst bij de end-effector ligt, wat de lengte van het contacttraject maximaliseert.
• Trajectgeneratie: Een cubic spline wordt geconstrueerd om vloeiende overgangen te garanderen met nul-snelheidsrestricties bij start- en eindpunten, waarbij de hoogte wordt begrensd voor de veiligheid.

3. Training en Implementatie

• Omgeving: De policies werden getraind in het Isaac Sim ecosysteem met het Unitree Go2 quadruped platform.
• Algoritme: Actor-critic architectuur met Proximal Policy Optimization (PPO).
• Domain Randomization: De training omvatte randomisatie van de basismassa, zwaartepunt, externe krachten en terreinhellingen om robuustheid te garanderen.
• Real-World Deployment: Het systeem werd uitgerold met een ROS2 framework met een Error State Extended Kalman Filter (ESEKF) voor staatsschatting en een finite state machine (FSM) om operationele modi te beheren.

Belangrijkste Bijdragen

Het artikel beschrijft vier primaire bijdragen:

1. Visuele-Affordance-gebaseerde Pose Commando Generatie: Een module die doelposes genereert voor zowel de robotbasis als de end-effector, waarbij expliciet rekening wordt gehouden met bereikbaarheid, terreinhelling en objectoppervlaktekenmerken.
2. Multi-Level Hiërarchisch RL Framework: Een systeem dat volledig autonome navigatie en pedipulatie mogelijk maakt, waarbij hogere-niveau gedragingen lagere-niveau policies als black boxes abstraheren.
3. Sim-to-Real Transfer: Een succesvolle implementatie die aantoont dat het systeem kan overstappen van simulatie naar ongestructureerde, buitenomgevingen in de echte wereld.
4. Object Interactie Dataset: Een dataset met robottelemetrie (inclusief end-effector krachtfeedback), objectkenmerken en interactieposes, bedoeld om verder onderzoek te faciliteren.

Experimentele Resultaten

Het framework werd geëvalueerd in zowel simulatie als real-world settings met willekeurige objectplaatsingen op variërende hellingen.

• Simulatie:
  • Effectiviteit van Affordance: Experimenten toonden aan dat het gebruik van de affordance-gebaseerde doelpose (rekening houdend met de terreinhelling) resulteerde in een hogere efficiëntie van de objectverplaatsing vergeleken met willekeurige of vaste doelposes.
  • Selectie van Contactpunt: Het selecteren van het interactiepunt dat het dichtst bij de end-effector ligt, leverde de hoogste efficiëntie op (verplaatsing per eenheid kracht), wat beter presteerde dan strategieën gebaseerd op nabijheid tot de robotbasis of geometrische centra.
• Real-World:
  • Navigatie: De robot bereikte een gemiddelde positiefout van 0,12 m en een gemiddelde yaw-fout van 16,37° bij het bereiken van doelposes op hellingen tot ~9°.
  • Pedipulatie: Het systeem behaalde een succespercentage van 86% voor objectinteractie (gedefinieerd door een drempelwaarde van 25 N).
  • Prestaties: Bij succesvolle pogingen bereikte de robot een gemiddelde objectverplaatsing van 0,17 m met een gemiddelde piekcontactkracht van 33 N, wat resulteerde in een gemiddelde efficiëntiescore van 0,51 m N⁻¹.
  • Robuustheid: Het systeem handelde dynamische overgangen van navigatie naar manipulatie succesvol af zonder menselijke tussenkomst, waarbij enkel vertrouwde op veiligheidscontroles via draadloze controllers.

Betekenis en Claims

Het paper beweert dat dit werk een kritieke kloof in autonome robotica adresseert door object-gecentreerde pedipulatieplanning in open wereldomgevingen mogelijk te maken. In tegenstelling tot eerdere methoden die vertrouwen op expertbegeleiding of zich uitsluitend richten op low-level controle, stelt dit framework een quadrupedale robot in staat om:

• Autonoom haalbare basisposes en interactiepunten te identificeren op basis van visuele affordances.
• Complexe manipulatietaken (het duwen van objecten) uit te voeren zonder vooraf ontworpen trajecten of menselijke demonstraties.
• Effectief te opereren in ongestructureerde omgevingen met variërende terreinhellingen.

De auteurs positioneren deze capaciteit als zeer relevant voor toepassingen zoals planetaire exploratie, monsterverzameling en reddingsoperaties, waar real-time teleoperatie onhaalbaar is vanwege latentie of gevaar. De studie benadrukt dat het systeem een behendige manipulatie bereikt met bestaande poot-hardware, waardoor de noodzaak voor extra manipulatorarmen wordt vermeden, en daarmee het inherente manoeuvreervermogen van quadrupedale robots wordt benut. De auteurs merken bescheiden op dat hoewel het systeem effectief is, de accumulatie van fouten over verbonden componenten (visie, staatsschatting, controle) een uitdaging blijft voor taken met hoge precisie, en toekomstig werk zich zal richten op het benutten van de verzamelde data om betere object-gecentreerde representaties te leren.