Technische Samenvatting: Omgeving-Consistente Referentie-Gestuurde RL voor Mensachtige Navigatie

Probleemstelling

Moderne methoden voor mensachtige locomotie hebben hoge wendbaarheid en robuustheid bereikt, vaak door gebruik te maken van menselijke data of trajectoptimalisatie om Reinforcement Learning (RL) te sturen. Er blijft echter een significante knelpunt bestaan bij het implementeren van deze gedragingen binnen grotere navigatiestacks voor complexe, ongestructureerde omgevingen. Bestaande referentie-gestuurde RL-benaderingen staan voor twee primaire beperkingen:

1. Gebrek aan Planningsinterface: Veel methoden vereisen referentietrajecten met volledige vrijheidsgraden of live bewegingsopname als invoer, waardoor ze incompatibel zijn met standaard navigatieplanners die eenvoudige snelheidscommando's uitgeven (bijv. SE(2)-snelheden).
2. Afwezigheid van Omgevingsconditionering: Standaard pipelines voor referentiegeneratie houden geen rekening met terreingeometrie (bijv. geldige steunpunten, trappen, hellingen). Bijgevolg worstelen beleidslijnen die zijn getraind op statische referenties om trajecten op ruw terrein te volgen, wat leidt tot instabiliteit of falen bij implementatie in echte mensgerichte omgevingen.

Hoewel sommige werken waarnemende locomotie zonder referenties adresseren, missen ze vaak de robuustheid van referentie-gestuurde methoden. Omgekeerd falen referentie-gestuurde methoden vaak bij integratie met autonomie-stacks of aanpassing aan terrein. Dit artikel behandelt het snijpunt van waarnemende, referentie-gestuurde RL en gesloten-lus navigatie-autonomie.

Methodologie

De voorgestelde methode, Omgeving-Consistente Referentie-Gestuurde RL, synthetiseert omgevings-consistente referentietrajecten direct binnen de RL-trainingslus. Het systeem is ontworpen om een beleid te produceren dat standaard SE(2)-snelheidscommando's accepteert, terwijl het dieptecameradata gebruikt voor terreinaanpassing.

1. Omgeving-Consistente Referentiesynthese

De kerninnovatie is de snelle generatie van referentietrajecten met behulp van een Lineair Omgekeerd Slagwerk (LIP)-model dat wordt gemoduleerd om de terreingeometrie te matchen.

• Basisgeneratie: Een gewenst SE(2)-snelheidscommando ($v_d$) wordt omgezet in gewenste staplengtes en een traject van het Zwaartepunt (CoM) met behulp van de LIP-modeldynamica. Dit genereert een nominale referentie voor het CoM, het zwaaiende voet en de armen.
• Terreinprojectie: Voordat de RL-agent de referentie ontvangt, projecteert het systeem de gewenste voetstaplocatie op het dichtstbijzijnde geldige steunpunt afgeleid van de terreingeometrie (weergegeven als een rooster van polygonen).
• Trajectmodificatie:
  • Voetstappen: De gewenste stap wordt geprojecteerd op het geldige steunpunt, en de roll en pitch van het terrein op dat punt worden opgenomen.
  • Zwaaiende Voet: Het traject van de zwaaiende voet wordt aangepast om de initiële pose te verbinden met de geprojecteerde pose, inclusief de oriëntatie van het terrein. De $z$-hoogte wordt aangepast door de hoogte van de bovenste convexe omhulling van de terreinpunten langs het zwaaiende pad toe te voegen om voldoende vrije ruimte te garanderen.
  • CoM: Het CoM-hoogtetraject wordt aangepast op basis van de lijn die de huidige steunvoet verbindt met de geprojecteerde staplocatie.
• Efficiëntie: Deze synthese draait snel binnen de trainingslus, waardoor het beleid kan leren van referenties die fysiek consistent zijn met de directe omgeving.

2. Locomotiebeleid en Training

• Architectuur: Het beleid maakt gebruik van een enkelstapsarchitectuur op basis van een Multi-Layer Perceptron (MLP). Het koppelt proprioceptie en een enkele dieptecamerabeeld (resolutie 26x30) direct aan acties.
• Waarneming: Een ZED Mini-dieptecamera gemonteerd op de romp van de robot levert invoer. In simulatie wordt dit gemodelleerd via straalcasting met agressieve downsampling om ruis en artefacten uit de echte wereld na te bootsen.
• Beloningsontwerp: De training maakt gebruik van Control Lyapunov-functies (CLF-RL). Quadratische Lyapunov-functies worden gedefinieerd voor volgdoelen (bekken, zwaaiende voet, gewrichten). De beloningsfunctie bestaat uit twee termen:
  1. Een term die nauwkeurig volgen van het referentiesignaal aanmoedigt.
  2. Een term die de voldoening van de Lyapunov-decreesconditie stimuleert (zorgend dat het systeem naar de referentie beweegt).
     Deze benadering verdicht het beloningssignaal en biedt feedback zelfs wanneer volgen niet perfect is maar wel verbetert.
• Asymmetrische Actor-Critic: De actor ontvangt ruisbevatte proprioceptie en dieptedata, terwijl de criticus ruisvrije observaties en bevoorrechte informatie ontvangt (ware referenties, contactstaten, enz.).

3. Navigatie-Autonomie Stack

Het getrainde locomotiebeleid is geïntegreerd in een volledige autonomie-stack via een schone SE(2)-snelheidsinterface.

• Planner: Een Model Predictive Control (MPC)-planner werkt op een enkele integrator met een koersmodel. Het neemt een doelpose en een omgevingskaart (gegenereerd via LiDAR en FAST-LIO2) om botsingsvrije paden te plannen.
• Control Barrier Functions (CBF): De MPC integreert discrete-tijd CBF-beperkingen om botsingvermijding en robuustheid tegen volgfouten te garanderen.
• Uitvoering: De MPC geeft een traject van snelheidscommando's uit, die worden gevolgd door een feedbackregelaar en worden doorgegeven aan het RL-locomotiebeleid.

Belangrijkste Bijdragen

1. Omgeving-Geconditioneerde Referentiesynthese: Het artikel introduceert de eerste referentie-gestuurde RL-pipeline voor mensachtigen waarbij referenties online worden gemoduleerd om consistent te zijn met terreingeometrie (trappen, hellingen, discrete steunpunten) met behulp van een gereduceerd LIP-model binnen de trainingslus.
2. Vereenvoudigde Architectuur: Het resulterende beleid vertrouwt uitsluitend op een MLP zonder geschiedenisbuffers, waardoor de noodzaak voor complexe distillatie of recurrente netwerken wordt geëlimineerd, terwijl toch prestaties worden bereikt die vergelijkbaar zijn met op attentie gebaseerde modellen.
3. Integratie van Gesloten-Lus Autonomie: De methode integreert succesvol een waarnemend, referentie-gestuurd RL-beleid in een standaard navigatiestack. Het demonstreert autonome navigatie over lange horizon (>70m) op de Unitree G1 door buitenomgevingen met ruw terrein en opeenvolgende trappen, waarbij alle sensoren en berekeningen aan boord plaatsvinden.

Resultaten

Simulatie

• Volgprestaties: Het conditioneren van referenties op de omgeving verbeterde de volgprestaties aanzienlijk in vergelijking met het gebruik van ongewijzigde (omgevingsongebonden) referenties. Op trappenterrein werd de volgfout met een factor twee verminderd.
• Modelcomplexiteit: Het eenvoudige, op MLP gebaseerde beleid ("Ours") bereikte statistisch vergelijkbare volgfouten als een complexere architectuur met cross-attention ("Ours (Attn)") over vlakke, hellende en trappenterreinen. Het MLP-versie vereiste echter aanzienlijk minder VRAM (14GB versus 60GB) en is eenvoudiger te implementeren.

Hardware-implementatie

• Platform: Unitree G1 mensachtige robot uitgerust met een ZED Mini-dieptecamera en een Livox MID360 LiDAR.
• Prestaties: Het systeem voerde succesvol gesloten-lus autonome navigatie uit in mensgerichte buitenomgevingen.
  • Trappen: De robot navigeerde autonoom 15 opeenvolgende trappen.
  • Lange Horizon: De robot navigeerde meer dan 70 meter, waarbij het boomwortels, ruw terrein, stoepranden en twee sets trappen doorkruiste.
  • Binnen/Buiten Overgang: De robot klom buiten trappen op, betrad een gebouw en klom binnen trappen op.
• Vergelijking: In tegenstelling tot eerdere werken die vertrouwen op blinde, modelgebaseerde controllers voor navigatie of waarnemende RL-methoden die niet zijn geïntegreerd in autonomie-stacks, demonstreert dit werk een waarnemings-geconditioneerd, referentie-gestuurd beleid dat fungeert als de locomotielayer voor een volledige autonomie-stack.

Betekenis en Claims

Het artikel beweert dat dit werk de kloof overbrugt tussen hoogpresterende referentie-gestuurde locomotie en praktische navigatie-autonomie. Door referenties te synthetiseren die consistent zijn met het terrein tijdens training, stelt de methode het RL-beleid in staat om robuuste gedragingen te leren voor ongestructureerde omgevingen zonder complexe, op geschiedenis gebaseerde architecturen te vereisen.

De betekenis ligt in de SE(2)-snelheidsinterface, die het locomotiebeleid in staat stelt om een plug-and-play-component te zijn voor standaard navigatieplanners. Dit maakt de implementatie van wendbare, waarnemende mensachtige locomotie mogelijk in realistische scenario's (trappen, ruw terrein) die eerder ontoegankelijk waren voor referentie-gestuurde methoden vanwege hun gebrek aan omgevingsconditionering en planningscompatibiliteit. De auteurs positioneren dit als een stap naar algemene mensachtige navigatie in mensgerichte omgevingen, verder dan vlakke grond of op het lab gebouwde aangepaste terreinen.