💻 computer science

Perception-and-action system for humanoid robot task execution in construction

Dit artikel stelt een nieuw perceptie-en-actiesysteem voor bestaande uit Humanoid-PoseNet en Humanoid-ActionNet, dat humanoïde robots in staat stelt om constructietaken te leren en betrouwbaar uit te voeren op basis van menselijke demonstraties, waarbij een gemiddelde bewegingsvolgfout van 82,45 mm wordt bereikt.

Oorspronkelijke auteurs: Yanxi Liu, Yizhi Liu

Gepubliceerd 2026-08-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yanxi Liu, Yizhi Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin robots niet alleen maar lompe machines op wielen of armen zijn die aan een muur zijn geschroefd, maar partners die eruitzien en bewegen als wij. Dit is het domein van de humanoïde robotica, een vakgebied dat probeert machines te bouwen die onze door mensen gemaakte ruimtes kunnen binnenlopen—zoals bouwplaatsen, keukens of kantoren—en het zware werk kunnen verrichten zonder voor elke stap een handleiding nodig te hebben. De grote uitdaging? Mensen zijn rommelig, flexibel en uniek; robots zijn precies, rigide en gebouwd volgens specifieke blauwdrukken. Als je probeert een menselijke beweging direct te kopiëren naar een robot, kan de robot struikelen, vallen of een gewricht breken omdat de benen korter zijn of de heupen anders buigen. Om dit op te lossen, gebruiken wetenschappers motion retargeting (een chique manier om te zeggen: "menselijke bewegingen vertalen naar robotbewegingen") en reinforcement learning (een methode waarbij een robot leert door middel van vallen en opstaan, waarbij hij "beloningen" krijgt voor het rechtop blijven staan en "straffen" voor het vallen). Het doel is om robots te laten leren door naar ons te kijken, zodat ze uiteindelijk ons kunnen helpen bij het bouwen van onze wereld, door bakstenen te dragen of ladders te beklimmen net zoals een menselijke arbeider dat zou doen.

Maak kennis met deze nieuwe studie, die fungeert als een meestervertaler en een strenge coach voor een robot genaamd Unitree G1. De onderzoekers wilden zien of een humanoïde robot de bewegingen van een bouwvakker die een taak uitvoert kon begrijpen, begrijpen wat diegene doet, en het vervolgens zelf kon doen zonder om te vallen. Ze bouwden een tweeledig systeem om dit mogelijk te maken. Eerst creëerden ze een "vertaler" genaamd Humanoid-PoseNet. Denk aan dit als een superintelligent camera-brein dat een video van een menselijke werker bekijkt. Het ziet niet alleen een persoon; het berekent exact waar elk gewricht zich in de 3D-ruimte bevindt. Maar hier komt het lastige deel bij: een menselijk lichaam is anders gevormd dan een robotlichaam. Daarom herschrijft dit brein de menselijke bewegingen onmiddellijk naar een versie die past bij de specifieke lichaamsvorm van de robot, zodat de robot niet probeert zijn gewrichten op onmogelijke manieren te draaien.

Zodra de robot weet wat hij moet bewegen, moet hij nog uitzoeken hoe hij moet bewegen zonder tegen de vlakte te gaan. Hier komt het tweede deel, Humanoid-ActionNet, in beeld. Dit is de interne coach van de robot, getraind met een "teacher-student"-methode. De "leraar" is een superkrachtige versie van de robot die in een computersimulatie leeft en alles weet over fysica (zoals hoe zwaar een baksteen is of hoe glad de grond is). De leraar leert de perfecte manier van bewegen om het evenwicht te bewaren. Vervolgens leert deze een "student"-versie van de robot. De student is degene die daadwerkelijk de echte wereld in gaat, maar mag niet vertrouwen op geheimen van de fysica; de student moet leren door simpelweg de eigen gewrichten te voelen en de doelbewegingen te observeren, precies zoals een echte robot zou doen. Dit zorgt ervoor dat wanneer de robot de computer verlaat en een echte bouwplaats betreedt, hij niet in de war raakt door het verschil tussen de simulatie en de realiteit.

Het team testte dit systeem met 30 verschillende constructietaken, van het dragen van zware buizen en het stapelen van materialen tot het signaleren met vlaggen en het lopen op oneffen terrein. Ze begonnen met het opnemen van vijf menselijke vrijwilligers die deze taken uitvoerden in een motion-capture studio. Daarna lieten ze hun robotsysteem leren van deze opnames. De resultaten waren veelbelovend: de robot slaagde erin om acht van deze complexe constructiehandelingen te leren. In de computersimulaties volgde de robot de menselijke bewegingen met een gemiddelde fout van ongeveer 82,45 mm (Mean Per Joint Position Error) over al zijn gewrichten. Toen ze de robot in de echte wereld op de proef stelden, slaagde hij erin om buizen te dragen, betonblokken vast te houden en zelfs een vlag te zwaaien terwijl hij zijn evenwicht behield, wat bewees dat de "vertaling" en de "coaching" werkten.

De paper is echter voorzichtig om dit geen perfecte oplossing te noemen. De onderzoekers merkten op dat hoewel de robot deze taken kon uitvoeren, het niet vlekkeloos verliep. In de simulaties mislukten sommige pogingen, waarbij de robot zijn evenwicht verloor of struikelde, vooral wanneer de fysica van de echte wereld (zoals wrijving of gewicht) niet perfect overeenkwam met het computermodel. Ze wezen ook op het feit dat de handen van de robot niet zo behendig zijn als die van een mens, dus hoewel hij een blok kon vasthouden, kon hij het niet met dezelfde finesse grijpen als een menselijke arbeider. De studie suggereert dat deze aanpak een solide eerste stap is naar het hebben van robots die naast ons kunnen werken op bouwplaatsen, maar dat er nog veel werk te verrichten is om ze zo betrouwbaar en aanpasbaar te maken als de mensen die ze proberen na te bootsen. Het systeem toonde aan dat het mogelijk is om een robot te leren bewegen als een arbeider, maar de reis van "leren lopen" naar "een wolkenkrabber bouwen" staat nog maar aan het begin.

Technisch overzicht: Waarnemings- en actiesysteem voor de uitvoering van taken door humanoïde robots in de bouw

Probleemstelling

Bouwplaatsen zijn complexe, gevaarlijke en arbeidsintensieve omgevingen waar automatisering steeds noodzakender wordt om veiligheidsrisico's en tekorten aan arbeidskrachten aan te pakken. Hoewel gespecialiseerde robots (bijv. metselrobots, loopbots voor inspectie) al zijn ingezet, zijn deze vaak taakspecifiek en missen ze de veelzijdigheid om natuurlijk samen te werken met menselijke werkers in door mensen ontwor면de ruimtes. Humanoïde robots bieden een veelbelovende oplossing vanwege hun mensachtige morfologie, die aansluit bij bestaande gereedschappen en workflows, en hun hoge vrijheidsgraden (DoF), wat zorgt voor multi-task aanpassingsvermogen.

Het inzetten van humanoïde robots in de bouw staat echter voor twee primaire technische hiaten:

Morfologische mismatch: Bestaande methoden voor menselijke houdingsschatting produceren mensgerichte gegevens die niet direct kunnen worden toegepast op humanoïde robots vanwege verschillen in ledemaatverhoudingen, gewrichtsstructuren en aandrijfbeperkingen.
Fysieke haalbaarheid: Zelfs als menselijke bewegingen naar een humanoïde skelet worden teruggezet (retargeting), blijft het een grote uitdaging om deze kinematische referenties om te zetten in fysiek uitvoerbare lichaamsbrede acties die balans, contactstabiliteit en dynamische haalbaarheid behouden in contactrijke bouwomgevingen.

Methodologie

De auteurs stellen een Vision-based Perception-and-Action (VPA) systeem voor, ontworpen om humanoïde robots taken in de bouw direct te laten leren van menselijke demonstraties. Het systeem bestaat uit twee deep learning-modules: Humanoid-PoseNet en Humanoid-ActionNet.

1. Humanoid-PoseNet: Waarneming en Retargeting

Deze module overbrugt de kloof tussen visuele menselijke demonstraties en robot-uitvoerbare houdingen. Het bestaat uit twee sub-netwerken:

3D Human Pose Estimation: Maakt gebruik van standaardmodellen (specifiek werd PoseNet gekozen als optimaal) om 3D menselijke sleutelpunten te reconstrueren uit 2D RGB-videoframes.
Human-to-Humanoid Retargeting: Een diep netwerk met een architectuur gebaseerd op een gedeelde latente ruimte (twee encoders en één decoder) dat de geschatte menselijke houdingen mapt naar humanoïde-compatibele configuraties.
- Architectuur: Gebruikt Multi-Layer Perceptrons (MLP's) met een gedeelde latente ruimte.
- Trainingsdoel: Het netwerk wordt getraind met een combinatie van drie verliesfuncties om geometrische uitlijning en fysieke haalbaarheid te waarborgen:
  - Triplet Loss ( $L_1$ ): Gebruikt Bone-Direction Angular Error (BAE) om vergelijkbare mens-humanoïde houdingsparen in de latente ruimte te groeperen.
  - Reconstruction Loss ( $L_2$ ): Zorgt ervoor dat de decoder menselijke houdingen nauwkeurig kan reconstrueren uit robot-gecodeerde inputs.
  - Latent-Consistency Loss ( $L_3$ ): Dwingt af dat menselijke houdingen die gedecodeerd zijn naar robothoudingen consistent blijven wanneer ze opnieuw worden gecodeerd, wat de distributie-uitlijning tussen domeinen bevorduwt.

2. Humanoid-ActionNet: Whole-Body Control

Deze module leert een controlebeleid om de teruggezetde houdingen uit te voeren terwijl de dynamische stabiliteit behouden blijft. Het maakt gebruik van een Teacher-Student Reinforcement Learning (RL) framework:

Teacher Policy ( $\pi_{teacher}$ ): Getraind in simulatie (IsaacGym) met behulp van Proximal Policy Optimization (PPO). Deze heeft toegang tot "geprivilegieerde" observaties (bijv. exacte gewrichtsverschillen, wortelsnelheid) om taakbeloningen te maximaliseren terwijl fysieke beperkingen worden afgedwongen.
Student Policy ( $\pi_{student}$ ): Gedestilleerd uit de teacher om te opereren zonder geprivilegieerde observaties. Deze vertrouwt enkel op proprioceptieve staten (gewrichtsposities/snelheden) en een korte geschiedenis van eerdere staten, wat faciliteert voor robuuste sim-to-real transfer.
Reward Design: De beloningsfunctie is "physics-aware" en bevat termen voor:
- DoF en keypoint positie-tracking.
- Root lineaire snelheid en richting.
- Lichaamsrotatie en bovenlichaam coherentie.
- Voetcontact consistentie (slip penalty) en air-time shaping.
Deployment: De student policy geeft doelgewrichtshoeken uit, die via een Proportional-Derivative (PD) controller op de fysieke robot worden uitgevoerd.

Experimentele Opzet

Dataverzameling: Vijf menselijke proefpersonen voerden 30 bouwgerelateerde acties uit (bijv. buizen dragen, blokken tillen, signaleren, trappen klimmen) in een motion-capture omgeving.
Robotplatform: De Unitree G1 humanoïde robot (23 aangedreven DoF's) werd gebruikt voor zowel simulatie als fysieke inzet.
Evaluatieprotocol:
1. Retargeting Accuraatheid: Gemeten via Mean Per Joint Position Error (MPJPE) op een onafhankelijke testset.
2. Sim-to-Sim Transfer: Geëvalueerd over twee physics engines (IsaacGym en MuJoCo) om de robuustheid tegen verschillen in dynamische modellering te testen.
3. Sim-to-Real Transfer: Uitgerold op de fysieke Unitree G1 om acht geselecteerde bouwacties uit te voeren.

Belangrijkste Resultaten

Pose Retargeting: De Humanoid-PoseNet bereikte een gemiddelde MPJPE van 48,46 mm voor de 14-gewrichts humanoïde representatie, waardoor diverse menselijke houdingen succesvol werden vertaald naar haalbare robotconfiguraties.
Taakuitvoering: De Humanoid-ActionNet voerde acht bouwgerelateerde acties (bijv. een kruiwagen duwen, een buis dragen, signaleren) succesvol uit in zowel simulatie als op de fysieke robot.
Tracking Prestaties: Het systeem bereikte een gemiddelde motion-tracking fout van 82,45 mm MPJPE over de acht geteste acties.
Vergelijkende Prestaties: In vergelijkende studies tegen state-of-the-art whole-body control baselines (ExBody, OmniH2O, ExBody2) vertoonde de voorgestelde Humanoid-ActionNet een lagere gemiddelde MPJPE, wat wijst op superieure tracking-nauwkeurigheid voor constructiespecifieke bewegingen.
Falen Analyse: De studie erkende gevallen van falen tijdens de sim-to-sim transfer (bijv. verlies van balans, tracking-onderbreking), wat werd toegeschreven aan de moeilijkheden bij het modelleren van contactrijke dynamiek en de kloof tussen simulatie en hardware.

Betekenis en Claims

De auteurs positioneren dit werk als een eerste stap naar de inzet van humanoïde samenwerkers in de bouw. Het artikel claimt de volgende bijdragen:

Nieuwe Pipeline: Het is de eerste methode die een humanoïde robot in staat stelt om bouwtaken direct te leren en uit te voeren vanuit menselijke demonstraties, waarbij de specifieke uitdagingen van de bouwsector worden aangepakt.
Overbruggen van de Kloof: Het VPA-systeem overbrugt effectief de morfologische kloof tussen mensen en robots en de dynamische kloof tussen kinematische imitatie en fysiek stabiele uitvoering.
Praktische Toepasbaarheid: Door succesvolle sim-to-real transfer te demonstreren op een fysieke robot voor taken zoals materiaalverplaatsing en signaleren, biedt de studie een fundamentele stap voor de implementatie van robotica in de civiele techniek.
Aanpasbaarheid: Het systeem is aangetoond aanpasbaar aan verschillende humanoïde configuraties (getest op zowel Unitree G1 als H1 kinematica), wat wijst op potentieel schaalbaarheidsvermogen naar andere humanoïde platforms.

De auteurs blijven bescheiden over de huidige beperkingen en merken op dat het systeem zich momenteel richt op houdingsgebaseerde imitatie zonder expliciete modellering van gereedschap/materiaalinteractie, en dat robuustheid in zeer dynamische, contactrijke omgevingen verdere verfijning van beloningsfuncties en simulatie-realisme vereist.