💻 computer science

Constrained Whole-Body Tracking for Humanoid Robots

Dit artikel introduceert ConstrainedMimic, een real-time, differentieerbaar controleframework dat operational space control en control barrier functions integreert in reinforcement learning-policies om willekeurige veiligheidsrestricties — zoals botsingsvermijding en gewrichtslimieten — op humanoïde robots af te dwingen zonder hun tracking-prestaties significant te compromitteren.

Oorspronkelijke auteurs: Daniel Morton, Pranit Mohnot, Marco Pavone

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Daniel Morton, Pranit Mohnot, Marco Pavone

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een humanoïde robot voor als een zeer getalenteerde, behendige danser die door middel van trial-and-error (een proces dat Reinforcement Learning wordt genoemd) menselijke bewegingen heeft geleerd na te bootsen. Deze danser is ongelooflijk snel en kan achterwaartse salto's of complexe teleoperatie-taken uitvoeren. Echter, er is een probleem: de danser is zo enthousiast om te bewegen dat hij per ongeluk over zijn eigen voeten kan struikelen, tegen een tafel kan botsen of een gewricht op een manier kan draaien die het breekt. Hij heeft leren dansen, maar hij heeft niet de regels geleerd van "niet tegen dingen aanstoten" of "in balans blijven".

Dit papier introduceert een nieuw systeem genaamd ConstrainedMimic. Zie dit systeem als een uiterst waakzame veiligheidscoach die direct naast de danser staat. Deze coach leert de danser geen nieuwe moves; in plaats daarvan houdt de coach elke beweging in realtime in de gaten en duwt de ledematen van de danser net genoeg bij om hem veilig te houden, zonder de dans te verpesten.

Zo werkt het systeem, onderverdeeld in eenvoudige concepten:

1. Twee plaatsen om de veiligheidscoach toe te passen

Het artikel legt uit dat je deze veiligheidscontrole op twee verschillende punten in het "brein" van de robot kunt toepassen:

De Input (Het Plan): Voordat de danser zelfs maar begint te bewegen, bekijkt de coach het "script" (het bewegingsplan dat van een mens of een computer komt). Als het script zegt: "Sla je armen over elkaar op een manier die je eigen gezicht raakt", dan bewerkt de coach het script voordat de danser het ziet. Dit wordt Constrained Retargeting genoemd.
De Output (De Actie): Soms is het script prima, maar wordt de danser te enthousiast en beweegt hij te snel, waardoor hij doorschiet en iets raakt. In dat geval wacht de coach tot de danser bijna beweegt, en past dan een "rem" of een "stuurcorrectie" toe op de werkelijke spiercommando's. Dit wordt een Dynamic Safety Filter genoemd.

2. De "Onzichtbare Muur" Analogie

De kerntechnologie achter deze coach is iets dat Control Barrier Functions (CBFs) wordt genoemd.

Stel je voor dat de robot door een kamer loopt vol met onzichtbare, rubberachtige muren.

Botsingsvermijding: Als de robot te dicht bij een tafel (of zijn eigen arm) komt, duwt de rubberen muur terug. De coach berekent precies hoeveel er geduwd moet worden om de robot niet tegen de tafel te laten raken, maar niet meer dan nodig.
Gewrichtslimieten: Stel je voor dat de elleboog van de robot een rubberen band heeft die voorkomt dat hij te ver naar achteren buigt. De coach zorgt ervoor dat de robot die band nooit zo strak trekt dat hij knapt.
Balans (Zwaartepunt): Stel je voor dat de robot op een klein, onzichtbaar platform staat (zijn voeten). Als de robot te ver leunt en zijn "zwaartepunt" begint te driften naar de rand van het platform, verschuift de coach onmiddellijk het gewicht van de robot terug naar het midden, zodat hij niet omvalt.

3. Waarom slechts één controle niet genoeg is

Het artikel testte dit op een gesimuleerde robot (een Unitree G1) en vond enkele interessante zaken:

Het "Script" is niet genoeg: Zelfs als je de robot een "veilig" plan geeft, kan de robot nog steeds botsen omdat hij te snel beweegt; het is alsof je een bestuurder een kaart van een veilige route geeft; als ze te hard rijden, kunnen ze nog steeds een afslag missen.
De "Actie" controle is cruciaal: Je hebt de coach nodig om de werkelijke beweging (de output) te controleren om die overschoten op te vangen.
De Beste Combinatie: De veiligste methode is om beide controles te gebruiken: bewerk het plan en corrigeer de actie. Dit is als het hebben van een co-piloot die zowel de kaart corrigeert als het stuur grijpt als de bestuurder van de weg afwijkt.

4. De "Minimale Duw" Regel

Een belangrijk kenmerk van dit systeem is dat het minimaal invasief is.
Stel je voor dat de robot een delicate taak probeert uit te voeren, zoals het rijgen van een naald. Als een veiligheidsbeperking wordt geactiveerd (zoals het vermijden van een botsing), stopt de coach de robot niet volledig. In plaats daarvan maakt het de kleinst mogelijke aanpassing aan de beweging om het veilig te houden, zodat de robot de taak kan voltooien. Het respecteert het oorspronkelijke doel van de robot zo veel mogelijk.

5. Snelheid en Real-World Gebruik

Het systeem is ongelooflijk snel. Het draait op standaard computerchips (CPU's, GPU's en zelfs TPU's) met snelheden van 300 tot 500 keer per seconde.

Waarom snelheid ertoe doet: Als de coach traag is, kan de robot crashen voordat de coach kan reageren. Omdat dit systeem zo snel is, kan het fouten opvangen die zich in een fractie van een seconde voordoen, wat het veilig genoeg maakt voor gebruik in de echte wereld.

Samenvatting van de Resultaten

In hun tests simuleerden de onderzoekers scenario's zoals:

Zelfbotsing: De robot die probeert zijn armen over elkaar te slaan en zijn eigen gezicht te raken.
De "Karate Chop": Een menselijke hand die snel richting het gezicht van de robot beweegt (een scenario waar de robot niet op getraind is).
Balans: De robot die zo ver leunt dat hij zou vallen.

De bevindingen waren duidelijk:

Zonder de coach crashte de robot of werden de veiligheidsregels vaak geschonden.
Met alleen de "Plan" controle was het beter, maar de robot crashte nog steeds soms door de snelheid.
Met alleen de "Actie" controle was het erg veilig, maar soms te voorzichtig.
Met beide bleef de robot in bijna alle tests veilig, vermeed hij botsingen en bleef hij in balans terwijl hij de taken uitvoerde.

Kortom, ConstrainedMimic is een manier om een uiterst behendige, op leren gebaseerde robot direct een "veiligheidsinstinct" te geven dat hij niet uit zichzelf kan leren, wat ervoor zorgt dat hij zichzelf of anderen niet verwondt, zonder dat hij hiervoor opnieuw getraind hoeft te worden of aanzienlijk vertraagd wordt.

Technische Samenvatting: Constrained Whole-Body Tracking voor Humanoid Robots

Probleemstelling
Recente vooruitgang in reinforcement learning (RL) heeft humanoïde robots in staat gesteld om indrukwekkende whole-body behendigheid te bereiken in lokomotie, teleoperatie en manipulatie. Er blijft echter een kritieke kloof bestaan in het waarborgen van veiligheid en het voldoen aan restricties—met name die welke na de training worden gespecificeerd (bijv. nieuwe obstakels, dynamische omgevingen of specifieke operationele limieten). Bestaande RL-policies missen vaak inherente garanties voor botsingsvermijding, gewrichtslimieten of stabiliteit wanneer ze worden geconfronteerd met onvoorziene scenario's. Een ideaal runtime-veiligheidsframework moet minimaal invasief, policy-agnostisch, eenvoudig configureerbaar voor willekeurige restricties zijn en in staat zijn om op real-time snelheden (≥50 Hz) te opereren zonder dat herhaalde training van de policy nodig is.

Methodologie: ConstrainedMimic
De auteurs stellen ConstrainedMimic voor, een controleframework dat principes uit operational space control en Control Barrier Functions (CBFs) integreert om veiligheid te handhaven binnen RL-tracking policies. Het framework opereert op twee natuurlijke interventiepunten in de motion-tracking stack: de input kinematische referentie en de output gewrichtscommando's. Het maakt gebruik van drie verschillende methoden voor restrictiehandhaving, die allemaal zijn geformuleerd als differentieerbare Quadratic Programs (QPs) met behulp van de JAX-bibliotheek:

Constrained Retargeting (Input Niveau):
- Wordt toegepast tijdens het inverse kinematics (IK) retargeting proces waarbij menselijke beweging wordt toegewezen aan robot-kinematica.
- Een CBF wordt direct ingebed in het differentiële IK-probleem.
- Het doel minimaliseert de tracking-fout terwijl veiligheidsrestricties (bijv. zelfbotsing vermijden) worden nageleefd via een contact-geconstreind kinematisch model.
- Dit zorgt ervoor dat de referentiebeweging die naar de RL-policy wordt gevoed, inherent veilig is.
Kinematic Safety Filters (Input Niveau):
- Wordt toegepast op referenties die al getarget zijn (bijv. offline bewegingen).
- Werkt als een filter die een minimaal invasieve modificatie berekent van de referentiebeweging om aan restricties te voldoen.
- Maakt gebruik van een hiërarchisch doel: primaire taken tracken end-effectoren en het zwaartepunt (CoM) in de operational space, terwijl secundaire taken de houding tracken in de null space.
- De CBF-restricties zijn gebouwd op volledige contact-geconstreinde kinematica om de huidige contactmodus te respecteren (bijv. voorkomen dat voeten slippen).
Dynamic Safety Filters (Output Niveau):
- Wordt toegepast op de gewrichtscommando's (PD-targets) die door de RL-policy worden gegenereerd, vlak voor de uitvoering.
- Dit is de laatste verdedigingslaag, die opereert op de volledige contact-geconstreinde en onderactueerde systeemdynamica.
- De hiërarchie geeft prioriteit aan contactkracht-tracking voor de grondcontacten, gevolgd door bewegings- en houdingstaken gedefinieerd in termen van versnellingen.
- De QP lost voor veilige actuator-torques ( $\Gamma_{body}$ ) op, die vervolgens worden teruggekaart naar veilige PD-targets voor de robot.

Belangrijkste Bijdragen

Framework Architectuur: Identificatie van veiligheidshandhavingspunten op zowel de input (kinematica) als de output (dynamica) van de policy, waarbij een verenigd framework (ConstrainedMimic) wordt voorgesteld dat constrained retargeting, kinematische filters en dynamische filters combineert.
Taak-consistente Filtering: Constructie van CBFs op volledige contact-geconstreinde kinematica en dynamica, gekoppeld aan QP-doelen die de impliciete taakstructuur van motion tracking respecteren. Dit zorgt ervoor dat wanneer restricties actief zijn, de filter de policy minimaal beperkt door alleen de componenten met de laagste prioriteit te modificeren.
Differentieerbaarheid en Prestaties: Het gehele systeem is volledig differentieerbaar en geïmplementeerd in JAX, waardoor het kan draaien op CPU, GPU en TPU. Het bereikt frequenties van 300–500 Hz, wat de typische policy-frequenties (50 Hz) aanzienlijk overtreft, wat veiligheidshandhaving op hogere snelheden dan de control loop mogelijk maakt.
Zero-Shot Adaptatie: Het framework maakt het afdwingen van willekeurige runtime-restricties op vooraf getrainde policies mogelijk zonder hertraining.

Experimentele Resultaten
Experimenten werden uitgevoerd in simulatie op een Unitree G1 humanoïde met ongewijzigde vooraf getrainde policies (TWIST2 en SONIC).

Beperkingen van Baselines: Ongeconstreinde policies slaagden er niet in om aan veiligheidsrestricties te voldoen, zelfs niet voor scenario's die bekend waren tijdens de training (bijv. zelfbotsing), en slaagden er niet in om botsingen met externe obstakels te voorkomen door dynamische overshoot.
Effectiviteit van de Lagen:
- Alleen kinematische methoden verminderden overtredingen van restricties aanzienlijk, maar konden overtredingen veroorzaakt door dynamische overshoot niet voorkomen (bijv. een "karate chop" scenario waarbij de robot een veilige referentie overschiet).
- Alleen dynamische filters die op het niveau van de torque opereren, verminderden overtredingen aanzienlijk, maar vertoonden nog steeds kleine overtredingen door de complexiteit van de dynamica.
- Gecombineerde (Kinematisch + Dynamisch) handhaving bood de meest betrouwbare veiligheid, waarbij het aantal frames met overtredingen werd teruggebracht tot bijna nul (bijv. 0,02% voor zelfbotsing) en de maximale afstand van de overtreding werd geminimaliseerd.
Contactrestricties: De studie benadrukte dat het negeren van contactrestricties in de CBF-formulering (bijv. het aannemen van ongeconstreinde kinematica) leidt tot onhaalbare bewegingen (bijv. voeten die de grond verlaten) of mismatch in restricties. De voorgestelde methode houdt correct rekening met contactmodi.
Geobserveerde Beperkingen:
- Short-Horizon Failure: Single-step CBFs worstelen met discrete moduswijzigingen die vereist zijn voor lange-horizon veiligheid (bijv. beslissen om te "bukken" versus "limbo" onder een obstakel door).
- Contact Mode Breaking: Het handhaven van veiligheid tegen dynamische obstakels kan het verbreken van de huidige contactmodus vereisen (bijv. het initiëren van een stap), wat hogere-orde discrete besluitvorming vereist die niet volledig geautomatiseerd is in het huidige framework.

Betekenis en Claims
Het paper claimt dat ConstrainedMimic de kloof overbrugt tussen de behendigheid van learning-gebaseerde controle en de veiligheidsgaranties van model-gebaseerde controle. Door RL-policies te behandelen als "foundation models" en een runtime-veiligheidsframework eroverheen te leggen, demonstreren de auteurs dat:

Veiligheidsrestricties die onbekend waren tijdens de training, kunnen worden afgedwongen zonder hertraining.
Het framework zowel dynamische haalbaarheid als een groot aantal niet-convexe staat-restricties in real-time kan afhandelen.
De aanpak computationeel hanteerbaar en schaalbaar is, en efficiënt draait op edge-apparaten.

De auteurs blijven bescheiden over de beperkingen en erkennen dat het huidige systeem steunt op sterke aannames over staat-schatting en contactmodi, en dat hogere-orde semantische redenering (bijv. beslissen wanneer te stappen) een doel blijft voor toekomstig werk. Ze merken ook op dat hoewel dynamische filters minimaal invasief zijn, ze potentieel kunnen leiden tot out-of-distribution (OOD) staten, een afweging die zij verder willen onderzoeken.