Technische Samenvatting: Perceptive Behavior Foundation Model

Probleemstelling

Humanoid gedragsfundamentmodellen streven naar het verwerven van herbruikbare whole-body controlebeleid vanuit brede menselijke bewegingsprioriteiten, waardoor een enkele controller diverse en expressieve gedragen kan produceren. Echter, bestaande bewegingsgerichte fundamentbeleidsregels opereren onder een cruciale aanname: dat de referentiebeweging al fysiek compatibel is met de omgeving van de robot.

Deze aanname faalt in scenario's van operator–omgeving-mismatch, waarbij de menselijke demonstrant, de operator en de robot verschillende omgevingen bewonen. Een menselijke bewegingsopdracht specificeert intentie en stijl, maar codeert inherent niet de voetplaatsen, zwaaibaan-vrijheid, lichaamshoogte of contacttiming die vereist zijn door de lokale terrein van de robot (bijv. trappen, verspreide steunpunten of obstakels). Als gevolg hiervan kan een robot die probeert een referentie op vlakke grond te volgen op complex terrein, falen door botsingen, verlies van evenwicht of onhaalbare kinematica. De kernuitdaging is het funderen van menselijke bewegingsprioriteiten in robot-gecentreerde perceptie zonder de ruwe bewegingsopdrachtsinterface te wijzigen.

Methodologie: Perceptive Behavior Foundation Model (Perceptive BFM)

De auteurs stellen Perceptive BFM voor, een single-policy framework dat ruwe kinematische bewegingsreferenties behoudt als de deployment-opdracht, terwijl het lokale terreinobservaties gebruikt om contacten, houding en timing aan te passen. De aanpak is gebouwd rond een gefaseerd Perceptive Motion Tracking (PMT) trainingsalgoritme.

1. Terrain-Conformal Reference Synthesis (TCRS)

Om schaalbare terreinsupervisie te bieden, ontwikkelen de auteurs een offline synthesepipeline die ruwe menselijke bewegingsclips en gesampleerde hoogtevelden omzet in terrein-consistente referenties ($m_{tcrs}$). Deze module lost geen volledige contactrijke dynamica op, maar construeert contact-consistente, vloeiende en stijl-behoudende referenties door middel van:

• Contact-bewuste voetplaatsconstructie: Het vastzetten van standvoeten aan terreinoppervlakken terwijl de globale loopfase en nominale voetvaltiming behouden blijven.
• Foot-geometrie-bewuste zwaaibaanoptimalisatie: Het optimaliseren van een virtuele mid-foot traject (het balanceren van teen- en hakvrijheid) met behulp van een sampling-gebaseerde trajectoptimizer om terreindiscontinuïteiten te vermijden.
• Support-bewuste root-reconstructie: Het reconstrueren van de root (bekken) hoogte op basis van steuncontacten en beenbereikbaarheid.
• Collision repair en multi-point leg IK: Het oplossen van een gedempte, support-bewuste multi-point Jacobian Inverse Kinematics (IK) probleem voor de twaalf been-gewrichten om botsingen te resolven en kinematische haalbaarheid te garanderen.

2. Teacher-Student Training Pipeline

Het trainingsproces omvat vier stadia:

• Stadia 1 (Offline Synthese): TCRS genereert gepaarde datasets van ruwe referenties ($m_{raw}$), terrein-consistente referenties ($m_{tcrs}$) en terreinkaarten ($\tau$).
• Stadia 2 (Blind Teacher Training): Een "blinde" Transformer-gebaseerde teacher policy wordt getraind via Proxenteal Policy Optimization (PPO) om de gesynthetiseerde $m_{tcrs}$ referenties te volgen. Deze teacher heeft toegang tot geprivilegieerde informatie (de aangepaste referentie) maar geen visuele terreininput.
• Stadia 3 (Vision Student Distillatie): Een "vision student" policy, die de originele ruwe referentie ($m_{raw}$) en een lokale terreenscan ontvangt, wordt gedistilleerd van de teacher.
  • Target-Frame Action Alignment: Omdat de teacher handelt op $m_{tcrs}$ en de student op $m_{raw}$, leert de student de effectieve joint target van de teacher te imiteren, uitgedrukt relatief aan de ruwe referentie: $a^*_t = (q_{tcrs} + \mu_{tea}) - q_{raw}$.
  • Identity-Gated Architectuur: De student is een identity-gated Transformer. Terreinfuncties komen binnen via residual pathways die geïnitialiseerd zijn op nul. Dit zorgt ervoor dat de student bij initialisatie exact handelt als een raw-reference tracker, en pas terrein-geconditioneerde correcties leert wanneer deze de tracking-objective verbeteren.
• Stadia 4 (PPO Fine-tuning): De student wordt gefinetuned met PPO met behulp van ruwe-referentie commando's en terreinobservaties, waarbij de overgedragen bewegings-prior conservatief wordt bijgewerkt terwijl lokale perceptie-geconditioneerde correcties worden geleerd.

Belangrijkste Bijdragen

1. TCRS Pipeline: Een schaalbare offline synthesemethode die ruwe menselijke beweging en terreinhoogtevelden omzet in terrein-consistente supervisie via contact-bewuste voetplaatsconstructie, zwaaibaanoptimalisatie, root-reconstructie en multi-point IK.
2. PMT Algoritme: Een raw-reference teacher-student framework dat terrein-bewust gedrag implementeert zonder de command interface te veranderen. Het draagt terrein-consistent gedrag over van een blinde teacher naar een vision student via target-frame action alignment.
3. Identity-Gated Policy Design: Een Transformer policy die initialiseert als een raw-reference tracker en terrein-geconditioneerde residuale correcties leert. Dit maakt een enkele command interface mogelijk die locomotie, expressieve bewegingen, acrobatiek en operator–omgeving-mismatch ondersteunt over diverse terreinen.

Resultaten

De paper evalueert Perceptive BFM over vijf niveaus:

• TCRS Kwaliteit: Op stepping stones met trappen reduceert TCRS collision-gevoelige metrieken aanzienlijk vergeleken met baselines (Z-offset en Cubic Interp+IK). Specifiek reduceert het penetratiediepte van 5,48 cm (Z-offset) naar 2,38 cm en clearance violations van 14,3% (Cubic) naar 7,4%.
• End-of-Training Diagnostiek: In een gangbare 10k-iteratie PPO setup bereikt de volledige PMT policy een gelogde closed-loop succesratio van 55,1%, wat de ablations aanzienlijk overtreft:
  • Zonder TCRS (alleen raw reference): 27,3%
  • Zonder vision (blind): 26,5%
  • Zonder target-frame alignment: 26,7%
  • Zonder identity gating: 30,4%
• Cross-Terrain Simulatie: In fixed-policy rollouts over 30 bewegingscommando's en 5 terreinfamilies (trappen, hellingen, verspreide steunpunten, terugliggende obstakels, gemengde binnenruimtes), bereikt PMT een voltooiingspercentage van 55,1% vergeleken met 27,3% voor de raw-reference baseline. PMT vertoont ook een lagere incidentie van lower-leg botsingen (10,0% vs. 24,7%).
• Real-Robot Deployment: Een enkele policy werd ingezet op een 29-DoF Unitree G1 robot. Het voerde succesvol diverse gedragen uit (één-been achterwaartse salto's, trapdansen, arm-zwaaiende hardlopen, zijwaarts trapwandelen) over indoor, outdoor en mocap-mismatch settings. De robot behield het gecommandeerde bovenlichaam gedrag terwijl perceptie de voetplaatsen en de vrijheid van de zwaaibaan online oploste.

Betekenis en Claims

De paper claimt dat robot-gecentreerde perceptie menselijke bewegingsprioriteiten kan omzetten in terrein-compatibel whole-body gedrag zonder de ruwe bewegingscommand interface te wijzigen.

De betekenis ligt in het overbruggen van de kloof tussen generalistische gedragsfundamentmodellen (die uitblinken in expressieve tracking maar terrein negeren) en perceptieve locomatie-policies (die terrein afhandelen maar vaak menselijke intentie vervangen door autonome vaardigheden). Perceptive BFM demonstreert dat een enkele policy de "intentie en stijl" van een menselijke operator kan behouden terwijl het de fysieke realisatie (contacten, houding, timing) dynamisch aanpast aan de lokale omgeving van de robot. De auteurs merken op dat deze aanpak het hergebruik van brede menselijke bewegingsprioriteiten voor complexe taken zoals acrobatiek en teleoperatie in mismatched omgevingen mogelijk maakt, mits het bovenlichaam commando na de onderlichaam correctie nog steeds haalbaar is.

De paper erkent beperkingen, waaronder de aanname van statisch, rigide terrein en het gebrek aan upper-body collision awareness (armen/torso kunnen nog steeds obstakels raken als het commando collision-unaware is). Toekomstig werk wordt gesuggereerd om dynamisch/vervormbaar terrein en upper-body adaptatie aan te pakken.