Technische Samenvatting: LooperMuscle

Probleemstelling

Humanoïde whole-body tracking (WBT) vereist policies die diverse, hoogdimensionale menselijke bewegingen over alle gewrichten getrouw kunnen reproduceren. Hoewel off-policy reinforcement learning (RL) algoritmen zoals FastSAC de trainingstijd drastisch hebben verkort (bijv. naar 15 minuten) vergeleken met on-policy methoden zoals PPO (6 uur), lijden ze aan een significante "speed–performance gap". Bij WBT-taken levert FastSAC vaak een merkbaar lagere trackingkwaliteit op dan PPO.

De auteurs identificeren drie onderling verbonden structurele beperkingen die deze kloof veroorzaken:

1. Monolithische Policy-beperkingen: Single-network policies worstelen met het verwerken van heterogene dynamiek over verschillende lichaamsdelen (bijv. balans van de onderlichaam-stabiliteit versus de expressiviteit van het bovenlichaam), wat leidt tot suboptimale compromissen.
2. Scalaire Waarde-beperkingen: Standaard scalaire functies voor de waarde bieden slechts een enkele geaggregeerde kwaliteitsinschatting, waardoor credit assignment naar individuele lichaamsdelen moeilijk is in hoogdimensionale ruimtes.
3. Uniforme Replay-beperkingen: Standaard experience replay behandelt alle transities als gelijkwaardig, waardoor dominante policy-componenten de gradiëntsignalen monopoliseren terwijl onderpresterende componenten stagneren.

Methodologie: LooperMuscle

LooperMuscle is een samengesteld expert actor-critic framework dat is ontworpen om de speed–performance gap te dichten door drie nauw gekoppelde mechanismen te integreren in een gesloten trainingslus.

1. Multi-Expert Actor met Anti-Collapse Gating

In plaats van een monolithisch netwerk wordt de policy gedecomposed in $K$ expert-netwerken (Muscle Units).

• Architectuur: Een recruitment netwerk berekent de gating weights $w_{k,g}$ voor semantische gewrichtsgroepen (bijv. bovenlichaam versus onderlichaam).
• Fusie: De uiteindelijke actie is een gewogen som van expert-outputs, gemoduleerd door leerbare per-joint schalingfactoren ($S_{k,j}$) en output alignment coëfficiënten ($c_k$). Dit maakt grove groepsniveau-rekrutering en fijnmazige per-joint modulatie mogelijk.
• Anti-Collapse: Een KL-divergentie-gebaseerde load-balance regularisator voorkomt "gate collapse" (waarbij één expert domineert), waardoor wordt gegarandeerd dat zwakkere experts actief en gespecialiseerd blijven gedurende de training.

2. Expert-Aware Distributional Critic

Om het credit assignment probleem aan te pakken, is de critic-structuur isomorf gemaakt aan de expert-structuur van de actor.

• Per-Expert Heads: In plaats van een enkele scalaire head, behoudt de critic Distributional Value Function (DVF) heads voor elke expert, die return-distributies modelleren in plaats van punt-schattingen.
• Aggregatie: Deze per-expert distributies worden geaggregeerd met behulp van dezelfde gating weights die door de actor worden gebruikt. Dit zorgt ervoor dat de waardestructuur de actiestructuur weerspiegelt, wat fijnmazige credit assignment naar specifieke experts mogelijk maakt.
• Stabiliteit: Het ontwerp behoudt de dual-critic stabiliteit van Soft Actor-Critic (SAC) terwijl het profiteert van de voordelen van distributional RL (bijv. verminderde bias bij hoog-dynamische bewegingen).

3. Quota-Routed Replay met Deferred Scheduling

Om te voorkomen dat dominante experts de trainingsdata overspoelen, gebruikt de replay buffer een bijdrage-gerouteerde samplingstrategie.

• Bijdrage Tagging: Transities worden getagd met een expert-bijdrage vector op basis van de grootte van de bijdrage van elke expert aan de actie.
• Quota Sampling: Mini-batches worden geconstrueerd om te garanderen dat elke expert blootstelling krijgt aan de training proportioneel aan zijn toegewezen quota, wat de feedbackloop voorkomt waarbij sterke experts verbeteren terwijl zwakke experts stagneren.
• Deferred Scheduling: Moeilijke samples (die hoge trackingfouten vertonen) worden gerouteerd naar "deferred buckets". Deze worden dynamisch vrijgegeven op basis van de voortgang van de training ($\rho$), wat zorgt voor stabiele vroege convergentie terwijl de prestatieplafond progressief wordt verhoogd naarmate de training vordert.

Gesloten-lus Integratie

Deze drie componenten vormen een gesloten lus: expert-bijdragen sturen de data-routing; gerouteerde data vormt de waarde-lering; en waarde-gradiënten verfijnen de expert-specialisatie. Deze wederzijdse versterking onderscheidt LooperMuscle van het simpelweg stapelen van onafhankelijke modules.

Belangrijkste Resultaten

De methode werd geëvalueerd op een 29-DoF Unitree G1 humanoïde met behulp van 40 LAFAN1 bewegingssequenties uit zes categorieën (Walk, Run, Jump, Dance, Fight, Fall&GetUp).

• Speed–Quality Tradeoff:
  • PPO: Bereikt de hoogste trackingkwaliteit (Genormaliseerde Beloning: 1.0) maar vereist ~6 uur training.
  • FastSAC-MLP: Traint in ~15 minuten maar bereikt een aanzienlijk lagere kwaliteit (Genormaliseerde Beloning: 0.648; Body Error: 0.153m).
  • LooperMuscle: Traint in ~45 minuten, bereikt een Genormaliseerde Beloning van 0.723 en vermindert de body tracking error met 34.0% vergeleken met FastSAC-MLP (0.101m vs. 0.153m). Het herstelt een aanzienlijk deel van de kloof naar PPO terwijl het ~8x sneller is dan PPO.
• Generalisatie: Verbeteringen waren consistent over alle bewegingscategorieën, waarbij de grootste winsten (tot 40.6% foutreductie) werden waargenomen in hoog-moeilijke, contact-rijke taken zoals "Fall & GetUp".
• Ablatie: Het verwijderen van een enkele component (MoE Actor, Quota Replay, Deferred Scheduling, of Expert-Aware Critic) resulteerde in een degradatie van de prestaties, wat de noodzaak van het geïntegreerde ontwerp bevestigt. Het verwijderen van de MoE Actor veroorzaakte de grootste daling (+51.5% error), wat benadrukt dat de expert-decompositie de primaire bron van de representatieve winst is.
• Real-World Deployment: De policy werd succesvol uitgerold op een fysieke Unitree G1 met de Holosoma runtime stack. Ondanks het opnieuw trainen vanaf nul vanwege verschillen in de observatie-interface (het verwijderen van geprivilegieerde simulator-states), voerde de robot stabiele, expressieve whole-body Kungfu-sequenties uit.

Betekenis en Claims

Het artikel claimt dat LooperMuscle erin slaagt de hardnekkige speed–performance gap in humanoïde whole-body tracking aan te pakken. Door een gestructureerd mixture-of-experts framework te introduceren gekoppeld aan expert-bewuste waarde-estimatie en bijdrage-gerouteerde data-allocatie, herstelt de methode de trackingkwaliteit naar bijna PPO-niveaus, terwijl de snelle trainingstijden die kenmerkend zijn voor off-policy methoden behouden blijven.

De auteurs benadrukken dat deze aanpak praktische efficiëntie biedt voor snelle policy-iteratie in sim-to-real ontwikkeling. Het werk demonstreert dat het decompileren van de policy naar gespecialiseerde experts, in plaats van vertrouwen op monolithische netwerken, een breed nuttig ontwerpprincipe is voor hoogdimensionale humanoïde controle, effectief over zowel on-policy (PPO) als off-policy (FastSAC) paradigma's. De succesvolle real-world deployment valideert de praktische toepasbaarheid van de geleerde policies.