💻 computer science

Towards Bridging the Gap between Large-Scale Pretraining and Efficient Finetuning for Humanoid Control

Dit artikel introduceert een hybride aanpak die de schaalbaarheid van Soft Actor-Critic voor pretraining combineert met veilige, modelgebaseerde finetuning om robuuste en sample-efficiënte besturingsbeleid voor humanoïden te realiseren.

Oorspronkelijke auteurs: Weidong Huang, Zhehan Li, Hangxin Liu, Biao Hou, Yao Su, Jingwen Zhang

Gepubliceerd 2026-02-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Weidong Huang, Zhehan Li, Hangxin Liu, Biao Hou, Yao Su, Jingwen Zhang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een mensachtige robot wilt leren lopen. Dit is een enorme uitdaging, vergelijkbaar met het proberen een kind te leren lopen, maar dan met duizenden metalen onderdelen en sensoren.

Deze paper, getiteld LIFT (Large-scale pretraIning and efficient FineTuning), introduceert een slimme manier om dit te doen. Ze lossen het probleem op van hoe je een robot eerst snel en veilig kunt trainen in een virtuele wereld, en hem daarna snel kunt aanpassen aan de echte wereld zonder dat hij omvalt of zijn batterij in een uur leegloopt.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

Het Grote Probleem: De "Leercurve" van Robots

Vroeger trainden robot-onderzoekers hun robots met een methode die we PPO noemen.

De analogie: Stel je voor dat je een robot traint door hem in een virtuele wereld duizenden keren te laten vallen en weer op te laten staan. PPO is als een student die alleen maar uit zijn eigen ervaring leert. Als hij een fout maakt, gooit hij die ervaring weg en begint hij opnieuw.
Het nadeel: Dit werkt snel in de computer, maar als je de robot in de echte wereld zet en hij moet iets nieuws leren (bijvoorbeeld op gras lopen in plaats van op beton), moet hij alles opnieuw leren. Dat kost te veel tijd en is gevaarlijk (de robot kan zichzelf beschadigen).

Andere methoden (Off-policy of Model-based) proberen slimmer te zijn door oude ervaringen op te slaan of een "droomwereld" te gebruiken, maar ze zijn vaak te traag om in de eerste plaats een goede basis te leggen.

De Oplossing: Het LIFT-Framework

De auteurs van dit paper hebben een drie-stappenplan bedacht dat de beste eigenschappen van verschillende methoden combineert. Noem het LIFT:

Stap 1: De "Super-Trainingscamp" (Pretraining)

In plaats van de robot langzaam te laten oefenen, zetten ze hem in een massieve virtuele simulatie met duizenden parallelle robots die tegelijkertijd trainen.

De analogie: In plaats van één student die een jaar lang les krijgt, hebben ze een school met duizenden studenten die allemaal tegelijk oefenen. Ze gebruiken een slimme trainer (een algoritme genaamd SAC) die niet alleen uit eigen fouten leert, maar ook uit de fouten van de duizenden anderen.
Het resultaat: De robot leert in minder dan een uur op een gewone computer (een enkele GPU) hoe hij stabiel kan lopen. Hij is zo goed getraind dat hij, zonder enige aanpassing, direct op een echte robot kan worden gezet en kan lopen (dit noemen ze "zero-shot deployment").

Stap 2: De "Droomwereld" (Physics-Informed World Model)

Nu de robot al kan lopen, willen we hem aanpassen aan nieuwe situaties (bijvoorbeeld op hellingen of met een ander tempo). Maar we kunnen de robot niet in de echte wereld laten vallen om te leren.

De analogie: De robot bouwt een virtuele kopie van de echte wereld in zijn hoofd. Dit is geen willekeurige droom, maar een fysiek correcte droom. Het is alsof de robot een simulator heeft die precies weet hoe zwaartekracht en contact met de grond werken, maar dan aangevuld met een "gevoel" voor de echte wereld.
De slimme truc: De robot leert niet door in de echte wereld te struikelen. Hij leert door in zijn droomwereld te experimenteren. Hij probeert daar duizenden nieuwe manieren om te lopen, en omdat het een fysiek correcte droom is, leert hij daar veilig en snel.

Stap 3: De "Veilige Oefening" (Fine-tuning)

Als de robot in zijn droomwereld een nieuwe vaardigheid heeft gevonden, past hij deze toe in de echte wereld.

De analogie: Stel je voor dat de robot in de echte wereld alleen voorspelbare, veilige bewegingen maakt (geen willekeurige trillingen die hem kunnen laten vallen). Als hij in de echte wereld loopt, verzamelt hij alleen data. De echte "speelruimte" en het uitproberen van nieuwe dingen gebeurt alleen in zijn hoofd (de droomwereld).
Het voordeel: De robot wordt niet gevaarlijk in de echte wereld, maar wordt wel steeds slimmer door te dromen. Dit maakt het trainen extreem efficiënt: met slechts een paar minuten echte data kan de robot zich aanpassen aan nieuwe omgevingen.

Waarom is dit zo belangrijk?

Veiligheid: De robot valt niet constant in de echte wereld omdat hij eerst in zijn "droom" leert.
Snelheid: Het duurt maar een paar minuten om de robot aan te passen aan een nieuwe situatie, in plaats van dagen.
Kosten: Je hebt minder dure hardware en minder menselijke supervisie nodig.

Samenvattend

De auteurs hebben een manier gevonden om een robot eerst super-snel te trainen in een virtuele wereld (zoals een olympisch trainingskamp) en hem daarna slim en veilig te laten aanpassen aan de echte wereld door te leren in een fysiek correcte droom.

Het is alsof je een atleet eerst duizenden keren laat rennen in een virtuele realiteit om spiergeheugen te bouwen, en hem daarna alleen nog maar laat rennen op het echte veld om de laatste paar meters te perfectioneren, zonder dat hij ooit hoeft te vallen.

Titel: Towards Bridging the Gap Between Large-Scale Pretraining and Efficient Finetuning for Humanoid Control (LIFT)

Auteurs: Weidong Huang, Zhehan Li, Hangxin Liu, et al. (BIGAI & Xidian University)
Publicatie: ICLR 2026

1. Het Probleem

Het trainen van humanoïde robots voor complexe bewegingsopdrachten (locomotie) staat voor twee fundamentele uitdagingen die vaak tegenstrijdig zijn:

On-policy methoden (zoals PPO): Deze methoden zijn zeer robuust en kunnen snelle convergentie bereiken in massaal parallelle simulaties (duizenden omgevingen tegelijk). Ze staan vaak toe dat een beleid direct ("zero-shot") wordt ingezet op echte robots. Echter, ze hebben een lage sample-efficiency. Als de robot in een nieuwe omgeving terechtkomt of als er weinig data beschikbaar is, moeten ze veel nieuwe data verzamelen en verwerpen ze oude ervaringen, wat veiligheidsrisico's en inefficiëntie met zich meebrengt.
Off-policy en model-based methoden: Deze methoden zijn zeer sample-efficiënt en kunnen oude data hergebruiken. Echter, het trainen van deze methoden van scratch (vanaf nul) in simulatie is vaak traag in "wall-clock time" (werkelijke tijd) en ze kampen met stabiliteitsproblemen bij de overgang naar de echte wereld (sim-to-real). Bovendien kan directe stochastische exploratie in de echte wereld gevaarlijk zijn voor humanoïden, die gevoelig zijn voor valpartijen door kleine steunvlakken.

Er bestaat dus een "kloof" tussen het snel, robuust pre-trainen in simulatie en het veilig, data-efficiënt aanpassen (finetunen) aan nieuwe omgevingen.

2. Methodologie: Het LIFT Framework

De auteurs introduceren LIFT (Large-scale pretraIning and efficient FineTuning), een drie-fasen framework dat de voordelen van beide werelden combineert:

Fase 1: Large-Scale Policy Pretraining

Algoritme: In plaats van de gebruikelijke PPO, kiezen de auteurs voor Soft Actor-Critic (SAC), een off-policy algoritme.
Implementatie: Ze hebben een schaalbare implementatie van SAC in JAX ontwikkeld. Dit maakt gebruik van vaste tensor-vormen voor efficiënte kernel-hergebruik en fusie.
Schaalbaarheid: Het systeem draait op duizenden parallelle omgevingen (MuJoCo Playground) op één enkele GPU (NVIDIA RTX 4090).
Technische details: Ze gebruiken een hoge Update-To-Data (UTD) ratio (tot 10 updates per data-punt) en grote batch-groottes. Dit versnelt de training aanzienlijk zonder extra stabilisatoren nodig te hebben, wat resulteert in robuuste convergentie binnen een uur.
Doel: Het creëren van een sterk basisbeleid dat zelfs direct op een echte robot kan worden ingezet (zero-shot deployment).

Fase 2: Physics-Informed World Model Pretraining

Offline Training: Na het pre-trainen van het beleid, wordt een wereldmodel getraind op de verzamelde data (offline).
Fysica-gedreven: Het wereldmodel is geen puur neurale netwerkschatting, maar een Physics-Informed World Model. Het combineert bekende Lagrangiaanse dynamica (massa, Coriolis, zwaartekracht) met een residual network.
Residual Learning: Het neurale netwerk leert alleen de onbekende factoren: contactkrachten en dissipatieve krachten (wrijving, parasitaire torque). Dit vermindert de modelbias en verbetert de voorspellingsnauwkeurigheid, zelfs met beperkte data.
Differentiatie: Het model is volledig differentieerbaar (gebaseerd op Brax), wat end-to-end training mogelijk maakt.

Fase 3: Efficient Finetuning

Dit is de kerninnovatie voor veilig aanpassen:

Deterministische Actie in de Wereld: Bij het verzamelen van data in de nieuwe omgeving (of de echte robot) wordt geen ruis toegevoegd. De robot voert alleen de deterministische gemiddelde actie uit ( $\mu_\theta(s)$ ). Dit elimineert het risico op valpartijen door willekeurige exploratie.
Stochastische Exploratie in het Model: De exploratie vindt plaats binnen het voorgeprogrammeerde wereldmodel. Het SAC-beleid gebruikt zijn stochastische actor om rollouts te genereren in de simulatie van het wereldmodel.
Iteratief Proces:
1. Verzamel data in de echte/simulatie omgeving met deterministische acties.
2. Finetune het wereldmodel op deze data.
3. Genereer synthetische data via rollouts in het wereldmodel (waar exploratie veilig is).
4. Gebruik deze synthetische data om het actor-critic paar te updaten.
5. Herhaal.

3. Belangrijkste Bijdragen

Schaalbare SAC Implementatie: Een JAX-gebaseerde SAC die massaal parallel pre-trainen mogelijk maakt op één GPU, met succesvolle zero-shot deploy op een fysieke humanoïde (Booster T1) binnen een uur trainingstijd.
Veilige Finetuning Strategie: Een unieke aanpak waarbij exploratie strikt wordt beperkt tot het wereldmodel, terwijl de robot in de realiteit alleen deterministische acties uitvoert. Dit combineert veiligheid met sample-efficiency.
Physics-Informed World Model: Een hybride model dat fysica-priors (Lagrangiaanse dynamica) combineert met data-gedreven residual learning, wat leidt tot stabielere en nauwkeurigere voorspellingen dan puur datagedreven modellen (zoals MBPO).
Open Source Pipeline: Een volledig open-source framework dat pre-training, zero-shot deploy en finetuning voor humanoïden omvat.

4. Resultaten

De methode werd getest op twee platforms: Booster T1 (12-DoF, benen) en Unitree G1 (29-DoF, volledig lichaam).

Pretraining: LIFT (SAC) bereikte vergelijkbare of betere prestaties dan PPO en FastTD3 in termen van convergentiesnelheid en uiteindelijke beloning, met name op ruw terrein.
Sim-to-Sim Finetuning: Bij het aanpassen aan nieuwe snelheden (binnen en buiten de trainingsdistributie) in een andere simulator (Brax):
- LIFT convergeerde stabiel naar de gewenste snelheid (bijv. 1.5 m/s) met minimale oscillaties.
- PPO en FastTD3 faalden vaak of divergeerden door instabiliteit bij deterministische datacollectie.
- SSRL (SAC zonder pretraining) faalde bij hogere snelheden en kon niet convergeren.
Real-World Finetuning: Op de fysieke Booster T1 robot verbeterde LIFT een instabiel startbeleid aanzienlijk na slechts enkele minuten (80-590 seconden) aan datacollectie. De robot leerde een stabiel looppatroon en betere snelheidsregeling.
Ablatie Studies:
- Zonder world-model pretraining was de sample-efficiency lager.
- Zonder large-scale pretraining (starten van scratch) faalde het systeem vaak in lokale minima.
- Een puur neurale wereldmodel (MBPO-stijl) faalde volledig door fysiek onrealistische voorspellingen tijdens rollouts, wat de noodzaak van fysica-priors onderstreept.

5. Betekenis en Toekomstperspectief

Dit paper biedt een praktische oplossing voor een van de grootste problemen in de robotica: hoe maak je humanoïden zowel snel te trainen als veilig aanpasbaar aan nieuwe situaties?

Veiligheid: Door exploratie uit de echte wereld te halen en naar het model te verplaatsen, worden valpartijen tijdens het leren geminimaliseerd.
Efficiëntie: De combinatie van massaal parallel pre-trainen en model-based finetuning verkort de tijd die nodig is om een robot aan te passen van dagen/uren naar minuten.
Toekomst: De auteurs wijzen op beperkingen zoals de noodzaak van externe motion capture voor hoogte-schatting en het ontbreken van visuele input. Toekomstig werk richt zich op het automatiseren van veiligheidsresetten en het integreren van visuele waarneming voor meer complexe taken (zoals manipulatie).

Samenvattend toont LIFT aan dat het combineren van de schaalbaarheid van moderne GPU-simulatie met de data-efficiëntie van fysica-gedreven model-based learning een krachtige route is naar robuuste en adaptieve humanoïde controle.