💻 computer science

Tree Learning: A Multi-Skill Continual Learning Framework for Humanoid Robots

Dit artikel introduceert Tree Learning, een lichtgewicht raamwerk voor continu leren bij humanoïde robots dat via een hiërarchisch parameter-erfmechanisme en multi-modale aanpassing nieuwe vaardigheden efficiënt uitbreidt zonder catastrofale vergeeting, wat wordt bevestigd door overlegende prestaties in diverse Unity-simulaties.

Oorspronkelijke auteurs: Yifei Yan, Linqi Ye

Gepubliceerd 2026-04-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yifei Yan, Linqi Ye

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Boom van Leren: Hoe Robots een Bos van Vaardigheden Krijgen zonder Alles te Vergeten

Stel je voor dat je een robot wilt leren om te lopen. Dat is makkelijk. Maar wat als je diezelfde robot ook wilt leren rennen, traplopen, op één been staan, en zelfs een bal trappen?

In de wereld van robotica is dit een groot probleem. Als je een robot iets nieuws leert, vergeet hij vaak alles wat hij eerder heeft geleerd. Dit noemen wetenschappers "catastrophical forgetting" (catastrofale vergetelheid). Het is alsof je een kind leert piano spelen, maar zodra je hem viool leert, vergeet hij alle pianostukjes.

De auteurs van dit paper, Yifei Yan en Linqi Ye, hebben een slimme oplossing bedacht die ze Tree Learning (Boom-Leren) noemen. Laten we kijken hoe dit werkt, zonder ingewikkelde wiskunde.

1. De Boom-structuur: Een Stam en Takken

Stel je een enorme boom voor.

De Stam (De Basis): De robot begint met één simpele vaardigheid: lopen op vlakke grond. Dit is de "stam". Het is de basis van alles.
De Takken (De Nieuwe Vaardigheden): Als de robot de stam goed beheerst, laten we hem een nieuwe vaardigheid leren, zoals rennen. In plaats van de robot helemaal opnieuw te programmeren, laten we deze nieuwe vaardigheid "groeien" uit de stam. Het is een tak die direct aan de stam vastzit.
De Tweede Laag Takken: Als de robot goed kan rennen, kunnen we daar nog een tak aan laten groeien, bijvoorbeeld traplopen. Of als hij kan hurken, laten we hem springen leren.

Het geheim: Elke tak "erft" de kennis van de stam en de takken eronder. De robot hoeft niet opnieuw te leren hoe hij zijn benen moet bewegen om niet om te vallen; hij gebruikt die kennis al. Hij bouwt gewoon iets nieuws bovenop wat hij al weet.

2. Waarom is dit zo slim? (Het "Geheugen" van de Robot)

Bij oude methoden probeerde je de robot alles tegelijk te leren (lopen, rennen, springen) in één groot brein. Dit leidde tot verwarring. Het brein probeerde te veel dingen tegelijk en raakte in de war, waardoor het oude kennis verloor.

Tree Learning doet het anders:

Gescheiden Breinen: Elke tak (elke vaardigheid) heeft zijn eigen kleine, gescheiden "neuronale netwerk".
Geen Verwarring: Omdat ze gescheiden zijn, kan de robot leren om een bal te trappen zonder dat zijn kennis over traplopen verdwijnt. Het is alsof je verschillende vakken in een bibliotheek hebt. Je leert een nieuw boek (een nieuwe vaardigheid) in een nieuw vakje, zonder de boeken in de andere vakjes te verstoren.
100% Onthouding: De robot vergeet nooit wat hij al kan. Hij onthoudt het lopen perfect, zelfs als hij duizend nieuwe trucs leert.

3. De "Voorafbedachte" Bewegingen

Om de robot te helpen, gebruiken de auteurs een slimme truc.

Voor periodieke bewegingen (zoals lopen of rennen, waar je benen in een ritme bewegen), geven ze de robot een soort "metronoom". Dit is een voorspelbaar patroon dat de robot als basis gebruikt. De robot hoeft niet te raden hoe hij zijn benen moet zwaaien; hij volgt het ritme en focust zich alleen op het aanpassen aan de grond.
Voor niet-periodieke bewegingen (zoals hurken of opstaan), gebruiken ze een "interpolatie". Stel je voor dat je een lijn trekt van "staand" naar "hurkend". De robot volgt die lijn. Dit maakt het leren veel sneller en veiliger.

4. De Proef: Super Mario en de Chinese Tuin

Om te bewijzen dat dit werkt, hebben ze twee leuke tests gedaan in een virtuele wereld (Unity):

Test 1: Super Mario. De robot moest zich gedragen als Mario. Hij liep, rende om een spook te ontvluchten, klom trappen op, kroop door tunnels, en trapte een bal. De robot kon moeiteloos schakelen tussen deze vaardigheden. Hij viel niet om en zijn bewegingen waren soepel.
Test 2: De Chinese Tuin. Hier moest de robot zelfstandig navigeren door een tuin met bruggen en trappen. Als hij ver moest lopen, schakelde hij automatisch over op "rennen". Als hij trappen zag, schakelde hij over op "traplopen". Hij deed dit allemaal zonder dat een mens hem elke seconde moest sturen.

Conclusie: Waarom is dit belangrijk?

Vroeger waren robots als studenten die alles opnieuw moesten leren als ze een nieuwe opdracht kregen. Tree Learning maakt ze tot meesters die bouwen op hun ervaring.

Efficiënt: Het kost minder tijd om nieuwe vaardigheden te leren.
Veilig: De robot vergeet nooit hoe hij rechtop moet blijven staan.
Flexibel: Je kunt de robot in real-time commando's geven (bijvoorbeeld: "ren nu!" of "klim nu!"), en hij schakelt soepel over zonder te struikelen.

Kortom: Tree Learning is de manier waarop robots leren om niet alleen slim te zijn, maar ook om een heel arsenaal aan vaardigheden te beheersen zonder ooit hun basis te verliezen. Het is de sleutel tot robots die echt kunnen meedoen in onze chaotische, veelzijdige wereld.

Probleemstelling

De ontwikkeling van embodied intelligence voor humanoïde robots evolueert van enkelvoudige taken naar multi-skill paradigma's. De kernuitdaging ligt in het efficiënt uitbreiden van nieuwe vaardigheden zonder catastrofaal vergeten (catastrophic forgetting) van eerder geleerde basisvaardigheden. Bestaande oplossingen hebben aanzienlijke tekortkomingen:

Mixture-of-Experts (MoE) modellen: Vereisen vaak complexe aanpassingen van de netwerktopologie bij het toevoegen van nieuwe vaardigheden.
Grootschalige modellen: Vereisen het trainen van extreem grote modellen, wat leidt tot hoge rekenkosten en maakt lichte implementatie op randapparatuur (edge devices) moeilijk.
Hertraining: Methoden gebaseerd op bewegingsimitatie vereisen vaak volledige hertraining van het beleid bij nieuwe bewegingen, wat leidt tot degradatie van bestaande fundamentele vaardigheden.
Beperkte generalisatie: Bestaande robuuste controlestrategieën zijn vaak beperkt tot aanpassing van basisgangpatronen en kunnen geen cross-modale beweging generaliseren tegen lage trainingskosten.

Methodologie: Tree Learning

Het auteurs stellen Tree Learning voor, een raamwerk voor continu leren dat is geïnspireerd op biologische evolutie (erfenis van voorouders en gespecialiseerde evolutie). Het systeem is gebouwd op een hiërarchische, boomstructuur.

1. Hiërarchische Parameter-Erfenis (Root-Branch Mechanisme)

Root Skill: Een vooraf getrainde basisvaardigheid (bijv. lopen op vlakke grond) fungeert als de "wortel".
Branch Skills: Nieuwe vaardigheden (takken) worden laag voor laag afgeleid van de wortel of andere takken.
Fysieke Isolatie: Elke tak wordt geïmplementeerd als een fysiek geïsoleerd sub-netwerkcluster. Dit voorkomt gradient-interferentie tussen taken.
Parameterhergebruik: Tak-netwerken initialiseren hun gewichten volledig vanuit het ouder-netwerk. Dit behoudt de in de verborgen lagen geëxtraheerde kenmerken van staten en fysieke dynamica, waardoor "trainen vanaf nul" en de bijbehorende inefficiëntie worden vermeden.

2. Feedforward Actie-ontwerp
Om de leer-efficiëntie te verhogen, worden bewegingspriors gebruikt als feedforward acties:

Fasemodulatie (Periodieke bewegingen): Voor gangen zoals lopen, rennen en trappen beklimmen, wordt een cosinus-fasemodulatie gebruikt. Dit regelt het afwisselend activeren van linker- en rechterbenen via factoren $u_1$ en $u_2$ , wat een basisreferentie biedt voor het RL-beleid.
Interpolatie (Aperiodieke bewegingen): Voor niet-periodieke acties (bijv. hurken, opstaan) wordt lineaire interpolatie gebruikt om referentie-jointhoeken te genereren met continu instelbare diepte.

3. Beloningsvormgeving (Reward Shaping)
Om convergentie te versnellen, wordt een set basisbeloningen gebruikt (snelheidstracking, zwaartepunthoogte, oriëntatie, overleving) die per vaardigheid kan worden aangepast of aangevuld met specifieke voorkeursbeloningen.

4. Training en Curriculum Learning

Algoritme: Proximal Policy Optimization (PPO) binnen de Unity ML-Agents omgeving.
Progressief Curriculum: Voor complexe taken (zoals trappen beklimmen) wordt de moeilijkheidsgraad geleidelijk verhoogd (bijv. traphoogte van 0,01m tot 0,15m) om lokale optima te vermijden en de robot stapsgewijs te laten leren.

Belangrijkste Bijdragen

Boomgestructureerde Architectuur: Een nieuwe architectuur voor continu leren die catastrofaal vergeten fundamenteel elimineert door fysiek geïsoleerde sub-netwerken, waardoor verliesloze incrementele uitbreiding mogelijk is.
Laagkosten Iteratie: Een proces voor snelle herhaling van vaardigheden dat alleen specifieke takken finetunen, wat reken- en tijdkosten drastisch verlaagt.
Validatie op Unitree G1: Succesvolle simulatie-validatie op een humanoïde robot (Unitree G1) met 11 verschillende dynamische vaardigheden, inclusief real-time interactieve besturing.

Resultaten

De prestaties zijn getest in Unity-simulaties en vergeleken met een simultane multi-taak training (Multi-task baseline).

Vergelijking met Multi-task: Tree Learning behaalde aanzienlijk hogere beloningen (rewards) voor alle geteste vaardigheden.
- Voorbeeld: Voor de vaardigheid "Ren" (Run) behaalde Tree Learning een stabiele reward van 6138, terwijl de multi-task baseline slechts 609 haalde. Voor "Springen" (Jump) waren de scores respectievelijk 990 vs 99.
- Dit toont aan dat simultane training leidt tot significante gradient-conflicten en negatieve transfer, terwijl Tree Learning deze vermijdt.
Behoud van Vaardigheden: Het systeem behield een 100% behoudspercentage voor bestaande basisvaardigheden tijdens het leren van nieuwe.
Super Mario Scenario: De robot slaagde erin een complexe, interactieve reeks taken uit te voeren (lopen, rennen voor een spook, trappen beklimmen, kruipen, springen, bal trappen) met naadloze schakeling tussen vaardigheden.
Autonome Navigatie: In een Chinees tuin-scenario navigeerde de robot autonoom gedurende 240 seconden over 30x30 meter, waarbij automatisch werd geschakeld tussen lopen, rennen en trappen beklimmen op basis van omgevingscondities en doelafstanden. De robot bereikte 22 doelpunten met slechts één vastlopen-incident.
Stabiliteit: De schakeling tussen vaardigheden resulteerde in geen abrupte houdingsveranderingen of valincidenten, dankzij de consistentie in de globale staatruimte en actie-representatie.

Betekenis en Conclusie

Tree Learning biedt een efficiënte systeemoplossing voor het continu leren van embodied intelligente agenten. Door een hiërarchische netwerktopologie te combineren met fysieke isolatie van taken, lost het raamwerk het fundamentele probleem van gradient-conflicten en catastrofaal vergeten op.

Efficiëntie: Het verlaagt de sample-complexiteit en trainingskosten voor nieuwe vaardigheden aanzienlijk door gebruik te maken van bestaande kennis (wortel).
Robuustheid: Het garandeert naadloze overgangen tussen heterogene bewegingsmodi, wat essentieel is voor real-world toepassing.
Toekomstperspectief: Hoewel de huidige resultaten in simulatie zijn behaald (met een Sim-to-Real gap), biedt het raamwerk een solide basis voor toekomstige implementaties op fysieke robots, mogelijk met domeinrandomisatie en implicit state estimation.

Kortom, Tree Learning stelt humanoïde robots in staat om een breed scala aan vaardigheden te leren en te combineren zonder de stabiliteit of prestaties van eerder geleerde vaardigheden te verliezen.