🤖 machine learning

Task Tokens: A Flexible Approach to Adapting Behavior Foundation Models

Dit paper introduceert "Task Tokens", een methode die behavior foundation models voor humanoid agents via versterkingsleer aanpast aan specifieke taken door een nieuwe encoder te trainen zonder het oorspronkelijke model te bevriezen, waardoor flexibiliteit en generalisatie behouden blijven.

Oorspronkelijke auteurs: Ron Vainshtein, Zohar Rimon, Shie Mannor, Chen Tessler

Gepubliceerd 2026-03-30

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ron Vainshtein, Zohar Rimon, Shie Mannor, Chen Tessler

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-intelligente danser hebt die al duizenden uren heeft geoefend. Hij kan bijna elke dansstijl, van ballet tot hiphop, en hij doet dit allemaal heel natuurlijk en soepel. Dit is wat de onderzoekers een "Behavior Foundation Model" (BFM) noemen. Hij is een meester in het nabootsen van menselijk gedrag.

Maar hier zit een probleem: als je deze danser vraagt om een heel specifieke, nieuwe truc te doen – bijvoorbeeld "loop naar die vaas en sla hem om met je voet, maar blijf rechtop staan" – dan heeft hij moeite.

Als je hem alleen een beloning geeft (een snoepje als hij het goed doet), leert hij soms rare trucs uit. Hij loopt misschien achteruit naar de vaas of draait als een windmolen om hem te raken. Hij haalt het doel, maar het ziet er niet natuurlijk uit.
Als je hem precieze instructies geeft (zoals "draai je hoofd naar links"), kan hij de instructie niet altijd goed begrijpen of de truc niet perfect uitvoeren.

De onderzoekers van Technion en NVIDIA hebben een oplossing bedacht die ze "Task Tokens" noemen. Laten we dit uitleggen met een paar creatieve vergelijkingen.

De Vergelijking: De Meester en de Regisseur

Stel je voor dat de BFM (de danser) een meester-acteur is die al zijn rollen uit het hoofd kent. Hij is geweldig, maar hij heeft geen idee wat je precies wilt voor deze specifieke scène.

Vroeger hadden ze twee manieren om hem te helpen:

De hele acteur herschrijven: Je liet hem maandenlang opnieuw oefenen voor die ene scène. Dat kostte veel tijd en geld, en hij vergat soms zijn andere rollen (zoals hoe hij normaal liep).
Alleen maar roepen: Je schreeuwde instructies naar hem ("Loop harder!", "Sla harder!"). Dat werkte soms, maar vaak begreep hij de nuance niet.

Task Tokens is als het inhuren van een slimme regisseur die alleen een klein notitieboekje heeft.

De Regisseur (De Task Encoder): In plaats van de hele acteur te herschrijven, trainen ze een klein, slim programmaatje (de regisseur). Dit programmaatje kijkt naar de situatie (bijv. "waar staat de vaas?") en schrijft een heel kort, speciaal geheim woordje (de Task Token) op.
Het Geheime Woordje: Dit woordje is als een knuffel of een fluitje dat de acteur direct begrijpt. Het zegt: "Hey, ik ben die danser die ik normaal ben, maar voor deze situatie, doe precies dit."
De Samenwerking: De acteur (de BFM) blijft precies zoals hij was (hij verandert niet, hij is nog steeds de meester). Hij leest het geheime woordje van de regisseur en past zijn bewegingen daar direct op aan.

Waarom is dit zo slim?

Snel en goedkoop: Je hoeft de hele acteur niet opnieuw te leren. Je traint alleen de regisseur. Dat is 125 keer sneller en vereist veel minder rekenkracht. Het is alsof je een nieuwe regisseur aanstelt in plaats van de hele filmstudio te herbouwen.
Natuurlijk blijven: Omdat de acteur zelf niet verandert, blijft hij soepel en menselijk. Hij loopt niet meer achteruit of draait als een gekke windmolen. Hij blijft "menselijk" terwijl hij wel de specifieke truc doet.
Flexibel: Je kunt de regisseur ook nog extra instructies geven. Bijvoorbeeld: "Doe de truc, maar zorg dat hij naar de vaas kijkt." De regisseur voegt dit toe aan het geheime woordje, en de acteur luistert naar alles samen.

Wat hebben ze bewezen?

In hun experimenten lieten ze hun robot (een digitaal mensje) verschillende dingen doen:

Ergens naartoe rennen.
Iets omver slaan.
Een lange sprong maken.

Het resultaat?

De robot deed de truc beter dan eerdere methoden.
Hij leerde veel sneller (in plaats van uren, deed hij het in minuten).
Als je de grond glad maakte (zoals op ijs) of de zwaartekracht veranderde, bleef de robot stabiel. Andere methoden vielen hier vaak doorheen, maar omdat de "meester-acteur" zijn basisbewegingen behield, wist hij zich aan te passen.
Mensen die de video's zagen, vonden de bewegingen mensen-achtiger dan die van de andere robots.

Samenvattend

Task Tokens is een slimme manier om een super-robot die al veel kan, te helpen met specifieke taken zonder hem te "breken". Het is alsof je een ervaren acteur een klein briefje geeft met de specifieke instructies voor de scène, in plaats van hem te dwingen om zijn hele leven opnieuw te leren. Het is snel, goedkoop, en zorgt ervoor dat de robot er nog steeds natuurlijk en menselijk uitziet.

Probleemstelling

Recente vooruitgang in imitatieleer heeft geleid tot Behavior Foundation Models (BFM's), zoals MaskedMimic, die mensachtige humanoid controle mogelijk maken door training op grote schalen van menselijke demonstraties. Deze modellen, specifiek Goal-Conditioned BFMs (GC-BFMs), kunnen robuuste, zero-shot gedragingen genereren op basis van hoog-niveau doelen (prompts), zoals "loop naar een coördinaat".

Echter, voor specifieke, complexe taken in de echte wereld ontstaan er fundamentele uitdagingen:

Prompt Engineering: Het nauwkeurig definiëren van doelen via prompts is vaak lastig en kan leiden tot suboptimale resultaten (bijv. een karakter dat achteruit loopt om een doel te bereiken).
Beloning Design: Het ontwerpen van omgevingsgebonden beloningen (rewards) voor complexe taken is kwetsbaar voor fouten en kan leiden tot onnatuurlijk gedrag.
Aanpassing vs. Generalisatie: Bestaande methoden om BFMs aan te passen, zoals volledige fine-tuning, riskeren het verlies van het oorspronkelijke, robuuste "kennis" van het model (catastrophic forgetting) en zijn rekenkundig duur. Anderzijds biedt puur prompt engineering vaak onvoldoende precisie voor specifieke taken.

Er is dus behoefte aan een paradigmaverschuiving die de flexibiliteit en robuustheid van BFMs behoudt, maar tegelijkertijd efficiënte, taakspecifieke optimalisatie mogelijk maakt.

Methodologie: Task Tokens

De auteurs introduceren Task Tokens, een hybride aanpak die goal-gebaseerde controle combineert met beloningsgedreven optimalisatie binnen de transformer-architectuur van GC-BFMs.

Kernprincipes:

Frozen Foundation Model: Het oorspronkelijke BFM (bijv. MaskedMimic) blijft volledig bevroren (frozen). De interne parameters worden niet aangepast, waardoor de robuustheid en de zero-shot capaciteiten behouden blijven.
Task Encoder: In plaats van het hele model te finetunen, wordt een lichtgewicht, trainbare Task Encoder (een feed-forward neurale netwerk) getraind per taak. Deze encoder neemt waarnemingen van het huidige taakdoel ( $g_t$ ) en proprioceptieve informatie als input.
Token Generatie: De encoder genereert een Task Token ( $\tau_t$ ), een vectorrepresentatie die de specifieke vereisten en beperkingen van de taak codeert.
Hybride Input: Tijdens inferentie worden drie soorten tokens aan de transformer van het BFM gepresenteerd:
1. Prior Tokens: Optionele tokens voor door de gebruiker gedefinieerde priors (bijv. tekstuele prompts of gewrichtscondities).
2. State Tokens: De huidige staat van de omgeving.
3. Task Tokens: De gegenereerde tokens van de Task Encoder die de beloningsfunctie optimaliseren.
Training: Het systeem wordt getraind met Proximal Policy Optimization (PPO). De gradiënten stromen door de bevroren BFM heen om alleen de parameters van de Task Encoder bij te werken. Dit zorgt ervoor dat het gedrag wordt geoptimaliseerd voor de specifieke taakbeloning, maar binnen de "bewegingsmanifold" (het bereik van natuurlijke bewegingen) die door het BFM is gedefinieerd.

Belangrijkste Bijdragen

Taakspecifieke Aanpassing zonder Fine-tuning: Een nieuwe methode om GC-BFMs aan te passen via getokeniseerde controle, waarbij de zero-shot capaciteiten van het basismodel intact blijven.
Extreme Parameter-efficiëntie: De methode vereist tot 125 keer minder trainbare parameters per taak (ongeveer 200k parameters) vergeleken met conventionele methoden (zoals PULSE of volledige fine-tuning die miljoenen parameters vereisen).
Hybride Controleparadigma: Het naadloos combineren van door de gebruiker gedefinieerde hoog-niveau priors (textuele of gewrichtsgebaseerde doelen) met geleerde, beloningsgedreven optimalisatie.
Superieure Generalisatie: Het behoud van de robuustheid van het BFM, wat leidt tot betere prestaties in Out-of-Distribution (OOD) scenario's (bijv. veranderingen in zwaartekracht of wrijving) vergeleken met gefinetunte modellen.

Resultaten

De auteurs hebben de methode geëvalueerd op diverse humanoid controle-taken (zoals Reach, Direction, Steering, Strike en Long Jump) in de Isaac Gym-simulatieomgeving.

Prestaties: Task Tokens bereikte hoge successpercentages (bijv. 94,88% voor Reach, 99,26% voor Direction), vergelijkbaar met of beter dan volledige fine-tuning en andere state-of-the-art baselines zoals PULSE en AMP.
Convergentiesnelheid: Het model convergeerde tot 6 keer sneller dan alternatieve methoden (binnen ~50 miljoen stappen versus ~300 miljoen voor PULSE).
Robuustheid (OOD): Bij verstoringen zoals verlaagde wrijving of verhoogde zwaartekracht behield Task Tokens een hoge succesrate. Gefinetunte modellen verloren hier juist robuustheid, wat aantoont dat het bevroren BFM essentieel is voor stabiliteit.
Menselijke Evaluatie: In een human study (met ~100 deelnemers) werden gegenereerde bewegingen beoordeeld op menselijkheid. Task Tokens scoorde significant hoger dan puur prompt-gebaseerde MaskedMimic en was vergelijkbaar met of beter dan gefinetunte modellen, wat aantoont dat de bewegingen natuurlijk blijven.
Multi-modale Prompting: De methode slaagde erin om ongewenst gedrag (zoals achteruit lopen) te corrigeren door menselijke priors (bijv. "kijk naar voren") te combineren met de Task Token, zonder dat het model zijn basisvaardigheden verloor.

Betekenis en Toekomstperspectief

"Task Tokens" biedt een veelbelovende oplossing voor de schaalbaarheid van Behavior Foundation Models in de robotica en animatie. Door de scheiding tussen het algemene bewegingskennis (het BFM) en taakspecifieke optimalisatie (de Task Token), overwint de methode het compromis tussen flexibiliteit en precisie.

Efficiëntie: Het drastisch verminderen van het aantal trainbare parameters maakt het mogelijk om BFMs aan te passen aan vele downstream taken met minimale rekenkosten.
Toepasbaarheid: De aanpak is schaalbaar naar complexe, real-world taken en biedt een brug tussen prompt engineering en reward design.
Toekomst: Hoewel de huidige resultaten in simulatie zijn behaald, opent dit pad de weg voor robuustere humanoid robots die zich kunnen aanpassen aan nieuwe taken zonder hun fundamentele bewegingskwaliteit te verliezen. Uitdagingen voor de toekomst liggen in het overbrengen naar fysieke robots (sim-to-real) en het automatiseren van het ontwerp van taakspecifieke beloningen.