🤖 machine learning

RoboTTT: Context Scaling for Robot Policies

Het artikel introduceert RoboTTT, een robotbeleidskader dat Test-Time Training integreert om de visuomotorische context te schalen naar 8.000 tijdstappen, wat een-staps imitatie, verbetering on-the-fly en significant superieure prestaties op langetermijn-taken mogelijk maakt door geschiedenis te comprimeren in snelle gewichten zonder de inferentielatentie te verhogen.

Oorspronkelijke auteurs: Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan

Gepubliceerd 2026-07-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yunfan Jiang, Yevgen Chebotar, Ruijie Zheng, Fengyuan Hu, Yunhao Ge, Jimmy Wu, Tianyuan Dai, Scott Reed, Li Fei-Fei, Yuke Zhu, Linxi "Jim" Fan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin robots lijken op ongelooflijk getalenteerde maar kortzichtige chefs. Ze kunnen een wortel snijden of een burger omdraaien met perfectie als je ze precies vertelt wat ze nú moeten doen, maar als je ze vraagt om een complexe taart vanaf nul te bakken, vergeten ze vaak de eerste stap tegen de tijd dat ze bij de tweede stap zijn. Dit is de huidige staat van "robot foundation models" — de slimme hersenen achter moderne robots. Ze kijken meestal alleen naar het allerlaatste wat ze zagen voordat ze een beweging maken, zoals proberen te navigeren door een doolhof door alleen naar de vloer direct onder je voeten te kijken. Hoewel dit werkt voor eenvoudige taken, faalt het jammerlijk wanneer een robot een lange reeks gebeurtenissen moet onthouden, zoals het assembleren van een speelgoedauto of het repareren van een printplaat, vooral als er onderweg iets onverwachts gebeurt. Wetenschappers vroegen zich al lang af: wat als een robot alles zou kunnen onthouden wat hij net heeft gedaan, niet alleen de laatste seconde, en dit lange geheugen kan gebruiken om te leren en zich ter plekke aan te passen?

Maak kennis met RoboTTT, een nieuw soort robotbrein ontwikkeld door onderzoekers van NVIDIA, Stanford en de University of Texas at Austin. Denk over RoboTTT niet als een robot die slechts een lange lijst stappen "onthoudt", maar als een robot die een magisch, zelf bijwerkend notitieblok heeft. Terwijl traditionele robots een statisch brein hebben dat hetzelfde blijft zodra het gebouwd is, heeft RoboTTT een speciaal "fast weight"-systeem. Stel je voor dat de robot elke keer dat hij iets nieuws ziet of een beweging maakt, direct een klein briefje in zijn notitieblok krabbelt, waarbij hij zijn eigen interne bedrading net genoeg aanpast om de huidige situatie beter te begrijpen. Dit gebeurt in realtime, zelfs terwijl de robot aan het werk is. Door dit "notitieblok" op te schalen om een enorme hoeveelheid geschiedenis vast te houden — tot wel 8.000 tijdstappen (wat ongeveer vijf minuten aan continue actie is op hoge snelheid) — ontsluit RoboTTT superkrachten waar voorheen ondenkbaar aan waren voor robots. Het kan een mens zien een taak één keer uitvoeren en het perfect kopiëren zonder enige voorafgaande training op die specifieke opstelling. Het kan ook zijn eigen fouten direct herstellen als een mens er tegenaan loopt of als het een onderdeel laat vallen, alles door terug te kijken naar de eigen recente geschiedenis om te achterhalen wat er misging.

De onderzoekers ontdekten dat het geven van dit lange-contextgeheugen aan robots niet zomaar een kleine upgrade is; het is een game-changer. In hun tests was RoboTTT in staat om een complexe assemblage-taak van tien stadia te voltooien die vijf minuten duurde — een taak die geen enkele andere robot, zelfs niet de beste modellen met een kort geheugen, ooit zou kunnen voltooien. Terwijl standaardrobots niet eens de eerste paar stappen haalden, slaagde RoboTTT in 6 van de 10 one-shot imitatiepogingen (het kopiëren van een menselijke video die hij nog nooit had gezien) en herstelde het zich van externe botsingen met een succespercentage van 83%, vergeleken met slechts 53% voor de beste robot met een kort geheugen. Het artikel suggereert dat het simpelweg langer maken van het geheugen van de robot een nieuwe manier is om ze slimmer te maken, waarbij een gestage verbetering zichtbaar was naarmate het geheugen groeide van enkele seconden naar meer dan vier minuten.

Een van de coolste trucs die RoboTTT uitvoert, is iets dat "DAgger Distillation" wordt genoemd. Stel je een student voor die leert fietsen. Als de student valt, kan een ouder de student opvangen en weer op het juiste pad sturen. Een normale robot zou de val misschien gewoon vergeten en weer proberen te rijden, waardoor dezelfde fout wordt gemaakt. RoboTTT behandelt de val en de correctie echter als één enkel verhaal. Het leert van de fout (de val) door te kijken naar de correctie (de hulp van de ouder) en werkt zijn interne "notitieblok" bij met de boodschap: "Wanneer ik deze kant op leun, moet ik die andere kant op sturen." Dit stelt het in staat om zijn eigen prestaties ter plekke te verbeteren, zonder dat er een mens nodig is om het opnieuw te leren. De studie laat zien dat deze methode de robot 36% beter helpt te herstellen van fouten dan modellen die deze techniek niet gebruiken.

Het artikel weerlegt ook enkele veelvoorkomende ideeën over hoe het robotgeheugen te verbeteren. Zo werkt het simpelweg plakken van een lange lijst met eerdere beelden in het brein van de robot (zoals een lange videofeed) niet goed; het verwart de robot zelfs en zorgt voor slechtere prestaties. Evenzo is het gebruik van een standaard "recurrent" geheugen (zoals een eenvoudige lus die een status bijwerkt) niet voldoende. De onderzoekers ontdekten dat de sleutel de manier waarop het geheugen wordt bijgewerkt is: het moet een flexibel, niet-lineair systeem zijn dat zijn eigen parameters verandert via een proces dat lijkt op hoe mensen leren van ervaring (gradient descent), in plaats van alleen een statische status te verschuiven.

Uiteindelijk suggereert RoboTTT dat de toekomst van robotintelligentie niet alleen gaat over het groter of slimmer maken van het brein van de robot in een statische zin, maar over het geven van het vermogen om continu te leren en zich aan te passen terwijl het werkt. Door de context op te schalen naar 8.000 tijdstappen, hebben de onderzoekers aangetoond dat robots veel robuuster kunnen worden, in staat tot lange, complexe taken, en zelfs in staat om te leren van één enkele menselijke demonstratie. Hoewel het artikel opmerkt dat het trainen van deze modellen duur is en ze nog steeds niet elke mogelijke fout kunnen afhandelen, suggereren de resultaten sterk dat "long-context" een nieuwe, krachtige as is voor het schalen van robotintelligentie, waardoor onhandige, kortzichtige machines veranderen in aanpasbare, langetermijn-probleemoplossers.

Technische Samenvatting: RoboTTT – Contextschaling voor Robotica-policies

Probleemstelling

Huidige state-of-the-art robotica-fundamentmodellen, met name Vision-Language-Action (VLA) policies, werken doorgaans met single-step of korte-historie visuomotorische contexten (bijv. 2–8 tijdstappen). Terwijl grote taalmodellen erin zijn geslaagd de contextlengte te schalen om complexe redenering te ontslossen, heeft de robotica grotendeels vertrouwd op externe geheugenbanken voor langetermijnredenering of op short-context policies die moeite hebben met taken met een lange horizon. Deze beperking belemmert capaciteiten zoals one-shot imitatie van menselijke video-demonstraties, on-the-fly verbetering van de policy vanuit de eigen deployment-historie van een robot, en robuustheid tegen externe verstoringen in multi-stage assemblage-taken. De centrale uitdaging is hoe men visuomotorische policies kan bouwen die kunnen leren van en profiteren van willekeurig lange contexten zonder dat dit leidt tot onhoudbare inferentie-latentie of geheugenkosten.

Methodologie: RoboTTT

De auteurs introduceren RoboTTT (Test-Time-Training Robot Policies), een framework dat de visuomotorische context schaalt naar 8.000 tijdstappen (ongeveer vijf minuten operatie bij 30 Hz) door Test-Time Training (TTT) te integreren in robotica-fundamentmodellen.

Kernarchitectuur

RoboTTT is geïnstantieerd bovenop het GR00T N1.7 VLA-model, gebruikmakend van een Diffusion Transformer (DiT) action head. De belangrijkste architecturale innovatie is de plaatsing van TTT-lagen na de self- en cross-attention lagen.

Fast Weights: In tegen tegenover de standaard "slow weights" (gefixeerde modelparameters), gebruikt RoboTTT "fast weights" (parameters van een kleine neurale netwerk, bijv. een MLP) die tijdens zowel training als inferentie worden bijgewerkt via gradiëntafdaling.
Mechanisme: Op elk tijdstip verwerkt het model de huidige observatie en historie. De TTT-laag werkt de fast weights bij om de huidige context (keys) te associëren met de bijbehorende waarde-projecties, waardoor de historie effectief wordt gecomprimeerd in de gewichtsruimte. De bijgewerkte gewichten worden vervolgens gebruikt om de output (acties) voor de huidige stap te genereren.
Gating: Om de kennis van de pre-trained VLA-backbone te behouden, wordt een leerbaar tanh-gatingmechanisme gebruikt. Dit zorgt ervoor dat de TTT-bijdrage klein begint en groeit naarmate het model leert de afhankelijkheid van de fast weights aan te passen, zonder de berekening van het pre-trained model te overstemmen.

Trainingsrecept

Om de training naar 8K tijdstappen te schalen zonder dat het GPU-geheugen explodeert, hanteren de auteurs een specifieke trainingsstrategie:

Sequence Action Forcing: Bij sequence training worden ruisniveaus voor flow-matching onafhankelijk gesampled voor elke actie-chunk binnen een sequentie. Dit voorkomt dat de gehele sequentie uniform makkelijk of moeilijk wordt om te leren, wat de training stabiliseert.
Truncated Backpropagation Through Time (TBPTT): De inputsequentie wordt verdeeld in segmenten. Gradiënten stromen alleen binnen elk segment om het geheugengebruik te beperken, maar de fast weights worden over de segmentgrenzen heen meegenomen. Dit stelt het TTT-mechanisme in staat om een continue staat te behouden over de volledige 8K context, terwijl de memory footprint constant blijft ten opzichte van de segmentlengte.
Meta-Learning: De projectiematrices en de initialisatie van de fast weights ( $W_0$ ) worden geoptimaliseerd via gradiënten van gradiënten, waarbij de update-dynamiek specifiek wordt afgestemd op robottrajecten.

In-Context Adaptatiestrategieën

RoboTTT maakt twee nieuwe vormen van adaptatie mogelijk door de fast weight-updates los te koppelen van de imitatie-targets:

One-Shot Imitatie: Het model kan conditioneren op een menselijke video-demonstratie. Tijdens de training werkt de video-sectie de fast weights bij (masked loss), terwijl de robot-traject deze bijgewerkte gewichten gebruikt om acties te genereren. Dit stelt de robot in staat om een nieuwe taakconfiguratie te leren van een enkele video tijdens de testfase.
DAgger Distillatie: In plaats van suboptimale robotacties weg te gooien zoals bij standaard DAgger, gebruikt RoboTTT de volledige interactiehistorie (inclusclusief fouten) om de fast weights bij te werken, terwijl alleen de menselijke correcties dienen als het imitatie-target. Dit distilleert de "fout-naar-correctie"-mapping in de fast weights, waardoor de policy in staat is om tijdens de uitvoering te herstellen van eigen fouten.

Belangrijkste Resultaten

Experimenten werden uitgevoerd op drie long-horizon, bimanuele assemblage-taken: Pup Go Car (2 min), Circuit (1 min) en Gear Bot (5 min).

Prestatiewinst: RoboTTT (8K context) behaalde een gemiddelde taakvolingsscore van 79%, een verbetering van 87% ten opzichte van de single-step context baseline (GR00T N1.7, 42%) en een verbetering van 41% ten opzichte van de beste short-context baseline (GDN, 56%).
Long-Horizon Succes: Bij de 5-minuten durende Gear Bot taak behaalde RoboTTT 2/10 volledig succesvolle pogingen, terwijl geen enkele baseline-methode een enkel volledig succes behaalde.
Scaling Law: De auteurs observeerden een gestage, niet-verzadigende toename in closed-loop prestaties naarmate de pretraining-contextlengte toenam van 128 naar -8K tijdstappen. RoboTTT-8K presteerde 63% beter dan hetzelfde model dat werd voorgetraind met 1K context.
One-Shot Imitatie: In de Circuit taak met ongeziene configuraties slaagde RoboTTT in 6/10 pogingen op basis van een enkele menselijke video-demonstratie, terwijl de GDN baseline volledig faalde (0/10).
Robuustheid: Onder externe verstoringen (bijv. het verwijderen van een onderdeel na installatie), herstelde RoboTTT in 15/20 roof-perturbation pogingen, wat aanzienlijk beter is dan de short-context baselines (maximaal 10/20).
On-the-Fly Verbetering: Door middel van DAgger Distillatie verbeterde RoboTTT de taakvolingsscore met 36% vergeleken met standaard DAgger fine-tuning, wat het vermogen aantoont om herstelstrategieën te leren uit de eigen foutenhistorie.

Betekenis en Claims

Het artikel claimt dat contextlengte een nieuwe schaalbare as is voor robotica-fundamentmodellen, onderscheidend van modelgrootte of datavolume. Door Test-Time Training te integreren, demonstreert RoboTTT dat:

Long-context conditioning capaciteiten ontsluit die voorheen ontoegankelijk waren voor standaard policies, specifiek one-shot imitatie en dynamische policy-verbetering.
Fast weights die via gradiëntafdaling worden bijgewerkt tijdens de inferentie, een expressiever mechanisme bieden voor het comprimeren en ophalen van informatie uit dichte, repetitieve robotstromen vergeleken met lineaire recurrente staten (zoals Gated DeltaNets).
Training op lange sequenties leidt tot gestage prestatiewinsten, wat suggereert dat het vermogen om langetermijn visuomotorische historie vast te houden en te benutten cruciaal is voor complexe, multi-stage manipulatie-taken.

De auteurs concluderen dat hoewel er nog uitdagingen zijn met betrekking tot trainingskosten en het afhandelen van alle foutmodi, RoboTTT een nieuw paradigma vestigt waarbij policies continu kunnen adapteren en verbeteren door hun eigen operationele historie als context te gebruiken.