Bimanual Manipulation Within an 8 GB Budget: Zero-Copy Sensing and Quantized ACT on an Entry-Level Jetson

Stel je een wereld voor waarin robots niet alleen lompere machines in een fabriek zijn, maar behendige helpers die de was kunnen opvouwen, je een drankje kunnen aanreiken of met twee handen tegelijk een zacht zakje bonen kunnen oppakken. Lange tijd vereiste het leren van deze delicate taken aan robots "teleoperatie", waarbij een mens de armen van de robot op afstand aanstuurde om te laten zien hoe het moet. De robot leert vervolgens door deze bewegingen te kopiëren, een proces dat "imitation learning" (imitatie-leren) wordt genoemd. Maar hier is de crux: tot nu toe had het "brein" van deze robots meestal een enorme, dure computer nodig—zoals een superkrachtige workstation met een gigantische videokaart—om te kunnen denken en bewegen. Dit betekende dat de robot vaak verbonden was met een zware, stroomverslindende machine, wat het gebruik in echte huizen of onderweg moeilijk maakte. De grote vraag die onderzoekers stellen is: Kunnen we dit gigantische brein verkleinen zodat het past in een kleine, betaalbare computerchip die direct op de robot zelf leeft?

Dit artikel zet een gedurfde stap in die richting. De onderzoekers bouwden een tweehandig robotsysteem dat volledig draait op een NVIDIA Jetson Orin Nano Super, een kleine, instapcomputerchip met slechts 8 GB geheugen (ongeveer de grootte van de opslag van een grote smartphone). Ze testten het op een lastige taak: het oppakken van een vervormbaar zakje bonen met twee armen en het verplaatsen naar een doelplek. Ze wilden zien of ze de robot snel en slim genoeg konden maken om te werken zonder hulp van een grote computer.

De Drie Grote Verrassingen

Het team begon met drie grote vermoedens over wat het moeilijkste deel zou zijn om dit werkend te krijgen. Ze verwachtten tegen geheugenlimieten aan te lopen, ze verwachtten te moeten kiezen tussen twee verschillende soorten "brein"-architecturen, en ze verwachtten dat het sneller maken van de robot ten koste zou gaan van de nauwkeurigheid. Maar hun experimenten zetten die vermoedens op hun kop.

1. De Geheugenmythe: Het was niet de RAM, het was de CPU
De onderzoekers dachten dat het streamen van video vanaf drie camera's (één op de kop van de robot, twee op de polsen) de 8 GB aan geheugen van de robot zou vullen, waardoor deze zou crashen of frames zou laten vallen. Ze bouwden een speciale "zero-copy" pipeline om de videodata in het grafische geheugen te houden zonder deze heen en weer te schuiven naar de hoofdprocessor, in de hoop dat dit ruimte zou besparen.

• De Realiteit: Ze hadden het mis over het geheugen. De standaard manier van het verplaatsen van videodata paste eigenlijk perfect binnen de limiet van 8 GB en liet geen enkel frame vallen.
• De Echte Winst: De "zero-copy" truc bespaarde geen ruimte, maar bespaarde tijd en hersencapaciteit. Door de hoofdprocessor van de robot te stoppen met het verspillen van energie aan het verschuiven van videodata, maakten ze een enorme hoeveelheid CPU-kracht vrij. Het piekgebruik van een enkele processorcore daalde van een zwetende 98,0% naar een ontspannen 77,0%. Dit is alsoals een zware rugzak afdoen bij een hardloper; de hardloper wordt niet groter, maar kan veel sneller en soepeler rennen. Deze extra "speling" was cruciaal om de control loop van de robot soepel te laten draaien zonder een slag te missen.

2. De Breinrace: Snelheid vs. Geduld
Het team trainde twee verschillende soorten robotbreinen op exact dezelfde set demonstraties: ACT (Action Chunking with Transformers) en Diffusion Policy.

• De Opzet: Ze gaven ACT 100.000 trainingsstappen (een standaard hoeveelheid voor dit type brein) en gaven Diffusion Policy 200.000 stappen (twee keer zoveel, omdat Diffusion meestal meer tijd nodig heeft om te leren).
• Het Resultaat: ACT leerde de taak perfect, met succes in 19 van de 20 pogingen. Diffusion Policy slaagde er, ondanks de dubbele trainingstijd, niet in om überhaupt een bruikbare strategie te leren (0 van de 10 pogingen).
• De Les: Dit kwam niet omdat Diffusion een "slecht" brein is. Het komt omdat Diffusion duur is om te trainen. Op een krap budget was het "snellere leerling" (ACT) de enige die de race kon voltooien. De onderzoekers benadrukken dat dit niet betekent dat Diffusion voor altijd slechter is, maar alleen dat het op dit moment te veel "gradient steps" (trainingstijd) kost voor deze specifieke opstelling.

3. De Snelheidstruc: Wanneer "goed genoeg" eigenlijk perfect is
Om de robot snel genoeg te maken om in realtime te reageren, zetten het team het ACT-brein om om te draaien op een gespecialiseerde engine genaamd TensorRT en probeerden ze het te draaien met een lagere precisie (het gebruik van FP16 en INT8 wiskunde in plaats van de superprecieze FP32).

• De Snelheidsboost: Het verlagen van de precisie maakte de robot veel sneller in denken. De tijd die het kostte om een beslissing te nemen, daalde van 114,02 ms (milliseconden) met volledige precisie naar 17,93 ms met FP16, en zelfs naar 12,65 ms met INT8. Dat is bijna 9 keer sneller.
• De Verrassing: Normaal gesproken, wanneer je een computer "dommer" maakt door een lagere precisie te gebruiken, maakt hij fouten. Maar hier, zelfs met de "domste" wiskunde (INT8), slaagde de robot nog steeds in 19 van de 20 gevallen. De numerieke fouten waren enorm (tot wel 16,98% afwijking in sommige getallen), maar de robot ving het zakje nog steeds.
• De Kanttekening: De onderzoekers vonden dat of je deze snelheidstruc nodig hebt, afhangt van hoe de robot zijn bewegingen plant. Als de robot een hele reeks van 100 bewegingen tegelijk plant (wat hij deed), kan hij het zich veroorloven om langzamer te zijn. Maar als hij elke stap opnieuw moet plannen (een techniek genaamd "temporal ensembling"), dan zou de trage versie met volledige precisie zijn deadline missen, en wordt de snelle versie met lagere precisie noodzakelijk.

Het Eindoordeel

Het artikel concludeert dat je inderdaad een complexe, tweehandige robot kunt draaien op een kleine, 8 GB computer. Het geheim is niet alleen het besparen van geheugen; het gaat om het beheren van de werklast van de processor zodat deze niet overbelast raakt.

Ze raden een specifieke opzet aan voor iedereen die een vergelijkbare robot probeert te bouwen:

• Gebruik de GStreamer video-pipeline om CPU-kracht vrij te maken.
• Train het ACT beleid (het leert sneller dan Diffusion voor deze taak).
• Draai het beleid in FP16 precisie (wat snel en nauwkeurig genoeg is) of INT8 als je nóg meer snelheid nodig hebt.

De belangrijkste les? Ga er niet vanuit dat de grootste computer de enige manier is. Soms is de beste manier om een robot slim te maken, hem te laten stoppen met energie verspillen aan dingen die hij niet nodig heeft, zodat hij zich kan concentreren op de taak waar hij voor staat. De robot had geen supercomputer nodig; hij had alleen een beetje efficiëntie nodig.