Deltoris: Enabling Real-time VLA Inference in Embodied AI via Bit-level Sparsity and Speculative Inference

Stel je een robot voor die probeert te leren hoe hij een spelletje balletje gooien en vangen moet spelen. Om dit te kunnen doen, heeft de robot een brein nodig dat de bal kan zien, de regels begrijpt en precies kan beslissen hoe hij zijn arm moet bewegen. In de wereld van de robotica is dit "brein" vaak een speciaal soort computerprogramma dat een Vision-Language-Action (VLA) model wordt genoemd. Zie het als een superintelligente vertaler die vertaalt wat de robot ziet en hoort naar fysieke bewegingen. Lange tijd waren deze robots een beetje traag en onhandig omdat de wiskunde die nodig was om ze te laten bewegen extreem zwaar was, alsof je een marathon probeert te lopen terwijl je een rugzak vol bakstenen draagt.

Onlangs ontdekten wetenschappers een nieuwe manier om robots te leren bewegen, genaamd "diffusie". Stel je voor dat een robot leert lopen door eerst rond te struikelen in een mistige kamer en dan stap voor stap de mist langzaam te laten optrekken totdat hij het perfecte pad vindt. Deze methode zorgt ervoor dat robots veel vloeiender bewegen en beter omgaan met nieuwe situaties dan voorheen. Maar er is een addertje onder het gras: dit "mist-opklaren"-proces is zo rekenintensief dat het te traag is voor real-time gebruik. Een robot moet 50 tot 200 keer per seconde beslissingen nemen om in balans te blijven en veilig te zijn, maar deze nieuwe modellen duurden te lang, als een slak die probeert een race tegen een cheetah te winnen. Dit is het probleem dat een team van onderzoekers probeerde op te lossen: hoe maken we deze superintelligente, vloeiend bewegende robots snel genoeg om het tempo van de echte wereld bij te houden?

Maak kennis met Deltoris, een slim nieuw systeem dat is ontworpen om de hersenen van deze robots te versnellen zonder ze dommer te maken. De onderzoekers realiseerden zich dat robots niet in een wereld leven waar alles direct verandert. Als een robot naar een kopje reikt, is het beeld van het kopje van het ene milliseconde naar het volgende bijna exact hetzelfde. Het is alsof je een film kijkt waarbij 98% van de frames identiek is; je hoeft niet elke keer de hele afbeelding opnieuw te tekenen, je hoeft alleen het kleine deel te tekenen dat veranderd is.

Deltoris gebruikt deze observatie in zijn voordeel via een techniek die temporal-aware bit-level sparsity wordt genoemd. In plaats van de volledige wiskundige formule voor elke beweging opnieuw te berekenen, berekent het systeem alleen het verschil tussen het huidige moment en het vorige moment. Het is alsof je een tekstbericht stuurt dat alleen zegt "Ik heb mijn hand 5 centimeter omhoog bewogen" in plaats van elke keer je hele biografie te herschrijven. Dit slaat een enorme hoeveelheid onnodig werk over, waardoor de berekeningen met meer dan 90% worden verminderd.

Er was echter een struikelblok. Door alleen het "verschil" te versturen, moest het systeem constant de "oude" informatie uit het geheugen ophalen om deze met de "nieuwe" informatie te vergelijken, wat een verkeersopstopping veroorzaakte in de datastroom. Om dit op te lossen, voegde het team een tweede truc toe genaamd speculative inference. Stel je een coach voor die een kleine, snelle assistent heeft die de volgende zetten van het spel voorspelt, en die vervolgens een grote, trage, superintelligente coach die al die voorspellingen in één keer in een groep controleert. Dit stelt het systeem in staat om de zware data slechts één keer te laden en deze te gebruiken om meerdere stappen tegelijk te verifiëren, waardoor de verkeersopstopping wordt opgelost.

Om al deze magie mogelijk te maken, hebben de onderzoekers niet alleen software geschreven; ze hebben ook een aangepaste hardwarechip (een accelerator) gebouwd die specifiek is ontworpen om deze "verschil"-berekeningen aan te kunnen. Ze creëerden een speciale lopende band van kleine processors die perfect samenwerken, zodat niemand stilzit te wachten op data.

De resultaten van hun experimenten zijn indrukwekkend. Wanneer ze Deltoris testten tegen standaard mobiele computerchips (zoals die in high-end telefoons) en andere gespecialiseerde robotchips, was het een overrompelende overwinning. Deltoris was tot wel 34,2 keer sneller dan mobiele GPU's en 6,1 keer sneller dan eerdere gespecialiseerde accelerators. Misschien nog wel belangrijker is dat het tot wel 822 keer minder energie verbruikte, wat een enorme zaak is voor batterijgestuurde robots. Het team heeft ook gecontroleerd of de robot niet in de war raakte door deze kortere wegen; de nauwkeurigheid bleef bijna exact hetzelfde, met slechts een minimale, verwaarloosbare daling in prestaties.

Kortom, Deltoris laat zien dat door slim te zijn over wat we berekenen (alleen de veranderingen) en hoe we het berekenen (voorspellingen groeperen), we de embodied AI eindelijk de snelheid en efficiëntie kunnen geven die nodig is om in real-time door onze wereld te bewegen. Het is een belangrijke stap richting robots die niet alleen kunnen denken, maar ook kunnen handelen zo snel als wij.