Deltoris: Enabling Real-time VLA Inference in Embodied AI via Bit-level Sparsity and Speculative Inference

Stellen Sie sich einen Roboter vor, der versucht zu lernen, wie man ein Fangspiel spielt. Um dies zu tun, benötigt er ein Gehirn, das den Ball sehen, die Regeln verstehen und entscheiden kann, wie genau er seinen Arm bewegen muss. In der Welt der Robotik ist dieses „Gehirn“ oft ein spezielles Computerprogramm, das man als Vision-Language-Action (VLA)-Modell bezeichnet. Betrachten Sie es als einen superintelligenten Übersetzer, der das, was der Roboter sieht und hört, in physische Bewegungen umwandelt. Lange Zeit waren diese Roboter etwas langsam und unbeholfen, weil die Mathematik, die für ihre Bewegungen erforderlich war, unglaublich schwerfällig war – so, als würde man versuchen, einen Marathon zu laufen, während man einen Rucksack voller Backsteine trägt.

Kürzlich entdeckten Wissenschaftler eine neue Art, Roboter das Bewegen beizubringen, die namens „Diffusion“ bezeichnet wird. Stellen Sie sich einen Roboter vor, der lernt zu gehen, indem er zuerst in einem nebligen Raum herumstolpert und dann Schritt für Schritt den Nebel lichtet, bis er den perfekten Pfad findet. Diese Methode lässt Roboter viel geschmeidiger agieren und sie lassen sie besser mit neuen Situationen umgehen als zuvor. Es gibt jedoch einen Haken: Dieser „Nebel-Lichtungs-Prozess“ ist so rechenintensiv, dass er für die Echtzeitnutzung zu langsam ist. Ein Roboter muss 50 bis 200 Mal pro Sekunde Entscheidungen treffen, um das Gleichgewicht zu halten und sicher zu agieren, aber diese neuen Modelle brauchten zu lange – wie eine Schnecke, die versucht, ein Rennen gegen einen Geparden zu gewinnen. Dies ist das Problem, das ein Forscherteam zu lösen versuchte: Wie machen wir diese superintelligenten, geschmeidig beweglichen Roboter schnell genug, um mit der realen Welt Schritt zu halten?

Hier kommt Deltoris ins Spiel, ein cleveres neues System, das darauf ausgelegt ist, die Gehirne dieser Roboter zu beschleunigen, ohne sie dümmer zu machen. Die Forscher erkannten, dass Roboter nicht in einer Welt leben, in der sich alles augenblicklich ändert. Wenn ein Roboter nach einem Becher greift, ist die Ansicht des Bechers von einem Millisekunden-Intervall zum nächsten fast exakt dieselbe. Es ist, als würde man einen Film ansehen, bei dem 98 % der Einzelbilder identisch sind; man muss nicht jedes Mal das ganze Bild neu zeichnen, man muss nur den winzigen Teil zeichnen, der sich geändert hat.

Deltoris nutzt diese Beobachtung zu seinem Vorteil durch eine Technik namens temporal-aware bit-level sparsity (zeitlich bewusste Bit-Ebene-Sparsität). Anstatt die gesamte mathematische Aufgabe für jede einzelne Bewegung neu zu berechnen, berechnet das System nur den Unterschied zwischen dem aktuellen Moment und dem letzten. Es ist, als würde man eine Textnachricht senden, die nur sagt: „Ich habe meine Hand 5 cm nach oben bewegt“, anstatt jedes Mal die gesamte Biografie neu zu schreiben. Dadurch wird eine enorme Menge unnötiger Arbeit übersprungen, was die Berechnungen um über 90 % reduziert.

Es gab jedoch ein Hindernis. Indem das System nur den „Unterschied“ sendete, musste es ständig die „alten“ Informationen aus dem Speicher abrufen, um sie mit den „neuen“ Informationen zu vergleichen, was einen Verkehrsstau in der Datenpipeline verursachte. Um dies zu beheben, fügte das Team einen zweiten Trick hinzu, das sogenannte speculative inference (spekulative Inferenz). Stellen Sie sich einen Trainer vor, der einen kleinen, schnellen Assistenten hat, der die nächsten Spielzüge vorhersagt, und dann einen großen, langsamen, superintelligenten Trainer, der diese Vorhersagen alle auf einmal in einer Gruppe überprüft. Dies ermöglicht es dem System, die schweren Daten nur einmal zu laden und sie zu nutzen, um mehrere Schritte gleichzeitig zu verifizieren, wodurch der Verkehrsstau geglättet wird.

Um all diese Magie geschehen zu lassen, haben die Forscher nicht nur Software geschrieben; sie haben einen maßgeschneiderten Hardware-Chip (einen Beschleuniger) entwickelt, der speziell für diese „Differenz“-Berechnungen konzipiert ist. Sie schufen ein spezielles Fließband aus winzigen Prozessoren, die perfekt zusammenarbeiten, um sicherzustellen, dass niemand untätig herumsteht, während er auf Daten wartet.

Die Ergebnisse ihrer Experimente sind beeindruckend. Als sie Deltoris gegen Standard-Mobilchips (wie die in High-End-Smartphones) und andere spezialisierte Roboter-Chips testeten, war es ein Landeinbruch. Deltoris war bis zu 34,2-mal schneller als mobile GPUs und 6,1-mal schneller als bisherige spezialisierte Beschleuniger. Vielleicht noch wichtiger ist, dass es bis zu 822-mal weniger Energie verbrauchte, was für batteriebetriebene Roboter ein riesiger Faktor ist. Das Team prüfte auch, ob der Roboter durch diese Abkürzungen verwirrt wird; die Genauigkeit blieb fast exakt gleich, mit nur einem winzigen, vernachlässigbaren Leistungsabfall.

Kurz gesagt zeigt Deltoris, dass wir, indem wir klug entscheiden, was wir berechnen (nur die Änderungen) und wie wir es berechnen (Vorhersagen gruppieren), der Embodied AI endlich die Geschwindigkeit und Effizienz geben können, die sie braucht, um sich in unserer Welt in Echtzeit zu bewegen. Es ist ein bedeutender Schritt in Richtung Roboter, die nicht nur denken, sondern auch so schnell handeln können wie wir.