Bimanual Manipulation Within an 8 GB Budget: Zero-Copy Sensing and Quantized ACT on an Entry-Level Jetson

Stellen Sie sich eine Welt vor, in der Roboter nicht nur klobige Maschinen in einer Fabrik sind, sondern geschickte Helfer, die Wäsche falten, Ihnen ein Getränk reichen oder einen weichen Sitzsack mit zwei Händen gleichzeitig aufheben können. Lange Zeit erforderte das Beibringen solcher feinfühligen Aufgaben an diese Roboter „Teleoperation“, bei der ein Mensch die Roboterarme aus der Ferne steuert, um ihm zu zeigen, wie es geht. Der Roboter lernt dann durch das Kopieren dieser Bewegungen, ein Prozess, der als „Imitation Learning“ bezeichnet wird. Aber hier liegt der Haken: Bis jetzt benötigte das „Gehirn“ dieser Roboter meist einen massiven, teuren Computer – wie eine hochgezüchtete Workstation mit einer riesigen Grafikkarte –, um zu denken und sich zu bewegen. Das bedeutete, dass der Roboter oft an eine schwere, stromhungrige Maschine gekoppelt war, was den Einsatz in echten Haushalten oder unterwegs erschwerte. Die große Frage, die sich Forscher stellen, lautet: Können wir dieses riesige Gehirn so weit verkleinern, dass es in einen winzigen, erschwinglichen Computerchip passt, der direkt auf dem Roboter sitzt?

Dieses Paper unternimmt einen mutigen Schritt in diese Richtung. Die Forscher bauten ein zwei-händiges Robotersystem, das vollständig auf einem NVIDIA Jetson Orin Nano Super läuft, einem kleinen Einsteiger-Computerchip mit nur 8 GB Speicher (etwa in der Größe des Speichers eines großen Smartphones). Sie testeten es an einer kniffligen Aufgabe: das Aufheben eines verformbaren Sitzsacks mit zwei Armen und das Bewegen zu einem Zielpunkt. Sie wollten sehen, ob sie den Roboter schnell und intelligent genug machen konnten, um ohne Hilfe eines großen Computers zu arbeiten.

Die drei großen Überraschungen

Das Team begann mit drei großen Vermutungen darüber, was der schwierigste Teil bei der Umsetzung sein würde. Sie erwarteten, an Speicherlimits zu stoßen, sie erwarteten, sich zwischen zwei verschiedenen Arten von „Gehirn“-Architekturen entscheiden zu müssen, und sie erwarteten, dass die Beschleunigung des Roboters ein Opfer bei der Genauigkeit fordern würde. Doch ihre Experimente warfen diese Vermutungen über den Haufen.

1. Der Speicher-Mythos: Es war nicht der RAM, es war die CPU
Die Forscher dachten, dass das Streaming von Videos von drei Kameras (eine am Kopf des Roboters, zwei an seinen Handgelenken) den 8 GB Speicher des Roboters füllen würde, was zu Abstürzen oder dem Auslassen von Frames führen würde. Sie bauten eine spezielle „Zero-Copy“-Pipeline, um die Videodaten im Grafikspeicher zu halten, ohne sie ständig zwischen dem Hauptprozessor und dem Grafikspeicher hin und her zu schieben, in der Hoffnung, so Platz zu sparen.

• Die Realität: Sie hatten sich beim Speicher geirrt. Die Standardmethode zum Verschieben von Videodaten passte perfekt in das 8-GB-Limit und verursachte keinen einzigen Frame-Verlust.
• Der wahre Gewinn: Der „Zero-Copy“-Trick sparte keinen Platz, sondern Zeit und Gehirnleistung. Indem sie verhinderten, dass der Hauptprozessor des Roboters Energie für das Hin- und Herschieben von Videodaten verschwendete, machten sie eine enorme Menge an CPU-Leistung frei. Die Spitzenlast eines einzelnen Prozessorkerns sank von erschöpften 98,0 % auf entspannte 77,0 %. Dies ist vergleichbar mit dem Abnehmen eines schweren Rucksacks von einem Läufer; der Läufer wird nicht größer, aber er kann viel schneller und flüssiger laufen. Dieser zusätzliche „Spielraum“ war entscheidend, um den Regelkreis des Roboters reibungslos laufen zu lassen, ohne einen Schlag zu verpassen.

2. Das Gehirn-Rennen: Geschwindigkeit vs. Geduld
Das Team trainierte zwei verschiedene Arten von Roboter-Gehirnen mit demselben Satz an Demonstrationen: ACT (Action Chunking with Transformers) und Diffusion Policy.

• Das Setup: Sie gaben ACT 100.000 Trainingsschritte (eine Standardmenge für diese Art von Gehirn) und gaben Diffusion Policy 200.000 Schritte (doppelt so viele, da Diffusion normalerweise mehr Zeit zum Lernen benötigt).
• Das Ergebnis: ACT lernte die Aufgabe perfekt und war in 19 von 20 Versuchen erfolgreich. Diffusion Policy scheiterte trotz doppelter Trainingszeit völlig daran, eine nutzbare Strategie zu lernen (0 von 10 Versuchen).
• Die Erkenntnis: Das lag nicht daran, dass Diffusion ein „schlechtes“ Gehirn sei. Es liegt daran, dass Diffusion teuer zu trainieren ist. Bei einem engen Budget war das „schnellere Lernmodell“ (ACT) das einzige, das das Rennen gewinnen konnte. Die Forscher betonen, dass dies nicht bedeutet, dass Diffusion für immer schlechter ist, sondern nur, dass es für dieses spezifische Setup derzeit zu viele „Gradient Steps“ (Trainingszeit) kostet, um praktikabel zu sein.

3. Der Geschwindigkeits-Trick: Wenn „gut genug“ tatsächlich perfekt ist
Um den Roboter schnell genug für Echtzeitreaktionen zu machen, konvertierte das Team das ACT-Gehirn in eine spezialisierte Engine namens TensorRT und versuchte, es mit geringerer Präzision (unter Verwendung von FP16- und INT8-Mathematik statt der superpräzisen FP32) laufen zu lassen.

• Der Geschwindigkeitsschub: Die Verringerung der Präzision machte den Roboter viel schneller in seinen Entscheidungen. Die Zeit, die er für eine Entscheidung benötigte, sank von 114,02 ms (Millisekunden) bei voller Präzision auf 17,93 ms mit FP16 und weiter auf 12,65 ms mit INT8. Das ist fast 9-mal schneller.
• Die Überraschung: Normalerweise führt es zu Fehlern, wenn man einen Computer durch geringere Präzision „dümmer“ macht. Aber hier war der Roboter selbst mit der „dümmsten“ Mathematik (INT8) immer noch in 19 von 20 Fällen erfolgreich. Die numerischen Fehler waren zwar groß (bis zu 16,98 % Abweichung in einigen Werten), aber der Roboter fing den Sitzsack dennoch ein.
• Die Einschränkung: Die Forscher fanden heraus, dass es davon abhängt, wie der Roboter seine Bewegungen plant, ob man diesen Geschwindigkeits-Trick benötigt. Wenn der Roboter einen ganzen Block von 100 Bewegungen auf einmal plant (was er tat), kann er es sich leisten, langsamer zu sein. Aber wenn er jeden einzelnen Schritt neu planen muss (eine Technik namens „Temporal Ensembling“), dann würde die langsame Vollpräzisionsversion seine Frist verpassen, und die schnelle, präzisionsärmere Version wird zur Pflicht.

Das abschließende Urteil

Das Paper kommt zu dem Schluss, dass man in der Tat einen komplexen, zwei-händigen Roboter auf einem winzigen 8-GB-Computer betreiben kann. Das Geheimnis ist nicht nur die Ersparnis von Speicher, sondern das Management der Arbeitslast des Prozessors, damit dieser nicht überfordert wird.

Sie empfehlen ein spezifisches Setup für jeden, der einen ähnlichen Roboter bauen möchte:

• Verwenden Sie die GStreamer-Videopipeline, um CPU-Leistung freizusetzen.
• Trainieren Sie die ACT-Policy (sie lernt schneller als Diffusion für diese Aufgabe).
• Lassen Sie die Policy mit FP16-Präzision laufen (was schnell und genau genug ist) oder mit INT8, wenn Sie noch mehr Geschwindigkeit benötigen.

Die wichtigste Lektion? Gehen Sie nicht davon aus, dass der größte Computer der einzige Weg ist. Manchmal ist der beste Weg, einen Roboter intelligent zu machen, ihn aufzuhören, Energie für Dinge zu verschwenden, die er nicht braucht, damit er sich auf die eigentliche Aufgabe konzentrieren kann. Der Robbot brauchte keinen Supercomputer; er brauchte nur ein wenig Effizienz.