Jetson-PI: Towards Onboard Real-Time Robot Control via Foresight-Aligned Asynchronous Inference
Jetson-PI ist ein neuartiges Framework für die Bereitstellung von Vision-Language-Action-Modellen auf stromsparenden Onboard-Geräten wie dem Jetson Orin, das durch die Kombination eines auf Voraussicht ausgerichteten Future-Correction-Moduls zur Behebung der Wahrnehmungs-Ausführungs-Fehlausrichtung mit konfidenzbasiertem Scheduling und systemweiten Optimierungen zur Minimierung von Reaktionszeit und Latenz eine Echtzeitsteuerung erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, ein Hemd zu falten oder eine Schüssel aufzuheben. Sie geben ihm ein Gehirn (ein superintelligentes KI-Modell), das ein Bild betrachtet und einen Befehl wie „hebe die schwarze Schüssel auf“ erhält und dann dem Roboterarm sagt, was er tun soll. Dies wird als Vision-Language-Action (VLA)-Modell bezeichnet.
Das Problem? Diese Gehirne sind riesig und hungrig. Wenn man versucht, sie auf dem eigenen Onboard-Computer des Roboters laufen zu lassen (wie einem Jetson Orin, der zwar leistungsstark, aber winzig im Vergleich zu einem Desktop ist), bleibt der Roboter im „Denkmodus“ stecken. Es dauert zu lange, den nächsten Schritt zu berechnen, und bis der Roboter tatsächlich die Bewegung ausführt, hat sich die Welt bereits verändert. Es ist, als würde man versuchen, einen Ball zu fangen, während man eine Brille trägt, die zeigt, wo der Ball vor einer Sekunde war, nicht wo er jetzt ist. Der Roboter verfehlt ihn.
Die große Idee: „Voraussicht“ und „Async“
Die Autoren dieser Arbeit, Jetson-PI, haben einen cleveren Weg gefunden, wie diese Roboter schneller denken und intelligenter bewegen können, ohne einen massiven, stromhungrigen Supercomputer zu benötigen. Sie nennen ihre Methode Jetson-PI.
So haben sie die zwei Hauptprobleme gelöst:
1. Die „Zeitreise“-Lösung (Probleme der Fehlausrichtung lösen)
Das Problem: Auf dem alten Weg schaut der Roboter ein Bild an, denkt lange nach (sagen wir 1,4 Sekunden) und bewegt sich dann. Aber in diesen 1,4 Sekunden könnte der Roboter bereits gegen etwas gestoßen sein oder das Objekt könnte sich verschoben haben. Der Robot handelt auf Basis von „alten Nachrichten“.
Die Lösung: Anstatt einfach nur zu warten, nutzt Jetson-PI einen „Foresight-Aligned“-Trick (vorausschauend abgestimmten Trick). Stellen Sie sich vor, der Roboter besitzt eine kleine, superschnelle Kristallkugel (ein leichtgewichtiges Modul zur Zukunftskorrektur).
- Der Roboter verpflichtet sich zu einer Bewegung (wie „greife nach der Schüssel“).
- Die Kristallkugel sagt sofort voraus, wie die Welt aussehen wird, nachdem diese Bewegung abgeschlossen ist.
- Der Roboter nutzt diesen „Zukunftsblick“, um den nächsten Schritt zu planen.
Es ist wie ein Schachspieler, der nicht nur auf das Brett von jetzt sieht, sondern sofort visualisiert, wie das Brett nach dem nächsten Zug seines Gegners aussehen wird, um seinen eigenen nächsten Zug perfekt zu planen. Dies verhindert, dass der Roboter auf veralteten Informationen agiert.
2. Die „Smart Skip“-Lösung (Probleme langsamer Reaktionen lösen)
Das Problem: Selbst mit der Kristallkugel muss der Roboter gelegentlich die reale Welt überprüfen. Aber die Welt zu prüfen ist langsam, weil das „große Gehirn“ (das VLM) schwerfällig ist. Wenn man die Welt jedes Mal prüft, bewegt sich der Roboter zu langsam.
Die Lösung: Die Autoren führten einen „Confidence-Based Scheduler“ (konfidenzbasierten Zeitplaner) ein.
- Die Kristallkule (das Zukunftsmodul) besitzt auch eine „Konfidenzanzeige“. Sie sagt: „Ich bin mir zu 90 % sicher, was als Nächstes passiert!“
- Wenn die Konfidenz hoch ist, überspringt der Roboter die schwere Prüfung durch das große Gehirn und nutzt einfach die Kristallkugel, um weiterzumachen. Es ist wie das Fahren auf einer vertrauten Straße, auf der man nicht jede Sekunde den GPS prüfen muss.
- Wenn die Konfidenz sinkt (vielleicht hebt der Roboter ein schwieriges Objekt auf), sagt der Scheduler: „Okay, Pause! Lassen Sie uns die reale Welt mit dem großen Gehirn prüfen, um auf Nummer sicher zu gehen.“
Das bedeutet, dass der Roboter nur dann die schwere Arbeit verrichtet, wenn er es absolut muss, was ihn viel reaktionsschneller macht.
3. Das „System-Upgrade“ (Den Motor beschleunigen)
Die Autoren stellten auch fest, dass die Software, die auf dem Roboter läuft, ineffizient war. Sie behandelten den Computer des Roboters wie eine geschäftige Küche:
- Kein Neuaufbau des Ofens: Anstatt die Kochanweisungen (den Rechengraph) jedes Mal neu zu erstellen, bauten sie ihn einmal auf und nutzten ihn wieder.
- Kein Weg zum Kühlschrank: Sie hielten alle Zutaten (Daten) direkt auf der Arbeitsplatte (GPU-Speicher), damit der Koch nicht ständig zum Kühlschrank (CPU-Speicher) laufen muss.
- Schritte entrollen: Sie kombinierten viele kleine Schritte zu einer einzigen, flüssigen Bewegung.
Die Ergebnisse: Funktioniert es?
Die Autoren testeten dies in Simulationen und an echten Robotern.
- Geschwindigkeit: Mit ihrer Methode erreichte der Jetson Orin eine Steuerungsfrequenz, die 8,66-mal schneller war als mit Standard-PyTorch und 5,41-mal schneller als mit einem Tool namens
vla.cpp. - Erfolg: In einem Test namens LIBERO (ein Benchmark für Roboteraufgaben) war ihr Roboter 14,8 % häufiger erfolgreich als eine bisherige Top-Methode namens VLASH.
- Batterie: Sie zeigten, dass die Verwendung einer leistungsstarken Desktop-Karte (RTX 4090) die Batterie eines Roboters 6,0-mal schneller leeren würde als die Verwendung des Onboard-Jetson Orin. Jetson-PI ermöglicht es dem Roboter, viel länger mit seiner eigenen Batterie zu arbeiten.
Was sie explizit als nicht funktionierend ablehnen
Die Autoren testeten einige Ideen und schlossen sie aus:
- Parallele Verarbeitung: Sie versuchten, das „große Gehirn“ und den „Aktions-Experten“ gleichzeitig laufen zu lassen, um Zeit zu sparen. Sie fanden heraus, dass dies auf kleinen Onboard-Computern fehlschlägt, da beide um die gleiche begrenzte Datenbandbreite kämpfen, was alles verlangsamt. Dies funktioniert nur auf riesigen Desktop-Computern.
- Nur den Roboterzustand vorhersagen: Frühere Methoden versuchten zu erraten, wo sich der Roboterarm in der Zukunft befinden würde. Die Autoren fanden heraus, dass dies nicht ausreicht, da es nicht berücksichtigt, wie sich die Umgebung (der Tisch, die Objekte) verändert. Man muss die Umgebung vorhersagen, nicht nur den Roboter.
Wie sicher sind sie sich?
Das Paper ist sehr zuversichtlich bei den gemessenen Zahlen. Sie führten umfangreiche Simulationen im LIBERO-Benchmark durch und testeten auf echten Robotern (wie dem X2-W) in einer Laborsituation. Sie maßen die exakten Millisekunden der Verzögerung und die exakten Erfolgsraten. Sie stellen klar fest, dass ihre Methode zwar eine enorme Verbesserung für mobile Roboter darstellt, aber die rohe Gewalt eines massiven Supercomputer-Clusters nicht vollständig erreichen kann, falls die Modelle in Zukunft noch größer werden. Aber für einen Roboter, der mit seiner eigenen Batterie mobil sein muss? Dann schlagen sie vor, dass dies eine praktische, funktionierende Lösung ist.
Kurz gesagt: Jetson-PI lehrt einen Roboter, „vorauszudenken“ und „die schwere Arbeit zu überspringen“, wenn es sicher ist, sodass er schnell und klug agieren kann, ohne einen Supercomputer im Rucksack zu benötigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.