-sight: Unifying Vision-Language-Action and Latent World Modeling
-sight ist ein vereinheitlichtes Robotik-Fundamentmodell, das Vision-Language-Action-Steuerung mit latenter Weltmodellierung integriert, indem es zukünftige räumliche Token und Aktionen direkt im nativen Token-Raum des VLM vorhersagt und so eine Spitzenleistung auf diversen Benchmarks erreicht, ohne auf Pixelrekonstruktion oder externe Encoder angewiesen zu sein.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht vom Autor verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Roboter haben schon lange damit zu kämpfen, sich mit der flüssigen Intuition eines Menschen durch die Welt zu bewegen. Während sie darauf programmiert werden können, eine bestimmte Bewegung perfekt zu wiederholen, scheitern sie oft, wenn sich die Umgebung geringfügig ändert oder wenn eine Aufgabe eine Sequenz von Schritten erfordert, die in Echtzeit angepasst werden muss. Um diese Lücke zu schließen, haben Wissenschaftler Systeme entwickelt, die Vision, Sprache und Handeln kombinieren. Diese Systeme ermöglichen es einem Roboter, einen Befehl wie „stell den Becher auf den Tisch“ zu verstehen und dann herauszufinden, wie er seinen Arm bewegen muss, um dies zu tun. Ein erhebliches Hindernis bleibt jedoch bestehen: Die meisten dieser Systeme betrachten nur den gegenwärtigen Moment. Sie sehen die aktuelle Szene und entscheiden über den nächsten Schritt, aber sie antizipieren nicht wirklich, was als Nächstes passieren wird. Ohne diese Fähigkeit, die unmittelbare Zukunft vorherzusehen, können Roboter bei Aufgaben stolpern, die eine Koordination komplexer Bewegungen erfordern, wie etwa das Gehen, während man ein Objekt trägt, oder das Navigieren um Hindernisse, die sich während der Bewegung verschieben.
Ein neuer Ansatz namens Z-sight, der von Forschern der Maven Robotics und der University of Southern California entwickelt wurde, versucht dies zu lösen, indem er dem Roboter eine Form von „Voraussicht“ verleiht. Anstatt nur auf das zu reagieren, was er gerade sieht, lernt das System, vorherzusagen, wie die visuelle Welt in einem Bruchteil einer Sekunde aussehen wird, und nutzt diese Vorhersage, um seine Handlungen zu steuern. Dabei geht es nicht darum, ein vollständiges Video der Zukunft zu generieren, was rechenintensiv und langsam wäre. Stattdessen sagt das System die wesentlichen visuellen Muster voraus, die das Gehirn des Roboters nutzt, um die Szene zu verstehen. Indem das System lernt, den nächsten Moment zu imaginieren und gleichzeitig den nächsten Schritt zu entscheiden, kann der Roboter seinen Pfad reibungsloser planen und komplexe Aufgaben bewältigen, die andere Systeme zuvor zum Einfrieren oder Scheitern gebracht haben.
Die Forscher bauten dieses System, indem sie es auf einer massiven Sammlung von Daten trainierten, darunter tausende Stunden von Videos, die Menschen bei alltäglichen Aufgaben zeigen, sowie Aufzeichnungen von verschiedenen Robotern. Der Trainingsprozess war in Phasen unterteilt. Zuerst lernte das System, menschliche Bewegungen und Sprache aus Videos von Menschen zu verstehen, die Dinge wie Türen öffnen oder Kleidung falten. Dann wurde es mit Daten von verschiedenen Arten von Robotern konfrontiert, wobei es lernte, diese menschenähnlichen Beobachtungen in die spezifische Mechanik robotischer Bewegungen zu übersetzen. Schließlich wurde das System auf einem spezifischen Roboter, einem humanoiden Maschinenmodell namens Unitree G1, feinjustiert, um Aufgaben wie das Unterschieben eines Stuhls unter einen Tisch oder das Werfen von Müll in einen Behälter zu meistern. Während dieses gesamten Prozesses wurde das System darauf trainiert, zwei Dinge gleichzeitig zu tun: den zukünftigen visuellen Zustand der Welt vorherzusagen und die physischen Handlungen zu generieren, die nötig sind, um diesen Zustand zu erreichen.
Die Kerninnovation liegt darin, wie das System diese Vorhersagen handhabt. Viele bisherige Versuche, Robotern Voraussicht zu geben, stützten sich darauf, vollständige Videobilder der Zukunft zu generieren oder separate, starre Systeme zu verwenden, um zu erraten, was passieren würde. Diese Methoden waren entweder zu langsam oder zu entkoppelt von der Art und Weise, wie der Roboter selbst die Welt sieht. Z-sight vermeidet diese Fallstricke, indem es die Zukunft direkt in derselben „visuellen Sprache“ vorhersagt, die der Roboter nutzt, um die Gegenwart zu verstehen. Es versucht nicht, ein pixelperfektes Video zu rekonstruieren; stattdessen sagt es die abstrakten visuellen Token voraus, die die Szene repräsentieren. Dies ermöglicht es dem Roboter, die Zukunft als eine Menge von Möglichkeiten zu sehen, die eng mit seinem aktuellen Verständnis integriert sind, was es ihm ermöglicht, seine Handlungen im Verlauf der vorhergesagten Zukunft laufend anzupassen.
Die Ergebnisse dieses Ansatzes wurden sowohl in Computersimulationen als auch in realen Experimenten getestet. In einer simulierten Umgebung, die darauf ausgelegt war, die Ganzkörperkoordination zu testen, erreichte das System eine Erfolgsquote von 81,9 Prozent bei einer Vielzahl komplexer Aufgaben und übertraf damit die stärksten bestehenden Methoden bei weitem. Als es in einem realen Raum an dem physischen Unitree G1 Roboter getestet wurde, war es bei 73,3 Prozent der Versuche über sechs verschiedene Aufgaben hinweg erfolgreich, was das Bewegen von Objekten, das Navigieren um Möbel und das Ausführen mehrstufiger Hausarbeiten beinhaltete. Im Vergleich dazu war das nächstbeste System bei nur 53,3 Prozent dieser realen Versuche erfolgreich. Die Forscher fanden heraus, dass die Fähigkeit des Systems, die Zukunft zu antizipieren, entscheidend für Aufgaben war, die eine Sequenz von Bewegungen erforderten, wie etwa das Gehen zu einem Stuhl, das Verschieben des Stuhls und das anschließende Platzieren eines Objekts darauf. Ohne diese Voraussicht hätte der Roboter oft den ersten Teil der Aufgabe abgeschlossen, wäre dann aber beim Versuch, zum nächsten Schritt überzugehen, ins Stocken geraten.
Um sicherzustellen, dass die Verbesserungen tatsächlich vom Voraussichtsmechanismus selbst stammen und nicht nur von einem größeren oder komplexeren Modell, führten die Forscher mehrere kontrollierte Experimente durch. Sie testeten Versionen des Systems, die die Zukunft nicht vorhersagen konnten, und stellten fest, dass diese Versionen deutlich schlechter abschnitten, selbst wenn sie über die gleiche Rechenleistung verfügten. Sie testeten auch, ob das System auf den spezifischen Inhalt seiner Vorhersagen angewiesen war oder nur auf der Tatsache, dass es eine Vorhersage traf. Als sie die vorhergesagte Zukunft durch zufälliges Rauschen oder durch das aktuelle statische Bild ersetzten, brach die Leistung des Roboters zusammen, was darauf hindeutete, dass er die spezifischen Details seiner Zukunftsvorhersage tatsächlich nutzte, um seine Bewegungen zu steuern. Darüber hinaus gelang es dem System, diese komplexen Vorhersagen und Entscheidungen unglaublich schnell zu treffen, wobei es einen Block von 30 Schritten in nur 110 Millisekunden verarbeitete, was schnell genug ist, um einen Roboter in Echtzeit ohne Verzögerung zu steuern.
Die Studie untersuchte auch, wie das System reagiert, wenn etwas schiefgeht. Durch die gezielte Störung des Vorhersagestroms während der Tests beobachteten die Forscher, dass der Roboter sich anpassen konnte. Wenn dem System mitgeteilt wurde, dass seine Vorhersage unzuverlässig sei, verließ es sich stärker auf das, was es im jetzigen Moment sehen konnte, anstatt zu raten, was passieren könnte. Diese Flexibilität deutet darauf hin, dass das System eine robuste Methode gelernt hat, um Planung mit Reaktion abzuwägen. Die Forscher merkten an, dass das System zwar hocheffektiv ist, aber derzeit die Zukunft nur basierend auf dem vorhersagt, was es sieht, ohne explizit verschiedene Handlungsoptionen zu testen, bevor es sich für eine entscheidet. Dies lässt die Möglichkeit offen, zukünftige Versionen dazu zu bringen, verschiedene potenzielle Ergebnisse zu vergleichen, bevor sie handeln, was die Fähigkeit zur Planung weiter verbessern würde.
Letztendlich zeigt Z-sight, dass ein Roboter kein vollständiges Video der Zukunft generieren muss, um zu verstehen, was als Nächstes kommt. Indem das System lernt, die Zukunft im gleichen abstrakten visuellen Raum vorherzusagen, den es auch zum Verständnis der Gegenwart nutzt, erreicht es ein Maß an Koordination und Anpassungsfähigkeit, das zuvor schwer zu erreichen war. Dieser Ansatz ermöglicht es dem Roboter, sich mit einem Gefühl der Kontinuität zu bewegen und so die Lücke zwischen dem Sehen der Welt und dem Handeln innerhalb dieser Welt zu schließen. Der Erfolg dieser Methode bei sowohl simulierten als auch humanoiden Robotern deutet darauf hin, dass diese Art der Kombination von Wahrnehmung, Vorhersage und Handlung als Standardgrundlage für leistungsfähigere und autonomere Maschinen in der Zukunft dienen könnte.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.