Native Video-Action Pretraining for Generalizable Robot Control
LingBot-VA 2.0 ist ein Video-Action-Foundation-Modell, das von Grund auf für robotische Verkörperung entwickelt wurde und einen semantischen visuellen-aktionalen Tokenizer, kausales Pretraining, eine Sparse-MoE-Backbone sowie ein asynchrones Inferenzschema nutzt, um eine robuste, Few-Shot-generalisierbare Steuerung in realen Umgebungen zu erreichen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, ein Videospiel zu spielen. Die meisten Menschen versuchen dies heute, indem sie eine superintelligente Film-KI nehmen, ihr ein paar zusätzliche Knöpfe für „nach links bewegen“ oder „aufheben“ geben und darauf hoffen, dass sie den Rest von selbst herausfindet. Die Autoren dieser Arbeit argumentieren jedoch, dass dies so ist, als würde man versuchen, einem Fisch das Fahrradfahren beizubringen, indem man ihm einfach einen Sattel auf den Rücken schnallt. Es ist das falsche Werkzeug für den Job.
Stattdessen haben sie LingBot-VA 2.0 gebaut, ein Robotergehirn, das von Grund auf speziell dafür entwickelt wurde, zu verstehen, wie sich die physische Welt bewegt und reagiert. Betrachten Sie es nicht als Filmregisseur, sondern als einen „Zukunfts-Sicht“-Coach, der eine Szene beobachtet, exakt vorhersagt, wie sie sich in einer winzigen Sekunde verändern wird, und dem Roboter genau sagt, was er tun muss, um diese Zukunft herbeizuführen.
Warum der alte Weg nicht funktionierte
Die Arbeit argumentiert explizit gegen den aktuellen Trend des „Umwidmens“ von Videogeneratoren. Diese alten Modelle wurden darauf trainiert, schöne Filme zu machen, bei denen das Ziel lediglich darin besteht, realistisch auszusehen. Sie sind „bidirektional“, was bedeutet, dass sie in die Zukunft schauen können, um die Vergangenheit zu helfen vorherzusagen – das ist großartig für das Bearbeiten eines Films, aber schrecklich für einen Roboter, der jetzt handeln muss, basierend auf dem, was er genau jetzt sieht.
Die Autoren fanden drei große Probleme mit dem alten Ansatz:
- Es ist zu hübsch, nicht physisch genug: Die alten Modelle konzentrieren sich darauf, dass Pixel gut aussehen, nicht darauf zu verstehen, dass ein Becher rutscht, wenn man ihn anstößt. Sie „verstehen“ Ursache und Wirkung nicht wirklich.
- Es ist zu langsam: Echte Roboter müssen hunderte Male pro Sekunde denken. Die alten Modelle brauchen zu lange, um ein Videobild zu „entrauschen“ (zu bereinigen), was dazu führt, dass der Roboter einfriert oder verzögert.
- Es vergisst die Regeln: Der Versuch, einen Film-Maker dazu zu zwingen, Roboterbewegungen zu lernen, führt oft dazu, dass er das allgemeine Wissen vergist, das er durch das Beobachten von Milliarden Stunden Internet-Videos gelernt hat.
Das neue Geheimrezept: Vier magische Tricks
Um dies zu beheben, baute das Team LingBot-VA 2.0 unter Verwendung von vier klugen Designprinzipien:
1. Der „bedeutungsvolle Übersetzer“ (Semantischer Tokenizer)
Stellen Sie sich vor, Sie haben einen Übersetzer, der nicht nur Wörter übersetzt, sondern das Gefühl eines Satzes. Die alten Modelle übersetzten Videos in eine Ansammlung winziger Pixel-Patches. LingBot-VA 2.0 verwendet einen neuen „Tokenizer“, der das Video in eine kompakte, hochgradige Zusammenfassung übersetzt, die versteht, was Dinge sind und wie sie sich bewegen. Er gleicht die Vision des Roboters mit einem riesigen, vortrainierten „Vision-Gehirn“ ab, sodass er versteht, dass eine „Tasse“ eine Tasse ist und nicht nur eine Ansammlung von Farben. Entscheidend ist auch, dass er „latente Aktionen“ lernt – einen geheimen Code, der die Veränderung zwischen zwei Momenten repräsentiert, wie etwa die unsichtbare Kraft einer Hand, die eine Tasse greift, ohne dass ein Mensch jeden einzelnen Schritt beschriften muss.
2. Die „Einbahnstraße“ (Kausales Pretraining)
Film-Editoren können in der Zeit vor- und zurückspringen. Roboter können das nicht. Die Autoren trainierten ihr Modell auf einem strikten „Einbahnstraßen“-Pfad (kausal). Es lernt ausschließlich aus der Vergangenheit, um die Zukunft vorherzusagen. Sie haben nicht nur ein altes Modell angepasst; sie haben dieses gesamte System von Grund auf auf Web-Scale-Daten trainiert. Dies stellt sicher, dass das Gehirn des Roboters natürlich darauf programmiert ist, in der Zeit vorwärts zu denken, wodurch die „Amnesie“ vermieden wird, die entsteht, wenn man versucht, ein rückwärts gerichtetes Modell dazu zu zwingen, vorwärts zu agieren.
3. Das „Fleißige Biene“-Netzwerk (Sparse MoE)
Um den Roboter schnell genug zu machen, um einen fliegenden Ball zu fangen, nutzt das Modell ein „Mixture of Experts“ (MoE)-Backbone. Stellen Sie sich eine riesige Bibliothek vor, in der, anstatt dass jeder Bibliothekar jedes Buch liest, nur der spezifische Experte gerufen wird, der für die Aufgabe benötigt wird. Dies ermöglicht es dem Modell, riesig und intelligent zu sein (13 Milliarden Parameter!), aber für jeden Schritt nur einen kleinen Bruchteil seines Gehirns (etwa 1,9 Milliarden) „aufzuwecken“. Dies hält es blitzschnell, ohne seine Intelligenz zu verlieren.
4. Die „Kristallkugel-Inferenz“ (Foresight Reasoning)
Das ist der coolste Teil. Normalerweise wartet ein Roboter, bis der Computer fertig gedacht hat, bewegt sich dann, wartet wieder, bis die Kamera aktualisiert wurde, und denkt dann erneut nach. Das ist zu langsam. LingBot-VA 2.0 nutzt „Foresight Reasoning“. Während der Roboter seinen Arm physisch bewegt, um Aufgabe A auszuführen, berechnet der Computer im Hintergrund bereits Aufgabe B.
Aber hier gibt es ein Sicherheitsnetz: Wenn die Vorhersage des Roboters vom Kurs abweicht (zum Beispiel, wenn er sich vorstellt, die Tasse stünde noch auf dem Tisch, sie aber eigentlich schon auf dem Boden ist), „re-groundet“ sich das System sofort mithilfe des neuesten echten Kamerabildes. Es ist wie ein Pilot, der ein Flugzeug fliegt, indem er gleichzeitig aus dem Fenster schaut und die Instrumente kontrolliert, um den Kurs sofort zu korrigieren, falls die Realität nicht mit der Vorhersage übereinstimmt.
Wie gut funktioniert es tatsächlich?
Die Autoren haben dies nicht nur erdacht; sie haben es streng getestet.
- In der realen Welt: Sie setzten den Roboter in einem Labor ein, um Aufgaben wie das Sortieren von Obst, das Einsammeln von Stiften und das Aufräumen von Schubladen zu erledigen. LingBot-VA 2.0 schlug die bisherigen besten Modelle (wie und das ursprüngliche LingBot-VA) deutlich. Beispielsweise war es beim „Obstsortieren“ in 77 % der Fälle erfolgreich, verglichen mit 64 % beim nächstbesten Modell.
- In der Simulation: Sie testeten es in einer komplexen Zwei-Arm-Roboter-Simulation namens RoboTwin. Es erreichte eine Erfolgsquote von 93,6 % und schlug damit alle anderen Wettbewerber.
- Geschwindigkeit: Dank ihrer Speed-Tricks kann der Roboter Entscheidungen mit einer Spitzenfrequenz von 225 Hz treffen. Das sind über 200 Mal pro Sekunde – schnell genug, um Air Hockey zu spielen oder ein fallendes Objekt zu fangen.
- Schnelles Lernen: Der Roboter kann neue Aufgaben mit sehr wenigen Beispielen lernen. In einem Test lernte er, Teller und Tassen zu ordnen, nachdem er nur 15 Demonstrationen pro Aufgabe gesehen hatte, und er konnte sogar auf neue Kombinationen von Objeken, die er noch nie gesehen hatte, generalisieren, indem er einfach ein menschliches Video beobachtete (eine Technik namens „In-Context Learning“).
Das Fazal
Die Arbeit legt nahe, dass wir, um einen wirklich universellen Roboter zu bauen, nicht einfach alte Video-Tools auf Roboterarme patchen können. Wir brauchen eine neue Art von Gehirn, das Physik versteht, schnell agiert und gleichzeitig aus dem riesigen Internet von Videos und echten Roboterdaten lernt. LingBot-VA 2.0 beweist, dass dies möglich ist, und zeigt, dass ein Roboter sowohl ein schneller Denker als auch ein präziser Ausführer sein kann, bereit, unordentliche, reale Hausarbeiten mit nur wenigen Anweisungen zu bewältigen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.