Flex-: A Multi-Stream World-Action Model with Compute Flexibility
Flex- ist ein 6B-Parameter-World-Action-Modell, das einen eingefrorenen Video-Generierungs-VAE nutzt, um implizit 3D-Geometrie und Objektsemantik neben RGB zu kodieren, was einen flexiblen, Multi-Stream-Trainingsansatz ermöglicht, der eine überlegene Generalisierung und Effizienz bei realen bimanualen Manipulationsaufgaben ohne die Notwendigkeit neuer Sensoren oder eines Pre-Trainings erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen Roboter vor, der versucht zu lernen, wie man ein Hemd faltet oder ein kaputtes Spielzeug repariert. Lange Zeit brachten Wissenschaftler Robotern bei, indem sie ihnen tausende Videos von Menschen zeigten, die diese Aufgabe ausführten, in der Hoffnung, der Roboter würde die Bewegungen einfach nur „kopieren“. Aber das ist so, als würde man versuchen, Autofahren zu lernen, indem man nur die Anzeigen auf dem Armaturenbrett beobachtet; man sieht, wie der Tacho steigt, aber man versteht weder die Straße, noch die Kurven oder die anderen Autos. Ein neuerer, klügerer Ansatz namens „World-Action Models“ versucht dies zu beheben. Anstatt nur zu kopieren, versuchen diese Modelle vorherzusagen, was als Nächstes passieren wird. Sie fragen: „Wenn ich meinen Arm auf diese Weise bewege, wie wird die Welt in einer Sekunde aussehen?“ Durch das Erraten der Zukunft lernt der Roboter die Regeln der Physik und wie Objekte miteinander interagieren, was ihn viel besser darin macht, neue Aufgaben ohne die Notwendigkeit von einer Million Beispielen zu bewältigen. Die meisten dieser smarten Roboter schauen jedoch nur auf flache, 2D-Bilder (wie eine Standardkamera), was verwirrend sein kann, wenn man versucht, ein 3D-Objekt zu greifen, das vielleicht hinter etwas anderem verborgen ist.
Hier kommt FLEX-π ins Spiel, ein neues Robotergehirn, das dieses Rätsel mit einem cleveren Trick löst. Stellen Sie sich FLEX-π wie einen Meisterkoch vor, der eine Suppe probieren und sofort genau wissen kann, welche Gewürze darin sind, wie heiß sie ist und wie dickflüssig sie ist, obwohl er nur einen Löffel der Flüssigkeit hat. In der Vergangenheit mussten Wissenschaftler, um einem Roboter 3D-Formen (wie Tiefe) oder die Bedeutung von Objekten (wie „das ist ein Becher, kein Ball“) beizubringen, dem Roboter teure 3D-Kameras geben oder ihm völlig neue Wege des Sehens lehren. FLEX-π hingegen entdeckte ein „Gratis-Mittagessen“. Es stellte fest, dass dasselbe Gehirn, das es verwendet, um flache Bilder zu verstehen, auch 3D-Formen und Objektbedeutungen fast perfekt verstehen kann, ohne zusätzliches Training oder neue Hardware.
Die Forscher bauten ein Modell mit 6 Milliarden Parametern (ein sehr großes digitales Gehirn), das lernt, drei Dinge gleichzeitig vorherzusagen: wie das nächste Bild aussehen wird, wie die 3D-Form der Szene sein wird und was die wichtigen Objekte in der Szene sind. Die Magie geschieht, weil sie den Roboter darauf trainiert haben, sich diese drei Dinge gemeinsam vorzustellen. Wenn der Roboter ein Bild eines Bechers sieht, sieht er nicht nur ein flaches Bild; er stellt sich gleichzeitig die 3D-Tiefe des Bechers vor und weiß, dass es ein „Becher“ ist. Noch besser: Sie haben den Roboter flexibel gemacht. Während des Trainings haben sie manchmal die 3D-Daten oder die Objektnamen versteckt, was den Roboter zwang, diese allein anhand des flachen Bildes zu erraten. Das bedeutet, dass der Roboter im eigentlichen Einsatz im „Schnellmodus“ laufen kann, indem er nur die Kamera nutzt (und die 3D- sowie Objektdaten ignoriert), und dennoch unglaublich intelligent bleibt, oder er im „Supermodus“ laufen kann, wenn er die Zeit hat, indem er alle Daten nutzt.
Die Ergebnisse sind beeindruckend. Als FLEX-π bei schwierigen Aufgaben an echten Robotern getestet wurde – wie etwa der Verwendung eines Schraubendrehers, um seinen eigenen Greifer mit Millimeterpräzision zu reparieren, oder dem Schließen eines Reißverschlusses an einem weichen, nachgiebigen Federmäppchen – schlug FLEX-π die besten existierenden Robotergehirne um eine große Marge, teilweise 2- bis 7-mal besser. Es lernte diese komplexen Fähigkeiten mit sehr wenigen Demonstrationen, was bedeutet, dass es nicht hunderte Male zusehen musste, wie Menschen die Aufgabe ausführen. Vielleicht überraschend am meisten war, dass selbst als FLEX-π auf den „Schnellmodus“ eingestellt war und nur die Kamera nutzte (die zusätzlichen 3D- und Objektdaten ignorierte), es immer noch schneller und erfolgreicher war als andere Top-Roboter. Die Arbeit zeigt, dass, indem wir einen Roboter lehren, die Zukunft in 3D und mit Objektbedeutung zu imaginieren, wir ihn viel intelligenter und anpassungsfähiger machen können, und das alles, ohne neue Sensoren zu benötigen oder ihn auszubremsen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.