VIA: Visual Interface Agent for Robot Control
Das Papier stellt VIA vor, ein Framework, das fertige Foundation-Modelle als visuelle Interface-Agenten nutzt, um Roboter über eine browserbasierte 3D-Schnittstelle zu steuern, ohne dass eine aufgabenspezifische Feinabstimmung erforderlich ist, wodurch demonstriert wird, dass Frontier-Agenten durch die Behandlung der Robotersteuerung als interaktive Softwareoperation hohe Zero-Shot-Erfolgsraten bei komplexen Manipulationsaufgaben erreichen können.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboterfreund, der fantastisch darin ist, Code zu schreiben, Videospiele zu spielen und Rätsel zu lösen, aber er hat in seinem ganzen Leben noch nie ein physisches Objekt berührt. Stellen Sie sich nun vor, Sie möchten diesem Roboter beibringen, eine Schüssel aufzuheben, eine Schublade zu öffnen oder Blöcke zu stapeln.
Normalerweise versuchen Wissenschaftler, Roboter zu trainieren, indem sie ihnen Millionen von Stunden Videomaterial zeigen, in denen sich ein Roboterarm bewegt, und dann die „Gewichte“ des Robotergehirns anpassen, bis er die Bewegungen lernt. Aber dieses Paper, VIA (Visual Interface Agent), schlägt einen viel cooleren, einfacheren Trick vor: Lehren Sie den Roboter gar nicht erst, ein Roboter zu sein. Lassen Sie ihn stattdlich einfach eine Computermaus benutzen.
Die große Idee: Der Roboter als Videospiel
Die Autoren, ein Team aus Stanford, erkannten, dass die fortschrittlichsten KI-Modelle von heute bereits Experten darin sind, Software zu steuern. Sie können einen Computerbildschirm betrachten, Buttons klicken, Text tippen und herausfinden, wie man einen Bug behebt oder eine Website baut.
Also fragten sie: Was wäre, wenn wir einen echten Roboterarm einfach wie eine weitere Software behandeln würden?
Sie bauten eine spezielle 3D-Schnittstelle, die wie ein Videospiel oder ein 3D-Designprogramm aussieht (denken Sie an Blender). In dieser Welt schwebt ein blauer „Ziel-Greifer“ (target gripper) im Raum. Der KI-Agent kommuniziert nicht direkt mit den Motoren des Roboters. Stattdessen betrachtet er Screenshots dieser 3D-Welt und nutzt einen Satz einfacher Werkzeuge, um diesen blauen Ziel-Greifer zu bewegen, genau so, wie ein Mensch eine Maus bewegen würde.
Hier ist die magische Schleife:
- Sehen: Die KI macht einen Screenshot der 3D-Szene (die Ansichten von Kameras am Roboter enthält).
- Denken: Sie stellt fest: „Ich muss den roten Würfel greifen.“
- Handeln: Sie nutzt ein Werkzeug, um den blauen Ziel-Greifer in die Nähe des Würfels zu teleportieren, ihn so zu drehen, dass er in die richtige Richtung zeigt, und klickt auf „Ausführen“ (Execute).
- Beobachten: Der echte Roboterarm bewegt sich, um dem blauen Ziel zu entsprechen.
- Wiederholen: Die KI macht einen weiteren Screenshot, sieht nach, ob es geklappt hat, und plant den nächsten Schritt.
Was sie herausfanden (Die guten Nachrichten)
Das Team testete dies mit zwei leistungsstarken KI-Agenten (Claude Code und Codex) bei sechs verschiedenen Aufgaben, wie etwa dem Stapeln von Blöcken, dem Öffnen einer Schublade oder dem Einschalten eines Herdes. Sie haben der KI kein spezielles Robotertraining gegeben. Sie gaben ihr lediglich die Schnittstelle und ein einfaches Ziel.
- Es funktionierte überraschend gut: Mit dem stärksten Modell (CC-Fable) war die KI bei Aufgaben, die das Öffnen von Schubladen und das Drehen von Knöpfen betrafen, zu 96,7 % erfolgreich. Bei einer langen, schwierigen Aufgabe, sieben Blöcke zu einem Regenbogen anzuordnen, erreichte sie 100 % Erfolg.
- Zero-Shot ist real: Die KI hatte diese spezifische Schnittstelle zuvor noch nie gesehen. Sie hat sie von Grund auf selbstständig erschlossen, indem sie einfach den Bildschirm betrachtete und die Beschreibungen der Werkzeuge las.
- Größere Gehirne = bessere Roboter: Je stärkerer und intelligenter die verwendeten KI-Modelle waren, desto besser wurde der Roboter bei den Aufgaben. Dies deutet darauf hin, dass die KI automatisch besser darin wird, Roboter zu steuern, wenn sie immer klüger im Umgang mit Computern wird.
Was sie explizit NICHT ist
Es ist wichtig zu wissen, was dieses Paper NICHT tut, da es einige gängige Ideen auf diesem Gebiet ablehnt:
- Kein „Fine-Tuning“: Sie haben die KI-Modelle nicht mit Roboterdaten nachjustiert. Sie haben das KI-Gehirn nicht angepasst, damit es Physik versteht. Sie haben die Modelle exakt so verwendet, wie sie verkauft werden.
- Kein „Code-as-Policies“: Sie haben die KI nicht gebeten, komplexen Code zu schreiben, der spezifische Roboterfunktionen aufruft (wie
grasp_object("red_cube")). Das Paper argumentiert, dass das Verlassen auf vorgefertigte Code-Bibliotheken ein Engpass ist. Stattdessen bewegt die KI einfach einen virtuellen Greifer mithilfe einfacher, visueller Werkzeuge. - Keine „privilegierten“ Informationen: Die KI erhält keinen geheimen Spickzettel mit den exakten Koordinaten oder dem internen Zustand des Roboters. Sie sieht nur das, was auch ein Mensch sehen würde: Screenshots und Kamerafeeds.
Der Haken (Der Realitätscheck)
Obwohl die Ergebnisse aufregend sind, ist das Paper sehr vorsichtig damit, dies als ein für jede Situation „gelöstes“ Problem darzustellen.
- Es ist eine Simulation: Alle diese Tests fanden in einer Computersimulation (RoboSuite) statt, noch nicht an einem echten Roboter in einer echten Küche. Die Autoren deuten an, dass dies ein vielversprechender Weg ist, aber an echter Hardware getestet werden muss.
- Es ist langsam und teuer: Da die KI Screenshots machen, denken und Schritt für Schritt planen muss, ist sie nicht schnell. Sie eignet sich gut für langsame, sorgfältige Aufgaben wie das Zusammenbauen von Möbeln, aber sie würde wahrscheinlich scheitern, wenn man sie bitten würde, einen fliegenden Ball zu fangen.
- Es braucht große Gehirne: Das System benötigt derzeit die leistungsfähigsten und teuersten verfügbaren KI-Modelle. Kleinere, günstigere Modelle wären möglicherweise nicht intelligent genug, um den 3D-Raum allein durch das Betrachten von Screenshots zu erfassen.
Das Fazente Fazit
Das Paper legt nahe, dass wir vielleicht gar kein neues „Robotergehirn“ von Grund auf neu bauen müssen. Stattdessen müssen wir unseren bestehenden, superintelligenten, computergesteuerten KIs vielleicht nur ein Fenster in die physische Welt öffnen. Wenn man einem Coding-Agenten eine 3D-Schnittstelle und eine Maus gibt, könnte er einfach ein getarnter Roboter-Controller sein, bereit zu lernen, wie man einen Regenbogen aus Blöcken baut oder eine Schublade öffnet – und das alles, ohne jemals eine einzige roboterspezifische Lektion gelernt zu haben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.