Robot-Factored World Models via Robot Rendering
Dieses Paper schlägt „robot-factored world models“ vor, die die handlungsbedingte Videoprädiktion und die Generalisierung über verschiedene Roboter-Embodiments hinweg verbessern, indem sie die spezifische Realisierung und Geometrie des Roboters in explizite, durch Controller generierte Trajektorien und gerenderte, auf URDF basierende Visuals entkoppeln, wodurch das Modell ausschließlich darauf ausgerichtet wird, zu lernen, wie die Umgebung auf die sichtbare Roboterbewegung reagiert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, die Zukunft vorherzusagen. Nicht die Zukunft der Börse oder des Wetters, sondern die unmittelbare Zukunft eines Raumes: Wenn der Roboter nach einer Tasse greift, was wird mit der Tasse passieren? Wird sie umkippen? Wird sie rutschen? Das ist die Aufgabe eines „Weltmodells“. Betrachten Sie ein Weltmodell als einen mentalen Filmprojektor im Gehirn eines Roboters. Anstatt tatsächlich nach der Tasse zu greifen und das Risiko eines Chaos einzugehen, lässt der Roboter eine Simulation laufen: „Wenn ich diese Bewegung mache, zeigt das Video, dass die Tasse umkippt.“ Dies ist unglaublich nützlich, da es Robotern ermöglicht, zu üben und zu planen, ohne in der realen Welt etwas kaputt zu machen.
Aber hier liegt der knifflige Teil: Wie sagt man dem Filmprojektor, welche Bewegung er machen soll? In der Vergangenheit versuchten Wissenschaftler, den rohen Computercode des Roboters (wie „Gelenk 3 auf Winkel 45 bewegen“) direkt in den Filmprojektor einzuspeisen. Das Problem ist, dass dieser Code wie eine Geheimsprache ist, die spezifisch für den Körper eines einzelnen Roboters ist. Er zeigt dem Filmprojektor nicht, wie der Roboter aussieht oder wo er sich im Raum befindet. Es ist, als würde man einem Regisseur sagen: „Drücke Taste X“, ohne ihm das Gesicht des Schauspielers oder das Set zu zeigen. Der Filmprojektor muss dann sowohl erraten, wie der Roboter aussieht, als auch wie der Raum reagiert, was viel Arbeit ist und oft zu verwirrenden Filmen führt.
Dieses Paper stellt einen cleveren neuen Weg vor, um dieses Rätsel zu lösen, genannt „Robot-Factored World Models“. Die Autoren schlagen vor, dass wir aufhören sollten, den Filmprojektor die Körpersprache des Roboters erraten zu lassen. Stattdessen sollten wir dem Filmprojektor eine vorgefertigte 3D-Animation des sich bewegenden Roboters geben, die exakt wie ein Videospielcharakter gerendert ist. Sie nennen dies eine „nominale Trajektorie“. Bevor der Roboter überhaupt etwas berührt, berechnet der Computer genau, wie sich der Roboter bewegen würde, basierend auf seinen eigenen Anweisungen, wobei er die unordentliche Realität des Raumes für einen Moment ignoriert. Dann verwandeln sie diese Berechnung in ein visuelles Video des Roboterarms und der Hand, die in der Luft schweben.
Die Magie geschieht, wenn sie dieses „schwebende Roboter-Video“ zusammen mit einem Video des Raumes in das Weltmodell einspeisen. Das Modell muss nicht mehr erraten, wie der Roboter aussieht; es sieht einfach nur den Roboter in dem Video agieren und lernt, wie die Objekte im Raum auf diese spezifische Bewegung reagieren. Um sicherzustellen, dass der Roboter weiß, ob er die Tasse tatsächlich berührt oder nur darüber schwebt, fügen sie eine spezielle „Tiefenkarte“ (ein Video, das zeigt, wie weit Dinge entfernt sind) hinzu.
Die Ergebnisse sind beeindruckend. Als sie dies mit echten Roboterdaten testeten, war das Modell, das das „gerenderte Roboter-Video“ beobachtete, viel besser darin, vorherzusagen, was als Nächstes passieren würde, als Modelle, die nur den rohen Computercode lasen. Es war so gut darin, die Form und Bewegung des Roboters zu verstehen, dass es sogar vorhersagen konnte, was passieren würde, wenn ein anderer Roboter (den es noch nie gesehen hatte) dieselbe Bewegung ausführen würde, solsange dessen Bewegung in dasselbe visuelle Format gerendert wurde. Sie zeigten sogar, dass man ein Video einer menschlichen Handbewegung nehmen, sie in eine Roboterbewegung umwandeln und das Modell korrekt vorhersagen kann, wie ein Roboter mit Objekten interagieren würde. Im Wesentlichen haben sie der KI, indem sie die Aktionen des Roboters in eine klare, visuelle Geschichte statt in einen String aus Code verwandelten, beigebracht, die physische Welt viel klarer zu verstehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.