Open-AoE: An Open Egocentric Manipulation Dataset and Toolchain for Embodied Learning
Open-AoE ist ein offener, gemeinschaftlich gesteuerter Datensatz und eine Toolchain, die die Lücke zwischen skalierbarer, auf Smartphones basierender egozentrischer Videoaufnahme und dem Training von Embodied AI schließt, indem sie 2.000 Stunden strukturierter Manipulationsdaten zusammen mit einer umfassenden Pipeline für die Verarbeitung, das Retargeting und das Training verschiedener Robotik-Lernmodelle bereitstellt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie müssten einem Roboter beibringen, wie man ein Sandwich zubereitet, einen tropfenden Wasserhahn repariert oder ein Hemd faltet. Man kann ihn nicht einfach mit einer Bibliothek von Lehrbüchern füttern; er muss sehen und fühlen, wie Menschen diese Dinge tun. Dies ist die Welt der verkörperten Intelligenz (Embodied Intelligence), in der Computer durch die Interaktion mit der physischen Welt lernen, genau wie wir. Aber es gibt einen Haken: Roboter sehen die Welt anders als wir. Wenn Sie ein Video aus der Sicht einer Kamera auf einem Regal aufnehmen (eine „Dritte-Person-Perspektive“), sieht der Roboter zwar den ganzen Raum, verpasst aber die winzigen Fingerbewegungen. Wenn Sie aus den eigenen Augen des Roboters filmen („egozentrische“ Sicht), erhält er die richtige Perspektive, aber es ist unglaublich schwer und teuer, genügend hochwertige Daten zu sammeln, um ihn zu lehren. Normalerweise benötigt man spezielle, teure Kameras, die Menschen an den Kopf geschnallt sind, oder man muss jede einzelne Sekunde des Videos manuell beschriften, um dem Computer zu sagen, was gerade passiert. Ohne eine massive, leicht nutzbare Bibliothek dieser „menschlichen Augen“-Videos haben es Roboter schwer, die subtilen Kniffe des täglichen Lebens zu lernen.
Hier setzt ein neues Projekt namens Open-AoE an, das wie ein riesiges Open-Source-Toolkit zum Unterrichten von Robotern fungiert. Die Forscher dahinter erkannten, dass jeder bereits die perfekte Kamera in seiner Tasche hat: ein Smartphone. Also entwickelten sie ein System, das tausende gewöhnliche Menschen in Datensammler verwandelt. Sie erschufen eine App, die Videos von Menschen bei alltäglichen Aufgaben aufnimmt – wie etwa Kaffee eingießen oder auf einer Tastatur tippen – mithilfe ihrer eigenen Telefone. Aber sie hörten nicht nur beim Aufnehmen auf; sie bauten eine riesige, automatisierte Fabrik in der Cloud, die diese rohen, ungeordneten Videos nimmt und sie in superorganisierte, roboterbereite Lektionen verwandelt.
Das Team sammelte eine atembernde Menge von 2.000 Stunden dieser Videos, die von über 500 verschiedenen Personen mit mehr als 400 verschiedenen Arten von Smartphones aufgenommen wurden. Das ist eine Menge Zeit! Die Videos decken über 400 verschiedene Szenen (von Küchen bis hin zu Büros) und über 8.000 verschiedene Aufgaben ab. Was dieses Projekt so besonders macht, ist nicht nur das Volumen, sondern die „Magie“, die das System dem Filmmaterial hinzufügt. Mithunter Einsatz fortschrittlicher KI berechnet das System automatisch, wo genau sich die Hände bewegen (bis hin zu den 21 Gelenken der Finger), wie sich die Kamera bewegt, und unterteilt das Video in winzige, bedeutungsvolle Aktionsabschnitte. Es schreibt sogar Textbeschreibungen darüber, was gerade geschieht.
Man kann es sich so vorstellen: Früher mussten Sie, wenn Sie einen Roboter lehren wollten, eine Filmcrew engagieren, teures Equipment kaufen und Jahre damit verbringen, das Filmmaterial zu bearbeiten. Open-AoE ist so, als würde man jedem ein Smartphone in die Hand drücken, sagen: „Filme deinen Tag“, und dann einen magischen Roboter-Editor haben, der diese Filme sofort in ein perfektes Lehrbuch verwandelt, aus dem ein Roboter lernen kann. Die Arbeit zeigt, dass dieser Ansatz funktioniert und einen reichen, vielfältigen Datensatz liefert, der Robotern hilft zu verstehen, nicht nur was sie tun sollen, sondern auch wie sie ihre Hände und Augen bewegen müssen, um es zu tun.
Die Forscher haben auch eine Reihe von Werkzeugen (eine „Toolchain“) entwickelt, die es Wissenschaftlern ermöglichen, mit diesen Daten spannende Dinge zu tun. Sie können die 3D-Bewegungen der Hände visualisieren, menschliche Bewegungen auf verschiedene Roboterkörper „retargetn“ (also beispielsweise einen menschlichen Arm in einen Roboterarm übertragen) und verschiedene Arten von KI-Modellen trainieren. Sie fanden heraus, dass sie durch die Verwendung dieser vielfältigen, Smartphone-basierten Daten eine viel stärkere Grundlage schaffen können, damit Roboter aus der realen Welt lernen, ohne dass sie eine Million Dollar an Ausrüstung benötigen. Dies ist ein großer Schritt dahin, Roboter zu erschaffen, die uns tatsächlich bei unseren täglichen Aufgaben helfen können, denn nun verfügen sie über eine massive, offene Bibliothek menschlicher Erfahrungen, die sie studieren können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.