CLAM: Continuous Latent Action Models for Robot Learning from Unlabeled Demonstrations
Dieses Paper stellt CLAM vor, ein Framework, das es Robotern ermöglicht, effektive Steuerungsrichtlinien aus unbeschrifteten Beobachtungssequenzen zu erlernen, indem es durch selbstüberwachte Dynamikvorhersage kontinuierliche latente Aktionen inferiert und diese mit aufgabenagnostischen Spieldaten verankert, wodurch eine Leistung erzielt wird, die mit Behavior Cloning unter Verwendung von Experten-Labels vergleichbar ist, ohne dass kostspielige, mit Aktionen beschriftete Demonstrationen erforderlich sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter etwas beizubringen, wie zum Beispiel das Stapeln von Blöcken oder das Einschenken eines Getränks. Normalerweise ist der beste Weg, einen Roboter zu lehren, ihm Schritt für Schritt zu zeigen, was er tun soll, während man ihn an der Hand führt und jede winzige Bewegung seiner Motoren aufzeichnet. Das ist so, als würde man einem Schüler ein Lehrbuch geben, in dessen Rückteil die Antworten bereits stehen. Aber hier liegt der Haken: Diese Motorbewegungen aufzuzeichnen ist unglaublich schwierig, teuer und langweilig. Es erfordert einen menschlichen Experten, der den Roboter stundenlang physisch steuert, was langsam und kostspielig ist.
Stellen Sie sich nun einen anderen Typ von Lehrer vor. Dieser Lehrer hat keinen Roboter; er hat nur eine Videokamera. Er filmt sich selbst dabei, wie er die Aufgabe erledigt, oder er findet Videos im Internet, die Menschen bei dieser Tätigkeit zeigen. Der Roboter kann sehen, was passiert – die Blöcke bewegen sich, der Becher füllt sich –, aber er hat keine Ahnung davon, wie sich die Hand des Menschen bewegt hat, um das zu bewirken. Die „Motorsignale“ fehlen. Dies ist das Rätsel, das Wissenschaftler im Bereich der Robotik zu lösen versuchen: Wie kann ein Roboter lernen, sich von selbst zu bewegen, indem er nur Videos beobachtet, in denen die „Wie-man-es-macht“-Anleitungen verborgen sind? Diese Arbeit widmet sich genau diesem Problem und zielt darauf ab, Roboter durch billige, leicht zu sammelnde Videos lernen zu lassen, ohne dass teure, handgeführte Trainingssitzungen erforderlich sind.
Die Forscher hinter dieser Arbeit, Anthony Liang und sein Team, führen eine neue Methode namens CLAM (Continuous Latent Action Models) ein. Betrachten Sie CLAM als einen superintelligenten Detektiv, der in der Lage ist, zwei aufeinanderfolgende Frames eines Videos zu betrachten und die „unsichtbare Kraft“ zu erraten, die die Veränderung verursacht hat. Wenn Sie sehen, wie sich ein Becher in einem Video von der linken Seite des Tisches zur rechten Seite bewegt, versucht CLAM herauszufinden, welche spezifische, kontinuierliche Bewegung dazwischen stattgefunden hat, obwohl es die Hand, die ihn bewegt hat, nie gesehen hat.
So geschieht die Magie. Zuerst schaut der Roboter einen riesigen Haufen unbeschrifteter Videos an (nur Beobachtungen, keine Anweisungen). Er versucht vorherzusagen, wie der nächste Frame basierend auf dem aktuellen Frame und einer „Vermutung“ über die verborgene Aktion aussehen wird. Wenn die Vermutung falsch ist, schlägt die Vorhersage fehl, und der Robodet lernt, seine Vermutung anzupassen. Mit der Zeit baut er eine Bibliothek dieser „verborgenen Aktionen“ auf, die Sinn für die Welt ergeben. Aber es gibt einen Haken: Diese verborgenen Aktionen sind nur Zahlen im Gehirn des Roboters; sie sind noch keine echten Motorbefehle.
Um dies zu beheben, nutzt das Team einen zweiten, kleineren Datensatz: „Play“-Daten. Das ist einfach der Roboter, der herumwandert, gegen Dinge stößt und seine Arme zufällig bewegt, aber dieses Mal zeichnet der Computer die Motorbefehle auf. Es ist, als würde der Roboter mit Knete spielen, ohne ein Ziel zu haben, aber dabei ein Tagebuch darüber führt, wie sich seine Finger bewegt haben. CLAM nutzt dieses Tagebuch, um sich selbst beizubringen, wie es seine „verborgenen Aktions“-Vermutungen in echte, physische Bewegungen übersetzt. Die entscheidende Innovation hierbei ist, dass sie den Teil des „Ratens“ und den Teil der „Übersetzung“ gemeinsam trainieren. Dies stellt sicher, dass die Vermutungen einfach und nützlich bleiben und nicht zu einem chaotischen Durcheinander werden, das der Roboter gar nicht ausführen kann.
Die Ergebnisse sind recht beeindruckend. Das Team testete CLAM auf zwei Arten: in Computersimulationen (wie in einer Videospielwelt) und auf einem echten physischen Roboterarm namens WidowX. Sie fanden heraus, dass CLAM komplexe Aufgaben wie das Zusammenbauen von Teilen oder das Aufheben von Objekten mit einer Erfolgsquote lernen konnte, die 2- bis 3-mal höher war als bei bisherigen Methoden, die versuchten, dasselbe zu tun. In vielen Fällen lernte der Roboter, fast so gut zu agieren, als wäre er mit den teuren, perfekten „Motorbefehl“-Daten trainiert worden, obwohl er diese Daten nie gesehen hatte.
Entscheidend ist, dass dieser Ansatz am besten funktioniert, wenn die „verborgenen Aktionen“ kontinuierlich (fließend und geschmeidig) sind, anstatt in winzige, diskrete Schritte unterteilt zu werden, und wenn der Roboter lernt, diese Aktionen mithilfe dieser kleinen Menge an „unordentlichen“, unbeschrifteten Play-Daten zu übersetzen. Wenn sie versucht hätten, die Aktionen in ein starres, schrittweises Format zu zwingen, oder wenn sie versucht hätten, den Übersetzungsteil separat zu trainieren, hätte der Roboter Schwierigkeiten gehabt. Die Arbeit zeigt, dass wir durch diese Kombination aus selbstüberwachtem Detektivwerk und ein wenig unordentlichen, unbeschrifteten Play-Daten Robotern neue Fähigkeiten beibringen können, ohne die Notwendigkeit für teures, von Experten geführtes Teleoperation zu haben. Es ist ein großer Schritt in Richtung der Fähigkeit von Robotern, aus der riesigen Menge an bereits verfügbaren Videoinhalten im Internet zu lernen, anstatt zu verlangen, dass wir jeden einzelnen ihrer Bewegungen manuell aufzeichnen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.