RynnValue: Scaling Robotic Value Foundation Models with Temporal Distance
RynnValue ist ein Open-Source-Roboter-Wert-Fundamentmodell, das auf Millionen von instruktionsgesteuerten Clips skaliert, indem es die zeitliche Distanz als Überwachungsziel nutzt, wodurch es präferenzbasierte Methoden in der Evaluierung übertrifft und den Erfolg realer Policys signifikant steigert, ohne dass explizite Belohnungs- oder Fortschrittsannotationen erforderlich sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, eine Mahlzeit zu kochen, aber anstatt ihm ein Rezept zu geben, sagen Sie einfach nur: „Mach es gut!“, und hoffen, dass er den Rest selbst herausfindet. Dies ist die Welt des Roboterlernens (Robot Learning), ein Zweig der Wissenschaft, in dem Ingenieure versuchen, Maschinen beizubringen, sich in der physischen Welt zu bewegen und mit ihr zu interagieren. Die größte Hürde ist dabei meistens nicht das Gehirn des Roboters (seine Fähigkeit sich zu bewegen), sondern die Belohnung (Reward). In der Welt der KI ist eine „Belohnung“ wie eine Punktzahl oder ein High-Five, das dem Roboter sagt: „Gut gemacht!“ oder „Versuch es nochmal!“. Das Problem ist, dass es unglaublich schwierig ist, einem Roboter für jede einzelne Bewegung eine perfekte Punktzahl zu geben. Wenn die Punktzahl zu vage ist, wird der Roboter verwirrt. Wenn sie zu spezifisch für eine Aufgabe ist, kann der Roboter nichts Neues lernen. Wissenschaftler haben versucht, eine „allgemeingültige“ Punktzahl zu entwickeln, die für jeden Roboter bei jeder Aufgabe funktioniert, aber sie steckten fest bei der Frage, wie man diese erstellt, ohne dass ein Mensch jeden einzelnen Versuch manuell bewerten muss.
Hier kommt eine neue Idee namens RynnValue ins Spiel. Betrachten Sie dies als eine neue Art, die Leistung eines Roboters zu bewerten. Anstatt zu fragen: „Wie nah bist du an der Ziellinie?“ (was schwer zu messen ist, wenn die Ziellinie bei jeder Aufgabe anders aussieht), fragt RynnValue: „Wie viel Zeit bleibt noch, bis du fertig bist?“ Es behandelt die Reise des Roboters wie einen Countdown-Timer. Wenn der Roboter noch weit vom Ziel entfernt ist, ist der Timer hoch. Wenn er nah dran ist, ist der Timer niedrig. Die Magie dieses Papers ist, dass man keinen Menschen braucht, der einen Knopf drückt und „Gut gemacht“ sagt, um diesen Timer zu erstellen. Man kann einfach auf die Uhr schauen. Wenn ein Video eines kochenden Roboters bei 10 Minuten beginnt und bei 0 endet, kann der Computer automatisch berechnen, dass der Roboter bei der 5-Minuten-Marke noch 5 Minuten übrig hatte. Dieser einfache Trick ermöglicht es dem Roboter, aus tausenden Stunden an Videos zu lernen, ohne dass jemand die Videos manuell bewerten muss. Es ist, als würde man ein Modell trainieren, indem man es mit einer riesigen Bibliothek von über 7.000 Stunden Roboter-Videos – etwa 3 Millionen Clips – füttert, ohne dass ein einziger Mensch sie manuell bewerten muss. Es ist, als würde man einen Schüler das Lesen lehren, indem man ihn tausende Filme mit Untertiteln anschauen lässt, anstatt dass ein Lehrer jeden einzelnen Satz bewertet, den er liest.
Das Problem: Die „Fortschritts-Falle“
Lange Zeit versuchten Wissenschaftler, Roboter durch das Messen von „Fortschritt“ zu lehren. Stellen Sie sich vor, ein Roboter versucht, Blöcke zu stapeln. Ein Fortschrittsmodell würde versuchen zu erraten, ob der Roboter zu 10 %, 50 % oder 90 % fertig ist. Aber hier liegt der Haken: „50 % fertig“ sieht beim Stapeln von Blöcken völlig anders aus als beim Gießen von Wasser. Ein Roboter ist vielleicht durch die Höhe zur Hälfte fertig, während ein anderer durch die Zeit zur Hälfte fertig ist. Dies macht es sehr schwierig, einen Roboter zu trainieren, der viele verschiedene Dinge tun kann, da sich die Definition von „Fortschritt“ jedes Mal ändert, wenn sich die Aufgabe ändert. Es ist, als würde man versuchen, einem Schüler Mathematik beizubringen, indem man sagt: „Du bist auf halbem Weg!“, ohne jemals zu sagen, was das Endergebnis sein soll.
Die Autoren dieses Papers argumentieren, dass dieser „Fortschritts“-Ansatz eine Sackgasse ist. Sie sagen, wir müssen aufhören zu versuchen zu erraten, wie weit ein Roboter fortgeschritten ist, und statfangen an, die Zeit herunterzuzählen, bis die Aufgabe erledigt ist. Sie nennen das temporale Distanz (Temporal Distance). Es ist die „Kosten-bis-zum-Ziel“ (Cost-to-go), oder einfach: „Wie viel Zeit habe ich noch übrig?“
Die Lösung: RynnValue und die magische Uhr
Das Team der DAMO Academy von Alibaba und dem Hupan Lab baute ein Modell namens RynnValue. Anstatt zu versuchen, einen Fortschrittsprozentsatz zu erraten, schaut RynnValue auf ein Video eines Roboters und eine Textanweisung (wie „stelle den Becher auf den Tisch“) und sagt genau voraus, wie viele Sekunden noch bis zum Abschluss der Aufgabe verbleiben.
Der clevere Teil ist: Sie brauchten keine Menschen, die für jedes Video „5 Sekunden übrig“ aufschrieben. Sie nutzten einfach die Zeitstempel (Timestamps), die bereits in den Videodateien enthalten sind. Wenn ein Video bei 0:00 beginnt und der Roboter bei 0:10 fertig ist, weiß der Computer, dass der Roboter bei 0:05 noch 5 Sekunden übrig hatte. Das bedeutet, sie konnten das Modell mit einer massiven Bibliothek von über 7.000 Stunden Roboter-Videos trainieren, ohne dass ein einziger Mensch die Videos manuell bewerten musste.
Die heimlichen Tricks (und wie sie diese verhinderten)
Sie denken vielleicht: „Wenn der Roboter einfach nur lernt, auf die Uhr zu schauen, nutzt er dann nicht einen Abkürzungsweg aus?“ Die Wissenschaftler waren sich dessen auch bewusst. Sie wussten, dass, wenn sie den Robotern die Videos einfach in der richtigen Reihenfolge zeigen würden, der Roboter eine Abkürzung lernen könnte: „Oh, der 3. Frame im Video ist immer zur Hälfte geschafft!“ oder „Wenn das Video 10 Sekunden lang ist, sind in der Mitte immer 5 Sekunden übrig.“ Der Roboter würde aufhören, die tatsächlichen Roboterarme zu beobachten, und stattdessen nur basierend auf der Position im Video raten.
Um dies zu verhindern, fügten sie etwas „Chaos“ in das Training ein:
- Random Sampling (Zufällige Stichproben): Sie zeigten dem Roboter das Video nicht in einer geraden Linie. Sie wählten zufällige Momente aus dem Video aus, sodass der Robster nicht die Zeit basierend auf der Reihenfolge der Frames erraten konnte.
- Shuffling (Mischen): Sie zeigten den Roboter manchmal das Video rückwärts oder in einer ungeordneten Reihenfolge. Wenn der Roboter einen „fertigen“ Zustand vor einem „Start“-Zustand sah, musste er erkennen, dass der „fertige“ Zustand tatsächlich zeitlich weiter entfernt war, was ihn zwang, tatsächlich auf das Bild des Roboters zu achten und nicht nur auf die Reihenfolge der Bilder.
- Isolation (Isolierung): Sie stellten sicher, dass der Roboter nicht in die Antworten für den nächsten Frame „spicken“ konnte, während er den aktuellen Frame vorhersagte. Er musste jeden Moment für sich allein lösen.
Die Ergebnisse: Funktioniert es?
Das Team testete RynnValue an einer Reihe von verschiedenen Robotern und Aufgaben, die es zuvor noch nie gesehen hatte. Die Ergebnisse waren überraschend gut.
- Ranking-Aufgaben: Als RynnValue gebeten wurde, verschiedene Roboterversuche von „best“ nach „schlechtest“ zu sortieren, erreichte es einen Wert von 0,675. Das war besser als die bisher besten Modelle, die auf menschlicher manueller Bewertung der Videos basierten (welche 0,655 erreichten).
- Echte Roboter: Sie nahmen das Modell und nutzten es, um echte Roboter bei schwierigen Aufgaben zu lehren, wie zum Beispiel Brot in einen Korb zu legen oder ein Steak mit einem Spatel zu bewegen.
- Mit RynnValue gelang den Robotern beim Online-Lernen (während der Bewegung) die Aufgabe in 72,5 % der Fälle.
- Oh ne RynnValue, unter Verwendung der alten besten Methoden, erreichten sie nur 52,5 % Erfolg.
- Beim Offline-Lernen (Lernen aus einer Datenbank vergangener Bewegungen) steigerte RynnValue den Erfolg von 63,8 % auf 82,5 %.
Warum das wichtig ist
Das Spannendste an diesem Paper ist, dass es nahelegt, dass wir nicht perfekt darin sein müssen, Roboter zu bewerten, um sie zu lehren. Wir müssen nur wissen, wann sie fertig sind. Durch die Nutzung des einfachen, automatischen „Clocks“ der Zeit schafft RynnValue eine universelle Sprache für Roboter-Belohnungen. Es funktioniert für einen Roboter mit zwei Armen, einen Roboter mit einem Rad oder einen Roboter mit einer Hand, solange wir sagen können, wann die Arbeit erledigt ist.
Die Autoren weisen vorsichtig darauf hin, dass dies kein Zauberstab ist, der jedes Roboterproblem sofort löst. Sie fanden heraus, dass das Modell bei sehr schwierigen Aufgaben, die eine präzise Ausrichtung erfordern (wie das Platzieren einer Box in einer Schublade), immer noch etwas Schwierigkeiten hatte, weil die visuellen Hinweise verwirrend waren. Aber insgesamt zeigten sie, dass temporale Distanz eine leistungsstarke, skalierbare Methode ist, um Roboter zu lehren. Sie verwandelt das chaotische Problem „Was ist eine gute Bewegung?“ in das einfache, lösbare Problem „Wie viel Zeit bleibt noch übrig?“.
Kurz gesagt: RynnValue ist wie das Geben einer Stoppuhr an einen Roboter anstelle eines Zeugnisses. Es verwandelt die chaotische Welt des Roboterlernens in einen einfachen Countdown, und es scheint besser zu funktionieren als die alten Methoden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.