Stellen Sie sich vor, Sie bringen einem Roboter bei, wie man Hausarbeiten erledigt, wie zum Beispiel ein Hemd zu falten oder einen Boden zu kehren. Sie zeigen ihm Videos von Menschen, die die Aufgabe perfekt ausführen, und der Roboter versucht, sie zu kopieren. Das nennt man „Imitation Learning“ (Imitationslernen). Es funktioniert großartig, wenn der Roboter in einem vertrauten Raum ist, aber das echte Leben ist chaotisch. Manchmal lässt der Roboter das Hemd fallen oder der Besen bleibt stecken. In der Vergangenheit passierte es, dass ein Roboter, wenn er einen Fehler machte, einfach immer wieder dieselbe falsche Bewegung ausführte, wurde immer schlechter und gab schließlich ganz auf. Das lag daran, dass dem Roboter nur beigebracht wurde, was er nicht tun sollte, indem man ihm sagte: „Das ist fehlgeschlagen“, ihm aber keine spezifische Anweisung gab, wie er es korrigieren soll.

Hier kommt Reinforcement Learning (RL) ins Spiel, eine Methode, bei der Roboter durch Ausprobieren lernen und Belohnungen für Erfolg oder Strafen für Misserfolg erhalten. Normalerweise erfordert dies, dass der Roboter Millionen von Versuchen in der realen Welt absolviert, was langsam, teuer und riskant ist (stellen Sie sich vor, ein Roboter würde beim Lernen des Putens eine Vase zerbrechen). Vor kurzem ist ein neuer Typ eines Robotergehirns namens „Flow-matching VLA“ (Vision-Language-Action) entstanden. Denken Sie an einen superintelligenten Künstler, der in der Lage ist, einen glatten, kontinuierlichen Pfad von einem chaotischen Startpunkt zu einem perfekten Ziel zu malen. Doch selbst diese klugen Künstler haben Schwierigkeiten, wenn sie auf Situationen stoßen, die sie noch nicht gesehen haben, was zu denselben „kumulativen Fehlern“ führt, bei denen ein kleiner Fehler in einer totalen Katastrophe endet.

Hier setzt RedFlow an. Die Forscher stellten eine einfache, aber knifflige Frage: Können wir einen Roboter lehren, aus seinen Fehlern zu lernen, ohne dass ein Mensch jedes Mal eingreifen muss, um ihn zu korrigieren? Sie wollten nicht nur, dass der Roboter weiß: „Das war schlecht“, sondern sie wollten, dass er genau weiß, welche Bewegung schlecht war und welche Bewegung stattdessen ausgeführt werden sollte.

Das Problem: Die „schlechte Bewegung“ als Black Box

Stellen Sie sich vor, Sie lernen, Fahrrad zu fahren. Sie fällst vom Rad. Ein traditionelles Roboterlernsystem würde vielleicht nur sagen: „Okay, Fallen ist schlecht. Fall nicht.“ Aber es sagt Ihnen nicht, war warum Sie gefallen sind. Sind Sie zu weit nach links gelehnt? Haben Sie zu fest in die Pedale getreten? Haben Sie einer Eichhörnchen hinterhergeschaut?

In der Welt des Roboterlernens ist ein „fehlgeschlagener Pfad“ (failed trajectory) wie ein Video einer ganzen Fahrradfahrt, die in einem Sturz endet. Alte Methoden betrachteten das gesamte Video und sagten: „Diese ganze Fahrt war ein Fehlschlag.“ Sie versuchten, alles zu vermeiden, was dieser Fahrt ähnelte. Aber hier liegt das Problem: Vielleicht waren die ersten 90 % der Fahrt perfekt, und nur die letzten 10 % (der Sturz) waren schlecht. Wenn man dem Roboter sagt, er solle die ganze Fahrt vermeiden, könnte er vergessen, wie man tritt oder lenkt, obwohl diese Teile völlig in Ordnung waren. Es ist so, als würde man einem Schüler sagen: „Schreib diesen Aufsatz nicht“, nur weil im letzten Satz ein Tippfehler war, obwohl der Rest des Aufsatzes brillant war.

Andere Methoden versuchten dies zu beheben, indem sie Menschen fragten: „Hey, diese Bewegung war falsch, probier mal diese hier stattdessen.“ Aber einen Menschen zu bitten, jeden Fehlversuch anzusehen und spezifische Ratschläge zu geben, ist langsam und lässt sich nicht skalieren. Wir brauchen einen Roboter, der seine eigenen Fehler selbst erkennt.

Die Lösung: RedFlows „Smart Detective“

Die Autoren dieses Papers schlagen RedFlow (Redirect Failure into Action-Level Corrections) vor. Denken Sie an RedFlow als einen superintelligenten Detektiv, der die Fehlversuche des Roboters beobachtet und genau herausfindet, an welchem Punkt der Roboter vom Weg abgekommen ist.

So funktioniert es, unterteilt in zwei Haupttricks:

1. Das „Context-Aware Corrective Matching“ (Das Notizbuch des Detektivs)
Wenn der Roboter scheitert, schaut RedFlow nicht nur auf den Absturz. Es schaut auf den Moment vor dem Absturz. Es fragt: „Was hat der Roboter gerade gemacht? Wo war er? Wie weit war er in der Aufgabe fortgeschritten?“

• Die Analogie: Stellen Sie sich vor, Sie versuchen, ein Hemd zu falten, und lassen es fallen. RedFlow betrachtet den Moment, in dem Sie es fallen lassen, und sagt: „Ah, du hast das Hemd mit der rechten Hand gehalten, und es war halb gefaltet.“
• Dann durchsucht es sein Gedächtnis (eine Datenbank vergangener Versuche, einschließlich erfolgreicher) und sucht nach anderen Zeiten, in denen der Roboter in der exakt gleichen Situation war (das Hemd halb gefaltet mit der rechten Hand zu halten), es aber geschafft hat.
• Es findet eine erfolgreiche Bewegung aus dieser ähnlichen Situation – vielleicht, das Hemd mit der linken Hand zu greifen statt. Es sagt nicht nur „lass es nicht fallen“; es sagt: „Wenn du an diesem spezifischen Punkt bist, versuche, deine linke Hand zu benutzen.“ Dies wird als das Finden eines „korrektiven Ziels“ (corrective target) bezeichnet.

2. Das „Adaptive Redirection Objective“ (Die Trillerpfeife des Coaches)
Sob falls RedFlow die richtige „Korrektur“ gefunden hat (den Griff mit der linken Hand), muss es den Roboter lehren, dies auch zu tun. Es nutzt eine spezielle Trainingsmethode mit drei unterschiedlichen Stimmen:

• Der Cheerleader: Er sagt: „Gute Arbeit bei den Teilen, die funktioniert haben! Mach mehr davon!“ (Verstärkung erfolgreicher Aktionen).
• Das Stoppschild: Es sagt: „Hey, diese spezifische Bewegung, die zum Fallen geführt hat? Mach das nicht!“ (Unterdrückung schlechter Aktionen).
• Der Wegweiser: Er sagt: „Und anstatt es fallen zu lassen, versuche es mit deiner linken Hand heranzuziehen, so wie wir es im Gedächtnisbank gefunden haben!“ (Umleitung des Fehlers hin zur Korrektur).

Dies unterscheidet sich von älteren Methoden, die nur sagten: „Tu das schlechte Ding nicht.“ RedFlow drängt den Roboter aktiv zu einer besseren Aktion, so wie ein Coach den Arm eines Spielers physisch in die richtige Position führt.

Was sie herausgefunden haben: Von tollpatschig zu fähig

Die Forscher testeten diese Idee auf zwei Arten: in einer Computersimulation mit vielen verschiedenen Aufgaben (wie dem LIBERO-Benchmark) und an einem echten, physischen Roboter mit zwei Armen.

• In den Simulationen: Sie verglichen RedFlow mit anderen intelligenten Roboterlernmethoden. Die Ergebnisse zeigten, dass RedFlow viel besser darin war, Fehler zu korrigieren. Im Durchschnitt verbesserte RedFlow die Erfolgsquote von etwa 56,2 % auf 68,2 %. Das ist ein großer Sprung! Es war besonders gut bei Aufgaben, bei denen der Roboter ein bestimmtes Ziel erreichen musste, wobei sich die Erfolgsquote von 51,8 % auf 71,2 % verbesserte.
• Am echten Roboter: Sie setzten RedFlow bei einem echten Roboter für drei schwierige Aufgaben ein: Kleidung falten, Objekte kehren und einen Tisch reinigen.
  • Vor RedFlow konnte der Roboter Kleidung nur 36,0 % der Zeit falten.
  • Nach dem Einsatz von RedFlow sprang die Erfolgsquote auf 67,0 %.
  • Insgesamt über alle realen Aufgaben hinweg stieg die Erfolgsquote von 56,7 % auf 74,7 %.

Der spannendste Teil war, den Roboter beim „Regenerieren“ zu beobachten. In einem Video faltete der Roboter ein T-Shirt. Das Hemd rutschte aus seiner rechten Hand. Ein normaler Roboter würde einfach weiter versuchen, es mit der rechten Hand zu greifen und scheitern. Aber der mit RedFlow trainierte Roboter erkannte: „Warte, ich kann es mit der rechten Hand nicht erreichen.“ Er benutzte dann seine linke Hand, um das Hemd wieder in Reichweite zu ziehen, und setzte dann das Falten fort. Das war nicht programmiert worden; der Roboter hat es selbst herausgefunden, indem er seine eigenen vergangenen Fehler analysierte und eine erfolgreiche Alternative in seinem Gedächtnis fand.

Warum das wichtig ist

Das Beste an RedFlow ist, dass es unglaublich effizient ist. Normalerweise müsste man einen Roboter, um ihm das Korrigieren von Fehlern beizubringen, online (in der realen Welt) Millionen von Malen üben lassen, was viel Zeit kostet und das Risiko birgt, Dinge zu beschädigen. RedFlow erreichte Ergebnisse, die denen jener „Online“-Methoden ähneln, nutzte aber etwa zehnmal weniger Trainingsproben. Dies gelang, indem es die „schlechten“ Daten, die es bereits hatte, geschickt wiederverwendete und Fehlversuche in eine Goldgrube für Lernmöglichkeiten verwandelte.

Das Paper legt nahe, dass wir Roboter robuster und fähiger für die reale Welt machen können, indem wir Fehler nicht als Müll behandeln, den man wegwirft, sondern als eine Landkarte, die zu besseren Lösungen führt. Dies ist ein Schritt hin zu Robotern, die uns nicht nur kopieren, sondern aus ihren eigenen Stolpersteinen lernen, um ihre Arbeit besser zu erledigen.