TraceFlow: Guiding Frozen Flow-Matching Robot Policies with Success and Failure Traces

Roboter, die sehen, Sprache verstehen und ihre Arme bewegen können, um komplexe Aufgaben zu erledigen, sind keine Science-Fiction mehr; sie sind eine Realität, die heute in Laboren entwickelt wird. Diese Maschinen verlassen sich auf eine Art von Software, die man Vision-Language-Action-Policy nennt. Stellen Sie sich diese Policy als ein Gehirn vor, das einen Kamerafeed betrachtet, eine menschliche Anweisung liest und dann entscheidet, welche physische Bewegung es als Nächstes ausführt. Um sicher und zuverlässig zu sein, „frieren“ Ingenieure diese Gehirne oft nach dem Training ein, was bedeutet, dass die internen Einstellungen festgeschrieben werden, damit der Roboter während der Arbeit nicht versehentlich das Gelernte wieder verlernt. Ein eingefrorenes Gehirn hat jedoch einen blinden Fleck: Wenn der Roboter bei einer Aufgabe einen Fehler macht, kann er diesen Fehler nicht nutzen, um seine unmittelbare nächste Bewegung zu ändern, da seine Anweisungen fixiert sind. Es ist wie ein Fahrer, der eine Route perfekt auswendig gelernt hat, aber sein Lenkrad nicht anpassen kann, wenn er plötzlich ein Schlagloch sieht, weil seine Hände an ein vorgefertigtes Skript gebunden sind. Die Frage, der sich Forscher stellen, ist, wie man einen Roboter dazu bringen kann, in Echtzeit aus seinen eigenen Fehlern zu lernen, ohne sein gesamtes Gehirn neu zu trainieren oder komplexe neue Sensoren hinzuzufügen.

Ein Team von Forschern der University of Hong Kong und der Southern University of Science and Technology hat eine Methode namens TraceFlow entwickelt, um dieses Problem zu lösen. Anstatt zu versuchen, das eingefrorene Gehirn des Roboters neu zu trainieren, haben sie ein System gebaut, das als vorüberlicher Wegweiser fungiert und eine einfache Aufzeichnung der vergangenen Versuche des Roboters nutzt, um seine aktuellen Handlungen zu steuern. Das System arbeitet, indem es jedes Mal, wenn der Roboter eine Aufgabe versucht, speichert, ob er erfolgreich war oder gescheitert ist, und ein detailliertes Protokoll der dabei gemachten Bewegungen führt. Wenn der Roboter einen neuen Versuch startet, sucht TraceFlow in der aktuellen Situation schnell in diesem Protokoll nach ähnlichen Momenten aus der Vergangenheit. Wenn es einen vergangenen Versuch findet, der erfolgreich war, zieht es den aktuellen Bewegungsplan des Roboters sanft in Richtung dessen, was früher funktioniert hat. Wenn es einen vergangenen Versuch findet, der gescheitert ist, drückt es den Plan des Roboters von diesem spezifischen Fehler weg. Entscheidend ist, dass diese Führung begrenzt ist, was bedeutet, dass sie stark genug ist, um einen Kurs zu korrigieren, aber schwach genug, um niemals das Kerntraining des Roboters zu überschreiben, wodurch sichergestellt wird, dass die Maschine sicher und stabil bleibt.

Die Forscher testeten diesen Ansatz an einem echten Roboterarm in einem unordentlichen Raum und baten ihn, eine bestimmte Sequenz von Aufgaben auszuführen, wie zum Beispiel ein Stück Klebeband zu bewegen und dann einen Hammer auf einen Schrank zu legen. Ohne das Führungssystem schloss der Roboter die vollständige Sequenz nur 21 von 50 Versuchen korrekt ab, wobei er oft die Reihenfolge der Schritte falsch machte. Mit aktivem TraceFlow gelang dem Roboter 39 von 50 Versuchen. Die Verbesserung war noch dramatischer, nachdem die Forscher den Roboten eine weitere Runde von Aufgaben durchführen ließen und seine eigenen neuen Erfolge und Misserfolge zurück in das System einspeisten. In dieser zweiten Runde schloss der Roboter die Sequenz 47 von 50 Mal korrekt ab und machte null Fehler in der Reihenfolge der Schritte. Das System erreichte dies durch die Verwendung eines einzigen „Ja“ oder „Nein“-Labels für jeden vergangenen Versuch, um Erfolg oder Misserfolg anzuzeigen, wobei keine komplexe Analyse erforderlich war, wo genau der Roboter falsch abgebogen war.

In Computersimulationen waren die Ergebnisse selektiver und zeigten, dass die Methode am besten für Aufgaben funktioniert, die das Erinnern der korrekten Reihenfolge von Schritten oder das Übertragen einer Fertigkeit auf ein neues Objekt erfordern. Beispielsweise sprang in einer Simulation zum Stapeln von Blöcken die Erfolgsquote von etwa 54 % auf 62 %, als das System erlaubt war, aus seinen eigenen Fehlern zu lernen. Die Forscher fanden jedoch auch heraus, dass diese Führung nicht bei jeder Art von Aufgabe half. Wenn der Roboter Objekte zählen oder Gegenstände finden musste, die hinter anderen verborgen waren, verbesserte das System die Leistung nicht und verschlechterte sie manchmal sogar leicht. Dies deutet darauf hin, dass die Methode speziell gut darin ist, Fehler in der Abfolge der Handlungen zu korrigieren, aber sie kann keine Probleme beheben, bei denen dem Roboter schlichtweg die Informationen fehlen, um die Szene zu sehen oder zu verstehen.

Die Studie untersuchte auch, wie lange der Roboter aus seiner eigenen Geschichte lernen konnte. Die Forscher ließen zehn Runden von Aufgaben laufen und fügten nach jeder Runde neue Erfahrungen dem System hinzu. Sie fanden heraus, dass sich die Leistung des Roboters anfangs schnell verbesserte, dann aber stagnierte, wobei der Höhepunkt je nach Aufgabe etwa in der zweiten oder siebten Runde lag. Dies deutet darauf hin, dass es eine Grenze gibt, wie sehr ein Roboter von seiner eigenen jüngsten Geschichte profitieren kann, ohne sein zugrunde liegendes Gehirn zu verändern. Darüber hinaus entdeckte das Team, dass das Verhältnis von erfolgreichen zu gescheiterten vergangenen Versuchen nicht vorhersagte, wie gut das System funktionieren würde; der Roboter konnte sich auch verbessern, wenn er in seinem Gedächtnis viel mehr Misserfolge als Erfolge hatte. Dieser Befund stellt die Vorstellung infrage, dass ein Roboter eine perfekte Erfolgsbilanz benötigt, um aus seiner Vergangenheit zu lernen.

Letztendlich bietet TraceFlow eine praktische Möglichkeit, eingefrorene Robot-Policies anpassungsfähiger zu machen. Durch die Verwendung einer einfachen, begrenzten Korrektur basierend auf einer Historie von Gewinnen und Verlusten kann der Roboter komplexe, geordnete Aufgaben mit größerer Zuverlässigkeit bewältigen, ohne neu trainiert werden zu müssen. Die Forscher zeigten, dass dieser Ansatz auf echter Hardware effektiv funktioniert und einen Roboter, der mit der Reihenfolge der Schritte kämpfte, in einen Roboter verwandelt, der eine Sequenz von Handlungen zuverlässig ausführen kann. Auch wenn es keine magische Lösung für jede robotergestützte Herausforderung ist, insbesondere bei Aufgaben, die das Zählen oder das Finden verborgener Objekte beinhalten, bietet es einen klaren Weg, Roboter in der realen Welt robuster zu machen, indem es ihnen ermöglicht, aus ihren eigenen Fehlern im Moment zu lernen.