Residual Reward Models: Leveraging Prior Knowledge for Efficient Preference-based Reinforcement Learning in Robotics

Einem Roboter beizubringen, eine komplexe physische Aufgabe auszuführen, wie etwa einen Knopf zu drücken oder ein empfindliches Objekt aufzuheben, ist ein schwieriges Rätsel für Ingenieure. In der Welt der Robotik benötigt die Maschine eine Reihe von Anweisungen, die ihr mitteilt, was sie gut und was sie schlecht macht. Dieser Satz von Anweisungen wird als Belohnungsfunktion bezeichnet. Wenn die Anweisungen vage oder falsch sind, könnte der Roboter lernen, das System zu umgehen, indem er einen Weg findet, eine hohe Punktzahl zu erreichen, ohne die Aufgabe tatsächlich zu erfüllen, oder er könnte einfach aufgeben, weil er nicht versteht, was von ihm erwartet wird. Traditionell müssen Menschen diese Anweisungen von Hand schreiben und dabei raten, welche Bewegungen zum Erfolg führen werden. Dieser Prozess ist langsam, teuer und scheitert oft, wenn der Roboter auf eine Situation stößt, die der Mensch nicht vorhergesehen hat.

Ein neuerer Ansatz, bekannt als präferenzbasiertes Lernen, versucht dies zu lösen, indem er Menschen ermöglicht, einfach nur zu sagen, welche von zwei Roboterbewegungen besser aussieht, anstatt komplexe Regeln zu schreiben. Obwohl dies einfacher klingt, entsteht dadurch ein neues Problem: Der Roboter muss tausende dieser Vergleiche sehen, um etwas Nützliches zu lernen. In einer realen Umgebung ist es unpraktisch und kostspielig, einen Menschen zu bitten, so oft einen Roboter zu beobachten und zu beurteilen. Der Roboter lernt zu langsam, und die Kosten der menschlichen Aufmerksamkeit werden zu einem Engpass, der verhindert, dass diese Maschinen außerhalb eines kontrollierten Labors nützlich werden können.

Forscher der University of Toronto und der Tsinghua-Universität haben eine Methode entwickelt, um diesen Prozess erheblich zu beschleunigen. Sie nennen ihren Ansatz das Residual Reward Model (Residuelles Belohnungsmodell). Anstatt bei Null anzufangen und den Menschen zu bitten, dem Roboter alles von Grund auf zu lehren, ermöglicht diese Methode dem Roboter, mit einer „besten Vermutung“ darüber zu starten, wie die Aufgabe zu bewältigen ist. Diese Vermutung kann von einer einfachen Regel stammen, die ein Ingenieur geschrieben hat, einer von einem großen Sprachmodell generierten Beschreibung oder sogar einer Belohnungsfunktion, die durch einmaliges Beobachten eines Menschen bei der Ausführung der Aufgabe gelernt wurde. Der Roboter nutzt diese erste Vermutung dann als Fundament. Wenn ein Mensch eine Präferenz angibt und sagt: „Diese Bewegung war besser als jene“, versucht der Roboter nicht, das gesamte Regelwerk neu zu schreiben. Stattdessen lernt er nur den kleinen Unterschied, oder das „Residuum“, das nötig ist, um die ursprüngliche Vermutung zu korrigieren.

Stellen Sie sich das wie einen Schüler vor, der bereits die Grundregeln eines Sports kennt, aber einen Trainer braucht, der auf die spezifischen Nuancen seiner Technik hinweist. Der Schüler muss nicht neu lernen, wie man läuft oder wirft; er muss lediglich seine Form leicht anpassen, um dem Feedback des Trainers zu entsprechen. Auf die gleiche Weise nutzt der Roboter das Feedback des Menschen, um kleine, präzise Anpassungen an seinem bereits bestehenden Verständnis der Aufgabe vorzunehmen. Diese Struktur hält den Lernprozess stabil. Wenn die ursprüngliche Vermutung unvollkommen ist, kann der Roboter dennoch lernen, da er nur die Fehler korrigieren muss, anstatt das gesamte Konzept aus dem Nichts zu entdecken.

Die Forscher testeten diese Idee in einer Vielzahl von simulierten Umgebungen, darunter Aufgaben, bei denen ein Roboterarm Knöpfe drücken, Objekte in einen Behälter kehren oder Türen entriegeln musste. Sie testeten sie auch auf einem echten physischen Roboter, einem Franka-Panda-Arm, in einer Laborumgebung. In jedem Fall war die Methode, die die „beste Vermutung“ plus die kleinen gelernten Korrekturen verwendete, wesentlich schneller als Methoden, die versuchten, alles allein aus menschlichen Präferenzen zu lernen. In den Simulationen erreichte der Roboter unter Verwendung dieser neuen Methode in vielen Aufgaben eine perfekte Erfolgsquote, während er weit weniger menschliche Urteile benötigte. Beispielsweise blieb ein Standardverfahren, das versuchte, von Grund auf zu lernen, bei einer Erfolgsrate von zwanzig Prozent hängen, während die neue Methode eine Erfolgsrate von einhundert Prozent erreichte, in einer Aufgabe, bei der ein Roboter einen Knopf drücken musste.

Die Studie zeigte auch, dass dieser Ansatz robust gegenüber Fehlern ist. Wenn die ursprüngliche „beste Vermutung“ leicht falsch war oder wenn das menschliche Feedback gelegentlich verrauscht oder inkonsistent war, konnte der Roboter dennoch das richtige Verhalten erlernen. Die ursprüngliche Vermutung fungierte als Sicherheitsnetz, das verhinderte, dass der Roboter in nutzlose Verhaltensweisen abdriftete, während die Korrekturen sicherstellten, dass er schließlich den richtigen Weg fand. Dies war besonders wichtig, als die Forscher das System mit sehr begrenztem menschlichem Feedback testeten. Selbst als der Mensch gebeten wurde, nur eine sehr geringe Anzahl von Beurteilungen vorzunehmen, verbesserte sich der Roboter mit der Residual-Methode weiter, während das Standardverfahren nichts Nützliches lernen konnte.

Vielleicht am wichtigsten ist, dass die Forscher demonstrierten, dass dieses Lernen direkt von einer Computersimulation auf einen echten physischen Roboter übertragen werden kann, ohne dass zusätzliche Feinabstimmungen nötig sind. Sie trainierten den Roboter in einer virtuellen Umgebung und übertrugen die gelernte Strategie dann auf einen echten Franka-Panda-Arm, um Aufgaben wie das Greifen nach einem Objekt, das Schieben eines Blocks oder das Aufheben und Bewegen von etwas auszuführen. Der mit der Residual-Methode trainierte Roboter bewältigte diese realen Aufgaben viel schneller als die Baseline-Methode. In einer schwierigen Aufgabe, bei der es darum ging, ein Objekt zu schieben, gelang der Standardmethode nach intensivem Training nur halb so oft der Erfolg, während die neue Methode bei gleicher Trainingszeit eine Erfolgsrate von fünfundneunzig Prozent erreichte.

Die Ergebnisse legen nahe, dass Roboter durch die Kombination von Vorwissen mit menschlichem Feedback komplexe physische Fähigkeiten mit weit weniger menschlicher Aufsicht erlernen können, als bisher für möglich gehalten wurde. Dies bedeutet nicht, dass der Roboter vorher schon alles weiß, sondern dass er das, was er bereits weiß, als Ausgangspunkt nutzt, um aus jedem Stück menschlichen Feedbacks das Beste herauszuholen. Diese Effizienz könnte ein entscheidender Schritt zur Praktikabilität von Roboterassistenten für reale Arbeitsaufgaben sein, bei denen Zeit und menschliche Aufmerksamkeit begrenzte Ressourcen sind. Die Arbeit bestätigt, dass es einem Roboter einen Vorsprung gibt – selbst wenn dieser nur grob ist –, der es ihm ermöglicht, aus menschlichen Präferenzen auf eine Weise zu lernen, die sowohl schneller als auch zuverlässiger ist, als wenn er bei einem leeren Blatt beginnt.