Decoupling Policy Extraction for Offline Reinforcement Learning

Stellen Sie sich einen Schüler vor, der lernen möchte, ein Auto zu fahren, aber anstatt hinter dem Steuer zu sitzen und die Straße zu spüren, ist er gezwungen, nur ein einziges, statisches Video eines perfekten Fahrers zu studieren. Er kann keine Fehler machen, er kann keine neuen Kurven ausprobieren und er kann kein Feedback aus der realen Welt erhalten. Dies ist die Herausforderung des Offline-Reinforcement-Learnings, einem Bereich der künstlichen Intelligenz, in dem die Maschine lernt, Entscheidungen zu treffen, indem sie ausschließlich eine feste Sammlung vergangener Daten nutzt. In diesem Szenario muss der Computer herausfinden, wie er besser agieren kann als die Beispiele, die er gesehen hat, ohne jemals in der Lage zu sein, diese neuen Ideen in der Realität zu testen. Die traditionelle Art, diese Systeme zu lehren, beinhaltet zwei Teile, die in einer engen Schleife zusammenarbeiten: Ein Teil lernt, welche Aktionen gut sind, und der andere Teil lernt, wie man sie ausführt. Der erste Teil leitet den zweiten ständig an, indem er ihm sagt, dass er Aktionen ausprobieren soll, die wertvoll aussehen. Da die Daten jedoch in der Zeit eingefroren sind, kann diese Anleitung gefährlich werden. Wenn der Teil „was ist gut“ einen Fehler macht und eine riskante Bewegung überschätzt, wird der Teil „wie man es ausführt“ versuchen, dies zu tun, was den Fehler verstärkt und das System immer weiter von sicherem, bewährtem Verhalten wegtreibt.

Ein Forschungsteam von Simplexity Robotics und dem Rensselaer Polytechnic Institute hat einen anderen Weg vorgeschlagen, um dieses Problem zu lösen, und schlägt vor, dass diese beiden Teile während der Lernphase aufhören sollten, miteinander zu kommunizieren. In ihrem neuen Ansatz trennen sie die Aufgabe des Lernens aus den Daten vollständig von der Aufgabe, die beste Aktion auszuwählen. Zuerst trainieren sie ein Modell, das ausschließlich dazu dient, das im Datensatz gefundene Verhalten nachzuahmen – wie ein perfekter Kopist, der niemals versucht, sich zu verbessern oder neue Strategien zu erraten. Dieses Modell generiert eine Liste mehrerer möglicher Aktionen, von denen bekannt ist, dass sie sicher und durch die Daten gestützt sind. Dann betrachtet ein separates System, das unabhängig dazu trainiert wurde, den Wert zu beurteilen, diese Liste und wählt die eine beste Option aus, um sie auszuführen. Durch das Aufbrechen der Feedbackschleife, die diese beiden normalerweise verbindet, fanden die Forscher heraus, dass sie die Falle der Fehlerverstärkung vermeiden konnten. Ihre Experimente über dreißig verschiedene komplexe Aufgaben hinweg, die von der Navigation in virtuellen Labyrinthen bis hin zur Manipulation von Roboterarmen reichten, zeigten, dass diese getrennte Methode den traditionellen, eng gekoppelten Ansätzen konsistent überlegen war. In einigen Fällen sprang die Erfolgsquote von weniger als der Hälfte auf fast siebzig Prozent, was beweist, dass die beste Art der Verbesserung manchmal darin besteht, den Lernenden aufzuhören zu verbessern, während er noch studiert.

Der Kern des Problems, das die Forscher identifiziert haben, liegt darin, wie Standard-KI-Systeme aus festen Daten lernen. In einem typischen Aufbau verfügt das System über einen „Kritiker“, der den Wert von Aktionen schätzt, und einen „Akteur“, der lernt, sie auszuführen. Der Kritiker sagt dem Akteur, welche Bewegungen gut sind, und der Akteur versucht, sie zu machen. In einem realen Szenario, in dem der Roboter weiterhin mit der Umgebung interagieren kann, funktioniert dies gut, denn wenn der Kritiker einen Fehler macht, erzeugen die neuen Versuche des Akteurs frische Daten, die den Fehler korrigieren. Aber beim Offline-Learning ist der Datensatz festgeschrieben. Wenn der Kritiker fälschlicherweise glaubt, dass eine gefährliche Aktion wertvoll ist, wird der Akteur versuchen, sie auszuführen, und da keine neuen Daten eintreffen, um den Kritiker zu korrigieren, verschlimmert sich der Fehler. Der Akteur driftet in Bereiche des Aktionsraums ab, die die Daten nie abgedeckt haben – ein Phänomen, das die Forscher eine „Out-of-Distribution-Amplification-Schleife“ nennen. Um dies zu verhindern, versuchen bestehende Methoden oft, den Akteur dazu zu zwingen, nah an den Originaldaten zu bleiben, aber dies erzeugt einen schwierigen Kompromiss: Wenn man den Akteur zu sehr einschränkt, kann er selbst innerhalb der sicheren Daten nicht die bestmöglichen Züge finden; lässt man ihn zu weit gehen, gerät er in die Fehlerfalle.

Um dies zu lösen, entkoppelten die Forscher den Prozess. Sie trainierten den Akteur so, dass er nur eines tut: die Verteilung der im Datensatz gefundenen Aktionen zu modellieren. Sie ließen den Kritiker den Akteur beim Training überhaupt nicht beeinflussen. Sobald dieser „Vorschlag-Modell“ (Proposer) trainiert war, wurde er eingefroren, was bedeutete, dass er sich nie wieder ändern würde. In dem Moment, in dem der Roboter eine Entscheidung treffen musste, generierte der Proposer eine kleine Menge an Kandidaten-Aktionen, die alle in den sicheren, beobachteten Daten verwurzelt waren. Ein separater Kritiker, der unabhängig dazu trainiert worden war, den Wert zu beurteilen, betrachtete dann diese spezifische Liste und wählte die am höchsten bewertete Option aus. Dies verlagerte die Arbeit der Verbesserung von der Trainingsphase zum Moment der Entscheidung. Anstatt zu versuchen, das Gehirn des Akteurs zu verändern, um ihn besser zu machen, generierte das System einfach einige sichere Optionen und ließ einen Richter den Gewinner wählen. Dieser Ansatz bedeutete, dass der Kritiker sich nicht mehr darum sorgen musste, dass der Akteur in gefährliches Gebiet abdriftet, da der Akter gar nicht erst erlaubt war, abzudriften. Der Kritiker musste lediglich die sicheren Optionen bewerten, die der eingefrorene Proposer bereitstellte.

Die Ergebnisse dieses Experiments waren beeindruckend. Die Forscher testeten ihre Methode bei dreißig verschiedenen Aufgaben, die zielorientierte Verhaltensweisen beinhalteten, wie etwa das Navigieren einer Roboterame durch ein großes Labyrinth oder die Bewegung eines humanoiden Roboters durch eine komplexe Umgebung. Sie verglichen ihre entkoppelte Methode mit Standardtechniken, die Akteur und Kritiker verknüpft halten. In einer Navigationsaufgabe namens AntMaze-Large erreichte die traditionelle Methode, die einen spezifischen Typ von Wert-Lerner verwendet, eine Erfolgsquote von etwa einunddreißig Prozent. Als die Forscher ihren entkoppelten Ansatz mit demselben Wert-Lerner anwandten, stieg die Erfolgsquote auf neunundvierzig Prozent. Bei einer Manipulationsaufgabe mit einem Würfel war die Verbesserung mit siebundsiebzig Prozent gegenüber einundzwanzig Prozent für den traditionellen Ansatz sogar noch dramatischer. Vielleicht am überraschendsten war die Erkenntnis der Forscher, dass selbst ein sehr einfaches, grundlegendes Wert-Lernsystem, das in Offline-Settings normalerweise Schwierigkeiten hat, in Kombination mit ihrem entkoppelten Auswahlprozess äußerst effektiv wurde. In einer Rätsellösungsaufgabe erreichte ein einfacher Wert-Lerner in Verbindung mit ihrer Methode eine Erfolgsquote von einhundert Prozent und übertraf damit die komplexeren Standardsysteme bei weitem.

Die Studie zeigte auch auf, warum diese Trennung so gut funktioniert, indem sie untersuchte, was passiert, wenn das System erlaubt wird, nach mehr Optionen zu suchen. Die Forscher fanden heraus, dass es dem System ermöglicht, den sicheren Datenbereich gründlicher zu explorieren, wenn der Proposer einige Kandidaten statt nur einen generiert. Es gab jedoch eine Grenze. Wenn das System zu viele Kandidaten generierte, stieg die Chance, eine riskante Aktion außerhalb der Verteilung (out-of-distribution) einzuschließen, und das Wert-beurteilende System könnte diese fälschlicherweise auswählen. Das optimale Gleichgewicht wurde durch die Abstimmung der Anzahl der Kandidaten gefunden – eine einzelne Einstellung, die angepasst werden konnte, ohne das gesamte System neu trainieren zu müssen. Diese Flexibilität ist ein erheblicher Vorteil gegenüber traditionellen Methoden, die oft ein teures Retraining erfordern, um das Gleichgewicht zwischen Sicherheit und Leistung zu korrigieren. Die Forscher merkten an, dass dieser Ansatz besonders vielversprechend für groß angelegte Robotersysteme ist, bei denen das erneute Trainieren eines massiven Modells rechenintensiv ist. Indem sie das Hauptmodell eingefroren halten und nur ein leichtgewichtiges Wert-System für die endgültige Entscheidung verwenden, bietet die Methode einen recheneffizienten Weg zu besserer Leistung.

Die Forscher räumen ein, dass diese Methode eine Grenze hat: Das System kann nur aus Aktionen wählen, die der eingefrorene Proposer generieren kann. Wenn die bestmögliche Aktion niemals in den Originaldaten gesehen wurde, kann das System sie nicht erfinden. Doch innerhalb der Grenzen des Möglichen fand der entkoppelte Ansatz konsistent bessere Lösungen als die traditionellen, gekoppelten Methoden. Die Arbeit legt nahe, dass die lang gehegte Überzeugung, dass Lernen und Verbesserung gleichzeitig in einer einzigen Schleife stattfinden müssen, beim Lernen aus statischen Daten nicht notwendig oder sogar nicht wünschenswert sein kann. Indem sie die Generierung sicherer Optionen von der Auswahl der besten Option trennten, haben die Forscher einen klareren, stabileren Weg aufgezeigt, wie künstliche Intelligenz aus der Vergangenheit lernen kann, ohne in ihren eigenen Fehlern gefangen zu sein. Die Ergebnisse deuten darauf hin, dass es für das Offline-Learning die effektivste Strategie sein kann, aufzuhören, den Akteur während des Trainings „clever“ zu machen, und stat stattdessen zuzulassen, dass er sich einfach an die Vergangenheit erinnert, während man die Aufgabe der Verbesserung einem separaten, kritischen Auge im Moment der Handlung überlässt.