Fully Offline Reinforcement Learning
Dieses Paper führt SOReL und TOReL ein, ein vollständig offline basierendes Bayessches Framework, das eine zuverlässige Hyperparameter-Optimierung und Leistungsschätzung sowohl für modellbasierte als auch für modellfreie Reinforcement-Learning-Verfahren ohne jegliche Online-Interaktionen ermöglicht und gleichzeitig theoretische Garantien für eine minimax-optimale Konvergenz bietet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Videospiel zu spielen. Normalerweise lernt der Roboter, indem er tausende Male spielt, gegen Wände prallt, von Klippen stürzt und langsam herausfindet, was funktioniert. Dies wird als „Reinforcement Learning“ bezeichnet. Aber was, wenn Sie den Roboter nicht abstürzen lassen können? Was, wenn es ein selbstfahrendes Auto, eine medizinische Drohne oder eine Steuerung für ein Kernkraftwerk ist? Sie können sich die „Versuch und Irrtum“-Phase in der realen Welt nicht leisten. Sie müssen den Roboter vollständig aus einer Bibliothek alter Spielaufzeichnungen lernen lassen – vielleicht aufgenommen von einem menschlichen Spieler, der nur „okay“ im Spiel war, kein Profi. Dies nennt man Offline Reinforcement Learning.
Das große Problem bei diesem Bibliotheksansatz ist, dass der Roboter keine Möglichkeit hat zu überprüfen, ob er tatsächlich etwas Gutes lernt, bis man ihn schließlich das echte Spiel spielen lässt. Wenn Sie die falschen Einstellungen (genannt „Hyperparameter“) für das Gehirn des Roboters wählen, sieht es in der Bibliothek vielleicht perfekt aus, scheitert aber in der Realität kläglich. Derzeit müssen Wissenschaftler den Roboter oft heimlich in die reale Welt entlassen, um diese Einstellungen zu testen, was den eigentlichen Zweck, ihn sicher und offline zu halten, zunichtemacht. Sie benötigen einen Weg, um allein durch das Betrachten der alten Aufzeichnungen genau zu wissen, wie gut der Roboter sein wird, bevor er überhaupt einen einzigen echten Schritt macht.
Dieses Paper stellt einen neuen Weg vor, um dieses Rätsel zu lösen. Die Autoren, ein Team der Universität Oxford, schlagen zwei neue Methoden namens SOReL und TOReL vor. Betrachten Sie SOReL als eine „Kristallkugel“ für das Training von Robotern. Anstatt nur die alten Aufzeichnungen auswendig zu lernen, baut der Roboter eine „Was-wäre-wenn“-Bibliothek möglicher Welten auf. Er stellt sich tausende leicht unterschiedliche Versionen des Spiels vor, basierend auf den vorhandenen Daten. Einige Versionen könnten einfach sein, andere schwer, manche mit rutschigen Böden, manche mit elastischen Wänden. Indem er in seinem Kopf durch all diese imaginären Welten spielt, kann der Roboter nicht nur vorhersagen, was er tun wird, sondern auch, wie sicher er sich bei seiner Vorhersage ist. Wenn der Roboter verwirrt ist (weil die alten Daten spärlich waren), leuchtet die Kristallkugel rot und warnt den Menschen: „Setze mich noch nicht ein, ich rate nur!“ Wenn der Robbot zuversichtlich ist, leuchtet die Kugel grün.
Die zweite Methode, TOReL, ist wie eine Universalfernbedienung, die für jede Art von Robotergehirn funktioniert, nicht nur für die schicken „Kristallkugel“-Modelle. Sie nutzt dieselbe Logik, um die Einstellungen anderer populärer Roboter-Lernmethoden abzustimmen, und stellt sicher, dass sie perfekt eingestellt sind, bevor sie jemals die reale Welt berühren.
Das Team hat mathematisch bewiesen, dass ihr „Kristallkugel“-Ansatz theoretisch fundiert ist, was bedeutet, dass er den bestmöglichen Regeln für das Lernen aus begrenzten Daten folgt. In ihren Tests trainierten sie Roboter in Standard-Videospielumgebungen (wie denjenigen, die in Physiksimulationen verwendet werden). Sie fanden heraus, dass SOReL die reale Punktzahl des Roboters mit einer viel höheren Genauigkeit vorhersagen konnte als bisherige Methoden. Beispielsweise lag bei der Vorhersage der Punktzahl für einen Roboter, der das Laufen lernt, ihre Methode im Durchschnitt nur um 70 Punkte daneben, während die bisher beste Methode um 550 Punkte daneben lag. Darüber hinaus gelang es TOReL, die perfekten Einstellungen für völlig andere Roboter vollständig offline zu finden, was die enorme Zeit und Rechenleistung spart, die normalerweise für das Testen von Einstellungen in der realen Welt erforderlich ist.
Kurz gesagt: Dieses Paper lehrt Roboter nicht nur, wie sie aus alten Videos lernen, sondern gibt ihnen einen zuverlässigen Weg zu sagen: „Ich bin bereit zu gehen“ oder „Ich brauche mehr Übung“, ohne jemals einen riskanten Schritt in der realen Welt machen zu müssen. Es verwandelt die beängstigende Ungewissheit des „Wird das funktionieren?“ in ein messbares, vertrauenswürdiges Signal, was den Einsatz intelligenter Agenten in der realen Welt viel sicherer und kostengünstiger macht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.