Disentangled Unsupervised Skill Discovery for Efficient Hierarchical Reinforcement Learning
Dieses Paper schlägt Disentangled Unsupervised Skill Discovery (DUSDi) vor, eine neuartige Methode, die durch ein auf gegenseitiger Information basierendes Ziel und Wertfaktorisierung wiederverwendbare, faktorspezifische Fähigkeiten erlernt und bestehende Ansätze bei der effizienten Lösung nachgelagerter hierarchischer Reinforcement-Learning-Aufgaben signifikant übertrifft.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter das Autofahren bei. Auf die alte Art und Weise hätte man dem Roboter einen einzigen „Skill-Drehregler“ gegeben. Wenn der Roboter diesen Regler aufdrehte, würde das Auto beschleunigen, nach links lenken und gleichzeitig die Scheinwerfer aufblitzen lassen. Wenn man wollte, dass der Roboter nur die Scheinwerfer einschaltet, ohne die Geschwindigkeit oder die Richtung zu ändern, wäre das ein Albtraum. Der Roboter müsste raten: „Wenn ich den Regler ein winziges Stück drehe, gehen vielleicht die Lichter an, aber das Auto bleibt stehen?“ Es ist, als versuche man, eine Marionette zu steuern, bei der das Ziehen an einem einzigen Faden den ganzen Körper herumspringen lässt. Dies ist das, was Forscher als „verschränkte“ (entangled) Fähigkeiten bezeichnen, und die Arbeit argumentiert, dass dies das Erlernen neuer Aufgaben unglaublich schwer und langsam macht.
Hier kommt DUSDi (Disentangled Unsupervised Skill Discovery) ins Spiel, eine neue Methode, die wie ein Meisterpuppenspieler mit einer Fernbedienung fungiert, die für jede einzelne Bewegung separate Knöpfe besitzt. Anstatt eines großen Drehreglers gibt DUSDi dem Roboter eine Reihe unabhängiger „Skill-Knöpfe“. Ein Knopf steuert nur die Geschwindigkeit, ein anderer nur die Lenkung und ein dritter nur die Scheinwerfer. Der Roboter lernt diese Knöpfe, indem er in der Welt herumspielt, ohne einen Lehrer oder Belohnungen zu haben – einfach durch Erkundung.
Die Haupterkenntnis der Arbeit ist, dass der Roboter, wenn man ihm diese separaten, „entstanzten“ (disentangled) Knöpfe beibringt, später ein Genie darin wird, neue Aufgaben zu erlernen. In einer Reihe von Computersimulationen – die von einem einfachen 2D-Shooter-Spiel bis hin zu einem komplexen 3D-Roboter, der durch ein Haus navigiert, reichen – lernte DUSDi, diese Faktoren unabhängig voneinander zu steuern. Als die Forscher den Roboter dann baten, spezifische Herausforderungen zu lösen (wie „Fahre zur roten Zone“ oder „Schalte den Fernseher ein“), lernte der Roboter, der DUSDis separate Knöpfe nutzt, viel schneller und zeigte eine bessere Leistung als Roboter, die die alten „verschränkten“ Drehregler verwendeten.
Die Arbeit argumentiert ausdrücklich gegen die Vorstellung, dass eine einzige, unordentliche Skill-Variable für komplexe Aufgaben ausreicht. Sie zeigt, dass man einen Roboter scheitern lässt, wenn man ihn dazu zwingt, Fähigkeiten zu erlernen, bei denen eine einzige Änderung alles gleichzeitig beeinflusst; der Roboter wird verwirrt und hat Schwierigkeiten, diese Fähigkeiten für neue Ziele zu kombinieren. Die Autoren maßen dies, indem sie den Roboter durch 13 verschiedene Downstream-Aufgaben in vier verschiedenen Umgebungen schickten. In den komplexen Welten, in denen der Roboter viele Dinge gleichzeitig jonglieren musste (wie die Steuerung von 10 verschiedenen Agenten oder eines Roboterarms in einem unordentlichen Raum), scheiterten die alten Methoden oft oder lernten sehr langsam, während DUSDi konsequent besser abschnitt als sie.
Ein cooler Trick, den die Arbeit verwendet, ist eine mathematische „Scorecard“ namens gegenseitige Information (mutual information). Denken Sie an ein Spiel, bei dem der Roboter Punkte dafür erhält, dass ein bestimmter Knopf (wie der „Geschwindigkeits“-Knopf) die Geschwindigkeit ändert, aber er bekommt Minuspunkte, wenn derselbe Knopf versehentlich auch die Lenkung oder die Lichter verändert. Der Roboter lernt, seinen Score zu maximieren, indem er seine Skills perfekt trennt. Um diesen Lernprozess schneller und weniger instabil zu machen, brachten die Forscher die „Wertberechnung“ des Roboters in kleinere Teile auf, jeweils einen für jeden Knopf, anstatt zu versuchen, den Wert des gesamten unordentlichen Mixes auf einmal zu erraten. Dies half dem Roboter, die separaten Skills stabiler zu lernen, insbesondere in den größeren, komplizierteren Simulationen.
Die Arbeit testete auch, ob dies funktioniert, wenn der Roboter die Welt nur durch eine Kamera (Pixel) „sehen“ kann, anstatt die exakten Zahlen der Welt zu kennen. Durch die Verwendung eines speziellen Bildlesewerkzeugs war DUSDi dennoch in der Lage, diese separaten Skills zu erlernen und Aufgaben zu lösen, während andere Methoden mit bloßen Bildern gar nicht erst anfangen konnten.
Die Autoren weisen jedoch vorsichtig darauf hin, dass diese Methode darauf angewiesen ist, dass der Roboter Zugang zu einer „faktorisierten“ Sicht auf die Welt hat – das heißt, er muss in der Lage sein, die Welt als separate Teile zu sehen (wie Geschwindigkeit, Richtung und Lichter) anstatt nur als verschwommenen Klumpen. Während sie zeigten, dass es mit Bildern funktionieren kann, indem man diese Teile zuerst extrahiert, legen sie nahe, dass die Methode für sehr chaotische, reale Umgebungen, in denen der Roboter die Faktoren nicht leicht trennen kann, Hilfe benötigen könnte. Aber in den simulierten Welten, die sie getestet haben, waren die Ergebnisse eindeutig: Dem Roboter einen Satz unabhängiger, entstanzter Skills zu geben, ist eine viel bessere Vorbereitung auf die reale Welt als ihm einen einzigen, verhedderten Drehregler zu geben.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.