Efficient Hypergradient Descent for Inverse Reinforcement Learning
Dieses Paper schlägt eine effiziente Methode für das Inverse Reinforcement Learning vor, welche die Proportionalität zwischen der Hesse-Matrix des inneren Objekts und der Fisher-Informationsmatrix der Policy nutzt, um einen strukturierten Hypergradienten abzuleiten, welcher anschließend mittels Streaming Spectral Sketching approximiert wird, um die mit großen Fisher-Matrizen verbundenen Skalierbarkeitsprobleme zu überwinden.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, wie ein professioneller Tänzer zu laufen. Sie könnten dem Roboter ein Video des Tanzes zeigen und ihm sagen: „Kopiere meine Bewegungen einfach exakt.“ Dies nennt man Imitationslernen. Aber was ist, wenn sich der Boden verändert oder der Roboter auf einem Trampolin statt auf einer Bühne tanzen muss? Wenn er nur die Bewegungen auswendig gelernt hätte, würde er vielleicht flach auf das Gesicht fallen. Ein klügerer Ansatz besteht darin, herauszufinden, warum der Tänzer sich so bewegt hat. Was wollte der Tänzer erreichen? Was war die „Punktzahl“, die er zu maximieren versuchte? Dies ist das Ziel von Inverser Reinforcement Learning (IRL): Anstatt nur den Tanz zu kopieren, versuchen wir, das unsichtbare „Belohnungssystem“ zu dekonstruieren, dem der Experte gefolgt ist. Sobald wir die Regeln des Spiels kennen, können wir den Roboter auf jeder Oberfläche tanzen lassen, nicht nur auf der, die er im Video gesehen hat.
Um dies zu erreichen, nutzen Wissenschaftler ein kniffliges zweistufiges Spiel namens Bilevel-Optimierung. Denken Sie an etwas wie einen Lehrer und einen Schüler. Die „innere Ebene“ ist der Schüler, der versucht, die besten Bewegungen basierend auf einem Satz von Regeln (der Belohnung) zu lernen, die wir ihm geben. Die „äußere Ebene“ ist der Lehrer, der prüft, ob die Bewegungen des Schülers denen des Experten ähneln. Wenn sie nicht übereinstimmen, passt der Lehrer die Regeln (die Belohnung) an und schickt den Schüler zurück zum Üben. Das Problem ist, genau zu bestimmen, wie man die Regeln anpassen muss, ist unglaublich schwer. Es ist, als würde man versuchen zu erraten, wie eine winzige Änderung der Regeln durch den gesamten Lernprozess des Schülers nachhallt. Normalerweise erfordert die Berechnung dessen eine gewaltige Menge an Computerspeicher, als würde man versuchen, eine ganze Bibliothek in seinem Rucksack zu tragen, nur um ein mathematisches Problem zu lösen.
Dieses Paper führt eine clevere Abkürzung vor, um dieses Speicherproblem zu lösen. Die Autoren, Nikita Sevriukov und sein Team von der HSE University, haben entdeckt, dass die mathematische „Form“ des Lernprozesses des Schülers genau wie eine spezifische Karte namens Fisher-Informationsmatrix aussieht, wenn der Schüler die Regeln perfekt gelernt hat. Das ist eine große Sache, denn diese Karte hat eine spezielle Struktur, die sie einfacher handhabbar macht. Dennoch kann selbst diese Karte zu riesig sein, um sie auf einem Computer zu speichern. Deshalb hat das Team eine Methode erfunden, die einen „Streaming Spectral Sketch“ nutzt. Stellen Sie sich vor, anstatt jedes einzelne Detail der Karte aufzuschreiben, machen Sie eine schnelle, kluge Momentaufnahme, die die wichtigsten Merkmale einfängt, während sie den Unrat wegwirft. Sie nennen diese Methode Efficient Hypergradient Descent.
Die Forscher testeten diese Idee in zwei verschiedenen Welten: einem einfachen Stangenbalancierspiel namens CartPole und einer komplexeren, kontinuierlichen Steuerungsaufgabe namens LQR. Sie verglichen ihre neue „Sketching“-Methode mit älteren, langsameren Wegen der Mathematik. Die Ergebnisse waren vielversprechend. In der komplexen LQR-Umgebung reduzierte ihre Methode den benötigten Speicher um etwa das 1,31-fache und war etwas schneller. Im einfacheren CartPole-Spiel war sie fast 1,3-mal schneller. Obwohl die „Sketching“-Methode im Vergleich zu den langsamen, schweren Methoden nicht immer die absolut perfekte Belohnungskarte erzeugte, war sie sehr nah dran. Viel wichtiger war, dass sie es dem Roboter ermöglichte, den Stil des Experten genauso gut zu lernen, aber dies viel effizienter tat. Die Autoren schlagen vor, dass wir durch die Verwendung dieser klugen, leichtgewichtigen Annäherungen Robotern beibringen können, von Experten zu lernen, ohne Supercomputer zu benötigen, um all die Daten zu halten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.