Hierarchical Reinforcement Learning with Optimal Level Synchronization Based on Flow-Based Deep Generative Model

Stellen Sie sich eine Welt vor, in der das Beibringen komplexer Aufgaben an einen Computer so ist, als würde man versuchen, einem Kleinkind ein Schloss zu bauen, indem man ihm einfach zuruft: „Bau ein Schloss!“ Wenn das Kleinkind nicht weiß, wie ein Schloss aussieht oder wie man einen Ziegel hält, wird es einfach nur umherfuchteln. Dies ist der tägliche Kampf des Reinforcement Learning (RL), eines Zweigs der künstlichen Intelligenz, bei dem Software-Agenten durch Versuch und Irrtum lernen. Im einfachen RL erhält der Agent eine „Belohnung“ (wie einen Punkt oder eine Leckerei) nur dann, wenn er etwas richtig macht. Aber in der realen Welt sind Belohnungen oft selten und die Aufgaben sind riesig und kompliziert. Der Agent verirrt sich in einem Meer von Möglichkeiten und findet nie den richtigen Zug.

Um dies zu beheben, erfanden Wissenschaftler das Hierarchical Reinforcement Learning (HRL). Stellen Sie sich HRL wie einen Chef vor, der dem Kleinkind zur Seite gestellt wird. Der „Chef“ (eine High-Level-Policy) macht sich keine Sorgen darüber, wie man einen Ziegel hält; er gibt lediglich übergeordnete Befehle wie „Baue hier eine Wand“ oder „Baue dort einen Turm“. Ein „Arbeiter“ (eine Low-Level-Policy) findet dann die winzigen, spezifischen Bewegungen heraus, die nötig sind, um diesen Ziegel tatsächlich zu platzieren. Dieses Teamwork macht das Lernen viel schneller. Es gibt jedoch einen Haken: Der Chef und der Arbeiter müssen synchron bleiben. Wenn der Arbeiter besser darin wird, Wände zu bauen, der Chef aber weiterhin Befehle basierend auf den alten, tollpatschigen Fähigkeiten des Arbeiters gibt, scheitert das gesamte Team. Das Papier, das Sie gleich lesen werden, befasst sich genau mit diesem Problem, den Chef und den Arbeiter in perfekter Harmonie zu halten.

---

Der Chef, der Arbeiter und der magische Spiegel

In dem Papier „Hierarchical Reinforcement Learning with Optimal Level Synchronization Based on Flow-Based Deep Generative Model“ schlagen die Forscher JaeYoon Kim und sein Team von der University of Technology Sydney eine clevere neue Methode vor, um den „Chef“ und den „Arbeiter“ in einem KI-Team perfekt zu synchronisieren.

Normalerweise, wenn der Arbeiter (die Low-Level-Policy) etwas Neues lernt, muss der Chef (die High-Level-Policy) seine Strategie aktualisieren. Aber hier liegt der Knackpunkt: Der Chef wird mit Daten aus der Vergangenheit trainiert, als der Arbeiter noch ein Anfänger war. Wenn der Chef versucht, aus diesen alten Daten zu lernen, ohne sich anzupassen, ist das so, als würde ein Trainer versuchen, einem Rookie-Quarterback Spielzüge beizubringen, die für ein Profiteam entwickelt wurden. Der Chef wird verwirrt, weil sich die Fähigkeiten des Arbeiters verändert haben.

Frühere Methoden versuchten dies zu beheben, indem sie schätzten, was der Arbeiter hätte tun können. Sie nutzten eine Art „statistisches Raten“, um alte Ziele neu zu labeln. Die Autoren argumentieren, dass dies so ist, als würde man versuchen, die Antwort auf eine Matheaufgabe zu erraten, indem man nur die Schatten an der Wand betrachtet – es ist indirekt und oft ungenau. Sie sagen: „Warum raten, wenn man einfach fragen kann?“

Der neue Ansatz: Ein magischer Spiegel

Die Lösung des Teams ist die Verwendung eines Flow-Based Deep Generative Model (FDGM). Um dies zu verstehen, stellen Sie sich vor, der Arbeiter sei nicht nur ein Roboter, sondern ein magischer Spiegel. In alten Zeiten mussten Sie die Bewegungen des Arbeiters beobachten und raten, um zu wissen, was er dachte. Mit diesem neuen „magischen Spiegel“ können Sie dem Spiegel einfach das Endergebnis zeigen (die Aktion, die der Arbeiter ausgeführt hat), und der Spiegel wirft das Bild augenblicklich rückwärts, um Ihnen genau zu zeigen, welches Ziel vorliegen musste, um dieses Ergebnis zu erzeugen.

Dies wird als direkte Inverse-Operation bezeichnet. Anstatt zu raten, kehrt das System die Aktionen des Arbeiters mathematisch um, um das perfekte, aktualisierte Ziel zu finden. Dies ermöglicht es dem Chef, von der aktuellen, hochqualifizierten Version des Arbeiters zu lernen, selbst während er alte Daten verwendet. Es ist, als könnte der Chef die Zeit sofort zurückdrehen, die neuen Fähigkeiten des Arbeiters sehen und die Befehle entsprechend anpassen.

Die Hürde: Die starre Box

Es gab jedoch ein Problem bei der Verwendung dieses „magischen Spiegels“ (des FDGM). Diese Modelle sind notorisch wählerisch. Sie sind wie eine starre Box, die nur Eingaben und Ausgaben der exakt gleichen Größe akzeptiert. Wenn der Chef ein Ziel angibt, das 8 Zahlen lang ist, muss der Spiegel des Arbeiters eine Aktion ausgeben, die ebenfalls 8 Zahlen lang ist. In der realen Welt haben die Ziele des Chefs und die Aktionen des Arbeiters jedoch oft unterschiedliche Größen. Diese Starrheit machte es schwierig, den Spiegel in komplexen KI-Aufgaben einzusetzen.

Die Autoren gaben nicht auf. Sie bauten eine neue Architektur, die wie ein smartes Adapterstück fungiert. Sie unterteilten den Arbeiter in drei Teile:

1. Der Forward-Teil: Der eigentliche Arbeiter, der mit der Welt interagiert.
2. Der Conditional-Teil: Ein Übersetzer, der das Ziel des Chefs und die aktuelle Situation nimmt und sie verfeinert.
3. Der FDGM-Teil: Der magische Spiegel, der die schwere Arbeit des Umkehrens erledigt.

Durch das Hinzufügen dieses „Übersetzers“ (des Conditional-Teils) konnten sie die Information dehnen oder stauchen, sodass der starre Spiegel sie verarbeiten konnte. Dies löste das „starre Box“-Problem und ermöglichte es dem System, Ziele unterschiedlicher Größe zu handhaben, ohne zu brechen.

Was sie herausfanden

Das Team testete ihr neues System in einer virtuellen Welt namens MuJoCo Ant, in der eine digitale Ameise Hindernissen ausweichen, Blöcke schieben und sicher fallen muss. Sie verglichen ihr „Magischer Spiegel“-System mit zwei anderen berühmten Methoden: HIRO (das die alte Ratemethode nutzt) und LSP (das einen ähnlichen Spiegel nutzt, aber am Problem der starren Box scheitert).

Die Ergebnisse waren vielversprechend. In den meisten der anspruchsvollen Aufgaben lernte ihr neues Modell schneller und erreichte höhere Punktzahlen als die anderen.

• In den Aufgaben Ant Push Multi und Ant Fall Multi zog ihr Modell deutlich davon ab und zeigte, dass es den Chef und den Arbeiter viel besser synchronisieren kann als die alten Ratemethoden.
• Selbst als sie das System zwangen, „nicht-optimale“ Zielgrößen zu verwenden (sodass Chef und Arbeiter unterschiedliche „Sprachen“ sprachen), passte sich ihr Modell an und performte immer noch gut, während die anderen Modelle Schwierigkeiten hatten oder versagten.
• Sie fanden heraus, dass das System zwar großartig funktioniert, aber immer noch vor einer kleinen Herausforderung steht, nämlich der „biased log-density estimation“ (eine technische Art zu sagen, dass der Spiegel in jedem einzelnen mathematischen Detail nicht perfekt genau ist), aber er ist genau genug, um die Konkurrenz zu schlagen.

Das Fazit

Dieses Paper behauptet nicht, alle Probleme der KI gelöst zu haben. Stattdessen bietet es ein sehr spezifisches, mächtiges Werkzeug: eine Möglichkeit, hierarchische KI-Teams zu trainieren, indem man Aktionen direkt umkehrt, um die perfekten Ziele zu finden, anstatt zu raten. Durch den Bau eines flexiblen Adapters um ein starres mathematisches Modell zeigten die Autoren, dass KI-Chefs endlich von den aktuellen Fähigkeiten ihrer Arbeiter lernen können, anstatt von deren Fehlern der Vergangenheit. Es ist ein Schritt in Richtung einer KI, die komplext mehrstufige Aufgaben so natürlich erlernen kann wie ein menschliches Team, das zusammenarbeitet.