🤖 machine learning

Joint Learning of Hierarchical Neural Options and Abstract World Model

Das Papier stellt AgentOWL vor, eine dateneffiziente Methode, die gemeinsam ein abstraktes Weltmodell und hierarchische neuronale Optionen erlernt, um KI-Agenten zu ermöglichen, neue Fähigkeiten mit weniger Daten und besserer Generalisierung als bestehende modellfreie Ansätze zu erwerben und zu kombinieren.

Ursprüngliche Autoren: Wasu Top Piriyakulkij, Wolfgang Lehrach, Kevin Ellis, Kevin Murphy

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wasu Top Piriyakulkij, Wolfgang Lehrach, Kevin Ellis, Kevin Murphy

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, eine Tasse Kaffee zu zubereiten. Sie möchten nicht, dass er jedes einzelne winzige Bewegung von Grund auf neu lernt – etwa wie er seinen Finger einen Millimeter nach links und dann einen Millimeter nach vorne bewegt. Das würde ewig dauern und Millionen von Versuchen erfordern. Stattdessen möchten Sie, dass er „Fertigkeiten" lernt (wie „die Tasse greifen", „das Wasser einschenken", „den Knopf drücken") und diese Fertigkeiten dann kombiniert, um Kaffee zu zubereiten.

Diese Arbeit stellt ein neues KI-System vor, das AgentOWL (Option and World model Learning Agent) heißt und hervorragend darin ist, diese Fertigkeiten schnell zu erlernen und sie dann zu nutzen, um neue, schwierigere Probleme zu lösen.

So funktioniert es, aufgeschlüsselt in einfache Konzepte:

1. Das Problem: Die „Versuch-und-Irrtum"-Falle

Die meisten aktuellen KI-Roboter lernen, indem sie zufällig Dinge ausprobieren, bis sie Erfolg haben. Wenn Sie möchten, dass sie eine lange Kette von Fertigkeiten erlernen (wie das Zubereiten von Kaffee), müssen sie zufällige Kombinationen von Bewegungen milliardenfach ausprobieren. Es ist wie der Versuch, einen Safe zu öffnen, indem man jede mögliche Zahlenkombination einzeln errät. Das ist langsam und ineffizient.

2. Die Lösung: Zwei Superkräfte

AgentOWL löst dieses Problem, indem es zwei Dinge kombiniert: Hierarchische Optionen (Fertigkeiten) und ein Abstraktes Weltmodell (Eine mentale Karte).

A. Die „Fertigkeiten-Leiter" (Hierarchische Optionen)

Stellen Sie sich dies wie ein Videospiel mit einem „Checkpoint"-System vor.

Stufe 1: Der Roboter lernt eine einfache Fertigkeit, wie „Gehe zur Tür". Sobald er dies beherrscht, speichert er sie als einen einzigen Tastendruck.
Stufe 2: Jetzt, anstatt erneut „Gehe zur Tür" zu lernen, nutzt der Roboter diesen gespeicherten Knopf, um eine größere Fertigkeit zu erlernen, wie „Gehe in die Küche".
Stufe 3: Er stapelt diese weiter. „Gehe in die Küche" + „Greife die Tasse" = „Hole Kaffee".

Dies erzeugt eine tiefe Leiter von Fertigkeiten. Der Roboter muss nicht jedes Mal neu lernen, wie man geht, wenn er Kaffee holen möchte; er nutzt einfach die „Gehen"-Fertigkeit, die er bereits kennt.

B. Die „Mentale Karte" (Abstraktes Weltmodell)

Dies ist das Geheimnis. Anstatt zu versuchen, jedes einzelne Pixel auf dem Bildschirm vorherzusagen (was so ist, als würde man versuchen, das Wetter vorherzusagen, indem man jeden einzelnen Regentropfen betrachtet), baut AgentOWL eine vereinfachte mentale Karte auf.

Die Analogie: Stellen Sie sich vor, Sie planen eine Fernreise. Sie müssen nicht die Farbe jedes Hauses kennen, an dem Sie vorbeikommen. Sie müssen nur wissen: „Wenn ich die Autobahn 101 nehme, werde ich in San Francisco enden."
Wie AgentOWL es macht: Es verwendet ein spezielles „Weltmodell", das das Ergebnis einer Fertigkeit vorhersagt, nicht die winzigen Schritte dazwischen. Es fragt: „Wenn ich meine Fertigkeit 'Gehe zur Tür' verwende, werde ich dann in der Küche enden?" Es ignoriert die chaotischen Details der Reise und konzentriert sich auf das Ergebnis.

3. Die „Träumer"-Strategie

Hier kommt der clevere Teil: AgentOWL übt in seinen Träumen (der mentalen Karte), bevor es es in der realen Welt versucht.

Vorstellungskraft: Es simuliert Tausende von Szenarien in seinem Kopf mithilfe seiner vereinfachten Karte. Es probiert verschiedene Kombinationen von Fertigkeiten aus, um zu sehen, welche zum Ziel führen.
Realitätscheck: Sobald es in seinem Kopf einen guten Plan gefunden hat, versucht es diesen spezifischen Plan im echten Spiel.
Lernen: Wenn die reale Welt leicht anders ist als der Traum, aktualisiert es seine mentale Karte.

Das ist der Grund, warum es so effizient ist. Es verschwendet keine Zeit damit, in der realen Welt gegen Wände zu laufen; es findet den Weg zuerst in seinem Kopf heraus.

4. Der „Smarte Assistent" (Verwendung von LLMs)

Manchmal bleibt der Roboter stecken, weil er nicht weiß, welche Fertigkeit er als Nächstes lernen muss, um ein neues Ziel zu erreichen. Um dies zu beheben, bittet AgentOWL ein Large Language Model (LLM) um Hilfe.

Die Analogie: Stellen Sie sich vor, Sie versuchen, eine komplexe Lego-Burg zu bauen, aber Ihnen fehlt ein bestimmtes Teil. Sie fragen einen Freund (das LLM): „Hey, ich habe einen Turm und eine Wand. Welches Teil brauche ich, um sie zu verbinden?"
Das LLM schlägt eine „Brücken"-Fertigkeit vor. Der Roboter versucht dann, diese spezifische Brücken-Fertigkeit zu erlernen. Dies hilft dem Roboter, seine Fertigkeiten-Leiter viel schneller aufzubauen, als wenn er zufällig raten müsste.

5. Die Ergebnisse: Was haben sie bewiesen?

Die Forscher testeten AgentOWL an drei sehr schwierigen Videospielen (Atari-Spiele wie Montezuma's Revenge und Pitfall), bei denen der Roboter ein Labyrinth erkunden und bestimmte Objekte finden muss.

Schnelleres Lernen: AgentOWL lernte mehr Fertigkeiten mit weniger Daten (weniger Spielversuchen) als andere Standard-KI-Methoden.
Lösen schwieriger Rätsel: Andere KI-Methoden gaben bei den schwierigsten Levels auf, weil der Pfad zu lang und komplex war. AgentOWL hatte Erfolg, weil es den langen Pfad in kleine, handhabbare „Fertigkeiten" zerlegen und diese in seinem Kopf planen konnte.
Zero-Shot-Verallgemeinerung: Das ist der coolste Teil. Die Forscher versetzten den Roboter an eine brandneue Startposition, die er noch nie gesehen hatte. Da AgentOWL die Logik der Welt (die Karte) verstand und eine Bibliothek von Fertigkeiten hatte, konnte es sofort herausfinden, wie es zum Ziel gelangt, ohne neues Training. Es war, als würde man einen Schachspieler auf ein neues Brett setzen; er musste nicht neu lernen, wie man die Figuren bewegt, sondern wendete einfach seine Strategie auf das neue Setup an.

Zusammenfassung

AgentOWL ist wie ein Schüler, der nicht nur Antworten auswendig lernt, sondern Konzepte lernt.

Es zerlegt große Probleme in kleine, wiederverwendbare Fertigkeiten.
Es baut eine vereinfachte mentale Karte auf, um vorherzusagen, was diese Fertigkeiten bewirken.
Es übt in seinem Kopf, um den besten Weg zu finden, bevor es handelt.
Es bittet einen smarten Assistenten um Hilfe, wenn es stecken bleibt.

Das Ergebnis ist eine KI, die neue, komplexe Aufgaben viel schneller lernt und sich an neue Situationen anpassen kann, ohne von Grund auf neu trainiert werden zu müssen.

Technische Zusammenfassung: Gemeinsames Lernen hierarchischer neuronaler Optionen und eines abstrakten Weltmodells (AgentOWL)

1. Problemstellung

Die Arbeit adressiert die Herausforderung, Entscheidungsagenten die kumulative Aneignung neuer Fähigkeiten durch die Komposition bestehender Fähigkeiten zu ermöglichen. Während das Optionsframework dies als Lernen einer Hierarchie von Politiken (Optionen) formalisiert, die zunehmend schwierigere Ziele erreichen, leiden standardmäßige modellfreie hierarchische Reinforcement-Learning-(RL)-Ansätze unter einer geringen Probeneffizienz. Mit zunehmender Anzahl erworbener Fähigkeiten erweitert sich der effektive Aktionsraum, was das Policy-Lernen für neue Ziele zunehmend datenintensiv und unlösbar macht.

Das Kernproblem ist ein Trade-off: schnelle Aneignung neuer Fähigkeiten versus Anzahl bereits erworbener Fähigkeiten. Standardmäßige modellfreie Methoden erfordern exponentiell mehr Stichproben, je weiter der Lernprozess fortschreitet. Die Autoren schlagen vor, dass modellbasiertes RL dies lösen kann, indem ein Weltmodell genutzt wird, um Optionen vor der Ausführung in der realen Welt zu planen und auszuschließen. Allerdings fehlt es bestehenden Weltmodellierungsansätzen oft an der Dateneffizienz, um komplexe Dynamiken aus begrenzten Stichproben zu lernen, oder sie liefern nicht die notwendigen temporalen und Zustandsabstraktionen, um die Planung lösbar zu machen.

2. Methodik: AgentOWL

Die Autoren schlagen AgentOWL (Option and World model Learning Agent) vor, ein System, das eine Menge hierarchischer neuronaler Optionen und ein abstraktes Weltmodell gemeinsam auf eine probeneffiziente Weise lernt.

2.1 Abstrakte Weltmodellierung

Das System verwendet ein Product-of-Experts (PoE-World)-Framework, um ein Weltmodell zu lernen, das sowohl über Zustände als auch über Zeit abstrahiert.

Zustandsabstraktion: Anstatt rohe Pixelübergänge vorherzusagen, sagt das Modell zukünftige abstrakte Zustände voraus, die durch Zielprädikate $f(s) = (g_1(s), g_2(s), \dots)$ definiert sind. Dies reduziert die Dimensionalität der Vorhersageaufgabe.
Symbolische Repräsentation: Das Weltmodell wird als Produkt von Experten dargestellt, wobei jeder Experte ein kurzes symbolisches Programm (Python-Schnipsel) ist, das von einem Large Language Model (LLM) generiert wird. Diese Programme modellieren unabhängige kausale Mechanismen.
Frame-Axiom-Prior: Um die Probeneffizienz zu erhalten, integriert das Modell einen „Frame-Axiom-Prior". Dies verzerrt das Modell dahingehend, anzunehmen, dass eine Option $o_i$ primär ihr entsprechendes Merkmal $f_i$ ändert und keine anderen Merkmale $f_j$ ( $j \neq i$ ) verändert. Dies wird durch Maximum-A-Posteriori (MAP)-Schätzung mit Gauß-Priors implementiert, was den zur Erlernung der Übergangsdynamik benötigten Datenbedarf erheblich reduziert.
Rekonstruktion: Da das abstrakte Modell $p(f' | s)$ vorhersagt, wird ein Kernel-Density-Schätzer (Gewichtungsfunktion) heuristisch verwendet, um vollständige Zustände $s'$ aus abstrakten Zuständen $f'$ zu sampeln. Dies ermöglicht dem Agenten, mit einer simulierten Umgebung zu interagieren, ohne ein vollständiges parametrisches generatives Modell zu lernen.

2.2 Gemeinsames Lernen hierarchischer Optionen

AgentOWL trainiert iterativ, um eine Sequenz von Zielen $\{g_1, \dots, g_n\}$ zu meistern, indem es entsprechende Optionen $\{o_1, \dots, o_n\}$ lernt.

LLM-basierte Sub-Option-Hypothese: Wenn ein Agent ein neues Ziel $g$ erreichen muss, aber keine direkte Option besitzt, wird ein LLM aufgefordert, eine neue Sub-Option $o_{h \to g}$ zu hypothesieren. Das LLM wählt eine Vorbedingung $h$ (ein zuvor gelerntes Teilziel) aus dem bestehenden Satz von Optionen $\Omega$ aus, die als Sprungbrett dienen könnte. Diese neue Option und ihr hypothetisches Weltmodell werden dem System hinzugefügt.
Modellbasierte Exploration: Der Agent lernt eine Policy $\pi_{wm}$ innerhalb des abstrakten Weltmodells mittels Deep Q-Learning (DQN). Diese Policy dient als Explorationsleitfaden für die Realwelt-Policy $\pi_{real}$ . Die kombinierte Policy ist definiert als $\pi(a|s) = (1-\epsilon)\pi_{real}(a|s) + \epsilon\pi_{wm}(a|s)$ . Die Explorationsrate $\epsilon$ wird von 1 auf 0 abgeklungen, was dem Agenten ermöglicht, vom modellbasierten Planen zum vollständig modellfreien Lernen überzugehen, sobald sich die Realwelt-Policy stabilisiert.
Stabiles hierarchisches Training: Um die durch das Training niedrigerer Optionen verursachte Nicht-Stationarität (die die von höheren Optionen gesehene Umgebung verändert) zu mildern, verwendet das System einen Stabilisierungsmechanismus. Daten aus Episoden werden nur dann zum Replay-Buffer für das Training hinzugefügt, wenn alle in dieser Episode ausgeführten Sub-Optionen „stabil" sind (d. h., sie wurden mit ausreichenden Stichproben $n > n_{threshold}$ trainiert und weisen eine hohe Zielabschlussrate $\delta > \delta_{threshold}$ auf).

3. Hauptbeiträge

AgentOWL-Framework: Eine neuartige Architektur, die das gemeinsame Lernen hierarchischer neuronaler Optionen und eines abstrakten Weltmodells ermöglicht und eine probeneffiziente Fähigkeitsaneignung erlaubt.
Abstraktes Weltmodell mit symbolischen Programmen: Die Integration von PoE-World mit von LLMs generierten symbolischen Programmen ermöglicht das Lernen komplexer, zeitlich abstrakter Dynamiken aus sehr wenigen Daten und überwindet die „Ein-Schritt-Falle" niedrigstufiger Modelle.
LLM-gesteuerte Optionsentdeckung: Eine Methode zur Nutzung von LLMs, um neue Sub-Optionen (Vorbedingungen) basierend auf bestehenden Fähigkeiten zu hypothesieren, wodurch der Lehrplan der Fähigkeitsaneignung effektiv automatisiert wird, ohne dass eine manuelle Ingenieursarbeit für Teilziele erforderlich ist.
Stabiles hierarchisches DQN: Ein Trainingsverfahren, das das Lernen tiefer Optionshierarchien stabilisiert, indem Daten basierend auf der Stabilität von Sub-Optionen gefiltert werden, was das inhärente Nicht-Stationaritätsproblem im hierarchischen RL adressiert.

4. Experimentelle Ergebnisse

Die Methode wurde an drei objektspezifischen Atari-Spielen (OCAtari) evaluiert, die für ihre schwierige Exploration bekannt sind: Montezuma's Revenge, Pitfall und Private Eye.

Effizienz der Fähigkeitsaneignung: AgentOWL meisterte einen signifikant höheren Anteil an Optionen mit weniger Umgebungs-Schritten im Vergleich zu Baselines, einschließlich Rainbow DQN, zielkonditioniertem DQN und hierarchischem DQN (ohne Weltmodell). Während Baselines bei einer geringen Anzahl gemeisteter Fähigkeiten stagnierten, fuhr AgentOWL fort, komplexe Fähigkeiten zu erwerben.
Generalisierung auf schwierige Ziele: Eine qualitative Analyse zeigte, dass Baselines versagten, Optionen für schwierige Ziele zu erwerben (z. B. das Erreichen bestimmter Räume in Pitfall), da sie die notwendigen langen Aktionssequenzen nicht entdecken konnten. AgentOWL plante diese Sequenzen erfolgreich abstrakt und führte sie hierarchisch aus.
Implizites Lernen: Experimente zeigten, dass AgentOWL Sub-Optionen implizit verbessert, selbst wenn es nur für ein höherstufiges Ziel belohnt wird. Für das Ziel nützliche Sub-Optionen zeigten erhöhte Erfolgsraten, während irrelevante dies nicht taten.
Zero-Shot-Generalisierung: In einem Experiment mit neuem Startzustand konnte AgentOWL bestehende Optionen kombinieren, um zuvor gemeisterte Ziele ohne zusätzliches Training zu erreichen, sofern ihm eine einzige neue Option gegeben wurde, um vom neuen Start zum ursprünglichen Startzustand zu navigieren. Baselines, denen das abstrakte Weltmodell und die hierarchische Komposition fehlten, scheiterten an der Null-Shot-Anpassung.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass Optionslernen und Weltmodelllernen tief miteinander verflochten sind. Durch das Lernen eines abstrakten Weltmodells, das die Auswirkungen von Optionen erfasst, kann der Agent effizient planen, was wiederum die Entdeckung und Verfeinerung neuer Fähigkeiten erleichtert.

Die Autoren betonen, dass AgentOWL Folgendes demonstriert:

Probeneffizienz: Erreichen komplexer Fähigkeitshierarchien mit deutlich weniger Daten als modellfreie Baselines.
Kompositionelle Generalisierung: Die Fähigkeit, gelernte Fähigkeiten zu kombinieren, um neue Probleme zu lösen (Zero-Shot-Generalisierung) und implizit Sub-Fähigkeiten zu lernen, die für höherstufige Ziele erforderlich sind.
Skalierbarkeit des Planens: Die Verwendung abstrakter, zeitlich erweiterter Modelle ermöglicht die Planung über lange Horizonte, die für niedrigstufige Modelle unlösbar wären.

Die Arbeit schließt, dass, obwohl aktuelle Limitationen bestehen (wie die Notwendigkeit geordneter Zielsequenzen und symbolischer Eingaben), der Ansatz eine vielversprechende Richtung für die Entwicklung von Agenten aufzeigt, die ihr Wissen und ihre Fähigkeiten durch das Zusammenspiel von Fähigkeitsaneignung und Weltmodellierung kumulativ erweitern können.