🤖 machine learning

HERAKLES: Hierarchical Skill Compilation for Open-ended LLM Agents

HERAKLES ist ein hierarchischer Agent, der eine High-Level-LLM-Policy zur Auswahl erreichbarer Subziele mit einem Low-Level-Controller kombiniert, der erfolgreiche Verhaltensweisen in wiederverwendbare Skills kompiliert und so eine effiziente, offene Exploration sowie Skill-Komposition in teilweise beobachtbaren Umgebungen mit spärlichen Belohnungen ermöglicht.

Ursprüngliche Autoren: Thomas Carta, Clément Romac, Loris Gaven, Pierre-Yves Oudeyer, Olivier Sigaud, Sylvain Lamprier

Veröffentlicht 2026-07-22

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Thomas Carta, Clément Romac, Loris Gaven, Pierre-Yves Oudeyer, Olivier Sigaud, Sylvain Lamprier

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Suche nach dem selbstlernenden Roboter

Stellen Sie sich eine Welt vor, in der Computer nicht nur einem strengen, von einem Menschen geschriebenen Rezept folgen, sondern stattdessen lernen, selbstständig zu kochen, zu bauen und zu erforschen, wobei sie jeden Tag intelligenter werden. Dies ist der Traum des „Open-Ended Learning“ (offenes Lernen) in der Künstlichen Intelligenz. Lange Zeit war KI wie ein Schüler, der ein riesiges Lehrbuch auswendig lernt, aber einfriert, wenn er eine Frage gestellt bekommt, die nicht im Buch steht. Echte Menschen sind jedoch anders. Wir lernen nicht nur auswendig; wir bauen eine Bibliothek von Fähigkeiten auf. Wenn wir lernen, Fahrrad zu fahren, lernen wir nicht nur das Gleichgewicht zu halten; wir lernen das Treten, das Lenken und das Bremsen als separate Werkzeuge, die wir später kombinieren können, um zu lernen, wie man ein Motorrad fährt.

Das Papier, das Sie gleich lesen werden, befasst sich mit einem spezifischen Problem in diesem Bereich: Wie bringen wir einer KI-Agenten bei, ewig weiterzulernen, ohne stecken zu bleiben? Die Kernidee ist das „hierarchische Lernen“. Denken Sie an ein Unternehmen mit einem Chef und einem Arbeiter. Der Chef (das übergeordnete Gehirn) erledigt nicht die schwere Arbeit; stattdin zerlegt er große, einschüchternde Projekte in kleinere, handhabbare Aufgaben für den Arbeiter (das untergeordnete Gehirn). Der Arbeiter erledigt die Aufgaben, und sobald er sehr gut darin ist, werden diese Aufgaben zu „Fähigkeiten“, die der Chef mit einem einzigen Wort anordnen kann. Das Papier untersucht, wie man einen Roboter bauen kann, der dies automatisch tut – indem er ein chaotisches Durcheinander neuer Herausforderungen in einen ordentlichen, organisierten Werkzeugkasten an Fähigkeiten verwandelt.

Die Geschichte von HERAKLES: Der Roboter, der seinen eigenen Werkzeugkasten baut

Treffen Sie HERAKLES, eine neue Art von Robotergehirn, das als lebenslanger Lerner konzipiert wurde. Stellen Sie sich vor, Sie sind ein junger Abenteurer, der versucht, einen riesigen, geheimnisvollen Wald zu erobern. Am Anfang wissen Sie nur, wie man einen Schritt nach dem anderen macht. Wenn Sie ein fernes Gebirge erreichen wollen, müssen Sie jeden einzelnen Schritt von Grund auf neu planen, was erschöpfend und langsam ist. Sie könnten müde werden und aufgeben, noch bevor Sie den ersten Hügel erreicht haben.

HERAKLES löst dies, indem es wie ein kluges Team mit zwei unterschiedlichen Rollen agiert. Die erste Rolle ist der General (die übergeordnete Policy), der eine sehr intelligente, sprachbegabte KI ist. Die zweite Rolle ist der Soldat (die untergeordnete Policy), ein schneller, effizienter Roboter, der tatsächlich den Körper bewegt und Gegenstände aufhebt.

So geschieht die Magie:

1. Der General plant, der Soldat führt aus
Wenn der General ein großes Ziel wie „Baue eine Steinaxt“ sieht, versucht er nicht, dies alles auf einmal zu erledigen. Stattdessen schaut er nach, was der Soldat bereits tun kann. Vielleicht weiß der Soldat bereits, wie man „Holz hackt“ und „einen Tisch platziert“. Der General bricht das große Ziel herunter: „Zuerst Holz hacken. Dann einen Tisch platzieren. Schließlich die Steinaxt herstellen.“ Der General gibt diese kleineren Befehle an den Soldaten weiter.

2. Der „Skill Compilation“-Trick
Hier wird HERAKLES wirklich clever. Jedes Mal, wenn der Soldat eine Aufgabe erfolgreich abschließt, wie zum Beispiel „Holz hacken“, vergisst der General diese Sequenz nicht einfach. Er nimmt diese ganze Abfolge von Bewegungen und „kompiliert“ sie zu einer einzigen, wiederverwendbaren Fähigkeit. Es ist so, als würde der Soldat lernen, Fahrrad zu fahren, und plötzlich kann der General einfach sagen „Fahr zum Fluss“ statt zu sagen „Treten, lenken, balancieren, treten, lenken...“.

Während der Roboter mehr lernt, wächst sein Werkzeugkasten an Fähigkeiten. Der General erhält Zugriff auf immer größere und wichtigere „Optionen“. Anstatt 100 winzige Schritte zu machen, um ein Haus zu bauen, könnte der General einfach sagen „Baue eine Wand“ (eine Fähigkeit, die der Soldat bereits gemeistert hat) und „Baue ein Dach“ (eine weitere gemeisterte Fähigkeit). Dies macht den Roboter viel schneller und effizienter.

3. Der Sicherheitsfilter
Der General ist klug genug zu wissen, was der Soldat noch nicht kann. Wenn der Soldat noch nicht gelernt hat, „Feuer zu machen“, wird der General ihn auch nicht dazu auffordern, da dies nur zu Scheitern und Verwirrung führen würde. Das System nutzt einen speziellen „Kompetenz-Prüfer“ (Competency Checker), um dem General nur Ziele anzubieten, bei denen der Soldat eine gute Erfolgschance hat. Dies hält den Lernprozess reibungslos und verhindert, dass der Roboter bei unmöglichen Aufgaben stecken bleibt.

Was sie herausgefunden haben

Die Forscher testeten HERAKLES in einer digitalen Welt namens Crafter, die eine 2D-Version von Minecraft ist, in der man Ressourcen sammeln und Gegenstände herstellen muss, um zu überleben. Das Ziel war zu sehen, ob HERAKLES lernen kann, im Laufe der Zeit immer schwierigere Aufgaben zu bewältigen, ohne dass ein Mensch ihm jeden einzelnen Schritt beibringen muss.

Sie verglichen HERAKLES mit anderen KI-Methoden:

Der „Alles-selbst-machen“-Roboter: Ein Roboter, der versucht, jedes winzige Detail jedes Mal von Grund auf neu zu lernen. Dieser Roboter blieb schnell stecken, weil komplexe Aufgaben zu lange zum Lernen brauchten.
Der „Starre-Gehirn“-Robot: Ein Roboter, der zwar ein kluges Gehirn besitzt, aber die Fähigkeiten seines Körpers unveränderlich lässt und niemals neue physische Tricks lernt.
Der „Verborgene-Code“-Robot: Ein Robboter, der versucht, Fähigkeiten zu lernen, dabei aber einen geheimen Code anstelle von klarer Sprache verwendet, was es schwierig macht, Fähigkeiten logisch zu kombinieren.

Die Ergebnisse:
HERAKLES war der klare Gewinner auf lange Sicht. Während die anderen Roboter nach dem Erlernen einiger einfacher Aufgaben (wie etwa zum Baum zu gehen) stecken blieben, verbesserte sich HERAKLES kontinuierlich. Am Ende des Trainings (nach 250.000 Schritten im Spiel) hatte HERAKLES gelernt, komplexe Gegenstände wie eine Steinaxt herzustellen, während die anderen noch mit Basistätigkeiten kämpften.

Das Papier legt nahe, dass HERAKLES viel besser in der „Sample Efficiency“ (Probeneffizienz) ist, was bedeutet, dass es aus weniger Versuchen mehr lernt. Es zeigte auch eine erstaunliche Flexibilität. Als die Forscher HERAKLES baten, Dinge zu tun, die es so noch nie gesehen hatte – wie zum Beispiel „Sammle 4 Holz“ statt nur „Sammle Holz“ oder die Verwendung eines Synonyms wie „Erwirb Holz“ statt „Sammle Holz“ – war es fast jedes Mal erfolgreich. Es konnte sogar herausfinden, wie man ein „Holzschwert“ herstellt, indem es erkannte, dass dies der „Holzaxt“, die es bereits beherrschte, sehr ähnlich ist.

Warum das wichtig ist

Die Autoren legen nahe, dass diese Methode ein großer Schritt hin zur Schaffung von KI ist, die wirklich eigenständig wachsen und sich anpassen kann. Indem sie der KI erlauben, ihre eigene Bibliothek an Fähigkeiten aufzubauen und diese Fähigkeiten dann zu nutzen, um noch größere Herausforderungen anzugehen, vermeidet HERAKLES das Gefühl des „Steckenbleibens“, das viele andere Lernsysteme plagt.

Das Papier räumt jedoch auch ein, dass es Grenzen gibt. Momentan versteht der General nur Text, nicht Bilder, und kann die Welt also nicht direkt sehen. Zudem benötigt das System eine Liste von Zielen, um zu starten; es erfindet die Ziele noch nicht selbst. Aber die Idee eines Roboters, der seine eigenen Erfahrungen in neue, wiederverwendbare Fähigkeiten „kompilieren“ kann, ist ein mächtiges Konzept. Es deutet auf eine Zukunft hin, in der KI-Agenten die Vergangenheit nicht nur auswendig lernen, sondern aktiv ein Fundament für eine endlose Zukunft des Lernens bauen.

Technisches Resümee: HERAKLES – Hierarchische Skill-Kompilierung für offene LLM-Agenten

Problemstellung

Die Arbeit adressiert die Herausforderung des offenen Lernens (open-ended learning) in teilweise beobachtbaren Umgebungen, die durch spärliche Belohnungen (sparse rewards) und große, strukturierte Zielräume gekennzeichnet sind. Während jüngste Fundamentmodelle bereits menschliches Leistungsniveau bei statischen Aufgaben erreicht haben, haben sie Schwierigkeiten mit der lebenslangen Zunahme der Komplexität, da sie auf festen Datensätzen basieren. Im Gegensatz dazu erwerben Menschen kontinuierlich vielfältige Fähigkeiten, indem sie komplexe Aufgaben in einfachere, zuvor internalisierte Teilfertigkeiten zerlegen.

Aktuelle Ansätze für offene Agenten (z. B. Voyager, AutotelicLLM) stehen oft vor einer kombinatorischen Explosion der Zielkomplexität. Wenn Agenten auf zunehmend komplexere Ziele treffen, wächst die Zeit, die benötigt wird, um jedes neue Ziel isoliert zu meistern, rapide an, was den Lernfortschritt zum Erliegen bringt. Bestehende Methoden des hierarchischen Reinforcement Learning (HRL) verlassen sich oft auf vordefinierte Skill-Sets oder vortrainierte Policies, was jedoch nicht mit echten offenen Agenten kompatibel ist, die ihre Skill-Repertoires autonom entdecken und erweitern müssen, ohne auf Expertenintervention angewiesen zu sein.

Das Kernproblem besteht darin, wie ein Agent sich kontinuierlich an einen wachsenden Zielraum anpassen kann, indem er neue Skills effizient aus bereits beherrschten Verhaltensweisen zusammensetzt, ohne dabei auf statische Datensätze oder Experten-definierte Primitiv-Aktionen angewiesen zu sein.

Methodik: HERAKLES

Die Autoren schlagen HERAKLES (HiERarchicAl sSkill compiLation for open Ended llm agentS) vor, einen hierarchischen Agenten, der eine High-Level-Policy und einen Low-Level-Controller gemeinsam lernt. Das System operiert unter der Annahme, dass der Zielraum Prerequisite-Beziehungen (Voraussetzungs-Beziehungen) zulässt, die es ermöglichen, Aufgaben in Teilziele zu zerlegen.

Architektur

Der Agent besteht aus zwei gleichzeitig trainierten Policies:

High-Level Policy ( $\pi_{HL}$ ): Implementiert als Large Language Model (LLM) (speziell Mistral 7B mit LoRA-Adaptern). Sie fungiert als Planer und Explorer, der Subziele basierend auf textuellen Prompts auswählt, die aus Beobachtungen und Zielvorgaben abgeleitet wurden. Sie operiert über einen eingeschränkten Satz von „aufrufbaren“ Optionen – Subziele, von denen geschätzt wird, dass die Low-Level-Policy sie zuverlässig erreichen kann.
Low-Level Policy ( $\pi_{LL}$ ): Ein leichtgewichtiges, recheneffizientes neuronales Netzwerk (ResNet-basiert), das primitive Aktionen ausführt. Es wird darauf trainiert, Ziele direkt zu lösen und erfolgreiche Trajektorien progressiv in wiederverwendbare Skills zu kompilieren.

Kernmechanismen

Hierarchische Kompilierung: Wenn der hierarchische Agent ein Ziel $g$ erfolgreich löst, wird die vollständige Trajektorie der primitiven Aktionen in $\pi_{LL}$ kompiliert. Sobigkeit das Ziel beherrscht wird, kann $\pi_{LL}$ $g$ direkt als einen einzelnen Skill ausführen. $\pi_{HL}$ kann diesen neuen Skill dann als Primitiv für komplexere Ziele aufrufen, was effektiv das Signal-Rausch-Verhältnis für die High-Level-Planung reduziert.
Adaptive Subziel-Filterung: Um zu verhindern, dass $\pi_{HL}$ nicht erreichbare Subziele auswählt, filtert ein Kompetenz-Schätzer ( $C_\theta$ ) den Zielraum. Dieser Schätzer, der auf Low-Level-Trajektorien trainiert wurde, sagt die Wahrscheinlichkeit voraus, mit der $\pi_{LL}$ ein spezifisches Ziel vom aktuellen Zustand aus erreichen kann. $\pi_{HL}$ sampelt nur aus Zielen mit einer hohen geschätzten Erfolgswahrscheinlichkeit, um stabiles Lernen zu gewährleisten.
Bilevel-Optimierung: Das System wird als Bilevel-Problem mit einer Stackelberg-Struktur formuliert. $\pi_{HL}$ $π_{H L}$ gestaltet die Verteilung der Zustände und Subziele, die $\pi_{LL}$ $π_{LL}$ sieht, während die Ausführung von $\pi_{LL}$ $π_{LL}$ die Optimalität der High-Level-Zerlegung bestimmt. Die beiden Policies werden simultan trainiert:
- $\pi_{HL}$ wird mittels On-Policy RL (POAD) auf High-Level-Entscheidungstrajektorien trainiert.
- $\pi_{LL}$ wird mittels Off-Policy RL (AWR) unter Verwendung zweier Arten von Daten trainiert: vollständigen hierarchischen Rollouts (für die Skill-Kompilierung) und Subziel-Segmenten (für die Skill-Verstärkung).

Trainingsdynamik

Der Trainingsprozess folgt einem automatischen Curriculum. Zu Beginn beherrscht $\pi_{LL}$ nur atomare Aktionen. Sobald sie Ziele beherrscht, werden diese dem Repertoire hinzugefügt. $\pi_{HL}$ nutzt diese beherrschten Ziele dann als Bausteine, um komplexere Zielsetzungen anzugehen. Dies erzeugt eine Rückkopplungsschleife, in der die wachsende Kompetenz der Low-Level-Policy den effektiven Aktionsraum der High-Level-Policy erweitert.

Wichtigste Beiträge

Joint Learning Framework: Eine Methode für offene Agenten, die eine LLM-basierte High-Level-Policy und einen Low-Level-Controller gemeinsam trainiert, ohne dass vordefinierte Skills oder extensives Pre-Training erforderlich sind.
Dynamische Skill-Kompilierung: Ein Mechanismus, bei dem erfolgreiche Verhaltensweisen automatisch in die Low-Level-Policy destilliert werden, was eine skalierbare Skill-Komposition ermöglicht, während die Kompetenz des Agenten wächst.
Adaptive Filterung: Ein kompetenzbasierter Filtermechanismus, der den Suchraum der High-Level-Policy auf erreichbare Subziele einschränkt und so das Lernen in komplexen, offenen Umgebungen stabilisiert.
Sprachstrukturierte Abstraktion: Nutzung der kompositorischen Eigenschaften natürlicher Sprache, um den Zielraum zu definieren und die Entdeckung von Voraussetzungs-Ketten zwischen Zielen zu erleichtern.

Experimentelle Ergebnisse

Die Methode wurde in der Crafter-Umgebung evaluiert, einer prozedural generierten 2D-Welt mit einem Achievement-Tree von 17 Zielen, die das Sammeln und Herstellen von Artefakten erfordern.

Sample-Effizienz: HERAKLES übertraf die Baselines (POAD, FUN, BOSS) auf lange Sicht. Während die Baselines anfangs schneller voranschritten, stagnierten sie nach dem Meistern einfacher Ziele. HERAKLES zeigte eine graduelle, anhaltende Verbesserung, während immer mehr Ziele in $\pi_{LL}$ kompiliert wurden, und erreichte schließlich komplexe Ziele (z. B. „make stone pickaxe“), die die Baselines nicht entdecken konnten.
Generalisierung: HERAKLES demonstrierte eine überlegene Generalisierung auf ungesehene Ziele im Vergleich zu den Baselines:
- Kompositorische Generalisierung: Es hielt hohe Erfolgsraten bei Zielen, die die Wiederholung bekannter Aufgaben erforderten (z. B. „collect 4 woods“ statt „collect wood“), während Baselines signifikant scheiterten.
- Synonyme Ziele: Es handhabte synonyme Verben effektiv.
- Trajektorien-ähnliche Ziele: Es transferierte Skills erfolgreich auf ungesehene Ziele mit ähnlichen Voraussetzungsstrukturen (z. B. „make wood sword“ nach dem Lernen von „make wood pickaxe“).
Skill-Expansion: Die Anzahl der von $\pi_{HL}$ aufrufbaren Low-Level-Skills nahm während des Trainings stetig zu, was die Fähigkeit des Systems bestätigt, eine wiederverwendbare Skill-Bibliothek aufzubauen.

Bedeutung und Behauptungen

Das Paper behauptet, dass HERAKLES einen gangbaren Weg zu autotelischen Agenten aufzeigt, die zu lebenslangem Lernen fähig sind. Durch die Kombination der Reasoning- und Kompositionsfähigkeiten von LLMs mit der Ausführungseffizienz spezialisierter Low-Level-Controller überwindet das System die „Komplexitätsbarriere“, die das offene Lernen zum Stillstand bringt.

Die Autoren betonen, dass ihr Ansatz:

Nicht auf Experten-definierten Skills oder vortrainierten Policies basiert.
Kompositorische Generalisierung ermöglicht, indem beherrschte Ziele als Primitiv für zukünftiges Lernen behandelt werden.
Die Sample-Effizienz in offenen Settings verbessert, indem vergangenes Lernen in wiederverwendbare Skills amortisiert wird.

Die Arbeit wird als Schritt in Richtung Artificial General Intelligence (AGI) präsentiert, insbesondere im Hinblick auf die Notwendigkeit von Agenten, die in der Lage sind, ihre eigenen Ziele autonom zu generieren, auszuwählen und daran zu trainieren, um ihre Fähigkeiten kontinuierlich zu erweitern. Die Autoren räumen Einschränkungen ein, wie etwa die derzeitige Abhängigkeit von textuellen Zielen (was auf zukünftige Arbeiten mit Vision-Language-Models hindeutet) und die Rechenkosten des periodischen Retrainings, positionieren die Methode jedoch als grundlegenden Schritt hin zu vollautonomen, offenen Agenten.