Technische Samenvatting: HERAKLES – Hiërarchische Vaardigheidscompilatie voor Open-ended LLM-agenten

Probleemstelling

Het artikel behandelt de uitdaging van open-ended leren in gedeeltelijk observeerbare omgevingen die worden gekenmerkt door ijle beloningen (sparse rewards) en grote, gestructureerde doelruimtes. Hoewel recente fundamentele modellen menselijke prestaties hebben bereikt op statische taken, worstelen ze met groei in complexiteit gedurende het leven omdat ze vertrouwen op vaste datasets. In tegen af contrast daarvan verwerven mensen continu diverse vaardigheden door complexe taken te deconstrueren in eenvoudigere, eerder geïnternaliseerde subvaardigheden.

Huidige benaderingen voor open-ended agenten (bijv. Voyager, AutotelicLLM) kampen vaak met een combinatorische explosie in doelcomplexiteit. Naarmate agenten steeds complexere doelen tegenkomen, groeit de tijd die nodig is om elk nieuw doel in isolatie te beheersen exponentieel, waardoor de leerprogressie stagneert. Bestaande methoden voor Hiërarchisch Versterkingsleren (HRL) vertrouwen vaak op vooraf gedefinieerde verzamelingen vaardigheden of vooraf getrainde policies, wat incompatibel is met echt open-ended agenten die autonoom vaardigheden moeten ontdekken en uitbreiden zonder tussenkomst van experts.

Het kernproblegelijk is hoe een agent zich continu kan aanpassen aan een groeiende doelruimte door nieuwe vaardigheden efficiënt te componeren uit beheerde gedragingen, zonder te vertrouwen op statische datasets of door experts gedefinieerde primitieven.

Methodologie: HERAKLES

De auteurs stellen HERAKLES voor (HiERarchicAl sKill compiLation for open Ended llm agentS), een hiërarchische agent die gezamenlijk een high-level policy en een low-level controller leert. Het systeem werkt op de aanname dat de doelruimte prerequisietrelaties toelaat, waardoor taken kunnen worden gedeconstrueerd in subdoelen.

Architectuur

De agent bestaat uit twee gelijktijdig getrainde policies:

1. High-Level Policy ($\pi_{HL}$): Geïmplementeerd als een Large Language Model (LLM) (specifiek Mistral 7B met LoRA-adapters). Het fungeert als een planner en explorer, die subdoelen selecteert op basis van tekstuele prompts afgeleid van observaties en taaldoelen. Het opereert over een beperkte set "aanroepbare" opties—subdoelen die de low-level policy naar schatting betrouwbaar kan bereiken.
2. Low-Level Policy ($\pi_{LL}$): Een lichtgewicht, computationeel efficiënt neuraal netwerk (gebaseerd op ResNet) dat primitieve acties uitvoert. Het is getraind om doelen direct op te lossen en succesvolle trajecten progressief te compileren tot herbruikbare vaardigheden.

Kernmechanismen

• Hiërarchische Compilatie: Wanneer de hiërarchische agent een doel $g$ succesvol oplost, wordt het volledige traject van primitieve acties "gecompileerd" naar $\pi_{LL}$. Eenmaal beheerst, kan $\pi_{LL}$ dit doel $g$ direct uitvoeren als een enkele vaardigheid. $\pi_{HL}$ kan deze nieuwe vaardigheid vervolgens aanroepen als een primitief voor complexere doelen, wat effectief de signaal-ruisverhouding voor high-level planning vermindert.
• Adaptieve Subdoelfiltering: Om te voorkomen dat $\pi_{HL}$ onhaalbare subdoelen selecteert, filtert een competentieverschatter ($C_\theta$) de doelruimte. Deze estimator, getraind op low-level trajecten, voorspelt de waarschijnlijkheid dat $\pi_{LL}$ een specifiek doel vanuit de huidige staat kan bereiken. $\pi_{HL}$ samplet alleen uit doelen met een hoge geschatte succeswaarschijnlijkheid, wat stabiel leren garandeert.
• Bilevel Optimalisatie: Het systeem wordt geframed als een bilevel-probleem met een Stackelberg-structuur. $\pi_{HL}$ vormt de distributie van staten en subdoelen die door $\pi_{LL}$ worden gezien, terwijl de uitvoering van $\pi_{LL}$ de optimaliteit van de high-level decompositie bepaalt. De twee policies worden gelijktijdig getraind:
  • $\pi_{HL}$ wordt getraind via on-policy RL (POAD) op high-level beslissingstrajecten.
  • $\pi_{LL}$ wordt getraind via off-policy RL (AWR) met twee soorten data: volledige hiërarchische rollouts (voor vaardigheidscompilatie) en subdoelsegmenten (voor vaardigheidsversterking).

Trainingsdynamiek

Het trainingsproces volgt een automatisch curriculum. Aanvankelijk beheerst $\pi_{LL}$ alleen atomaire acties. Naarmate het doelen beheerst, worden deze toegevoegd aan zijn repertoire. $\pi_{HL}$ gebruikt deze beheersde doelen vervolgens als bouwstenen om complexere doelstellingen aan te pakken. Dit creëert een feedbackloop waarbij de groeiende competentie van de low-level policy de effectieve actieruimte van de high-level policy uitbreidt.

Belangrijkste Bijdragen

1. Gezamenlijk Leersysteem: Een methode voor open-ended agenten die gezamenlijk een LLM-gebaseerde high-level policy en een low-level controller traint zonder dat hiervoor vooraf gespecificeerde vaardigheden of uitgebreide pre-training vereist is.
2. Dynamische Vaardigheidscompilatie: Een mechanisme waarbij succesvolle gedragingen automatisch worden gedestilleerd naar de low-level policy, wat schaalbare vaardigheidscompositie mogelijk maakt naarmate de competentie van de agent groeit.
3. Adaptieve Filtering: Een competentiegebaseerd filteringsmechanisme dat de zoekruimte van de high-level policy beperkt tot haalbare subdoelen, wat het leren stabiliseert in complexe, open-ended omgevingen.
4. Taalgestructureerde Abstractie: Het benutten van de compositionele eigenschappen van natuurlijke taal om de doelruimte te definiëren en de ontdekking van prerequisietketens tussen doelen te faciliteren.

Experimentele Resultaten

De methode werd geëvalueerd in de Crafter-omgeving, een procedureel gegenereerde 2D-wereld met een achievement tree van 17 doelen die het verzamelen en vervaardigen van artefacten vereisen.

• Sample Efficiëntie: HERAKLES presteerde beter dan de baselines (POAD, FUN, BOSS) op de lange termijn. Hoewel baselines aanvankelijk sneller vorderden, stagneerden zij nadat ze eenvoudige doelen hadden beheerst. HERAKLES vertoonde geleidelijke, aanhoudende verbetering naarmate meer doelen in $\pi_{LL}$ werden gecompileerd, en bereikte uiteindelijk complexe doelen (bijv. "maak stenen houweel") die de baselines niet konden ontdekken.
• Generalisatie: HERAKLES demonstreerde superieure generalisatie naar ongeziene doelen vergeleken met de baselines:
  • Compositionele Generalisatie: Het behield een hoge succesratio op doelen die herhaling van bekende taken vereisten (bijv. "verzamel 4 hout" versus "verzamel hout"), terwijl baselines hier aanzienlijk faalden.
  • Synonieme Doelen: Het hanteerde synonieme werkwoorden effectief.
  • Traject-gelijke Doelen: Het slaagde erin vaardigheden te transfereren naar ongeziene doelen met vergelijkbare prerequisietstructuren (bijv. "maak houten zwaard" na het leren van "maak houten houweel").
• Vaardigheidsuitbreiding: Het aantal door $\pi_{HL}$ aanroepbare low-level vaardigheden nam tijdens de training gestaag toe, wat de capaciteit van het systeem bevestigt om een herbruikbare bibliotheek van vaardigheden op te bouwen.

Betekenis en Claims

Het artikel beweert dat HERAKLES een levensvatbaar pad biedt naar autotelische agenten die in staat zijn tot lifelong learning. Door de redeneer- en compositionele capaciteiten van LLM's te combineren met de executie-efficiëntie van gespecialiseerde low-level controllers, overwint het systeem de "complexiteitsbarrière" die open-ended leren doet stagneren.

De auteurs benadrukken dat hun aanpak:

• Niet leunt op door experts gedefinieerde vaardigheden of vooraf getrainde policies.
• Compositionele generalisatie mogelijk maakt door beheerde doelen te behandelen als primitieven voor toekomstig leren.
• De sample efficiëntie in open-ended settings verbetert door het verleden van het leren te amorteren in herbruikbare vaardigheden.

Het werk wordt gepresenteerd als een stap richting Artificial General Intelligence (AGI), specifiek gericht op de noodzaak voor agenten die autonoom hun eigen doelen kunnen genereren, selecteren en trainen om hun capaciteiten continu uit te breiden. De auteurs erkennen beperkingen, zoals de huidige afhankelijkheid van tekstuele doelen (wat wijst op toekomstig werk met Vision-Language Models) en de computationele kosten van periodieke hertraining, maar positioneren de methode als een fundamentele stap naar volledig autonome, open-ended agenten.