Hierarchical Reward Design from Language: Enhancing Alignment of Agent Behavior with Human Specifications

Titel: Hierarchical Reward Design from Language (HRDL): Verbetering van de Uitlijning van Agentgedrag met Menselijke Specificaties

Auteurs: Zhiqin Qian, Ryan Diaz, Sangwon Seo, en Vaibhav Unhelkar (Rice University)
Publicatie: AAMAS 2026 (Extended Version)

---

1. Het Probleem

Bij het trainen van kunstmatige intelligentie (AI) voor complexe taken is het vaak niet voldoende dat een taak alleen wordt voltooid; de manier waarop deze wordt uitgevoerd is even belangrijk. Mensen hebben specifieke voorkeuren over volgorde, veiligheid en uitvoeringsstrategieën (bijv. "vermijd gevaarlijke zones tijdens het dragen van objecten" of "wissel af tussen verschillende objecttypes").

Huidige methoden voor Reward Design (het ontwerpen van beloningsfuncties voor Reinforcement Learning) hebben twee belangrijke beperkingen:

1. Vlakke (Flat) Reward Functies: Bestaande methoden gebruiken vaak een enkele, vlakke beloningsfunctie $r(s, a)$ die alleen afhankelijk is van de huidige staat en actie. Dit is fundamenteel onvoldoende om complexe, lange-horizon taken te specificeren waarbij de beloning afhangt van de geschiedenis van subtaken of de context van een hogere niveau beslissing.
2. Gebrek aan Hiërarchische Structuur: Mensen denken en leren hiërarchisch (taak $\rightarrow$ subtaken $\rightarrow$ acties). Bestaande reward design-problemen (RDP) zijn niet ontworpen om deze hiërarchie te modelleren, waardoor het moeilijk is om menselijke specificaties over subtask-volgorde en uitvoeringsdetails correct te vertalen naar een beloningsfunctie.

2. Methodologie

De auteurs introduceren een nieuw raamwerk genaamd Hierarchical Reward Design (HRD) en een specifieke instantiatie hiervan: Hierarchical Reward Design from Language (HRDL).

A. Het HRD Raamwerk

In plaats van één vlakke beloning, definieert HRD twee gescheiden beloningsfuncties die corresponderen met de hiërarchische structuur van het Reinforcement Learning (RL) agent:

• Low-level Reward ($r_L$): $r_L(s, o, a)$. Deze geeft feedback voor het uitvoeren van een primitieve actie $a$ in staat $s$ terwijl een specifieke optie (subtaak) $o$ wordt uitgevoerd. Dit encodeert hoe een subtaak moet worden uitgevoerd.
• High-level Reward ($r_H$): $r_H(o_{-}, s, o)$. Deze geeft feedback voor het selecteren van een nieuwe optie $o$ in staat $s$, gegeven de vorige optie $o_{-}$. Dit encodeert welke subtaken er in welke volgorde moeten worden uitgevoerd.

Wiskundig wordt aangetoond dat dit leidt tot een Semi-Markov Decision Process (SMDP) op hoog niveau en een reeks Markov Decision Processes (MDP) op laag niveau, wat compatibel is met bestaande RL-algoritmen.

B. De L2HR Oplossing (Language to Hierarchical Rewards)

Om HRDL op te lossen, stellen de auteurs L2HR voor. Dit is een algoritme dat gebruikmaakt van Large Language Models (LLMs) om de beloningsfuncties direct te genereren op basis van natuurlijke taal specificaties.

Het proces van L2HR:

1. Gestructureerde Prompting: De LLM ontvangt een prompt met:
   • Taakbeschrijving en omgevingscontext (code snippets).
   • Definities van de actie-ruimtes (primitieve acties en opties/subtaken).
   • De menselijke gedragspecificaties in natuurlijke taal.
2. Twee-staps Generatie:
   • Stap 1 (Low-level): De LLM genereert kandidaat-functies voor $r_L$ die gedetailleerde uitvoeringsvoorkeuren coderen.
   • Stap 2 (High-level): De LLM genereert kandidaat-functies voor $r_H$ die voorkeuren voor subtask-volgorde coderen.
3. Validatie en Training:
   • De gegenereerde code wordt gefilterd op syntaxis en geldigheid (gebruik van toegestane variabelen).
   • Validatie vindt plaats door de lage-niveau agenten te trainen met de gegenereerde $r_L$ en de hoge-niveau agenten met $r_H$. Alleen reward-functies die leiden tot succesvolle taakvoltooiing en het behalen van subdoelen worden behouden.

3. Belangrijkste Bijdragen

1. Formulering van HRD: De eerste formele definitie van het probleem van hiërarchisch reward design, wat een theoretische basis legt voor het ontwerpen van beloningsstructuren die hiërarchisch zijn en compact.
2. Expressiviteitsbewijs: Wiskundig en empirisch bewijs dat hiërarchische rewards strikt expressiever zijn dan vlakke rewards.
   • Property 1: Specificaties over subtask-selectie (afhankelijk van de vorige subtask) kunnen alleen worden uitgedrukt via $r_H$, niet via $r_{flat}$.
   • Property 2: Specificaties over subtask-uitvoering (afhankelijk van de huidige optie) kunnen alleen worden uitgedrukt via $r_L$.
3. L2HR Algoritme: Een praktische methode om hiërarchische rewards te genereren vanuit natuurlijke taal, waarbij de redeneercapaciteiten van LLMs worden benut zonder dat menselijke experts handmatig code hoeven te schrijven.
4. Empirische Validatie: Uitgebreide experimenten in drie complexe domeinen (Rescue World, iTHOR, Kitchen) die aantonen dat L2HR beter presteert dan bestaande methoden.

4. Resultaten

De auteurs evalueerden hun methode in drie domeinen met lange-horizon taken:

• Rescue World: Agent moet voorraden verzamelen en afleveren. Specificaties: "Aanleveren van alle voorraad van type A voordat je overschakelt naar type B" (High-level) en "Vermijd gevaarlijke zones tijdens het dragen" (Low-level).
• iTHOR: Agent moet appels en eieren van tafel naar gootsteen brengen. Specificaties: "Wissel af tussen appels en eieren" (High-level) en "Vermijd een kruk tijdens het hanteren van eieren" (Low-level).
• Kitchen: Agent moet salade bereiden. Specificatie: "Snij tomaten, dan uien, dan sla" (High-level volgorde).

Kernbevindingen:

• Syntactische Correctheid: L2HR genereerde aanzienlijk minder syntaxisfouten in de code dan methoden die vlakke rewards proberen te genereren. De hiërarchische structuur maakte het voor de LLM makkelijker om de context te begrijpen.
• Taakhaalbaarheid: Agents getraind met L2HR behielden de taakvoltooiing beter dan die met vlakke rewards. Vlakke rewards leidden vaak tot "spurious heuristics" (bijv. proberen te raden welke vorige actie er was op basis van de huidige positie), wat faalde in complexe scenario's.
• Uitlijning met Specificaties:
  • In Rescue World en iTHOR behaalde L2HR tot 76-87% expert-niveau uitlijning op high-level specificaties, terwijl vlakke rewards vaak 0% bereikten omdat ze de historische context (de vorige optie) niet konden coderen.
  • In Kitchen behaalde L2HR 92.86% uitlijning op de snijvolgorde, vergeleken met slechts 10% voor vlakke rewards.
• Menselijke Evaluatie: In een user study (met 30 deelnemers) werden agents getraind met L2HR consequent hoger beoordeeld (gemiddeld > 4 op een schaal van 5) voor hun uitlijning met menselijke specificaties dan agents met vlakke rewards. Mensen zagen duidelijk het verschil in gedrag, vooral bij de volgorde van subtaken.

5. Betekenis en Conclusie

Dit paper is een belangrijke stap in de richting van verantwoordelijke AI. Het toont aan dat het simpele "flat reward design" onvoldoende is voor de complexe, langdurige taken die AI-agenten in de toekomst moeten uitvoeren in menselijke omgevingen.

• Theoretische Impact: Het biedt een nieuwe, meer expressieve manier om beloningsfuncties te definiëren die aansluit bij hoe mensen denken (hiërarchisch).
• Praktische Impact: Door LLMs te koppelen aan hiërarchische RL, wordt het mogelijk om complexe gedragsregels direct in natuurlijke taal te specificeren, wat de drempel voor het inzetten van AI-agenten in real-world scenario's (zoals zorg, logistiek, thuiszorg) verlaagt.
• Toekomstperspectief: De auteurs benadrukken dat HRD een aanvulling is op andere uitlijningsmethoden (zoals imitatielearning) en dat toekomstig werk moet focussen op de integratie met echte robotica en het oplossen van het "option discovery" probleem (het automatisch vinden van de juiste subtaken).

Kortom, HRDL en L2HR maken het mogelijk om AI-agenten niet alleen te trainen om taken te voltooien, maar om ze te laten uitvoeren zoals mensen dat wensen, zelfs bij complexe, meervoudige stappen.