Technische Samenvatting: Beloningsvormgeving en Actiemaskering voor Compositieve Taken met Gedragsbomen en LLM's

1. Probleemstelling

Autonome agenten staan vaak voor complexe taken die vereisen dat een hoog niveau doel wordt ontleed in een reeks eenvoudigere subtaken, zoals navigeren naar een object, het manipuleren en vervolgens doorgaan naar een doel. Hoewel Reinforcement Learning (RL) beleidsstrategieën voor deze subtaken kan optimaliseren, kampt het met een lage sample-efficiëntie zonder goed gedefinieerde beloningsfuncties en actiemaskers. Het handmatig ontwerpen van deze componenten is uitdagend omdat het vereist:

1. Het identificeren van geschikte subtaken.
2. Het waarborgen van reactiviteit op subtaken-falen (bijvoorbeeld: als een agent een sleutel laat vallen, moet het terugkeren om deze opnieuw op te pakken in plaats van door te gaan).
3. Het handhaven van modulariteit over verschillende taakobjecten (bijvoorbeeld: dezelfde logica moet van toepassing zijn of het object nu een "rode sleutel" of een "blauwe sleutel" is).

Bestaande geautomatiseerde benaderingen met Large Language Models (LLM's) of Vision-Language Models (VLM's) genereren vaak beloningscode of eindige toestandsmachines, maar slagen er niet in om volledig in te spelen op reactiviteit op falen, modulariteit voor compositieve taken, of de gezamenlijke optimalisatie van beloning en actiemaskering.

2. Methodologie

De auteurs stellen Masking Reward Behavior Trees (MRBT's) voor, een symbolische structuur die dient als zowel een beloningsvormgevingsfunctie als een actiemaskeringsfunctie. De methodologie integreert drie kerncomponenten: een gedragboomtemplate, logische specificaties voor verificatie, en een geautomatiseerde pijplijn met behulp van een LLM en een SMT-oplosser.

2.1. Masking Reward Behavior Tree (MRBT)

Een MRBT is een Gedragsboom (BT) waarbij de bladknopen Masking Behavior Reward Machines (MBRM's) zijn.

• Structuur: De BT coördineert de uitvoering via controleknooppunten (Sequentie → en Fallback ?).
• Bladen: Elk blad is een MBRM die een scalair beloningssignaal en een discreet actiemasker outputt, gebaseerd op de staat van de agent en de taak.
• Reactiviteit: De BT-structuur maakt terugkeren mogelijk. Als een subtaak faalt (bijvoorbeeld: een interactie mislukt), keert de BT terug naar een vorige staat, waardoor de agent de noodzakelijke stap opnieuw uitvoert in plaats van een beloning te ontvangen voor een onvolledige reeks.
• Modulariteit: De MRBT gebruikt placeholders voor subtaken en logische formules, waardoor het zich kan aanpassen aan verschillende objectattributen (bijvoorbeeld: kleuren) binnen een gedefinieerde taakruimte.

2.2. MRBT Template

De auteurs ontwerpen een specifieke template voor sequentiële object-interactietaken. Voor een reeks van $k$ subtaken omvat de template:

• Logische Formules: Voor elke subtaak $i$ definieert het een voltooiingsformule ($\psi_i$) en een object-nabijheidsformule ($\phi_i$).
• Actiemaskers: Twee maskers per subtaak: $\eta_{i,1}$ voor navigatie en $\eta_{i,2}$ voor interactie.
• Uitvoeringslogica: De BT voert een reeks MBRM's uit. Als een subtaak voltooid is, gaat het naar de volgende; als de agent dicht bij het object is, schakelt het interactie in; anders schakelt het navigatie in. Als een subtaak faalt (de staat gaat over naar Falen), keert de BT terug.

2.3. Geautomatiseerde Generatie- en Verificatiepijplijn

Om de creatie van MRBT's te automatiseren, hebben de auteurs een pijplijn ontwikkeld (Figuur 1) die het volgende omvat:

1. LLM-Generatie: Een LLM (ChatGPT-5) neemt een taakbeschrijving, de MRBT-template en omgevingspredicaten als invoer. Het genereert de specifieke subtaken, logische formules ($\psi_i, \phi_i$) en actiemaskers ($\eta_{i,1}, \eta_{i,2}$).
2. SMT-Verificatie: Een symbolisch model van de omgevingsdynamica ($E_{sym}$) wordt geconstrueerd in een SMT-oplosser (Z3). De oplosser controleert de gegenereerde logische formules tegen drie specificaties:
   • Voltooiingscorrectheid: Zorgt ervoor dat als de eindtaak voltooid is, alle subtaken voltooid waren.
   • Objectnabijheid: Zorgt ervoor dat de agent direct voor de voltooiing van de subtaak dicht bij het object is.
   • Niet-regressieve Maximale Beloning: Zorgt ervoor dat zodra een subtaak voltooid is, deze voltooid blijft (geen regressie) om de maximale beloning te bereiken.
3. Verfijning: Als de SMT-oplosser een tegenvoorbeeld vindt (bijvoorbeeld: een traject waarbij de agent de taak voltooit zonder een subtaakvoorwaarde te voldoen), genereert het een debug-prompt. De LLM wordt opnieuw geprompt met dit tegenvoorbeeld om de logische formules te verfijnen totdat ze vervulbaar zijn.
4. Neurosymbolische RL-training: De geverifieerde MRBT wordt geïntegreerd in een neurosymbolische RL-lus (met PPO) om de agent te trainen. De MRBT levert het beloningssignaal en beperkt de actieruimte bij elke stap.

3. Belangrijkste Bijdragen

1. MRBT-framework: Introductie van een symbolische structuur die gezamenlijk beloningen en actiemaskers output, specifiek ontworpen voor reactiviteit en modulariteit in compositieve taken.
2. MRBT-template & Specificaties: Een systematische template voor het construeren van MRBT's voor sequentiële object-interactietaken, vergezeld van logische specificaties om correctheid (voltooiing, nabijheid en niet-regressie) te verifiëren met een SMT-oplosser.
3. Geautomatiseerde Pijplijn: Een systeem dat een LLM gebruikt om MRBT's te genereren en een SMT-oplosser om ze te verifiëren en te verfijnen, waardoor robuustheid wordt gewaarborgd over een taakruimte met variërende objecten.
4. Uitgebreide Evaluatie: Experimenten over vijf taakruimten in twee omgevingen (MiniGrid en MuJoCo Fetch) onder zowel deterministische als stochastische dynamica.
5. Voordelenanalyse: Demonstratie van de overdraagbaarheid van MRBT's (naar AirSim), modulariteit (schalen beter dan Hiërarchische Beloningsmachines) en verifieerbaarheid (theoretische garanties via Z3).

4. Experimentele Resultaten

De auteurs evalueerden de MRBT-benadering tegen twee baselines:

• Taak: Een binaire beloning die alleen wordt gegeven bij totale taakvoltooiing.
• Procedure: Een beloningsmachine gebaseerd op VLM-CaR die beloningen toekent voor subtaakvoltooiing, maar geen reactief terugkeren en geen actiemaskering heeft.
• RBT (Ablatie): Een MRBT zonder actiemaskering.

Belangrijkste Bevindingen:

• Trainings-efficiëntie & Succes: MRBT's bereikten consistent een hogere trainings-efficiëntie en taaksuccespercentages in vergelijking met baselines en de RBT-ablatie.
• Omgaan met Complexiteit: In de meest complexe taakruimte (LockedRoom, 4 subtaken, 36 varianten) bereikten MRBT's een gemiddeld succespercentage van $\ge 80\%$, terwijl baselines $\le 70\%$ bereikten.
• Stochasticiteit: MRBT's behielden hoge prestaties in stochastische omgevingen (bijvoorbeeld: sleutels die willekeurig vallen), wat de waarde van reactief terugkeren aantoont.
• Overdraagbaarheid: Beleidsstrategieën getraind met MRBT's in MiniGrid slaagden er succesvol in om over te gaan naar een realistische quadcoptersimulator (AirSim), met een succespercentage van 97% in deterministische instellingen en 94% in stochastische instellingen, beter dan alle ablaties.
• Modulariteit: De MRBT-structuur schalt meer modulair dan Hiërarchische Beloningsmachines (HRM's); het toevoegen van een subtaak aan een MRBT vereist $O(1)$ opslag, terwijl HRM's $O(k)$ opslag vereisen voor terugkoppelranden.
• Verificatie: De SMT-oplosser slaagde erin om gegenereerde logische formules te verfijnen (bijvoorbeeld: het corrigeren van nabijheidsdrempels of persistentievoorwaarden) in minder dan 10 minuten voor de meeste taken.

5. Betekenis en Claims

Het artikel claimt dat MRBT's een robuuste oplossing bieden voor het automatiseren van beloningsvormgeving en actiemaskering in compositieve taken. De betekenis ligt in drie hoofdvoordelen:

1. Overdraagbaarheid: De symbolische aard van MRBT's maakt het mogelijk dat beleidsstrategieën getraind in simulatie effectief worden overgedragen naar realistische simulators (AirSim) en variërende taakobjecten.
2. Modulariteit: In tegenstelling tot eindige toestandsmachines of beloningsmachines, maakt de boomstructuur van MRBT's eenvoudigere schaling en modificatie mogelijk naarmate de taakcomplexiteit toeneemt.
3. Verifieerbaarheid: Door SMT-oplossers te integreren, biedt de benadering theoretische garanties dat de logica voor beloning en actiemaskering correct is met betrekking tot de taakspecificaties, een eigenschap die niet aanwezig is in puur datagedreven of demonstratiegebaseerde benaderingen.

De auteurs concluderen dat hoewel de benadering een SMT-oplosser vereist voor verificatie, de resulterende MRBT's de leerefficiëntie en taaksucces aanzienlijk verbeteren, vooral in complexe, meerstapsomgevingen waar reactiviteit op falen kritiek is. Er wordt vermeld dat toekomstig werk gericht zal zijn op het verder generaliseren van de MRBT-template.