Technische Samenvatting: Decoupled Behavioral Cloning voor Schaalbare Inductieve Generalisatie in RL van Specificaties

Probleemstelling

Het artikel behandelt de uitdaging van inductieve generalisatie in Reinforcement Learning (RL). In dit kader moeten agenten beleidsregels (policies) leren die kunnen worden overgedragen naar nieuwe, ongeziene taakinstanties binnen een "inductieve familie". Deze families bestaan uit taken die een gedeelde logische structuur hebben (vaak gedefinieerd door temporele logica-specificaties zoals SPECTRL), maar verschillen in de instantiatie van lage-orde predicaten (bijv. doellocaties, obstakelposities) op basis van een index $i$.

De kernintuïtie is dat inductief gerelateerde taken inductief gerelateerde beleidsregels zouden moeten hebben. Eerdere methoden, specifelijk GenRL [32], proberen dit te vangen door een hogere-orde beleidsevolutie-functie $\Omega: \Pi \to \Pi$ te leren, waarbij $\pi_{i+1} = \Omega(\pi_i)$. GenRL benadert $\Omega$ als een polynoom over beleidsparameters, gedefinieerd door een set coëfficiënten $\kappa$.

Echter, GenRL lijdt aan een fundamentele bottleneck in de schaalbaarheid van de training. Het leert de $\kappa$-coëfficiënten via een gekoppelde RL-loop waarbij het beleid voor elke taak wordt gegenereerd door de huidige $\kappa$-schatting, wordt uitgevoerd, en vervolgens wordt gebruikt om $\kappa$ bij te werken op basis van geaggregeerde beloningen. Naarmate het aantal trainingstaken ($|Train|$) groeit, wordt deze geaggregeerde beloningsfeedback ruisachtig en tegenstrijdig. Deze instabiliteit verhindert dat de trainingsloop convergeert, waardoor het vermogen van de agent om te generaliseren naar ongeziene indices wordt verzwakt.

Methodologie: DIBS

De auteurs stellen DIBS (Decoupled Inductive Behavioral Cloning) voor, een framework dat de schaalbaarheidsbottleneck oplost door het leren van taakspecifieke beleidsregels te scheiden van het leren van de evolutiefunctie. Het proces bestaat uit twee afzonderlijke stadia:

Fase I: Aggregatie van met docenten gelabelde datasets

In plaats van beleidsregels en coëfficiënten simultaan te leren, leert DIBS eerst onafhankelijk een "docent"-beleid $\hat{\pi}_i$ voor elke trainingsopdracht $R_i$ met behulp van standaard RL-algoritmen (bijv. PPO). Om ervoor te zorgen dat deze onafhankelijke docenten door een enkel polynoom-template kunnen worden aangepast, pakt DIBS twee specifieke uitdagingen aan:

1. Cross-Index Docent-drift: Onafhankelijke training kan ervoor zorgen dat aangrenzende docent-beleidsregels willekeurig driften in de parameterruimte, waardoor ze moeilijk aan te passen zijn met een enkel glad polynoom.

   • Oplossing: De auteurs introduceren cross-index regularisatie tijdens de docent-training. De verliesfunctie voor docent $\hat{\pi}_i$ bevat een term $\lambda_x \|\hat{\pi}_i - \hat{\pi}_{i-}\|^2_2$, waarbij $\hat{\pi}_{i-}$ de docent is voor de voorgaande index. Dit dwingt een zachte continuiteitsrestrictie af, wat de optimizer stuurt naar oplossingen die vloeiend evolueren over indices.

2. Dekking en Onbetrouwbare Labels: Standaard on-policy rollouts genereren mogelijk niet de volledige toestandsruimte die nodig is voor het template om te generaliseren, terwijl off-policy data (bijv. uit replay buffers) mogelijk toestanden bevat met een lage kwaliteit waar de acties van de docent onbetrouwbaar zijn.

   • Oplossing: DIBS gebruikt een vertrouwensfilter (confidence filter). Een neuraal netwerk wordt getraind om onderscheid te maken tussen "hoogwaardige" toestanden (bezocht tijdens succesvolle, aan de specificatie voldoende rollouts) en "laagwaardige" toestanden (uit vroege exploratie of resets). Alleen state-action paren waar de vertrouwenswaarschijnlijkheid $p_{conf}(s)$ een drempelwaarde $\tau_c$ overschrijdt, worden behouden om de uiteindelijke dataset $\tilde{D}_i$ te vormen.

Fase II: Leren van $\kappa$ via Behavioral Cloning

In de tweede fase worden de $\kappa$-coëfficiënten geleerd via Behavioral Cloning (BC).

• Het algoritme past het polynoom-template $\Omega$ (geparameteriseerd door $\kappa$) aan op de geaggregeerde, met docenten gelabelde datasets $\{\tilde{D}_i\}_{i \in Train}$.
• Het doel is om de kwadratische fout te minimaliseren tussen de acties gegenereerd door het uitgerolde template-beleid $\pi_i$ en de acties van de docent $\hat{\pi}_i$:
  $$L_{BC}(\kappa) = \sum_{i \in Train} \frac{1}{|\tilde{D}_i|} \sum_{(s,a) \in \tilde{D}_i} \|\pi_i(s) - a\|^2_2$$
• Dit vervangt de ruisachtige, multi-taak beloningsaggregatie van GenRL door dichte, stabiele supervised learning. Omdat de docenten tijdens deze fase vaststaan, wordt de destabiliserende feedbackloop geëlimineerd.

Belangrijkste Bijdragen

1. Algoritme (DIBS): Een ontkoppelde aanpak die de instabiele multi-taak RL-loop van GenRL vervangt door een stabiele supervised learning-pipeline.
2. Technieken:
   • Cross-index regularisatie: Zorgt ervoor dat docent-beleidsregels vloeiend evolueren over taakindices, wat polynoom-fitting vergemakkelijkt.
   • Vertrouwensgebaseerde datasetfiltering: Zorgt ervoor dat de behavioral cloning-dataset alleen hoogwaardige state-action paren bevat, wat het risico op het leren van onbetrouwbare docent-acties in onverkende toestanden vermindert.
3. Flexibiliteit: In tegenstelling tot GenRL, dat nauw gekoppeld is aan het ARS (Augmented Random Search) algoritme, staat DIBS het gebruik van elk standaard RL-algoritme toe voor de docent-trainingsfase.

Empirische Resultaten

De auteurs evalueerden DIBS op vier omgevingen voor continue controle met variërende dynamische complexiteit: CAR2D (planair beweging), REACHER (manipulatie), SIMPLEDRONE en DRONEATTITUDE (3D navigatie en attitude controle).

• Trainingsschaalbaarheid: DIBS demonstreerde aanzienlijk betere stabiliteit naarmate het aantal trainingstaken toenam. Geaggregeerd over de benchmarks bereikte DIBS een 3,82$\times$ verbetering in de fractie van de getrainde indices die werden opgelost vergeleken met GenRL.
• Zero-Shot Generalisatie: DIBS presteerde beter dan GenRL en andere baselines (MAML, VariBAD, standaard BC, ARS) bij het oplossen van ongeziene taken. Het bereikte een 6,19$\times$ verbetering in de fractie van de ongeziene indices die werden opgelost vergeleken met GenRL.
• Ablatiestudies:
  • Het verwijderen van de ontkoppeling (terugkeren naar de gekoppelde loop van GenRL) zorgde voor een instorting van de prestaties in moeilijkere omgevingen (bijv. REACHER met meer blokken).
  • Het verwijderen van cross-index regularisatie leidde tot een scherpe daling in generalisatie (bijv. van 26 naar 3 opgeloste ongeziene taken in SIMPLEDRONE), wat de noodzaak van een vloeiende docent-evolutie bevestigt.

Betekenis en Claims

Het artikel claimt dat DIBS fundamenteel de schaalbaarheidsbeperkingen van eerdere inductieve generalisatiemethoden aanpakt. Door het leren van specifieke taak-beleidsregels te ontkoppelen van het leren van de generalisatieregel, stelt de methode het systeem in staat om:

1. Instabiliteit te elimineren: Het verwijdert de cumulatieve fouten en ruisachtige beloningssignalen die inherent zijn aan gekoppelde RL-loops.
2. Schaalbaarheid mogelijk te maken: Het stelt het systeem in staat om grotere families van taken en complexere dynamische omgevingen (met lange horizon en vertakkende taken) aan te pakken waar vorige methoden falen.
3. Generalisatie te verbeteren: De stabiliteit van het trainingsproces correleert direct met het vermogen om een generaliseerbare structuur te extraheren, wat leidt tot superieure zero-shot prestaties.

De auteurs positioneren DIBS als een robuuste oplossing voor situaties waarin taken systematische variaties vertonen (inductieve families) gedefinieerd door temporele logica, wat een praktisch pad biedt naar schaalbare, generaliseerbare RL-agenten.