Technische Samenvatting: Gedrag-consistente Deep Reinforcement Learning

Probleemstelling

Reinforcement learning (RL) algoritmes vertonen vaak een hoge variantie over onafhankelijke trainingsruns. Hoewel de uiteindelijke prestatie-indicatoren (returns) vergelijkbaar kunnen lijken, wijken de onderliggende beleidsregels vaak aanzienlijk af in hun gedragsverdelingen. Dit gebrek aan consistentie vormt uitdagingen voor wetenschappelijke evaluatie, die vereist dat er wordt gemiddeld over talrijke zaden (seeds), en voor praktische implementatie, waar iteratieve processen zoals beloningsontwerp, debugging en veiligheidsvalidatie onbetrouwbaar worden als identieke voorwaarden kwalitatief verschillende gedragingen opleveren. Bestaand werk heeft deze variabiliteit grotendeels behandeld als ruis die moet worden uitgemiddeld, in plaats van als een eigenschap die expliciet moet worden gecontroleerd.

Methodologie

Theoretische Grondslag

De auteurs formaliseren Gedrag-consistente RL (BRL), een doelstelling om beleidsregels te leren die zowel hoogpresterend zijn als distributief vergelijkbaar over onafhankelijke runs. Het kerninzicht van de theorie is gebaseerd op Maximum Entropy (MaxEnt) RL. Door beleidsregels te regulariseren naar een gemeenschappelijke prior (specifiek een uniforme prior in MaxEnt), wordt de beleidsruimte beperkt.

Het artikel legt een theoretisch verband tussen beleidsdivergentie en Q-functie-afwijking:

1. Stelling 4.1: Voor Boltzmann-beleidsregels, als de temperatuurparameter $\alpha(s)$ evenredig wordt ingesteld met de puntsgewijze afwijking tussen twee Q-waardevectoren ($\|Q^{(1)} - Q^{(2)}\|_\infty$), is de Kullback-Leibler (KL) divergentie tussen de gegenereerde beleidsregels begrensd. Specifiek zorgt het instellen van $\alpha(s) = \max(\alpha_{min}, \frac{\|Q^{(1)} - Q^{(2)}\|_\infty}{\kappa})$ ervoor dat $D_{KL}(\pi^{(1)} \|\pi^{(2)}) \leq 2\kappa$.
2. Stelling 4.2: Het gebruik van deze op afwijking geschaalde temperatuur in soft value iteration stelt gekoppelde runs in staat om te convergeren naar een omgeving van de optimale niet-geregulariseerde Q-functie, waarbij de foutmarge wordt gecontroleerd door de temperatuurvloer $\alpha_{min}$ en de initiële afwijking.

Praktisch Algorithmus: Q-waarde Expectile Afwijking (QED)

Directe toegang tot Q-functies van andere onafhankelijke runs is onpraktisch. Om dit aan te pakken, stellen de auteurs Q-waarde Expectile Afwijking (QED) voor, dat een proxy voor één run gebruikt voor afwijking tussen runs.

• Double-Critic Proxy: QED maakt gebruik van de "double Q"-truc, waarbij twee neurale netwerkcritici ($Q_{\theta_1}, Q_{\theta_2}$) parallel worden getraind. De auteurs veronderstellen dat de afwijking tussen deze twee critici binnen één run dient als een representatieve proxy voor de afwijking die zou bestaan tussen twee onafhankelijke runs.
• Expectile Aggregatie: Om het adversariele karakter van maximalisatie over alle acties te vermijden (wat extrapolatiefouten op acties buiten de verdeling zou kunnen benadrukken), berekent QED een bovenste expectile van de absolute verschillen tussen de twee critici over acties die zijn bemonsterd vanuit het huidige beleid.
• Adaptieve Temperatuur: De temperatuur $\alpha_{QED}(s)$ wordt dynamisch aangepast op basis van deze expectile-afwijking:
  $$\alpha_{QED}(s) = \text{clip}\left( \frac{e\Delta(s)}{k \cdot d}, \alpha_{min}, \alpha_{max} \right)$$
  waarbij $e\Delta(s)$ de expectile-afwijking is, $k$ een hyperparameter is die de afweging controleert, en $d$ de actie-dimensie is.
• Omgaan met Off-Policy Instabiliteit: Het artikel merkt op dat het naïef verhogen van entropie off-policy extrapolatiefouten kan versterken, wat leidt tot instorting van de training. Om dit te mitigeren, wordt QED geëvalueerd bovenop algoritmes die specifiek zijn ontworpen om distributieveranderingen aan te pakken: SAC-LN (Soft Actor-Critic met Laagnormalisatie) en MAD-SAC (Model-Augmented Data SAC).

Belangrijkste Bijdragen

1. Formalisatie van BRL: Introductie van de setting van Gedrag-consistente Reinforcement Learning, waarbij gedragsconsistentie wordt gepresenteerd als een kernobjectief naast return-maximalisatie.
2. Theoretische Connectie: Bewezen een relatie tussen beleidsdivergentie en criticus-afwijking in MaxEnt RL, waarbij wordt aangetoond dat het schalen van temperatuur op basis van afwijking de KL-divergentie tussen beleidsregels begrenst.
3. Identificatie van Off-Policy Uitdagingen: Geïllustreerd hoe hoog-entropie MaxEnt RL off-policy extrapolatiefouten kan verergeren, wat leidt tot functionele instorting van het beleid als dit niet wordt beheerd met stabiele basisalgoritmes.
4. QED Algorithmus: Voorstellen van QED, een praktische methode voor adaptieve entropie-tuning die afwijking van critici in één run gebruikt om gedragsconsistentie tussen runs te induceren.

Experimentele Resultaten

De auteurs hebben QED geëvalueerd op 18 continue-control taken uit de dm_control-suite met 10 willekeurige zaden per taak.

• Reductie in Divergentie: QED verlaagde de paarsgewijze beleidsdivergentie (gemeten door symmetrische KL) met twee ordes van grootte in vergelijking met standaard entropie-tuning (bijv. SAC met target entropy).
• Behoud van Prestaties: In de meeste gevallen behield QED concurrerende genormaliseerde returns. Voor zeer lage KL-divergenties werd een lichte reductie in return (maximaal 5%) waargenomen, toegeschreven aan een tijdelijk verlies aan sample-efficiëntie terwijl het algoritme langer exploreert om Q-functie-onzekerheid te verminderen.
• Variantiereductie: Op de MAD-SAC-baseline verlaagde QED de variantie van returns (gemeten door de breedte van 95% bootstrap-vertrouwensintervallen) met ongeveer 50%.
• Gedragsconsistentie: Kwalitatieve visualisaties (bijv. cheetah_run) en kwantitatieve metrieken (cumulatieve L2-actie-afstand) bevestigden dat QED beleidsregels produceert met zichtbaar en statistisch vergelijkbaar gedrag over runs, terwijl standaardtraining verschillende gedragsmodi oplevert (bijv. verschillende huppel- of looppatronen).
• Taken met Hoge Variantie: Op de beruchtig onstabiele hopper_hop-taak verbeterde QED niet alleen de prestaties, maar bracht het alle trainingsruns in lijn om te convergeren naar een identiek prestatieniveau, terwijl de baseline een hoge variantie vertoonde.

Betekenis en Claims

Het artikel betoogt dat het controleren van gedragsconsistentie zowel haalbaar als voordelig is voor de stabiliteit en reproduceerbaarheid van RL-systemen. Door variabiliteit te behandelen als een expliciete eigenschap die moet worden gecontroleerd in plaats van ruis die moet worden uitgemiddeld, suggereren de auteurs dat gedragsconsistentie een ontbrekend ingrediënt is voor schaalbare en betrouwbare RL.

De betekenis ligt in het mogelijk maken van betrouwbaardere:

• Wetenschappelijke Evaluatie: Het verminderen van de noodzaak tot massaal middelen over zaden om echte algoritmische verbeteringen te detecteren.
• Implementatie: Zorgen dat iteratieve processen zoals beloningstuning en veiligheidsvalidatie niet worden verward door stochastische eigenaardigheden.
• Debugging: Het makkelijker maken om onderscheid te maken tussen algoritmische fouten en willekeurige variantie.

De auteurs merken bescheiden beperkingen op, met name dat de methode afhankelijk is van puntsgewijze Q-schattingen die tijd kunnen vergen om te convergeren, en dat een afweging tussen prestaties en gelijkenis duidelijker wordt in taken met hoge dimensionaliteit. Zij concluderen dat hoewel QED een principiële aanpak biedt voor stabiliteit, toekomstig werk nodig is om consistentie op lange termijn en de balans tussen diversiteit en uniformiteit in geldige gedragsstrategieën aan te pakken.