Technische Samenvatting: Distributies als Acties: Een Geïntegreerd Kader voor Diverse Actieruimten

Probleemstelling

Versterkingsleer (RL) algoritmen worden traditioneel gecategoriseerd op basis van hun geschiktheid voor specifieke actieruimtestructuren. Op waarde gebaseerde methoden (bijv. DQN) blinken uit in discrete ruimten door actie-waarden te enumereren, terwijl op beleid gebaseerde methoden (bijv. DPG, SAC) zijn ontworpen voor continue ruimten, waarbij gebruik wordt gemaakt van de differentieerbaarheid van actie-waardefuncties. Echter, huidige algoritmen blijven sterk gekoppeld aan de specifieke structuur van de actieruimte. Het ontwerpen van geïntegreerde algoritmen die generaliseren over discrete, continue en hybride actieruimten is moeilijk, omdat vaak verschillende gradiëntschatters en architecturen vereist zijn voor elk domein. Bovendien lijden bestaande beleidsgradiëntschatters voor stochastische beleidsregels, zoals de Likelihood-Ratio (LR) en Reparameterisatie (RP) methoden, vaak aan hoge variantie of introduceren ze bias, met name in discrete settings.

Methodologie

Het Distributies-als-Acties (DA) Kader

Het artikel introduceert een nieuwe formulering die de grens tussen de agent en de omgeving herdefinieert. In het klassieke RL-kader geeft het beleid van de agent $\pi_\theta$ een actie (of distributieparameters) uit en steekt de actie intern. In het voorgestelde Distributies-als-Acties (DA) kader:

1. De agent geeft distributieparameters $\bar{\pi}_\theta(s)$ uit (bijv. gemiddelde en variantie voor Gaussisch, waarschijnlijkheidsvectoren voor categorisch) als zijn actie.
2. Het steekproefproces $A \sim f(\cdot|\bar{\pi}_\theta(s))$ wordt behandeld als onderdeel van de stochastische overgangsfunctie van de omgeving.

Deze transformatie converteert de oorspronkelijke actieruimte $\mathcal{A}$ (die discreet, continu of hybride kan zijn) in een continue distributieparameter ruimte $\mathcal{U}$. Bijgevolg opereert de agent binnen een nieuw Markov Beslissingsproces (DA-MDP) met een continue actieruimte $\mathcal{U}$, ongeacht de onderliggende aard van $\mathcal{A}$.

Distributies-als-Acties Beleidsgradiënt (DA-PG)

Op basis van het DA-MDP leiden de auteurs de DA-PG schatter af. Door het Deterministische Beleidsgradiënt (DPG) theorema toe te passen op de continue parameter ruimte $\mathcal{U}$, verkrijgen zij een gradiëntschatter:
$$\hat{\nabla}_\theta \hat{J}(\bar{\pi}_\theta; S_t) = \nabla_\theta \bar{\pi}_\theta(S_t)^\top \nabla_U \bar{Q}_w(S_t, U)|_{U=\bar{\pi}_\theta(S_t)}$$
waarbij $\bar{Q}_w$ een criticus is die de verwachte opbrengst schat over de actie-distributie gedefinieerd door parameters $U$.

Theoretische Eigenschappen:

• Variantiereductie: Het artikel bewijst dat DA-PG de conditionele verwachting is van zowel de LR- als de RP-schatters. Volgens de wet van totale variantie resulteert dit in strikt lagere variantie dan de oorspronkelijke schatters, mits de actie-geconditioneerde of door ruis geïnduceerde variantie niet-nul is.
• Unificatie: Wanneer de distributie een Dirac-delta is, reduceert DA-PG exact tot de standaard DPG-schatter, waarmee het wordt gevestigd als een strikte generalisatie.

Geïnterpoleerde Criticus Leren (ICL)

Een uitdaging in het DA-kader is dat de criticus $\bar{Q}_w$ moet leren over een hoger dimensionale inputruimte (distributieparameters), wat moeilijk kan zijn en kan leiden tot verhoogde bias als de criticus onnauwkeurig is. Om dit aan te pakken, stellen de auteurs Geïnterpoleerde Criticus Leren (ICL) voor.

• Mechanisme: In plaats van de criticus alleen bij de gesteste distributieparameters $U_t$ bij te werken, gebruikt ICL de waargenomen actie $A_t$ om af te leiden dat de overgang ook door andere distributieparameters had kunnen worden gegenereerd.
• Implementatie: De criticus wordt bijgewerkt op een geïnterpoleerd punt $\hat{U}_t = \omega_t U_t + (1-\omega_t) U_{A_t}$, waarbij $U_{A_t}$ de deterministische parameters vertegenwoordigt die overeenkomen met de waargenomen actie $A_t$, en $\omega_t \sim \text{Uniform}[0, 1]$.
• Doel: Dit moedigt de criticus aan om een gladdere waarde-landschap te leren met informatieve kromming, wat betere beleidsoptimalisatie in de parameter ruimte faciliteert.

DA-AC Algorithm

De auteurs implementeren een praktisch diep RL-algoritme, Distributies-als-Acties Actor-Critic (DA-AC), gebaseerd op de TD3-architectuur. DA-AC integreert de DA-PG-schatter voor de actor en de ICL-update voor de criticus, waardoor een enkel algoritme diverse actieruimten kan verwerken.

Belangrijkste Bijdragen

1. Geïntegreerd Kader: Een herparametrisatie van het RL-probleem dat distributieparameters behandelt als acties, en discrete, continue en hybride besturing verenigt onder één enkel continu-actie-algoritme.
2. DA-PG Schatter: Een gegeneraliseerde beleidsgradiëntschatter met theoretisch lagere variantie dan standaard LR- en RP-schatters, toepasbaar op willekeurige actieruimtetypen.
3. ICL Strategie: Een eenvoudige maar effectieve techniek om criticusleren in het DA-kader te verbeteren door gebruik te maken van updates buiten de distributie via interpolatie.
4. Empirische Validatie: Uitgebreide evaluatie die aantoont dat DA-AC concurrerende of superieure prestaties levert op continue, discrete en hybride besturingsbenchmarks in vergelijking met gespecialiseerde baselines.

Experimentele Resultaten

Het artikel evalueert DA-AC in vier verschillende settings:

• Continue Besturing: Op MuJoCo en DeepMind Control Suite taken bereikt DA-AC concurrerende prestaties, vaak met betere resultaten dan TD3 en andere baselines, met name in hoog-dimensionale omgevingen.
• Discrete Besturing: Op Gym klassieke besturing en MinAtar omgevingen presteert DA-AC vergelijkbaar met DQN en andere sterke discrete baselines.
• Hoog-dimensionale Discrete Besturing: In gediscrétiseerde versies van continue besturingstaken (bijv. Humanoid-v4 met 17 dimensies gediscrétiseerd in 7 bins), overtreft DA-AC baselines zoals ST-AC, LR-AC en PPO aanzienlijk, waarbij andere methoden worstelen met de combinatorische explosie of hoge variantie.
• Hybride Besturing: Op Geparameetriseerde Actie MDP's (PAMDP's) bereikt DA-AC concurrerende resultaten tegen gespecialiseerde algoritmen zoals PATD3 en PDQN.

Ablatie Studies:
Experimenten in bandit-settings en hoog-dimensionale discrete besturing tonen aan dat het verwijderen van ICL (DA-AC zonder ICL) leidt tot aanzienlijk slechtere prestaties, wat bevestigt dat ICL cruciaal is voor het leren van een effectieve criticus in het DA-kader.

Betekenis en Claims

Het artikel stelt dat het Distributies-als-Acties kader een principiële manier biedt om het leeralgoritme te ontkoppelen van de specifieke structuur van de actieruimte. Door de grens tussen agent en omgeving te verschuiven, maakt het toepassing mogelijk van laag-variantie, deterministische gradiëntmethoden op discrete en hybride problemen. De auteurs benadrukken dat deze aanpak:

• De eerste onbevooroordeelde, laag-variantie herparametrisatie-stijl schatter biedt voor discrete distributies.
• Een enkel algoritmisch kader (DA-AC) mogelijk maakt om een breed scala aan besturingssettings te verwerken zonder domeinspecifieke architecturale wijzigingen.
• Aantoont dat het behandelen van steekproeven als onderdeel van de omgeving het leren kan vereenvoudigen en nieuwe algoritmische perspectieven kan openen, met name voor complexe hybride actieruimten.

Het werk suggereert dat toekomstig onderzoek dit kader kan uitbreiden tot model-gebaseerde methoden, hiërarchische besturing en geavanceerdere criticusleerstrategieën, maar de huidige bijdrage richt zich op het vestigen van de levensvatbaarheid van het kader via het DA-AC-algoritme en zijn empirische succes.