Technische Samenvatting: Versterkend Leren met Discrete Diffusiebeleid voor Combinatoire Actieruimten

1. Probleemstelling

Versterkend Leren (RL) staat voor aanzienlijke uitdagingen bij schaling naar grote, combinatorische discrete actieruimten, die veel voorkomen in real-world toepassingen zoals hiërarchische planning met macro-acties, coördinatie tussen meerdere agenten, en slate-aanbevelingen in aanbevelingssystemen. Standaard RL-algoritmen worstelen met deze ruimten vanwege de exponentiële groei van de grootte van de actieruimte, wat een uiterst efficiënte parametrisatie van het beleid en exploratiestrategieën vereist.

Eerdere benaderingen hebben geprobeerd deze complexiteit te mitigeren door middel van dimensiereductie, hiërarchische training, of het aannemen van specifieke structurele eigenschappen. Meer recent zijn autoregressieve modellen toegepast op combinatorische acties; deze lijden echter onder hoge rekenkosten tijdens inferentie door sequentiële generatie en leggen kunstmatige causale volgorde van acties op die de expressiviteit van het beleid kunnen beperken. Hoewel diffusiemodellen veelbelovend zijn gebleken in continue controle en discrete generatieve taken, blijft een fundamenteel en efficiënt kader voor het trainen van discrete diffusiebeleid via online RL onontgonnen terrein.

2. Methodologie: RL-D2

De auteurs introduceren RL-D2, een nieuw kader voor het trainen van discrete diffusiemodellen als beleid voor combinatorische actieruimten. De kerninnovatie ligt in een efficiënt online trainingsproces dat de optimalisatie van de RL-doelfunctie ontkoppelt van de complexe taak van representatieleren.

2.1. Doel van Beleidspiegelafdaal (PMD)

Het kader herformuleert de beleidsupdate als een distributiematchingprobleem. In plaats van de RL-doelfunctie direct te optimaliseren, gebruikt de methode Beleidspiegelafdaal (PMD) om een ideale, geregulariseerde doelbeleidsdistributie ($\pi_{MD}$) te definiëren. Gegeven een huidig beleid $\pi_{old}$ en een voordeelfunctie $A_{\pi_{old}}$, wordt de doeldistributie analytisch afgeleid:
$$\pi_{MD}(a|s) \propto \pi_{old}(a|s) \exp(A_{\pi_{old}}(s, a)/\lambda)$$
waarbij $\lambda$ een temperatuurparameter is. Het expressieve diffusiemodel wordt vervolgens getraind om deze stabiele doeldistributie te repliceren.

2.2. Minimalisatie van Divergentie

De beleidsupdate wordt bereikt door de divergentie tussen het diffusiebeleid ($\pi_\theta$) en het PMD-doel ($\pi_{MD}$) te minimaliseren. Het artikel analyseert twee specifieke varianten gebaseerd op de Kullback-Leibler (KL)-divergentie:

• Forward KL (FKL): Minimaliseert $d_{KL}(\pi_{MD}, \pi_\theta)$. Dit "gemiddelde-zoekende" gedrag moedigt het beleid aan om de modi van de doeldistributie te dekken, wat exploratie bevordert. De auteurs leiden een hanteerbare gewogen ELBO-verliesfunctie af voor deze doelstelling, die off-policy training mogelijk maakt en gesamplede acties opnieuw weegt op basis van hun voordeelvrijheden.
• Reverse KL (RKL): Minimaliseert $d_{KL}(\pi_\theta, \pi_{MD})$. Dit "modus-zoekende" gedrag richt zich op de acties met de hoogste waarde en is theoretisch equivalent aan de oorspronkelijke PMD-optimalisatie. Vanwege de onhanteerbaarheid van de diffusielikelihood construeren de auteurs een uitgebreide MDP om een hanteerbare importance sampling-ratio af te leiden, en optimaliseren ze de doelstelling met een PPO-achtig clippingsmechanisme.

2.3. On-Policy Diffusieleren

Om de trainingsdistributie af te stemmen op de inferentiedistributie, stellen de auteurs On-Policy Diffusieleren voor. In plaats van ruisige acties te genereren vanuit een vast voorwaarts proces dat begint bij een schone actie, wordt de diffusietrajectorie on-policy gegenereerd door te samplen uit het geleerde omgekeerde proces van het huidige beleid. Dit verhoogt de stabiliteit en de sample-efficiëntie.

3. Belangrijkste Bijdragen

1. RL-D2 Kader: Een nieuw, efficiënt online trainingskader voor het gebruik van discrete diffusiemodellen als beleid in RL voor combinatorische actieruimten. Het herformuleert beleidsupdates als distributiematchingproblemen met behulp van PMD-doelen.
2. Theoretische Afleidingen: De afleiding en analyse van twee praktische methoden voor beleidsverbetering gebaseerd op het minimaliseren van Forward- en Reverse KL-divergenties ten opzichte van het PMD-doel.
3. Empirische Validatie: Uitgebreide experimenten in drie uitdagende domeinen die state-of-the-art resultaten aantonen:
   • DNA-volgordegeneratie: Reward-gestuurde fine-tuning van een discrete diffusiemodel.
   • RL op lange horizon: Macro-actieplanning in MinAtar- en Atari-omgevingen.
   • Multi-Agent RL: Coöperatief leren in het Google Research Football-domein.

4. Experimentele Resultaten

Het artikel rapporteert superieure prestaties en sample-efficiëntie in alle geteste domeinen:

• DNA-volgordegeneratie: RL-D2 behaalde state-of-the-art reward-scores terwijl het een hoge log-likelihood (naturaliteit) van gegenereerde sequenties behield. Het toonde aanzienlijke reken-efficiëntie, met een reductie van GPU-geheugengebruik van 66,4 GB naar 10,6 GB en trainingsduur van 268 minuten naar 97 minuten in vergelijking met de DRAKES-baseline.
• Atari (Macro-Acties): RL-D2 presteerde beter dan sterke baselines (DQN, IMPALA, R2D2, PPO) in 36 van de 56 Atari-omgevingen. Het toonde bijzondere sterkte in taken die langetermijnstrategieën vereisen (bijv. Breakout, Space Invaders). De methode toonde schaalbaarheid, waarbij de prestaties behouden bleven naarmate de lengte van macro-acties toenam (tot 16), terwijl baselines zoals DQN-Macro faalden door de exponentiële groei van de actieruimte.
• Google Research Football: In coöperatieve multi-agent taken (tot 11 tegen 11) behaalde het discrete diffusiebeleid de hoogste gemiddelde winpercentages, presteerde het beter dan autoregressieve baselines (MAT, MAPPO) en toonde het het vermogen om complexe inter-agent afhankelijkheden te vangen zonder restrictieve factorisatie.

Empirische Trade-offs: FKL vs. RKL

De auteurs benadrukken een belangrijke trade-off tussen de twee divergentievarianten:

• FKL: Toont superieure sample-efficiëntie en snellere initiële convergentie, wat het geschikt maakt voor scenario's met beperkte data (bijv. Atari). Het is echter minder stabiel en vereist zorgvuldige temperatuurafstelling om instorting te voorkomen.
• RKL: Zorgt voor stabiele training en bereikt hogere asymptotische prestaties op uitdagende taken met voldoende data (bijv. Google Football), hoewel het in eerste instantie iets langzamer leert.

5. Betekenis en Claims

Het artikel claimt dat RL-D2 een schaalbare en hoogpresterende oplossing biedt voor de langdurige uitdaging van RL in grote, combinatorische actieruimten. Door gebruik te maken van de expressieve kracht van discrete diffusiemodellen en het leren te stabiliseren via PMD-gebaseerde distributiematching, behandelt het kader effectief complexe besluitvormingsproblemen waar traditionele methoden vaak falen.

De auteurs benadrukken dat hun aanpak een duidelijk voordeel biedt ten opzichte van standaard discrete black-box oplossers (bijv. evolutionaire algoritmen) door een op toestand-geconditioneerd beleid te leren dat transitiodynamiek benut en generaliseert naar ongezane toestanden, in plaats van statische doelen van scratch te optimaliseren. Bovendien stabiliseert de ontkoppelde aard van de methode het leerproces, wat de prestaties in complexe, ongestructureerde discrete ruimten aanzienlijk verbetert.