Latent Spherical Flow Policy for Reinforcement Learning with Combinatorial Actions

Technische Samenvatting: Latent Spherical Flow Policy voor Reinforcement Learning met Combinatorische Acties

1. Probleemdefinitie

Het artikel behandelt de uitdaging van het toepassen van Reinforcement Learning (RL) op omgevingen met combinatorische actieruimtes. In deze settings zijn acties gestructureerde beslissingen (bijv. subsetselectie, routing, planning) die worden beheerst door harde haalbaarheidsbeperkingen. De verzameling haalbare acties, $\mathcal{A}(s)$, groeit doorgaans exponentieel met de probleemgrootte, waardoor directe beleidsparametrisering over alle geldige acties onuitvoerbaar wordt.

Bestaande benaderingen kampen met een afweging:

• Solver-gebaseerde waardeoptimalisatie: Embedt waardenetwerken in Mixed-Integer Programs (MIP's) om gulzigheid (greedy) acties te extraheren. Dit vereist vaak specifieke architecturen voor waardefuncties en schaalt slecht met de complexiteit van het netwerk.
• Optimalisatie-geïnduceerde beslissingslagen: Leert gestructureerde beleidsregels end-to-end, maar levert doorgaans deterministische beleidsregels op, wat de expressiviteit en exploratie in complexe landschappen beperkt.

Hoewel moderne generatieve modellen (diffusie en flow-gebaseerd) succes hebben getoond in continue controle door rijke, multimodale stochastische distributies te representeren, kunnen ze niet direct worden toegepast op combinatorische RL omdat ze haalbaarheidsbeperkingen niet inherent afdwingen. Naïve adaptatie leidt tot onhaalbare acties.

2. Methodologie: LSFLOW

De auteurs stellen LSFLOW (Latent Spherical Flow Policy) voor, een framework dat de expressiviteit van het beleid ontkoppelt van de handhaving van haalbaarheid. De kern van het idee is om een stochastische beleidsregel te leren in een compacte continue latente ruimte en de haalbaarheid te delegeren aan een combinatorische optimalisatie-solver (CO-solver).

A. Solver-geïnduceerde Spherical Flow Policy

• Latente Representatie: In plaats van acties direct te produceren, leert het beleid een distributie over kostvectoren $\mathbf{c} \in \mathbb{R}^m$.
• Solver Mapping: Een CO-solver brengt een gesamplede kostvector naar een haalbare actie via een lineair objectief: $\mathbf{a}^*(s, \mathbf{c}) = \arg\min_{\mathbf{a} \in \mathcal{A}(s)} \mathbf{c}^\top \mathbf{a}$.
• Sferische Beperking: Vanwege de positieve schaalinvariantie van de solver (de optimale actie hangt alleen af van de richting van $\mathbf{c}$, niet van de magnitude), wordt de latente ruimte beperkt tot de eenheidssfeer $\mathbb{S}^{m-1}$.
• Generatief Model: De beleidsregel $\pi_\theta(\mathbf{c} | s)$ wordt gemodelleerd met behulp van spherical flow matching. Het leert een tijdafhankelijke vectorveld op de sfeer om een basisdistributie te transporteren naar een doeldistributie van kostrichtingen. Dit stelt het beleid in staat om elke stochastische distributie over haalbare acties te representeren zonder deze expliciet te enumereren.

B. Efficiënte Optimalisatie in de Latente Ruimte
Om de computationele bottleneck te vermijden van het herhaaldelijk aanroepen van de CO-solver tijdens beleidsupdates, traint LSFLOW zowel de actor als de critic direct in de latente kostruimte.

• Critic: Een waardenetwerk $\tilde{Q}_\phi(s, \mathbf{c})$ wordt getraind om $Q(s, \mathbf{a}^*(s, \mathbf{c}))$ te benaderen. Dit amortiseert de kosten van de solver, waarbij slechts één solver-oproep per omgevingstap nodig is in plaats van per beleidsvoorstel.
• Beleidsupdate: Het beleid wordt bijgewerkt met behulp van een gewogen spherical flow-matching objectief. Voorstellen worden hergewogen op basis van de geschatte waarde door de critic, waardoor de distributie verschuift naar kostrichtingen die hogere-waarde haalbare acties opleveren.

C. Gesmoothde Bellman-operator
Een cruciale uitdaging is dat de mapping van kostrichting naar actie stuksgewijs constant en discontinu is (door de solver), wat leidt tot instabiele waarde-lering.

• vMF Smoothing: De auteurs introduceren een von Mises–Fisher (vMF) kernel om de Bellman-operator te smoothen. In plaats van de waarde te evalueren op een enkele richting $\mathbf{c}$, wordt het doel berekend door te middelen over een buurt van richtingen gesampled uit de vMF-kernel.
• Theoretische Garanties: De auteurs bewijzen dat deze gesmoothde operator een contractie-mapping is met een uniek vast punt dat oneindig differentieerbaar ($C^\infty$) is met betrekking tot de kostrichting. Dit zorgt voor stabiele, laag-variante leerdoelen. Ze tonen verder aan dat naarmate de concentratieparameter van de kernel $\kappa \to \infty$ gaat, de gesmoothde waarde bijna overal convergeert naar de ware waardefunctie.

3. Belangrijkste Bijdragen

1. Eerste Flow/Diffusie Framework voor Combinatorische RL: LSFLOW is het eerste beleidsframework dat de expressiviteit van flow-gebaseerde generatieve modellen overbrengt naar combinatorische actieruimtes, terwijl haalbaarheid gegarandeerd wordt via een solver.
2. Efficiënte Optimalisatie in de Latente Ruimte: De methode introduceert een trainingsparadigma waarbij zowel de actor als de critic opereren in de latente kostruimte, waardoor herhaalde solver-oproepen tijdens optimalisatie worden vermeden.
3. Gestabiliseerde Lering via Smoothing: Het artikel stelt een gesmoothde Bellman-operator voor met behulp van vMF-kernels om de instabiliteit veroorzaakt door solver-geïnduceerde discontinuïteiten te mitigeren, inclusief theoretische bewijzen van contractie en gladheid.

4. Experimentele Resultaten

De auteurs evalueren LSFLOW op publieke benchmarks en een real-world toepassing:

• Publieke Benchmarks: Getest op vier dynamische taken (Scheduling, Routing, Assignment, Intervention) van Xu et al. (2025). LSFLOW presteerde beter dan state-of-the-art baselines (inclusief SEQUOIA en SRL) met een gemiddelde verbetering van 20,6% in beloning.
• Real-World Toepassing: Toegepast op een taak rondom Seksueel Overdraagbare Infecties (SOI) testen, bestaande uit netwerkgebaseerde screening voor Gonorroe, HIV, Syfilis en Chlamydia. LSFLOW demonstreerde een hogere detectie-efficiëntie (fractie van gevonden positieve gevallen) vergeleken met baselines, met name in lage- tot middelhoge budgetregimes.
• Efficiëntie: LSFLOW was ongeveer 3,0× sneller in trainingstijd dan de deterministische Structured RL (SRL) baseline, aangezien het de noodzaak vermijdt om door de solver te differentiëren of embedded MIP's op te lossen tijdens de training.

5. Betekenis en Claims

Het artikel claimt dat LSFLOW een geprincieerde en schaalbare route biedt naar RL met combinatorische acties. Door de last van haalbaarheid naar een solver te verschuiven en een expressief stochastisch beleid te leren in een latente sferische ruimte, overwint de methode de beperkingen van eerdere benaderingen die ofwel algemeenheid (solver-gebaseerde methoden) ofwel expressiviteit (deterministische methoden) opofferen.

De auteurs benadrukken dat hun aanpak erin slaagt de voordelen van moderne generatieve beleidsregels (multimodaliteit, rijke exploratie) over te brengen naar beperkte domeinen. Ze erkennen beperkingen en merken op dat smoothing een bias-variantie trade-off introduceert en dat inferentie nog steeds solver-oproepen vereist, wat suggereert dat toekomstig werk zich kan richten op adaptieve smoothing en geleerde guidance om de runtime verder te reduceren.