Technische Samenvatting: ISEP – Impliciete Ondersteuningsexpansie voor Offline Versterkend Leren

1. Probleemstelling

Offline Versterkend Leren (RL) heeft tot doel effectieve beleidsregels te leren uit statische datasets zonder online interactie, een vaardigheid die cruciaal is voor hoog-risicodomeinen zoals robotica en gezondheidszorg. Een fundamentele uitdaging in deze setting is de spanning tussen conservatisme (binnen de ondersteuning van de dataset blijven om een geldige waarde-schatting te waarborgen) en optimisme (generaliseren buiten suboptimale data om verbeterde gedragingen te ontdekken).

Bestaande methoden lossen dit doorgaans op door strikte ondersteuningsbeperkingen af te dwingen: het beperken van updates tot in-sample transities, het beperken van acties tot de ondersteuning van het gedragsbeleid, of het bestraffen van overschatte criticus-waarden. Hoewel deze beperkingen veiligheid garanderen, onderdrukken ze vaak gedragingen met hoge beloningen die schaars vertegenwoordigd zijn in de dataset. Deze "dichtheidsbias" verhindert de ontdekking van optimale beleidsregels, vooral wanneer de optimale trajecten onvoldoende datadichtheid missen. Bovendien leidt standaard deterministische interpolatie tussen conservatieve data en optimistische voorstellen vaak tot mode-collapse, waarbij het beleid verschillende geldige acties middelt tot een actie met lage waarde en ongeldig, die buiten het data-maandblad ligt.

2. Methodologie

De auteurs stellen ISEP (Implicit Support Expansion via stochastic Policy optimization) voor, een raamwerk ontworpen om veilig te extrapoleren buiten statische datasets. ISEP werkt via drie gekoppelde innovaties:

2.1 Geïnterpoleerde Waarde-schatting (Impliciete Ondersteuningsexpansie)

In plaats van de datasetverdeling als een rigide grens te behandelen, breidt ISEP impliciet de geldige ondersteuning van de waardenfunctie uit om acties met hoge waarde te omvatten die geldig zijn maar schaars vertegenwoordigd. Dit wordt bereikt via een hybride doelfunctie voor het waardenetwerk $V_\psi$:

$$L_V(\psi) = (1 - p)\mathbb{E}_{(s,a)\sim D} [L_\tau^2(\hat{Q}_\theta(s, a) - V_\psi(s))] + p\mathbb{E}_{s\sim D, \hat{a}\sim \pi_\phi} [(\hat{Q}_\theta(s, \hat{a}) - V_\psi(s))^2]$$

• Term 1: Verankert waarde-schattingen aan echte transities met behulp van een asymmetrische expectile-loss (standaard IQL-benadering).
• Term 2: Drijft expansie aan door de Q-functie te bevragen met acties die zijn bemonsterd uit het huidige beleid $\hat{a} \sim \pi_\phi$.
• Parameter $p$: Een controleerbare scalair die de balans regelt tussen veiligheid (in-distributie) en exploratie (door beleid gegenereerd). Dit mechanisme "verdicht" gebieden met hoge beloning, waardoor een bevaarbaar pad voor beleidsverbetering ontstaat.

2.2 Stochastische Actiekeuze

Om de multimodale aard van het resulterende doel te adresseren, hanteert ISEP een strategie voor Stochastische Actiekeuze. Standaard deterministische interpolatie (middelen van gradiënten) dwingt het beleid naar het rekenkundig gemiddelde van een conservatieve actie en een optimistische actie, wat vaak resulteert in een actie met lage waarde die "off-manifold" ligt.

ISEP vermijdt dit door stochastisch te wisselen tussen doelen bij elke update-stap met behulp van een Bernoulli-gate $B \sim \text{Bernoulli}(p)$:

$$L_\pi(\phi) = (1 - B) \cdot \mathbb{E}_{(s,a)\sim D}[\omega(s, a) \log \pi_\phi(a|s)] + B \cdot \mathbb{E}_{s\sim D, \hat{a}\sim \pi_\phi}[\omega(s, \hat{a}) \log \pi_\phi(\hat{a}|s)]$$

Dit zorgt ervoor dat het beleid wordt geduwd naar distincte, geldige modi (ofwel de conservatieve data-steekproef of het optimistische voorstel) in plaats van in te storten in een vallei met lage waarde tussen hen in.

2.3 Instantiatie: ISEP-FM

Omdat de stochastische strategie een beleid vereist dat complexe, multimodale verdelingen kan representeren, instantiëren de auteurs het raamwerk met behulp van Conditional Flow Matching (CFM) met Classifier-Free Guidance (CFG).

• Het flow-model is geconditioneerd op een optimaliteitstoken $o \in \{\emptyset, 1\}$.
• Bij inferentie worden acties gegenereerd door het snelheidsveld te integreren met een geleidingschaal $w$, wat dynamische controle mogelijk maakt tussen de basisgedragsverdeling en de voorwaarde voor hoge waarde-optimaliteit.

3. Theoretische Waarborgen

Het artikel biedt een theoretische analyse die aantoont dat ISEP een gebonden waarde-fout garandeert. Onder aannames van eindige steekproefgroottes (Expectile Gap) en dataset-suboptimaliteit, bewijzen de auteurs dat als de interpolatieparameter $p$ voldoet aan een specifieke grens die is afgeleid uit datasetkenmerken:

$$p \leq \frac{\delta_\tau + \delta_{sub}}{V_{max} - V^*(s) + \delta_\tau + \delta_{sub}}$$

Dan blijft de geleerde waardenfunctie $\hat{V}(s)$, met een waarschijnlijkheid van ten minste $\eta$ (geleid door datasetkwaliteit), bovenaf begrensd door de optimale statewaarde $V^*(s)$. Dit vestigt $p$ als een rigoureuze veiligheidsmechanisme dat catastrofale divergentie voorkomt terwijl gecontroleerde extrapolatie mogelijk wordt gemaakt.

4. Experimentele Resultaten

De auteurs evalueerden ISEP en hun variant met flow-matching (ISEP-FM) op de D4RL-benchmark, die Gym-MuJoCo-locomotie, Adroit-robotische handmanipulatie en Kitchen-sequentiële objectmanipulatie omvat.

• Prestaties: ISEP-FM behaalde state-of-the-art resultaten in meerdere omgevingen. Zo behaalde het op hopper-med-rep een genormaliseerde score van 104,5, wat beter is dan sterke baselines zoals QIPO (101,2) en IDQL (82,4). Op halfcheetah-med scoorde het 59,9, waarmee het de vorige beste score van 54,1 overtrof.
• Ablatiestudies:
  • Parameter $p$: Matige waarden ($p \in \{0,3, 0,5\}$) leverden consequent de hoogste scores op. Agressieve waarden ($p \geq 0,9$) leidden tot catastrofale divergentie, wat de noodzaak van een "middelweg"-benadering bevestigt.
  • Stochastisch versus Deterministisch: Het vervangen van stochastische selectie door deterministische interpolatie resulteerde in aanzienlijke prestatiedalingen, wat valideert dat naïef middelen faalt in niet-convexe actie-landschappen.
  • Ondersteuningsexpansie: Visualisaties (t-SNE) bevestigden dat ISEP succesvol de actiesteun uitbreidt naar schaarse, gebieden met hoge beloning die strikt in-distributie methoden (zoals IQL met $p=0$) niet bereiken vanwege dichtheidsbias.

5. Betekenis en Claims

Het artikel beweert dat ISEP de kritieke beperking van offline RL-methoden aanpakt die datasetverdelingen behandelen als rigide grenzen. Door impliciet de haalbare actiesteun uit te breiden via een waardenfunctie die is geïnterpoleerd tussen in-distributie data en beleidssteekproeven, "verdicht" ISEP gebieden met hoge beloning zonder expliciete beperkingen of complexe twee-traps-pijplijnen te vereisen.

De betekenis van dit werk ligt in het vermogen om:

1. De kloof te overbruggen tussen veiligheid en optimisme, waardoor agenten superieure acties kunnen ontdekken in schaars vertegenwoordigde gebieden van de stat-actie-ruimte.
2. Mode-collapse te voorkomen in niet-convexe landschappen door een nieuwe stochastische actiekeuzestrategie, wat essentieel is voor multimodaal beleidsleren.
3. Theoretische veiligheidswaarborgen te bieden, waarbij wordt aangetoond dat waarde-schattingen gebonden blijven, zelfs bij het verkennen van out-of-distribution acties, mits de interpolatieparameter is afgestemd op de datasetkwaliteit.

De auteurs concluderen dat het combineren van ondersteuningsexpansie met de expressiviteit van moderne generatieve modellen (Flow Matching) het mogelijk maakt voor offline RL-agenten om effectief superieure gedragingen te ontdekken zonder veiligheid op te offeren.