Technische Samenvatting: Upper-Expectile Multi-Step Q-Learning voor Off-Policy Reinforcement Learning

Probleemstelling

Off-policy value-based reinforcement learning (RL) streeft naar het aanleren van verbeterde policies uit gelogde ervaring die is verzameld door eerdere policies of menselijke operators. Hoewel multi-step returns (n-step TD) de reward-propagatie versnellen door de effectieve bootstrap-keten te verkorten, introduceren ze een aanzienlijke uitdaging in off-policy settings: pessimistische bias.

In standaard n-step TD bevat de target voor een state-action paar $(s_t, a_t)$ de beloningen van de daaropvolgende gelogde acties $a_{t+1:t+n-1}$, die zijn gegenereerd door een behavior policy $\pi_\beta$ in plaats van de target policy die wordt geleerd. Dit koppelt de evaluatie van de initiële beslissing aan de suboptimale voortzettingen die volgen. Op heterogene offline data induceert dit een systematische pessimistische bias die groeit met de horizon $n$, wat de prestaties bij lange horizonten potentieel kan verslechteren.

Bestaande remedies kampen met beperkingen:

• Importance Sampling (IS) varianten (bijv. Retrace, V-trace): Vereisen actie-likelihoods, die vaak niet beschikbaar of duur om te berekenen zijn voor expressieve generatieve policies (bijv. diffusie- of flow-matching modellen).
• Long-Horizon Q-learning (LQL): Gebruikt traject-niveau optimaliteitsongelijkheden om value-schattingen te beperken. Hoewel effectief, vereist dit het evalueren van critics op meerdere posities binnen een traject en het construeren van pairwise constraints, wat de computationele overhead verhoogt.

De auteurs vragen zich af: Kan de snelle propagatie van n-step backups behouden blijven terwijl de off-policy bias wordt verminderd, met gebruik van slechts de twee critic-evaluaties die een standaard n-step update uitvoert?

Methodologie: Expectile n-step Q-learning (ENQ)

Het paper stelt Expectile n-step Q-learning (ENQ) voor, een modificatie van standaard n-step TD die de symmetrische gekwadrateerde temporal-difference (TD) loss vervangt door een asymmetrische expectile loss.

Kernmechanisme

In plaats van de gekwadrateerde fout van de TD-residual te minimaliseren, minimaliseert ENQ de asymmetrische expectile loss $\ell_\tau$ op de action-value error:
$$\ell_\tau(u) \triangleq |\tau - \mathbb{I}(u < 0)| u^2$$
waarbij $\tau \in (0, 1)$ het expectile niveau is.

• Target Constructie: Voor een segment van lengte $n$ wordt de target $Y_{t,n}$ geconstrueerd als de som van de gedeeltelijke return $G_{t:t+n}$ en de gebootstrapped waarde bij $s_{t+n}$:
  $$Y_{t,n} = G_{t:t+n} + \gamma^n \bar{Q}^\rho_\theta(s_{t+n}, a^*(s_{t+n}))$$
  waarbij $\bar{Q}^\rho_\theta$ een conservatieve ensemble-gemiddelde is van de target critics.
• Loss Functie: De critic $Q_\theta$ wordt getraind om de $\tau$-expectile van de distributie van deze n-step targets te fitten, geconditioneerd op $(s_t, a_t)$.
  $$L_{ENQ}(\theta) = \mathbb{E}_D \left[ v_t \cdot \frac{1}{K} \sum_{i=1}^K \ell_\tau(\delta_i) \right]$$
  waarbij $\delta_i = \text{sg}[Y_{t,n}] - Q_{\theta,i}(s_t, a_t)$.

Belangrijke Ontwerpkeuzes

1. Asymmetrische Weging: Voor $\tau > 0.5$ ontvangen positieve residuals (onderschatting) een gewicht $\tau$, terwijl negatieve residuals (overschatting) een gewicht $1-\tau$ ontvangen. Dit dwingt de critic om de bovenste staart van de gelogde n-step target distributie te volgen, waardoor suboptimale voortzettingen veroorzaakt door suboptimale behavior acties effectief worden genegeerd terwijl het multi-step reward signaal behouden blijft.
2. Minimale Overhead: In tegenstelling tot LQL evalueert ENQ de critic alleen bij het initiële paar $(s_t, a_t)$ en de finale bootstrap state $s_{t+n}$. Het vereist geen tussenliggende evaluaties, geen actie-likelihoods en geen traject-niveau pairwise penalties.
3. Hyperparameters: De methode introduceert slechts één methode-specifieke hyperparameter, het expectile niveau $\tau$, naast de standaard backup horizon $n$.

Theoretische Bijdragen

Het paper biedt een rigoureuze theoretische analyse van de ENQ operator $T^n_\tau$:

1. Contractie Eigenschap: Er wordt bewezen dat de ENQ operator een $\gamma^n$-contractie is voor elke $\tau \in (0, 1]$, wat de existentie van een unieke begrensde fixed point $Q^n_\tau$ garandeert die via iteratie bereikbaar is.
2. Analyse van Deterministische Dynamiek:
   • Bias Decompositie: Onder deterministische dynamiek kan de pessimisme van standaard n-step TD (bij $\tau=0.5$) exact worden gedecomposeerd in een som van gedisconteerde suboptimaliteit-gaps van de tussenliggende gelogde acties.
   • Optimaliteit bij $\tau=1$: Bij $\tau=1$ verdwijnt de operator bias op in-support paren die gedekt zijn (waar de behavior policy een positieve waarschijnlijkheid legt op optimale voortzettingen). De fixed point $Q^n_1$ voldoet aan de lower-bound ongelijkheid gebruikt door LQL bij separaties $n, 2n, \dots$ door constructie.
   • Monotoniciteit: De fixed point $Q^n_\tau$ is niet-dalend met betrekking tot $\tau$ en is begrensd aan de bovenzijde door de optimale value function $Q^*$.
3. Analyse van Stochastische Dynamiek:
   • De operator bias laat twee-zijdige bounds toe met horizon-onafhankelijke ruisconstanten. De bias is aan de onderzijde begrensd door de behavioral drift (pessimisme) en aan de bovenzijde door een term die afhankelijk is van de variantie van de returns en het expectile niveau $\tau$.
   • Een "veilige" drempelwaarde $\tau_{safe}$ wordt afgeleid om te garanderen dat de operator bias niet-positief (pessimistisch) blijft onder stochastische dynamiek.

Experimentele Resultaten

De auteurs hebben ENQ geëvalueerd over 27 taakinstanties van OGBench en RoboMimic, variërend van manipulatie tot navigatie domeinen.

Setup

• Baselines: Vergeleken met 1-step TD, standaard n-step TD, en Long-Horizon Q-learning (LQL).
• Configuratie: Gebruikte een vaste $\tau = 0.8$ en $n=4$ over alle taken zonder taakspecifieke tuning.
• Policy Extractie: Geëvalueerd met Flow Q-Learning (FQL) en action-chunked varianten.

Belangrijkste Bevindingen

1. Prestaties: ENQ behaalde de hogere geaggregeerde gemiddelde succesratio in 4 van de 5 vergelijkingen tegenover LQL. Significante winsten werden waargenomen op complexe domeinen zoals cube-triple, humanoid-md, en antmaze-giant.
2. Doorvoersnelheid (Throughput): In een gecontroleerde profiling studie met gematchte horizonten en batch groottes, demonstreerde ENQ een 1.27x tot 1.77x hogere training throughput dan LQL. Dit wordt toegeschreven aan het feit dat ENQ minder critic evaluaties per update vereist (alleen start en eind states versus meerdere punten in een traject).
3. Ensemble Schaling: In een schalingsexperiment waarbij de grootte van de critic ensemble werd verhoogd van $K=2$ naar $K=10$, profiteerde ENQ meer significant dan LQL, waarbij een succesrate van 78.0% werd bereikt vergeleken met 59.1% van LQL op cube-triple.
4. Ablaties:
   • Expectile Niveau: Hogere expectiles ($\tau > 0.5$) presteerden over het algemeen beter dan de symmetrische baseline ($\tau=0.5$). Het optimale $\tau$ had de neiging toe te nemen met de horizon $n$.
   • Plaatsing: Het direct toepassen van de expectile loss op de action-value error (ENQ) presteerde substantieel beter dan een n-step IQL-stijl baseline die asymmetrie via een auxiliary state-value function routeerde.
   • Robuustheid: Onder hoge stochastische ruis ($\sigma=0.25$), behield ENQ superieure prestaties (59.0% succes) vergeleken met LQL (5.4%) en standaard n-step TD (48.4%).

Betekenis en Claims

Het paper claimt dat ENQ een eenvoudig, flexibel en computationeel efficiënt alternatief biedt voor bestaande off-policy multi-step methoden. De betekenis ligt in:

• Verminderen van Pessimisme zonder Likelihoods: Het mitigeert de bias geïnduceerd door suboptimale gelogde acties zonder dat er actie-likelihoods of importance weights nodig zijn, wat het compatibel maakt met moderne generatieve policy klassen.
• Computationele Efficiëntie: Door het vermijden van traject-niveau constraints en tussenliggende critic evaluaties, bereikt het een hogere training throughput dan constraint-gebaseerde methoden zoals LQL.
• Theoretische Fundering: Het biedt een duidelijke theoretische link tussen het expectile niveau $\tau$ en de reductie van pessimistische bias, waarbij wordt aangetoond dat de $\tau=1$ fixed point voldoet aan optimaliteitsongelijkheden die vergelijkbaar zijn met die van LQL, maar via een simpelere operator.

De auteurs concluderen dat ENQ een competitieve, drop-in replacement is voor symmetrische n-step TD die effectief de balans vindt tussen de snelheid van reward-propagatie en bias-reductie in off-policy reinforcement learning.