Distributional Off-Policy Evaluation with Deep Quantile Process Regression

Titel: Distributionele Off-Policy Evaluatie met Deep Quantile Process Regression

1. Het Probleem

Off-Policy Evaluatie (OPE) is een fundamenteel probleem in Versterkingsleren (RL) waarbij de waarde van een doelpolitiest (target policy) wordt geschat op basis van data die is verzameld onder een andere gedragspolitie (behavior policy). Traditionele OPE-methoden richten zich uitsluitend op het schatten van de verwachte waarde (de gemiddelde totale beloning) van een beleid.

Dit artikel identificeert twee belangrijke beperkingen in de huidige staat van de kunst:

1. Verlies van informatie: Door alleen de verwachting te schatten, gaat informatie verloren over de inherent onzekerheid en variabiliteit van de omgeving. In complexe domeinen zoals gezondheidszorg of risicomanagement is de volledige verdeling van mogelijke uitkomsten vaak belangrijker dan het gemiddelde.
2. Theoretische en praktische lacunes: Bestaande distributionele RL-methoden (DRL), zoals Quantile Regression DQN (QR-DQN), schatten discrete quantielen. Dit leidt tot representatiefouten (pseudo-sample issues) en maakt de theorie lastig te analyseren, vooral wanneer diepe neurale netwerken worden gebruikt. Er ontbreekt een strikte theoretische onderbouwing voor de steekproefcomplexiteit van distributionele OPE in niet-tabulaire settings.

2. Methodologie: DQPOPE

De auteurs introduceren DQPOPE (Deep Quantile Process regression-based Off-Policy Evaluation), een nieuw algoritme dat de volledige verdeling van de terugkeer (return distribution) schat in plaats van alleen het gemiddelde.

Kerncomponenten:

• Quantile Process Regression: In plaats van discrete quantielen te schatten bij vaste niveaus, modelleert DQPOPE de continue quantiel-functie $f(s, a, \tau)$, waarbij $\tau \in (0, 1)$ een continue variabele is die als invoer in het diepe neurale netwerk wordt gestoken. Dit transformeert het oneindig-dimensionale probleem van het leren van een verdeling naar een eindig-dimensionaal regressieprobleem.
• Iteratief Bellman-update: Het algoritme gebruikt een iteratief schema gebaseerd op de distributionele Bellman-operator. Op elke stap $t$ wordt de quantiel-functie bijgewerkt door het minimaliseren van de empirische "check loss" (quantile loss):
  $$\hat{L}_t(f) = \frac{1}{|D_t|} \sum \rho_{\tau_i} (y_i - f(x_i, \tau_i))$$
  Waarbij het doel $y_i = r_i + \gamma \hat{f}_{t-1}(s'_i, a'_i, u_i)$ is, met $u_i \sim Unif(0,1)$.
• Oplossing van het "Pseudo-sample" probleem: Bestaande methoden (zoals QR-DQN) moeten vaak "pseudo-samples" genereren via imputatie, wat rekenkundig duur is en fouten introduceert. DQPOPE omzeilt dit door de quantiel-niveau $\tau$ direct als invoer te gebruiken. Hierdoor kan het netwerk exacte steekproeven genereren uit de geschatte verdeling zonder discretisatie, wat de representatie van de volledige verdeling perfect maakt.
• Diepe ReLU-netwerken: De methode maakt gebruik van diepe neurale netwerken met ReLU-activatie om de complexe, niet-lineaire structuur van de distributionele Bellman-operator te benaderen.

3. Belangrijkste Bijdragen

1. Introductie van Quantile Process Regression voor OPE: Het is de eerste methode die de quantiel-procesregressie toepast op off-policy evaluatie, waardoor de volledige verdeling continu wordt gemodelleerd in plaats van discret.
2. Strenge Theoretische Analyse: De auteurs bieden een niet-asymptotische statistische garantie voor DQPOPE. Ze analyseren de steekproefcomplexiteit (sample complexity) en tonen aan dat het schatten van de volledige verdeling even efficiënt kan zijn als het schatten van alleen het gemiddelde.
   • Ze bewijzen dat de excess risk (extra risico) een snelle convergentiesnelheid bereikt van $O(N^{-\frac{\beta}{2\beta+d}})$, vergelijkbaar met de optimale snelheid voor standaard OPE, onder bepaalde gladheidsaannames.
3. Theoretisch Voordeel: Ze tonen theoretisch aan dat DQPOPE de volledige verdeling kan schatten met dezelfde steekproefgrootte die traditionele methoden nodig hebben om slechts het gemiddelde te schatten.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat DQPOPE robuuster is tegen zware staarten (heavy-tailed rewards) en uitbijters dan waarde-gebaseerde methoden.

4. Resultaten

De resultaten zijn getest in drie scenario's:

• CartPole (Simulatie): DQPOPE toonde een exponentiële afname van de fout naarmate de steekproefgrootte toenam. De methode slaagde erin de ware terugkeer-verdeling nauwkeurig te reconstrueren, zelfs bij off-policy data met een verschuiving in verdeling.
• Toy Example (Zware staarten): In een omgeving met Student's t-verdelingen (zware staarten) presteerde DQPOPE aanzienlijk beter dan DOPE (Deep Off-Policy Evaluation, waarde-gebaseerd). Door het middelen van meerdere quantielen, was DQPOPE veel minder gevoelig voor uitbijters en bereikte het een lagere Mean Squared Error (MSE).
• MIMIC-III (Real-world Data - Sepsis): Op een dataset van kritieke zorgpatiënten met sepsis werd DQPOPE vergeleken met DOPE en DQOPE (discrete quantielen).
  • DQPOPE onderscheidde de optimale DDQN-politiek beter van andere politiekken.
  • Het leverde robuustere en nauwkeurigere schattingen van de politiewaarde op.
  • De geschatte acties van DQPOPE kwamen beter overeen met de klinisch zinvolle strategieën van de target policy dan de andere methoden.

5. Betekenis en Impact

Dit werk is significant voor de volgende redenen:

• Overbrugging van Theorie en Praktijk: Het sluit de kloof tussen de theoretische voordelen van distributionele RL en de praktische implementatie met diepe netwerken. Het lost het "pseudo-sample" probleem op dat eerder een barrière vormde.
• Efficiëntie: Het weerlegt de intuïtie dat het schatten van een volledige verdeling per definitie veel meer data vereist dan het schatten van een gemiddelde. DQPOPE bereikt een vergelijkbare steekproefefficiëntie.
• Robuustheid: Voor toepassingen waar risico en onzekerheid cruciaal zijn (zoals gezondheidszorg, finance en autonome systemen), biedt het schatten van de volledige verdeling een veel rijker beeld voor besluitvorming dan alleen een punt-schatting.
• Theoretische Fundamenten: De paper legt een nieuw theoretisch fundament voor distributionele off-policy evaluatie, inclusief analyse van convergentiesnelheden en steekproefcomplexiteit in niet-tabulaire settings, wat een belangrijke stap is voor de verdere ontwikkeling van veilige en betrouwbare RL-systemen.

Kortom, DQPOPE biedt een geavanceerde, theoretisch onderbouwde en empirisch superieure methode voor het evalueren van beleidsstrategieën in complexe, onzekere omgevingen door gebruik te maken van de volledige verdeling van mogelijke uitkomsten.