Technische Samenvatting: Informatiegebaseerde Exploratie via Random Features voor Reinforcement Learning

1. Probleemstelling

Reinforcement Learning (RL)-agenten worden geconfronteerd met de fundamentele trade-off tussen exploratie en exploitatie, waarbij een balans vereist is tussen het benutten van bekende beloningen en het ontdekken van nieuwe strategieën. In kleinschalige, discrete omgevingen werkt het principe van "Optimisme in het Gezicht van Onzekerheid" (OFU) effectief om exploratie aan te drijven met behulp van count-gebaseerde bonussen (bijv. $1/\sqrt{n(s)}$). Echter, in continue en hoogdimensionale toestandsruimten wordt directe telling betekenisloos, aangezien de kans dat exact dezelfde toestand twee keer wordt bezocht nul is.

Huidige deep RL-oplossingen pakken dit aan door neurale netwerken (NN's) te gebruiken om representaties van onzekerheid of pseudo-counts te leren (bijv. Random Network Distillation, Bayesiaanse NN's). Hoewel deze empirisch succesvol zijn, lijden ze aan:

• Beperkte Theoretische Interpreteerbaarheid: Ze vertrouwen op complexe, black-box optimalisatiedynamiek.
• Hyperparametergevoeligheid: Prestaties zijn fragiel en sterk afhankelijk van leersnelheden, architecturen en regularisatie, waardoor ze vaak niet overdraagbaar zijn naar andere domeinen.
• Computationele Complexiteit: Sommige theoretisch onderbouwde alternatieven, zoals Gaussian Processes (GP's), lijden aan een kubische computationele complexiteit ($O(n^3)$) met betrekking tot de omvang van de dataset, wat ze ongeschikt maakt voor schaalbare deep RL.

De paper stelt de vraag: Hoe kunnen we alternatieve exploratiemechanismen voor deep RL ontwerpen die theoretische interpreteerbaarheid en computationele tractabiliteit bieden, terwijl ze een competitieve empirische prestatie leveren?

2. Methodologie: Random Feature Information Gain (RFIG)

De auteurs stellen Random Feature Information Gain (RFIG) voor, een exploratiebonus afgeleid van Bayesiaanse kernelmethoden, maar gemaakt schaalbaar voor deep RL via Random Fourier Features (RFF).

Theoretische Fundering

De methode is geworteld in het concept van Information Gain (IG). In een Bayesiaanse setting is de informatie die wordt verkregen door het bevragen van een toestand $x^*$ gedefinieerd als de reductie in de differentiële entropie van de posterior distributie van de onbekende functie $f$. Voor een Gaussian Process (GP) met ruis $\sigma^2$, is de IG:
$$IG(x^* | D_n) = \frac{1}{2} \log \left( 1 + \frac{\sigma_n^2(x^*)}{\sigma^2} \right)$$
waarbij $\sigma_n^2(x^*)$ de posterior variantie is. Deze grootheid dient van nature als een exploratiebonus: een hoge variantie (onzekerheid) levert een hoge informatiewinst op.

Schaalbaarheid via Random Features

Standaard GP-inferentie vereist het inverteren van een $n \times n$ kernelmatrix, wat $O(n^3)$ is. Om dit te overwinnen, gebruikt RFIG Random Fourier Features (RFFs) (Rahimi en Recht, 2007) om verschuivingsinvariante kernels (bijv. RBF) te benaderen met expliciete einddimensionale mappingen $\phi(x) \in \mathbb{R}^D$.

• De kernel $k(x, x')$ wordt benaderd als $\phi(x)^T \phi(x')$.
• De posterior variantie wordt berekend met behulp van de feature matrix $\Phi_n \in \mathbb{R}^{n \times D}$, wat de complexiteit reduceert tot $O(D^3)$, waarbij $D$ het aantal random features is.
• De resulterende benadering voor Information Gain is:
  $$\hat{IG}(x^* | D_n) = \frac{1}{2} \log \left( 1 + \phi(x^*)^T (\Phi_n^T \Phi_n + \lambda I_D)^{-1} \phi(x^*) \right)$$

Algoritmische Integratie

RFIG wordt geïntegreerd in standaard deep RL-algoritmen (specifiek PPO) als een intrinsieke beloningsbonus die wordt toegevoegd aan de extrinsieke beloning: $r_{total} = r + \beta r^+$. Belangrijke implementatiedetails zijn onder meer:

• Toestand Normalisatie: Running statistics worden gebruikt om toestanden te normaliseren, zodat kernelberekeningen niet worden gedomineerd door schaalverschillen.
• Subsampling: Een subset van toestanden wordt gebruikt om de feature matrix $\Phi_t$ bij te werken om te voorkomen dat de information gain bonus te snel verdwijnt naarmate $n$ groeit en om de convergentie van de matrixinversie te versnellen.
• Matrixinversie: De Newton-Schulz iteratie wordt gebruikt voor efficiënte, numeriek stabiele matrixinversie, wat warm-starts en GPU-parallellisatie mogelijk maakt.
• Hyperparameters: De methode vereist minimale afstemming: het aantal features $D$, de regularisatie $\lambda$ en een lengteschaal $\ell$ (geïnitialiseerd proportioneel aan de vierkantswortel van de effectieve inputdimensie).

3. Belangrijkste Bijdragen

1. Nieuwe Exploratiebonus: Introductie van RFIG, een gesloten vorm exploratiebonus afgeleid van Bayesiaanse kerneltheorie die informatiewinst benadert in niet-telbare ruimtes.
2. Schaalbaarheid: Demonstratie dat RFIG kan worden geschaald naar deep RL-scenario's door Bayesiaanse kernelmethoden te combineren met Random Fourier Features, waardoor de computationele complexiteit wordt verminderd van $O(n^3)$ naar $O(D^3)$.
3. Theoretische Garanties: Levering van foutgrenzen die aantonen dat de benaderingsfout van RFIG schaalt met de kwaliteit van de kernelbenadering en afneemt met de steekproefomvang, wat consistentie garandeert.
4. Praktische Implementatie: Een gedetailleerd recept voor de integratie van RFIG in deep RL, inclus inclusief toestand-normalisatie, subsampling-strategieën en efficiënte matrixinversietechnieken, waardoor de backpropagation-complexiteit van neurale onzekerheidsschatters wordt vermeden.

4. Experimentele Resultaten

De auteurs evalueerden RFIG door het te integreren met Proximal Policy Optimization (PPO) over vier domeinen: klassieke controle (Acrobot, MountainCar), sparse-reward continue controle (Brax locomotion), navigatie (PointMaze) en MinAtar taken.

• Prestaties: RFIG behaalde competitieve prestaties ten opzichte van gevestigde deep exploration baselines, waaronder Random Network Distillation (RND), VIME (Variational Information Maximizing Exploration) en #Explo.
• Consistentie: In tegen tegenstelling tot representatie-afhankelijke methoden (VIME, #Explo), die een omgeving-specifiek succes of falen vertoonden (vaak door slechte representatie-lering), demonstreerde RFIG een opmerkelijke stabiliteit over diverse taken zonder catastrofale fouten.
• Efficiëntie: De JAX-implementatie vertoonde geen significante verschillen in executietijd vergeleken met neurale netwerk-benaderingen, ondanks het gebruik van volledige matrixinversie.
• Vergelijking: RFIG kwam in de buurt van of overtrof de prestaties van RND, terwijl het een superieure theoretische interpreteerbaarheid bood.

5. Betekenis en Claims

De paper claimt dat RFIG de heersende aanname uitdaagt dat effectieve exploratie in deep RL steeds meer geavanceerde neurale architecturen met black-box optimalisatiedynamiek vereist.

• Theoretische Rigor: Door gebruik te maken van kernelmethoden biedt RFIG wiskundige strengheid en closed-form oplossingen die vaak ontbreken in populaire deep RL exploratiestrategieën.
• Robuustheid: Het biedt een robuuster alternatief voor neurale methoden door de hyperparameter-broosheid en optimalisatie-instabiliteiten te vermijden die inherent zijn aan het trainen van neurale netwerken voor onzekerheidsschatting.
• Algemene Toepasbaarheid: Het framework suggereert dat geprincipeerde kernelmethoden de empirische prestaties van neurale benaderingen kunnen evenaren zonder dat zij uitgebreide representatie-lering of extensieve hyperparameter-afstemming vereisen.

De auteurs positioneren RFIG niet als een vervanging voor alle deep RL-methoden, maar als een theoretisch gefundeerd, computationeel tractabel alternatief dat de kloof overbrugt tussen klassieke exploratietheorie en moderne deep learning schaalbaarheid.