🤖 machine learning

Generalised Linear Models in Deep Bayesian RL with Learnable Basis Functions

Dit artikel introduceert GLiBRL, een nieuw Deep Bayesian Reinforcement Learning-framework dat leerbare basisfuncties en gegeneraliseerde lineaire modellen gebruikt om volledig hanteerbare Bayesiaanse inferentie en exacte evaluatie van de marginale waarschijnlijkheid te bereiken, waardoor de onduidelijke taakrepresentaties van eerdere methoden worden overwonnen en de state-of-the-art-prestaties op MuJoCo- en MetaWorld-benchmarks aanzienlijk worden verbeterd.

Oorspronkelijke auteurs: Jingyang You, Hanna Kurniawati

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jingyang You, Hanna Kurniawati

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot leert lopen of voorwerpen oppakken. In de echte wereld is elke robot iets anders, en is elke vloer iets glad of hobbelig. Standaard AI-training behandelt de robot en de vloer vaak alsof ze perfect en onveranderlijk zijn. Als je die robot op een nieuwe, iets andere vloer plaatst, struikelt hij vaak en faalt hij omdat hij niet heeft geleerd hoe hij zich moet aanpassen aan de verschillen.

Dit artikel introduceert een nieuwe methode genaamd GLiBRL (Generalised Linear Models in Deep Bayesian RL with Learnable Basis Functions). Denk hierbij aan een "super-adapterend" trainingssysteem dat robots helpt precies te achterhalen wat een nieuwe situatie anders maakt dan de situaties die ze eerder hebben gezien, en vervolgens hun gedrag direct aan te passen.

Hieronder volgt een uiteenzetting van hoe het werkt, met eenvoudige analogieën:

1. Het Probleem: Het "Raadselspel" van Oude Methoden

Eerdere geavanceerde methoden probeerden dit op te lossen met een "black box"-benadering. Stel je voor dat je probeert de regels van een nieuw bordspel te raden door alleen naar de stukken te kijken. Je krijgt misschien een algemeen idee, maar je gok is wazig. In technische termen gebruiken deze methoden complexe wiskunde (genaamd variational inference) om het antwoord te benaderen.

De Tekortkoming: Omdat ze alleen maar gokken (benaderen), is het begrip van de robot voor de nieuwe taak vaak "onscherp". Het is alsof je probeert een vriend te herkennen in een mistige spiegel; je weet dat het een persoon is, maar je kunt niet zeggen of het je vriend is of een vreemde. Dit leidt tot slechte prestaties wanneer de robot een nieuwe taak onder ogen krijgt.

2. De Oplossing: GLiBRL's "Kristalheldere" Aanpak

GLiBRL verandert het spel door exacte wiskunde te gebruiken in plaats van wazig gokken.

De Analogie: Stel je voor dat je een detective bent. Oude methoden proberen de zaak op te lossen door naar onscherpe foto's te kijken en een "beste gok" te doen over wie de dader is. GLiBRL heeft echter een krachtige microscoop. Het gokt niet; het berekent de exacte waarschijnlijkheid van wie de dader is, gebaseerd op het bewijs.
Hoe het werkt: De robot verzamelt gegevens (zoals gezette stappen of ontvangen beloningen). GLiBRL gebruikt een speciale wiskundige truc (Generalised Linear Models met Learnable Basis Functions) om deze gegevens te verwerken. Het scheidt het "leer"-gedeelte (de regels achterhalen) van het "beslissings"-gedeelte (kiezen wat te doen). Hierdoor kan het de wiskunde perfect uitvoeren zonder te hoeven gokken.

3. De "Magie" van Permutatie-invariantie

Een van de grootste claims van het artikel is dat GLiBRL permutatie-invariant is.

De Analogie: Stel je voor dat je een zak met knikkers hebt. Als je ze één voor één eruit haalt, maakt de volgorde dan uit?
- Oude Methoden: Als je eerst een rode knikker eruit haalt en dan een blauwe, denkt de computer: "Oké, Rood dan Blauw." Als je Blauw dan Rood haalt, raakt het in de war. Het behandelt de volgorde van gebeurtenissen als een geheim code.
- GLiBRL: Het kijkt naar de zak met knikkers. Het maakt niet uit of je de rode er eerst of als laatste uit hebt gehaald. Het weet gewoon: "Ik heb één rode en één blauwe."
Waarom dit belangrijk is: Hierdoor kan GLiBRL naadloos werken met twee zeer verschillende soorten leeralgoritmen (genaamd "on-policy" en "off-policy"). Het is als een universele adapter die in elk stopcontact past, waardoor de methode veel flexibeler en efficiënter is.

4. De "Vingerafdruk"-Ontdekking

De auteurs ontdekten een prachtige wiskundige link tussen hoe de robot een taak "ziet" en de daadwerkelijke gegevens die het heeft verzameld.

De Analogie: Stel je voor dat elke taak (zoals "snel lopen" versus "langzaam lopen") een unieke vingerafdruk heeft. GLiBRL maakt een kaart waar de afstand tussen twee vingerafdrukken op de kaart exact hetzelfde is als het verschil in de gegevens die de robot heeft gezien.
De Claim: Dit is de eerste keer dat iemand dit soort directe, gesloten-vorm link heeft bewezen voor dit type online leren. Dit betekent dat de interne "kaart" van taken van de robot perfect is afgestemd op de realiteit. Als twee taken op de gegevens lijken, weet de robot dat ze vergelijkbaar zijn; als ze er anders uitzien, weet de robot dat ze verschillend zijn.

5. De Resultaten: Sneller en Slimmer

Het team testte GLiBRL op twee beroemde robottrainingsterreinen:

MuJoCo: Gesimuleerde robots die leren lopen (zoals een cheeta of een mier).
MetaWorld: Gesimuleerde robots die leren voorwerpen te manipuleren (zoals een deur openen of een blok oppakken).

Het Resultaat:
GLiBRL werkte niet alleen; het verpletterde de concurrentie.

In de looptests behaalde het tot 1,8 keer betere resultaten dan de vorige beste methoden, vaak met veel minder trainingsstappen.
In de tests voor het manipuleren van voorwerpen behaalde het tot 1,1 keer hogere slagingspercentages.
Het belangrijkste is dat het veel sneller en nauwkeuriger leerde om te onderscheiden tussen verschillende taken dan de andere methoden, wat bewijst dat de "exacte wiskunde"-benadering superieur is aan het "wazig gokken" van oudere methoden.

Samenvatting

Kortom, GLiBRL is een nieuwe manier om AI-agenten te trainen die wazig, benaderend gokken vervangt door precieze, exacte wiskundige berekeningen. Door het leerproces van de robot te behandelen als een perfecte detective die een zaak oplost met een microscoop, stelt het de robot in staat om nieuwe situaties direct te begrijpen, zijn gedrag perfect aan te passen en alle eerdere methoden te overtreffen in zowel loop- als voorwerpmanipulatietaken.

Technische Samenvatting: Generalised Linear Models in Deep Bayesian RL met Leerbare Basisfuncties (GLiBRL)

Probleemstelling

Bayesiaanse Versterkende Leer (BRL) biedt een principiële raamwerk voor generalisatie in Meta-Versterkende Leer (Meta-RL) door expliciet onzekerheid over overgangs- en beloningsdynamica te modelleren. Echter, klassieke BRL-methoden worden beperkt door hun afhankelijkheid van bekende functionele vormen voor deze modellen, wat hun toepasbaarheid op diverse taken beperkt. Recente diepe BRL-benaderingen proberen deze vormen te leren met behulp van neurale netwerken, maar staan voor aanzienlijke theoretische en praktische hindernissen:

Onberekenbare Inferentie: Het direct toepassen van neurale netwerken op de gezamenlijke ruimte van data en taakparameters maakt exacte Bayesiaanse inferentie onberekenbaar, waardoor men afhankelijk wordt van Variational Inference (VI).
VI-beperkingen: VI introduceert uitdagingen zoals Monte Carlo-schattingen met hoge variantie, amortisatiekloven en posterior-collapse, wat vaak resulteert in onduidelijke taakrepresentaties die de prestaties van het beleid verslechteren.
Permutatievariantie: Veel diepe BRL-methoden gebruiken sequentiële modellen (bijv. RNN's, Transformers) om taakgeschiedenissen samen te vatten. Deze zijn permutatievariant, waardoor ze incompatibel zijn met monster-efficiënte off-policy algoritmen zoals Soft Actor-Critic (SAC) zonder ernstige prestatieverlies.
Ruisveronderstellingen: Bestaande methoden veronderstellen vaak bekende ruisverdelingen of fixeren de gewichten van neurale netwerken tijdens de testfase (wat effectief Maximum Likelihood Schatting uitvoert in plaats van Bayesiaanse inferentie), wat leidt tot voorspellingsfouten bij onzichtbare taken.

Methodologie: GLiBRL

De auteurs stellen GLiBRL (Generalised Linear Models in Deep Bayesian RL with Learnable Basis Functions) voor, een raamwerk dat volledig berekenbare, exacte Bayesiaanse inferentie mogelijk maakt terwijl het het representatievermogen van deep learning behoudt.

Kernarchitectuur

GLiBRL dwingt een generaliseerde lineaire relatie af tussen taakparameters en data-kenmerken. In plaats van neurale netwerken direct toe te passen op de gezamenlijke parameter-data-ruimte, scheidt het deze:

Leerbare Basisfuncties: Neurale netwerken ( $\phi_T, \phi_R$ ) fungeren als expressieve, leerbare basisfuncties die ruwe state-action-data afbeelden naar een kenmerkruimte ( $C_T, C_R$ ).
Lineaire Parametrisatie: De overgangs- en beloningsmodellen zijn lineair in deze geleerde kenmerken met betrekking tot de taakparameters ( $\theta_T, \theta_R$ ).
Conjugate Priors: De methode maakt gebruik van Normal-Wishart-priors voor de taakparameters (gemiddelde en ruiscovariantie). Deze keuze is conjugaat met de Matrix-Normale likelihood, wat exacte posterior-updates mogelijk maakt zonder variational benadering.

Belangrijke Technische Componenten

Exacte Posterior-updates:
- De posterior over taakparameters wordt sequentieel bijgewerkt naarmate nieuwe monsters aankomen.
- Door gebruik te maken van het Matrix Inversie Lemma, wordt de computationele complexiteit van online updates gereduceerd tot $O(\max(D_S^2, D_T^2))$ voor overgangen en $O(D_R^2)$ voor beloningen, wat schaalbaarheid garandeert.
- Cruciaal voert GLiBRL exacte Bayesiaanse inferentie uit over de modelruis (covariantiematrices $T_\sigma, R_\sigma$ ), wat eerder werk (zoals ALPaCA) generaliseert dat uitging van bekende ruis.
ELBO-vrije Doelfunctie:
- Omdat de posterior berekenbaar is, berekent GLiBRL de exacte marginale log-likelihood in gesloten vorm.
- De modelparameters ( $\phi_T, \phi_R$ ) worden geoptimaliseerd door deze marginale likelihood te maximaliseren (Vergelijking 19), waarbij de noodzaak voor Variational Inference en de Evidence Lower Bound (ELBO) volledig wordt omzeild. Dit elimineert problemen zoals posterior-collapse.
Permutatie-invariantie:
- De exacte Bayesiaanse update hangt alleen af van de toereikende statistieken van de data (de kenmerkmatrices en doelwaarden), niet van de volgorde van monsters.
- Deze permutatie-invariantie stelt GLiBRL in staat om naadloos te integreren met zowel on-policy (bijv. PPO) als off-policy (bijv. SAC) RL-algoritmen, een aanzienlijk voordeel ten opzichte van methoden die vertrouwen op sequentiële geschiedenis-encoders.
Structurele Correspondentie:
- Het artikel stelt een gesloten-formule-identiteit vast die de L2-afstand tussen taakrepresentaties (afgeleid van posterior-gemiddelden) relateert aan de op kernel gebaseerde empirische correspondentie (specifiek, signed-measure Cosine Mean Similarity en Maximum Mean Discrepancy) tussen taakmonsters in de geleerde kenmerkruimte.
- Dit zorgt ervoor dat taakrepresentaties geen willekeurige embeddings zijn, maar structureel verbonden zijn met de verschillen in de onderliggende data-monsters.

Belangrijkste Bijdragen

Berekenbare Diepe BRL: Introductie van een raamwerk dat exacte Bayesiaanse inferentie bereikt over taakparameters en modelruis in diepe RL-situaties, waardoor variational benaderingen overbodig worden.
Leerbare Basisfuncties: Een innovatieve architectuur die neurale netwerken gebruikt om kenmerkbasissen te leren terwijl de wiskundige berekenbaarheid van lineaire Bayesiaanse modellen behouden blijft.
Permutatie-invariante Integratie: De eerste diepe BRL-methode die naadloze integratie mogelijk maakt met off-policy algoritmen zoals SAC vanwege zijn inherente permutatie-invariantie.
Theoretisch Structureel Resultaat: De afleiding van de eerste gesloten-formule-relatie in online diepe BRL/Meta-RL die de geometrische afstand van taakrepresentaties koppelt aan de op kernel gebaseerde gelijkenis van taakmonsters.
Ruisinferentie: Expliciete Bayesiaanse inferentie over modelruis, wat de auteurs aantonen dat het voorspellingsfouten in zowel overgangs- als beloningsmodellen vermindert in vergelijking met methoden die uitgaan van vaste ruis.

Experimentele Resultaten

GLiBRL werd geëvalueerd op de MuJoCo-locomotie-benchmark en de MetaWorld-manipulatie-benchmark (ML10 en ML45).

MuJoCo: GLiBRL (gecombineerd met SAC) bereikte state-of-the-art prestaties, waarbij het PPO-gebaseerde baselines (RL2, TrMRL, VariBAD) met tot 1,5× in opbrengst overtrof, terwijl het slechts 10% van hun trainingsstappen gebruikte ( $10^6$ versus $10^7$ ). Het overtrof ook de SAC-gebaseerde PEARL-methode met tot 1,8×.
MetaWorld: In de uitdagende ML10- en ML45-instellingen matchte of overtrof GLiBRL (gecombineerd met PPO) de prestaties van sterke baselines, waaronder MAML, RL2 en VariBAD. Specifiek behaalde het tot een 1,1× verbetering in success rate op MetaWorld.
Kwalitatieve Analyse: Visualisaties van taakrepresentaties (via PCA) toonden aan dat GLiBRL na minimale training ( $5 \times 10^5$ stappen) succesvol continue taakparameters (bijv. doel snelheden) ontknoopt in een gestructureerde latente ruimte, terwijl sterke baselines zelfs met aanzienlijk grotere trainingsbudgetten geen zinvolle scheiding bereikten.
Ablatiestudies: Het verwijderen van de inferentie over modelruis (GLiBRL_wo_NI) resulteerde in hogere voorspellingsfouten voor zowel overgangen als beloningen, wat de noodzaak van de Normal-Wishart-prior voor accurate modellering bevestigt.

Betekenis en Beweringen

Het artikel beweert dat GLiBRL een aanzienlijke vooruitgang in diepe Bayesiaanse RL vertegenwoordigt door de spanning op te lossen tussen de flexibiliteit van deep learning en de rigorousheid van Bayesiaanse inferentie.

Theoretische Rigor: Het biedt het eerste structurele resultaat in online diepe BRL dat representatiegeometrie koppelt aan steekproefgelijkenis, waardoor ervoor wordt gezorgd dat de geleerde taakembeddings theoretisch onderbouwd zijn.
Praktische Efficiëntie: Door variational inference te vermijden, vermijdt de methode de instabiliteit en optimalisatiesmoeilijkheden die geassocieerd worden met ELBO-maximalisatie, wat leidt tot stabieler leren en betere monster-efficiëntie.
Algoritmische Compatibiliteit: De permutatie-invariante aard van de exacte update maakt het gebruik mogelijk van zeer efficiënte off-policy algoritmen (SAC), die eerder moeilijk te integreren waren met diepe BRL-methoden.
Generalisatie: Het vermogen om modelruis af te leiden en basisfuncties te leren stelt de agent in staat om effectief te generaliseren naar onzichtbare taken met onbekende overgangs- en beloningsdynamica, waarbij het huidige state-of-the-art Meta-RL-methoden op standaard benchmarks overtreft.

De auteurs concluderen dat hoewel GLiBRL momenteel model-vrij is in zijn beleidsleren, zijn geleerde overgangs- en beloningsmodellen het goed geschikt maken voor toekomstige integratie met modelgebaseerde planning, mits computationele knelpunten bij het bemonsteren uit hoogdimensionale Wishart-verdelingen worden aangepakt.