🧬 biology

Fitting Reinforcement Learning Model to Behavioral Data under Bandits

Deze paper introduceert een nieuwe methode op basis van convexe relaxatie om versterkingsleermodellen efficiënter aan gedragsdata in multi-arm bandit-omgevingen te fitten, wat aanzienlijk minder rekentijd vereist dan bestaande methoden en via een open-source Python-pakket toegankelijk maakt voor onderzoekers.

Oorspronkelijke auteurs: Hao Zhu, Jasper Hoffmann, Baohe Zhang, Joschka Boedecker

Gepubliceerd 2026-03-27

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hao Zhu, Jasper Hoffmann, Baohe Zhang, Joschka Boedecker

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Hoe een slimme computer leert van dierlijke keuzes: Een verhaal over bandieten, geheugen en een snellere manier om te rekenen

Stel je voor dat je in een casino bent met een rij van verschillende gokautomaten (in de wetenschap noemen we dit een "multi-armed bandit" probleem, ofwel: een probleem met veel armen). Je weet niet welke machine het beste uitkeert. Je moet dus proberen, kijken of je wint, en je strategie aanpassen. Dit is precies wat mensen en dieren doen in experimenten: ze proberen verschillende opties om de maximale beloning te krijgen.

Wetenschappers willen graag begrijpen hoe een dier of mens die keuzes maakt. Ze gebruiken daarvoor wiskundige modellen (Reinforcement Learning of RL), die proberen het gedrag na te bootsen. Maar hier zit een probleem: het vinden van de juiste instellingen voor die modellen is als het zoeken naar de naald in een hooiberg, maar dan met een hooiberg die constant verandert. Het is vaak extreem langzaam en moeilijk om de juiste "naald" te vinden.

De auteurs van dit paper (Hao Zhu en zijn team) hebben een nieuwe, slimme manier bedacht om dit probleem op te lossen. Hier is hoe ze dat doen, vertaald naar alledaagse taal:

1. Het Oude Probleem: Het zoeken in het donker

Stel je voor dat je een oude, ingewikkelde machine moet repareren. Je hebt een handleiding (het model), maar de schroeven zitten vast. Om de machine te laten werken zoals hij in het echt deed, moet je precies weten hoe hard je aan elke schroef moet draaien (de parameters).
De oude manier om dit te doen was: "Probeer maar eens een schroef, kijk wat er gebeurt, draai hem dan weer een beetje terug, probeer een andere..." Dit is als een blindeman die door een labyrint loopt. Het kan eeuwen duren voordat hij de uitgang vindt, en vaak blijft hij hangen in een klein holletje (een lokaal minimum) terwijl er een betere oplossing verderop ligt.

2. De Nieuwe Oplossing: Een gladde berg

De auteurs zeggen: "Laten we die hobbelige, donkere berg niet beklimmen, maar de berg eerst gladstrijken."
Ze hebben een wiskundige truc bedacht om het hele probleem te vereenvoudigen. Ze veranderen de ingewikkelde, hobbelige berg in een gladde, ronde heuvel.

De truc: In plaats van direct te proberen de perfecte schroeven te vinden, kijken ze eerst naar een "schaduw" van het probleem. Deze schaduw is wiskundig veel makkelijker te berekenen (het is een "convex" probleem).
Het resultaat: Je kunt nu in een flits de top van die gladde heuvel vinden. Dit geeft je al een heel goed idee van hoe het gedrag van het dier eruit ziet.

3. De Twee Stappen: Eerst de schets, dan de details

De methode werkt in twee stappen, net als het tekenen van een portret:

De schets (De Convexe Benadering): Eerst tekenen ze snel een ruwe schets van het gezicht (de waarden die het dier aan elke optie toekent). Omdat ze de "gladde heuvel" gebruiken, gaat dit razendsnel. Ze krijgen binnen een seconde al een heel goed beeld van hoe het dier denkt.
De details (Het Herstellen van de Parameters): Pas daarna, als ze dat nodig hebben, kijken ze naar die snelle schets en proberen ze de exacte schroeven (de leer-snelheid en gevoeligheid voor beloning) te achterhalen. Omdat ze al een goede schets hebben, is dit tweede deel veel makkelijker en sneller dan het oude "blind zoeken".

4. Waarom is dit zo geweldig?

Snelheid: De oude methoden duidden soms minuten of uren. De nieuwe methode doet het in milliseconden. Het is alsof je van een fiets op een supersnelheidstrein stapt.
Betrouwbaarheid: Omdat ze de "gladde heuvel" gebruiken, komen ze nooit vast te zitten in een klein holletje. Ze vinden altijd de beste mogelijke oplossing voor die schets.
Toegankelijkheid: De auteurs hebben een gratis computerprogramma (een Python-pakket) gemaakt. Dit betekent dat biologen en psychologen, die misschien geen wiskundigen zijn, dit nu gewoon kunnen gebruiken zonder zich zorgen te maken over de ingewikkelde wiskunde erachter.

5. Het Experiment: Dieren in een lab

Ze hebben hun methode getest op data van muizen die water moesten vinden uit twee verschillende buisjes. Soms veranderde het water van plek.

Het resultaat: Hun nieuwe methode was net zo goed in het voorspellen van wat de muis zou doen als de beste, maar langzame methoden. Maar ze deden het duizenden keren sneller.
De les: Je hoeft niet altijd de langste, moeilijkste weg te nemen om het juiste antwoord te krijgen. Soms is een slimme, vereenvoudigde route (de "gladde heuvel") juist de snelste en betrouwbaarste manier om de waarheid te vinden.

Kortom:
Dit paper is een gids voor wetenschappers die willen begrijpen hoe dieren en mensen leren. Ze zeggen: "Vergeet die moeilijke, trage zoektocht. Gebruik onze nieuwe, snelle en slimme manier om de gedachten van proefdieren te ontcijferen, zodat jullie meer tijd overhouden voor het echte onderzoek."

Titel: Fitting Reinforcement Learning Model to Behavioral Data under Bandits

Auteurs: Hao Zhu, Jasper Hoffmann, Baohe Zhang, en Joschka Boedecker
Publicatie: Frontiers in Applied Mathematics and Statistics (voorgesteld preprint)

1. Het Probleem

Het artikel adresseert het fundamentele probleem van het passen (fitting) van Reinforcement Learning (RL) modellen op gedragsdata die gegenereerd zijn in een multi-armed bandit omgeving.

Context: In gedragswetenschappen (neurowetenschappen, psychologie) worden dieren en mensen vaak blootgesteld aan bandit-taken om besluitvorming te bestuderen. RL-modellen (zoals Q-learning) worden gebruikt om dit gedrag te karakteriseren door parameters zoals leersnelheid ( $\alpha$ ) en beloningsgevoeligheid ( $\beta$ ) te schatten.
De Uitdaging: Het formuleren van het aanpassingsprobleem leidt tot een niet-convex optimalisatieprobleem. De doelstelling is om de waarschijnlijkheid (likelihood) van de waargenomen keuzes te maximaliseren, maar de relatie tussen de modelparameters en de waardenfuncties is niet-lineair en niet-convex.
Huidige Beperkingen: Bestaande methoden voor het oplossen van dit probleem zijn vaak:
- Traag: Ze vereisen vaak herhaalde lokale minimalisatie vanuit verschillende startpunten of Bayesiaanse sampling (MCMC), wat rekenkundig zeer intensief is.
- Onduidelijk: Ze kunnen vastlopen in lokale minima, waardoor de gevonden parameters niet de werkelijke onderliggende processen weergeven.
- Moeilijk te implementeren: Debuggen van niet-convex solvers is complex voor onderzoekers zonder diepgaande kennis van optimalisatietheorie.

2. Methodologie

De auteurs stellen een nieuwe aanpak voor die het niet-convex probleem transformeert naar een convex vervangend probleem (convex surrogate), wat efficiënt oplosbaar is.

A. Wiskundige Formulering

Het basisprobleem wordt geformuleerd als het minimaliseren van de negatieve log-likelihood van de waargenomen acties, onderworpen aan de recursieve update-regels van het RL-model (bijv. forgetting Q-learning).

Het probleem bevat variabelen voor de waardenfuncties $x(t)$ en de parameters $\alpha, \beta$ .
De auteurs tonen aan dat het probleem niet-convex is vanwege de specifieke transformatie $F(\alpha, \beta)$ die de parameters koppelt aan de waardenfuncties via een geometrische vervalstructuur.

B. Convex Relaxatie (De Kern van de Methode)

Om het probleem oplosbaar te maken, introduceren de auteurs een convex relaxatie:

Vervanging van variabelen: In plaats van direct $\alpha$ en $\beta$ te optimaliseren, worden de kolommen van de transformatiematrix $G$ geïntroduceerd.
Verzwakking van constraints: De strikte eis dat de matrixkolommen een geometrisch verval moeten vertonen (wat niet-convex is), wordt vervangen door de zwakkere eis dat de waarden in elke rij monotoon dalend moeten zijn (convex).
Het Relaxatieprobleem: Het resulterende probleem (genummerd als (4.3) in het artikel) is een convex optimalisatieprobleem. Dit betekent dat het lokaal gevonden optimum ook het globale optimum is voor dit relaxatieprobleem.
Parameter Herstel: Omdat de relaxatie de originele parameters ( $\alpha, \beta$ ) niet direct oplevert, wordt een tweede stap uitgevoerd: het schatten van de parameters door een lokaal minimalisatieprobleem op te lossen dat de afstand minimaliseert tussen de gevonden relaxatie-oplossing en de originele modelstructuur. Dit kan parallel worden uitgevoerd voor elke parameter.

C. Truncatie van de Horizon

Voor lange experimenten wordt een benadering gebruikt waarbij alleen de laatste $p$ stappen worden meegenomen in de berekening van de waardenfunctie. Dit vermindert de complexiteit van $O(mn^2k)$ naar $O(mp^2k)$ , waarbij $n$ het aantal stappen is en $p \ll n$ .

3. Belangrijkste Bijdragen

Formele Definitie: Het bieden van een generieke wiskundige formulering voor het aanpassen van een breed scala aan RL-modellen (inclusief basis Q-learning, varianten met verschillende leersnelheden, en sub-beloningssignalen).
Theoretische Analyse: Het aantonen dat het oorspronkelijke fitting-probleem niet-convex is, en het ontwikkelen van een rigoureuze convex relaxatie die een ondergrens biedt aan de optimale oplossing.
Efficiënte Oplossingsmethode: Het introduceren van een nieuwe methode die convex optimalisatie gebruikt om de waardenfuncties direct en snel te schatten, gevolgd door een parallelle parameterherstelstap.
Open Source Software: Het ontwikkelen en publiceren van de Python-pakket rlfit (via GitHub), dat onderzoekers in staat stelt RL-modellen toe te passen zonder kennis van convex optimalisatie.

4. Resultaten

De methode is geëvalueerd in zowel gesimuleerde omgevingen (2-arm en 10-arm bandits) als op een reële dataset van muizen die een reversie-leertaak uitvoerden. De resultaten werden vergeleken met twee benchmarks:

Directe Lokale Minimalisatie (D-LOC): Herhaaldelijk oplossen van het niet-convex probleem.
Bayesiaanse Schatting (MC): Monte Carlo Markov Chain sampling.

Kernbevindingen:

Snelheid: De voorgestelde methode (CVX en CVX-T) is significante sneller dan de benchmarks. In complexe scenario's (zoals de SUB-setup) kan de directe minimalisatie (D-LOC) zelfs trager zijn dan de Bayesiaanse methode, terwijl de convex relaxatie in milliseconden tot seconden wordt opgelost.
Nauwkeurigheid:
- De methode bereikt een vergelijkbare nauwkeurigheid in het herstel van de waardenfuncties (gemeten via KL-divergentie) als de state-of-the-art methoden.
- Bij het herstel van de specifieke parameters ( $\alpha, \beta$ ) is er soms een kleine afname in nauwkeurigheid ten opzichte van Bayesiaanse methoden, maar dit is in de praktijk vaak verwaarloosbaar.
- De methode met truncatie (CVX-T) behoudt een hoge nauwkeurigheid zelfs met een korte horizon ( $p=5$ ).
Schaalbaarheid: De methode schaalt veel beter naarmate het aantal armen en de complexiteit van het model toenemen, dankzij de mogelijkheid tot parallelle berekening bij het parameterherstel.

5. Betekenis en Impact

Toegankelijkheid: De beschikbaarheid van de rlfit library democratiseert het gebruik van geavanceerde RL-modellen voor gedragswetenschappers die geen experts zijn in wiskundige optimalisatie.
Efficiëntie: Het oplossen van het fitting-probleem in plaats van het gebruik van trage sampling-methoden maakt het haalbaar om grote datasets (bijv. honderden sessies van vele proefdieren) in real-time of binnen redelijke tijd te analyseren.
Theoretische Inzicht: Het artikel legt een verband tussen RL-modellen en generalized linear models (logistische regressie), en toont aan dat het fit-probleem van RL in feite een convex relaxatie is van een multi-label logistieke regressie.
Toekomstige Toepassingen: De methode dient als een efficiënt bouwsteen voor complexere hiërarchische modellen en inverse reinforcement learning problemen in neurowetenschappen en robotica.

Conclusie: De auteurs bieden een robuuste, snelle en theoretisch onderbouwde oplossing voor een langdurig probleem in de gedragswetenschappen: het snel en betrouwbaar schatten van RL-parameters uit bandit-data, zonder in te leveren op de kwaliteit van de resultaten.