Adaptive integration of model-based and model-free strategies in human reinforcement learning of reachable space

Mensen leren om in bereikbare ruimte rond obstakels te bewegen door adaptief model-gebaseerde en model-vrije versterkingsleerstrategieën te integreren, waarbij de afhankelijkheid van model-vrije strategieën toeneemt met familiariteit, afstand en haptische feedback, wat wijst op een gedeelde maar aan de effectorsystemen aangepaste computatiele architectuur voor ruimtelijk leren.

De kern

De Slimme Hand: Hoe Ons Brein Leert Om Hindernissen te Omzeilen

Stel je voor dat je in een donkere kamer staat en je moet een kopje koffie pakken dat ergens op een tafel staat. Maar de tafel staat vol met obstakels: een stapel borden, een vaas, en een broodrooster. Je kunt het kopje niet direct zien, je moet het voelen terwijl je je hand beweegt. Hoe leer je je hand zo te bewegen dat je het kopje pakt zonder alles om te gooien?

Dit is precies wat wetenschappers onderzochten in deze studie. Ze keken naar hoe mensen leren om te bewegen in de ruimte die ze met hun handen kunnen bereiken (de "bereikbare ruimte"). Ze ontdekten dat ons brein twee verschillende manieren gebruikt om dit te leren, en dat we slim schakelen tussen deze twee manieren.

De Twee Manieren van Leren

Om dit uit te leggen, gebruiken we twee metaforen:

1. De Kaartlezer (Model-Based):
   Stel je voor dat je een gedetailleerde kaart van de kamer hebt. Je kijkt naar de kaart, bedenkt de perfecte route om de hindernissen te omzeilen, en loopt die route af. Dit is Model-Based. Het is slim en flexibel, maar het kost veel tijd en energie om de kaart te lezen en de route te plannen. Als je de kaart niet hebt (bijvoorbeeld in het donker), moet je die eerst zelf tekenen door te tasten.

2. De Gewoonteganger (Model-Free):
   Stel je voor dat je geen kaart hebt, maar dat je gewoon herhaalt wat eerder goed ging. "Aha, als ik linksaf ga en dan een beetje naar rechts, kom ik bij het kopje." Je hoeft niet na te denken; je hand "weet" gewoon wat te doen. Dit is Model-Free. Het is snel en efficiënt, maar als de kamer verandert (bijvoorbeeld als iemand de borden verplaatst), raak je in de war omdat je alleen op je gewoonten vertrouwt.

Het Experiment: De Robot-Maze

De onderzoekers lieten mensen een robot-handvat vasthouden dat verbonden was met een virtuele wereld. De deelnemers moesten een bolletje door een doolhof van blokken naar een doelwit bewegen.

• Situatie A (Zichtbaar): Je zag de muren en blokken op een scherm. Je had direct een "kaart".
• Situatie B (Voelbaar): Je zag niets. Je moest de muren voelen met je hand om te weten waar je was. Je moest je eigen "kaart" tekenen terwijl je bewoog.

Wat Vonden Ze?

Het belangrijkste ontdekking is dat we niet alleen de ene of de andere manier gebruiken. Ons brein is een slimme mixteler.

• Aan het begin: Als je iets nieuws leert (bijvoorbeeld een nieuw doolhof), gebruikt je brein de Kaartlezer. Je pland de route, je denkt na. Dit is traag, maar het werkt goed.
• Na verloop van tijd: Naarmate je meer oefent, schakelt je brein over naar de Gewoonteganger. Je hoeft niet meer na te denken over elke stap; je hand doet het automatisch. Dit is veel sneller.

De verrassende twist:
Zelfs als je de kaart wel kon zien (Situatie A), schakelde het brein toch over naar de snelle, automatische manier zodra je het doolhof een paar keer had gedaan. Het brein leert: "Ik hoef niet meer elke keer de hele route te plannen, ik weet al hoe het gaat."

Waarom is dit belangrijk?

De onderzoekers vergeleken dit met het lopen door een groot stadspark (navigatie).

• Bij het lopen (grote afstanden) blijft het brein langer de "Kaartlezer" gebruiken. Een verkeerde stap kost veel tijd en energie, dus je blijft plannen.
• Bij het bewegen met je hand (kleine afstanden) schakelt het brein veel sneller over naar de "Gewoonteganger". Een kleine fout met je hand kost weinig tijd, dus het is sneller om gewoon te herhalen wat werkt dan om elke keer een nieuwe route te plannen.

De Gouden Regel: "Wat je vaak doet, wordt sneller"

De studie laat zien dat we ons gedrag aanpassen aan de kosten.

• Als je iets vaak doet (een bekende staat in het doolhof), vertrouwt je op je gewoonten (snel).
• Als je iets nog nooit hebt gedaan of ver weg bent van je doel, ga je weer plannen (slim, maar traag).

Samengevat in één zin:
Ons brein is als een slimme chauffeur die eerst een GPS-route uitrekent (Model-Based), maar zodra hij de weg kent, de GPS uitzet en gewoon op zijn gevoel rijdt (Model-Free) om tijd te besparen. Dit geldt voor zowel het lopen door een stad als het pakken van een kopje koffie op je bureau.

Technische samenvatting

Probleemstelling

De meeste vaardige menselijke handelingen vinden plaats binnen de "bereikbare ruimte" (reachable space), het gebied direct rondom het lichaam waar handen met objecten interageren. Hoewel dit gedrag overal voorkomt, is de manier waarop mensen leren om in deze ruimte rondom obstakels te reiken, grotendeels onbestudeerd. Bestaand onderzoek focust zich vaak op simpele bewegingsplanning of op ruimtelijk leren in grote schaal (navigatie). Er is een lacune in het begrijpen van hoe het leren van bereikbare ruimte zich verhoudt tot de twee hoofdstrategieën van versterkingsleren (Reinforcement Learning - RL):

1. Model-gebaseerd (MB): Bouwt een intern model van de omgeving op om acties te plannen (flexibel maar rekenkundig duur).
2. Model-vrij (MF): Cacheert waarden van acties door ervaring (efficiënt maar star).

De vraag is hoe deze strategieën worden geïntegreerd en hoe ze evolueren tijdens het leren van bereikbare ruimte, en of dit verschilt van het leren van navigatie in grote ruimtes.

Methodologie

De auteurs ontwikkelden een nieuw robuust experimenteel paradigma en een hybride modelleringstoolkit:

• Experimentele Opzet:

  • Taak: Een robotische labyrinttaak waarbij deelnemers een handgreep bewogen om een virtuele bol naar een doel te sturen, terwijl ze obstakels moesten vermijden.
  • Voorwaarden: Er waren twee experimentele groepen ($N=18$ per groep):
    1. Visueel-Haptisch: De labyrintblokken en de handpositie waren zichtbaar én voelbaar.
    2. Haptisch: De blokken en handpositie waren onzichtbaar; deelnemers moesten de lay-out uitsluitend via haptische feedback (aanraking) leren.
  • Procedures: Deelnemers voerden 10 proeven uit in elk van de 25 verschillende labyrinten.
  • Vergelijking: De resultaten werden direct vergeleken met een eerder gepubliceerd dataset van een virtuele navigatietaken (waarbij deelnemers door een virtueel labyrint "rezen" in plaats van met hun hand reikten), waarbij de labyrintconfiguraties identiek waren.

• Modellering:

  • De bewegingstrajecten werden gediscretiseerd naar een $10 \times 10$ grid.
  • Er werden twee RL-algoritmen geïmplementeerd: een MB-algoritme (gebruikmakend van waarde-iteratie op basis van een geleerde overgangsprobabiliteit) en een MF-algoritme (Q-learning met eligibility traces).
  • Hybride Modellen: Om de dynamische wisselwerking te meten, werden drie hybride modellen getest:
    1. HC (Hybrid-Constant): Een vaste weging tussen MB en MF.
    2. HD (Hybrid-Dynamic): De weging verandert als functie van het proefnummer (leren over tijd).
    3. HS (Hybrid-Stepwise): Een onafhankelijke MF-weging voor elke stap in de beweging (hoogste granulariteit).
  • De modellen werden gefit met Bayesian Information Criterion (BIC) en Expectation-Maximization (EM) methoden.

Belangrijkste Bijdragen

1. Nieuw Paradigma: Introductie van een robuust robotisch labyrint om RL-strategieën in de bereikbare ruimte te bestuderen, een domein dat eerder computatieel werd genegeerd.
2. Dynamische Integratie: Het aantonen dat mensen niet statisch kiezen tussen MB of MF, maar adaptief schakelen tussen beide strategieën tijdens het leren.
3. Schaal-afhankelijkheid: Het direct vergelijken van bereikbare ruimte met navigatie, wat leidt tot de conclusie dat de computatiele architectuur van ruimtelijk leren gedeeld is, maar gekalibreerd is aan de specifieke kosten en beperkingen van het effectorsysteem (hand vs. lichaam).

Resultaten

• Verschuiving van MB naar MF: In beide voorwaarden (Visueel-Haptisch en Haptisch) verschoven deelnemers tijdens het leren van een overwegend model-gebaseerde strategie naar een model-vrije strategie. Dit werd aangetoond door een significante toename van de MF-weging over de proeven heen (HD-model had de beste fit).
• Invloed van Zintuigen en Familiariteit:
  • De afhankelijkheid van MF-strategieën was hoger in de Haptische conditie dan in de Visueel-Haptische conditie.
  • Op stap-niveau (HS-model) bleek dat MF-strategieën vaker werden gebruikt bij bekende staten (hoge frequentie van bezoeken) en bij staten die verder van het doel verwijderd waren.
• Gedragcorrelaties:
  • Deelnemers met een hogere MF-afhankelijkheid bewogen sneller en maakten minder contact met obstakels. Dit suggereert dat MF-strategieën minder deliberatieve planning vereisen en leiden tot meer geautomatiseerde, consistente bewegingen.
  • In de Haptische conditie waren de paden langer en de bewegingen trager dan in de Visuele conditie, maar de correlatie tussen MF-afhankelijkheid en snelheid bleef bestaan.
• Vergelijking Navigatie vs. Bereikbare Ruimte:
  • Hoewel beide taken dezelfde labyrintstructuur hadden, was de afhankelijkheid van MF-strategieën significant sterker in de bereikbare ruimte dan in de navigatietaken.
  • In de navigatietaken hing de MF-weging alleen samen met familiariteit, niet met de afstand tot het doel. In de bereikbare ruimte was de afstand tot het doel een sterke voorspeller voor MF-gebruik.

Betekenis en Conclusie

De studie toont aan dat de arbitrage (de keuze) tussen model-gebaseerd en model-vrij leren niet universeel is, maar wordt beïnvloed door de biomechanische en informatieve kosten van het specifieke effectorsysteem.

• Kostenstructuur: Handbewegingen zijn biomechanisch goedkoper dan locomotie. Omdat elke extra stap in de bereikbare ruimte minder tijdkost oplevert dan bij wandelen, is de meerwaarde van uitgebreide MB-planning (om een perfect kortste pad te vinden) lager. Dit verklaart waarom mensen sneller overschakelen naar efficiënte, maar minder flexibele MF-strategieën in de bereikbare ruimte.
• Computatiele Architectuur: De resultaten suggereren dat het brein een gemeenschappelijke RL-architectuur gebruikt voor ruimtelijk leren, maar deze dynamisch kalibreert op basis van de context (grootte van de ruimte, beschikbare zintuigen, en bewegingskosten).
• Toekomst: Deze bevindingen bieden een raamwerk voor het bestuderen van motorische leerstoornissen (zoals bij Parkinson of OCD) en benadrukken dat het begrijpen van RL in de dagelijkse "bereikbare ruimte" essentieel is voor een volledig beeld van menselijk gedrag.