Explore-exploit instability reveals computational decision-making heterogeneity in early psychosis

Deze studie toont aan dat cognitieve heterogeniteit bij vroege psychose wordt gekenmerkt door specifieke computatietypes met verhoogde onzekerheidsgevoeligheid en besluitvormingsruis, wat leidt tot een te vroege overgang van exploitatie naar exploratie in plaats van gebrekkige beloningslearning.

De kern

De Verwarde Koerier: Waarom mensen met vroege psychose soms te snel van koers veranderen

Stel je voor dat je een koerier bent in een grote stad. Je hebt drie verschillende routes om pakketten te bezorgen. Soms is route A de snelste, maar morgen kan het zijn dat route B dat is, omdat er een file staat of een brug dicht is. Je doel is om zo veel mogelijk pakketten af te leveren.

Om dit goed te doen, moet je een balans vinden tussen twee dingen:

1. Exploitatie (Uitbuiten): Je blijft de route gebruiken die je weet dat nu het beste werkt.
2. Exploratie (Verkennen): Je probeer een andere route, misschien omdat je denkt dat de huidige route binnenkort minder goed wordt.

Deze afweging noemen wetenschappers de "explore-exploit trade-off". Het is als het kiezen tussen je favoriete restaurant bezoeken (zekerheid) of een nieuw restaurant proberen (kans op iets beters, maar ook risico).

Wat ging er mis in deze studie?

De onderzoekers keken naar 75 mensen met een vroege vorm van psychose (EP) en 68 mensen zonder psychische problemen. Ze lieten ze een spelletje spelen waarbij ze moesten kiezen tussen drie opties die wisselende beloningen gaven.

Het verrassende resultaat?

• Beide groepen verdienden ongeveer evenveel punten.
• Maar de mensen met psychose schakelden veel vaker van optie. Ze waren onrustiger. Ze lieten een goede optie te snel los, zelfs als het goed ging.

De Oorzaak: Geen slecht geheugen, maar een overgevoelige radar

Vroeger dachten wetenschappers dat mensen met psychose gewoon slecht leerden welke optie goed was (alsof ze hun weg kwijt waren). Maar dit onderzoek toont aan dat dat niet zo is. Ze leerden prima welke route goed was.

Het probleem zat hem in de overgang. Ze stapten te snel van "blijven doen wat werkt" over naar "proberen iets nieuws". Waarom? De computermodellen in deze studie onthulden twee hoofdoorzaken:

1. Overgevoeligheid voor onzekerheid (De angstige radar):
   Stel je voor dat je een radar hebt die onzekerheid meet. Bij mensen met psychose is deze radar te gevoelig. Zelfs als de onzekerheid heel klein is, denkt hun brein: "Oh nee, de wereld is chaotisch! Ik moet nu iets anders proberen!" Ze verlaten de veilige haven te vroeg, omdat ze denken dat de storm al begint, terwijl het nog rustig weer is.
2. Beslissingsruis (De statische in de radio):
   Soms is het niet eens angst, maar gewoon "ruis". Alsof je radio een beetje kraakt en je niet meer goed hoort welk station je moet kiezen. De keuze wordt dan willekeuriger. Ze kiezen niet meer puur op basis van wat ze hebben geleerd, maar soms ook zomaar.

Drie Typen Verwarde Koeriers

Het meest interessante deel van het onderzoek is dat niet iedereen met psychose hetzelfde werkt. De onderzoekers deelden de deelnemers in drie groepen (subtypes) in, gebaseerd op hoe hun brein deze beslissingen nam:

• Type 1: De Normale Koerier (De "Normatieve" groep)
  Deze mensen gedroegen zich bijna als gezonde mensen. Ze waren stabiel. Curieus genoeg hadden ze vaak meer te maken met stemmingsproblemen (zoals bipolaire stoornis) dan met de typische "schizofrenie"-symptomen. Hun besluitvorming was niet kapot, maar hun emoties wel.
• Type 2: De Waakzame Koerier (De "Onzekerheids-gevoelige" groep)
  Deze mensen hadden een heel scherpe radar voor onzekerheid. Ze waren bang dat de situatie veranderde en switchten daarom te snel. Ze hadden vaak een lange geschiedenis met psychiatrische opnames. Ze leerden prima, maar hun angst voor verandering liet ze te snel loslaten.
• Type 3: De Ruis-Koerier (De "Beslissings-ruis" groep)
  Deze groep had het zwaarst. Ze hadden niet alleen last van onzekerheid, maar ook van die "statische ruis" in hun hoofd. Ze hadden moeite om te leren wat goed was (beloningen) en hadden de meeste negatieve symptomen (zoals gebrek aan motivatie).

Waarom is dit belangrijk?

Vroeger behandelden we iedereen met psychose alsof ze allemaal hetzelfde brein hadden. Dit onderzoek zegt: "Nee, kijk eens hoe verschillend ze zijn!"

• Als iemand Type 2 is (te bang voor onzekerheid), helpt het misschien om te leren dat de wereld niet zo snel verandert als ze denken.
• Als iemand Type 3 is (veel ruis), heeft diegene misschien medicatie of therapie nodig om die "ruis" te verminderen en de leerprocessen te verbeteren.

Conclusie

Deze studie laat zien dat het brein van mensen met vroege psychose niet "kapot" is in één grote zin, maar dat er specifieke, meetbare manieren zijn waarop de schakelaar tussen "blijven doen" en "iets nieuws proberen" uit balans raakt.

Door deze kleine, onzichtbare mechanismen (zoals een te scherpe onzekerheids-radar) te meten, kunnen artsen in de toekomst misschien een persoonlijk behandelplan maken, in plaats van één medicijn voor iedereen. Het is alsof we niet meer zeggen: "U heeft een autopech," maar precies kunnen zeggen: "U heeft een lekke band, en die andere meneer heeft een kapotte motor." En dat maakt het repareren veel makkelijker.

Technische samenvatting

Titel

Explore-exploit-instabiliteit onthult heterogeniteit in computationele besluitvorming bij vroege psychose

1. Het Probleem en de Achtergrond

Psychose-spectrumstoornissen (zoals schizofrenie) worden gekenmerkt door aanzienlijke klinische en neurofysiologische heterogeniteit in symptomen, ziekteverloop en respons op behandeling. Traditionele diagnostische categorieën vangen deze variabiliteit vaak niet goed op. Een specifiek gedragspatroon dat vaak wordt waargenomen bij patiënten is een verstoring van de afweging tussen exploitatie (vasthouden aan bekende beloningen) en exploratie (het verkennen van nieuwe opties). Patiënten vertonen vaak overmatige keuzewisselingen (switching), maar de onderliggende computationele mechanismen hiervan zijn onduidelijk. Bestaande theorieën schrijven dit toe aan ofwel gebrekkig beloningsleren of verhoogde besluitvormingsruis, maar het is niet bekend welke mechanismen onafhankelijk bijdragen aan deze instabiliteit of hoe ze variëren tussen individuen.

2. Methodologie

Deelnemers en Opzet:

• Steekproef: 75 deelnemers met vroege psychose (EP) en 68 neurotypische controles.
• Tijdsbestek: Twee sessies (ongeveer 3 weken apart) als onderdeel van een longitudinale fMRI-studie.
• Taak: Een dynamische "three-armed restless bandit" taak. In deze taak moeten deelnemers kiezen tussen drie opties (Gabor-patches) met verborgen, stochastische beloningskansen die onafhankelijk van elkaar over de tijd variëren (drift). Deelnemers moesten hun strategie aanpassen om punten te maximaliseren.

Computationele Modellering:
De auteurs pasten geavanceerde computationele modellen toe om de trial-voor-trial beslissingen te analyseren:

1. Hidden Markov Model (HMM): Gebruikt om latente toestanden (exploratie vs. exploitatie) af te leiden uit de keuzeseries. Dit onthulde de overgangsdynamiek tussen deze toestanden.
2. Bayesiaanse Leraar (Kalman-filter): Een model dat zowel de verwachte waarde als de onzekerheid schat en het leertempo aanpast op basis van die onzekerheid. Dit model bevat drie vrije parameters:
   • $\phi$: Onzekerheidsgevoeligheid (hoe sterk onzekerheid de keuze beïnvloedt).
   • $\omega$: Perseveratie (keuzestickiness, onafhankelijk van waarde).
   • $\beta$: Inverse temperatuur (beheerst de besluitvormingsruis/stochasticiteit; een lagere $\beta$ betekent meer ruis).
3. Vergelijking met RL-modellen: De Bayesiaanse modellen werden vergeleken met traditionele Reinforcement Learning (RL) modellen met vaste leertempo's om te bepalen welk model de data het beste verklaarde.

Statistische Analyse:

• Gebruik van gegeneraliseerde lineaire gemengde modellen (GLMM) voor gedragsdata.
• Hiërarchische clustering (Ward's linkage) op basis van computationele parameters en cognitieve testen (verbaal geheugen, executieve functie, verwerkingssnelheid) om subtypes te identificeren.

3. Belangrijkste Resultaten

Gedragsresultaten:

• Hoewel beide groepen vergelijkbaar presteerden in totale beloningen (boven het willekeurige niveau), vertoonden EP-deelnemers significant meer keuzewisselingen dan controles.
• EP-deelnemers maakten minder vaak de optimale keuze.
• De verhoogde wisseling gebeurde ongeacht de uitkomst (ook na winst), wat suggereert dat het niet puur een vermijding van verlies is.

Computationele Mechanismen:

• Instabiliteit in exploitatie: EP-deelnemers vertoonden een verhoogde waarschijnlijkheid om over te schakelen van een exploitatie-toestand naar een exploratie-toestand, zelfs wanneer ze een gunstige optie hadden gevonden. Ze verlieten een gunstige optie te vroeg.
• Geen tekort in beloningsleren: De overgang van exploratie naar exploitatie was intact, wat suggereert dat het probleem niet ligt in het leren welke optie goed is, maar in het vasthouden aan die keuze.
• Bestaande modellen: Het Bayesiaanse model met onzekerheidsgevoeligheid en perseveratie paste de data van de EP-groep beter aan dan traditionele RL-modellen.
• Onafhankelijke drivers: Twee factoren bleken onafhankelijk bij te dragen aan de over-exploratie bij EP:
  1. Verhoogde onzekerheidsgevoeligheid ($\phi$): EP-deelnemers reageerden sterker op geschatte onzekerheid, wat leidde tot vroegtijdig verkennen.
  2. Verhoogde besluitvormingsruis (lagere $\beta$): Beslissingen waren minder consistent gebaseerd op de geleerde waarde.
  • Er was geen significant verschil in perseveratie ($\omega$) tussen de groepen.

Computational Subtypes (Clustering):
De hiërarchische clustering identificeerde drie distincte computationele subtypes, zowel bij controles als bij EP, maar met verschillende distributies:

1. Subtype 1 (Normatief): Lage onzekerheidsgevoeligheid, lage ruis, sterke cognitieve prestaties. Oververtegenwoordigd bij controles en bipolaire stoornis met psychose.
2. Subtype 2 (Onzekerheidsgevoelig): Hoge onzekerheidsgevoeligheid, trage verwerking, slecht geheugen, maar intacte executieve functie. Geassocieerd met een hogere frequentie van psychiatrische opnames.
3. Subtype 3 (Hoge Ruis): Hoge besluitvormingsruis en brede cognitieve tekorten. Geassocieerd met ernstigere negatieve symptomen en tekorten in beloningsleren (moeite om exploitatie vol te houden).

Klinische Correlaties:

• Verhoogde overgang naar exploratie en hoge besluitvormingsruis correleerden met slechtere real-world functionering en ernstiger negatieve symptomen.
• De subtypes vertoonden unieke klinische profielen die niet volledig overeenkwamen met de traditionele diagnose (bijv. bipolaire stoornis was vaker in het normatieve subtype, terwijl schizofrenie vaker in de andere subtypes voorkwam).

4. Bijdragen en Significatie

Wetenschappelijke Bijdrage:

• Mechanistische Differentiatie: Het onderzoek onthult dat overmatige exploratie bij psychose niet één uniform probleem is, maar wordt gedreven door twee onafhankelijke mechanismen: verhoogde onzekerheidsgevoeligheid en verhoogde besluitvormingsruis.
• Subtyping: Het introduceert een computatiele benadering om patiënten te stratificeren in subtypes die beter correleren met specifieke cognitieve en klinische profielen dan traditionele diagnostische labels. Dit sluit aan bij eerdere bevindingen van het B-SNIP-consortium over biotypes.
• Rol van Onzekerheid: Het benadrukt dat psychose niet alleen gaat over het verkeerd leren van beloningen, maar ook over een verstoorde representatie van onzekerheid en een vermogen om strategieën vast te houden.

Klinische en Translatieve Relevantie:

• Precision Psychiatry: De identificatie van specifieke "microcognitieve" verstoringen biedt doelwitten voor gepersonaliseerde behandelingen. Bijvoorbeeld, patiënten met hoge ruis zouden baat kunnen hebben bij interventies die de stabiliteit van besluitvorming vergroten, terwijl die met hoge onzekerheidsgevoeligheid anders moeten worden benaderd.
• Scalability: De "restless bandit" taak is schaalbaar en kan worden gebruikt in zowel klinische settings als dierproeven, wat de vertaling van neurale mechanismen naar menselijk gedrag vergemakkelijkt.
• Toekomstige Interventies: De studie suggereert dat computatiele fenotypes kunnen dienen als voorspellers voor de respons op specifieke behandelingen (bijv. metacognitieve training), wat een nieuwe weg opent voor mechanisme-gestuurde therapieën.

Conclusie:
De studie toont aan dat de instabiliteit in de explore-exploit afweging bij vroege psychose wordt veroorzaakt door een suboptimale overgang naar exploratie, gedreven door verhoogde onzekerheidsgevoeligheid en besluitvormingsruis. Door patiënten te clusteren in computationele subtypes, biedt dit onderzoek een veelbelovende route naar gepersonaliseerde psychiatrische zorg die verder gaat dan symptoomdiagnoses.