Joint modeling for learning decision-making dynamics in behavioral experiments

Probleemstelling

Depressie (MDD) wordt geassocieerd met stoornissen in beloningsverwerking en concentratieproblemen. Bestaande methoden om besluitvorming te modelleren hebben beperkingen:

1. Versterkingsleer (RL): Modellen hoe gedrag zich aanpast over tijd (via trial-and-error), maar missen een mechanistische uitleg van het besluitvormingsproces zelf en kunnen geen verdelingen van reactietijden (response times) modelleren.
2. Drift-Diffusie Modellen (DDM): Beschrijven hoe beslissingen ontstaan door ophoping van bewijs en modelleren reactietijden, maar negeren vaak het aspect van leren over tijd.
3. Integratie (RL-DDM): Recentere modellen combineren RL en DDM, maar gaan er vaak ten onrechte van uit dat individuen een consistente strategie hanteren.

Recent onderzoek suggereert dat besluitvorming vaak oscilleert tussen meerdere strategieën: een "geëngageerde" (engaged) toestand (bewust, doelgericht leren) en een "verwaarloosde" (lapsed) toestand (onoplettend, raden). Bestaande modellen kunnen deze dynamische wisseling en de bijbehorende reactietijden niet gelijktijdig en accuraat analyseren, wat kan leiden tot vertekende conclusies.

Methodologie: Het RL-HMM-DDM Kader

De auteurs stellen een nieuw raamwerk voor dat drie componenten integreert:

1. Versterkingsleer (RL): Voor het modelleren van het leren van verwachte beloningen via een voorspellingsfout (Rescorla-Wagner vergelijking).
2. Drift-Diffusie Model (DDM): Voor het modelleren van de dynamiek van besluitvorming en reactietijden (evidentie-accumulatie tot een drempel).
3. Hidden Markov Model (HMM): Om de latente wisseling tussen strategieën te modelleren.

Het Model:

• Latente Toestanden: Er zijn twee verborgen toestanden $U_{i,j}$:
  • Geëngageerd ($U=1$): Beslissingen volgen een RL-DDM. De driftsnelheid ($v$) is evenredig met het verschil in verwachte beloning ($Z_{i,j}$), wat zorgt voor een koppeling tussen leren en reactietijd.
  • Verwaarloosd ($U=0$): Beslissingen worden gemodelleerd met een vereenvoudigd DDM. Hier zijn de driftsnelheid ($v$) en de initiële bias ($b$) vastgezet op respectievelijk 0 en 0.5. Dit simuleert willekeurig raden met gelijke waarschijnlijkheid, waarbij de reactietijd korter is en minder afhankelijk van stimuli.
• Overgangskansen: De overgang tussen toestanden wordt gemodelleerd via een logistieke regressie die afhankelijk is van covariaten (bijv. groep: MDD vs. controle), waardoor de waarschijnlijkheid van engagement kan variëren.
• Schatting: De parameters worden geschat met een veralgemeend Expectation-Maximization (EM) algoritme. Dit maakt gebruik van forward-backward procedures om de posterior-verdelingen van de latente toestanden efficiënt te berekenen.

Belangrijkste Bijdragen

1. Integratie van Strategie-wisseling: Het is het eerste model dat RL, DDM en HMM combineert om zowel leren, reactietijden als de dynamische wisseling tussen "geëngageerd" en "verwaarloosd" gedrag te modelleren.
2. Verbeterde Parameterherwinning: Door reactietijden en strategie-wisseling mee te nemen, lost het model het probleem op van onbetrouwbare schattingen in mengmodellen die alleen op actie-data gebaseerd zijn.
3. Efficiënt Schattingsalgoritme: Het gebruik van een computerefficiënt EM-algoritme maakt de toepassing op grote datasets (zoals klinische trials) haalbaar.

Resultaten

1. Simulatiestudies:

• De methode werd getest in scenario's met en zonder strategie-wisseling, en met verschillende beloningsverdelingen (binair en continu).
• Resultaat: Het voorgestelde RL-HMM-DDM model presteerde aanzienlijk beter dan bestaande methoden (standaard RL-DDM en RL-HMM zonder reactietijden) wanneer strategie-wisseling aanwezig was. Het verminderde de bias in parameterschattingen en boekte een hogere nauwkeurigheid in het identificeren van de latente toestanden en de juiste acties.
• Het model bleef robuust bij ruis in de invoerdata.

2. Toepassing op de EMBARC Studie:
De methode werd toegepast op data van de Establishing Moderators and Biosignatures of Antidepressant Response for Clinical Care (EMBARC) studie, waarbij patiënten met MDD werden vergeleken met gezonde controles (CTL) tijdens een probabilistische beloningstask (PRT).

• Engagement: MDD-patiënten vertoonden een lagere algehele engagement (minder vaak in de "geëngageerde" toestand) dan gezonde controles.
• Reactietijden: Wanneer MDD-patiënten wel geëngageerd waren, namen ze langere beslissingen dan controles. In de "verwaarloosde" toestand waren de reactietijden voor beide groepen kort en vergelijkbaar.
• Hersen-Bedrijf Associaties:
  • Maatregelen voor engagement en reactietijden in de geëngageerde toestand vertoonden significante correlaties met neuroimaging-data (fMRI, EEG) en klinische uitkomsten (bijv. connectiviteit in het prefrontale cortex en cingulate cortex).
  • Geen associatie: Reactietijden in de "verwaarloosde" toestand vertoonden geen significante associatie met hersenactiviteit. Dit suggereert dat de "verwaarloosde" toestand een ander cognitief mechanisme vertegenwoordigt dat niet direct gekoppeld is aan de gemeten neurale netwerken.

Betekenis en Conclusie

Dit onderzoek biedt een krachtig nieuw instrument voor de analyse van cognitieve taken in de psychiatrie en neurowetenschappen.

• Klinische Inzicht: Het model onthult dat depressie niet alleen gekenmerkt wordt door een verandering in leerstrategie, maar ook door een vermindering van de tijd die patiënten besteden aan doelgerichte, bewuste besluitvorming.
• Neurale Validiteit: Het feit dat hersenactiviteit alleen correleert met de "geëngageerde" toestand onderstreept het belang van het onderscheiden van deze toestanden. Het toont aan dat bepaalde neurale netwerken (zoals PFC-ACC) specifiek betrokken zijn bij bewuste cognitieve inspanning, maar niet bij "verwaarloosd" gedrag.
• Toekomst: De methode biedt een basis voor het ontwikkelen van betere biomarkers voor depressie en het evalueren van behandelingen die gericht zijn op het verbeteren van cognitieve betrokkenheid.