Identifying Informative Environments for Cognition Parameter Inference via Bayesian Experimental Design

Technische Samenvatting: Identificatie van Informatieve Omgevingen voor de Inferentie van Cognitieve Parameters via Bayesiaans Experimenteel Ontwerp

Probleemformulering
Computationele cognitieve modellering streeft naar het afleiden van latente cognitieve mechanismen (bijv. planningshorizon, werkgeheugencapaciteit) uit geobserveerd sequentieel beslissingsgedrag. Hoewel Bayesiaanse inverse planning een principieel kader biedt voor deze inferentie, is de effectiviteit ervan kritisch afhankelijk van de experimentele omgeving. Bestaande benaderingen behandelen omgevingen doorgaans als vaststaand of willekeurig gesampled, waarbij ze nalaten te adresseren welke specifieke omgevingen de meest informatieve data opleveren voor parameterherstel.

Dit artikel formuleert de selectie van experimentele omgevingen als een Bayesian Experimental Design (BED) probleem. Het doel is om een omgeving $\xi^*$ te identificeren die de Expected Information Gain (EIG) met betrekking tot latente cognitieve parameters $\theta$ maximaliseert vóór de dataverzameling. De EIG wordt gedefinieerd als de verwachte reductie in de posterieure onzekerheid over $\theta$ na het observeren van gedragstrajecten $D$ in omgeving $\xi$:
$$\xi^* = \arg \max_{\xi} \text{EIG}(\xi) = \arg \max_{\xi} \left( H(\theta) - \mathbb{E}_{p(D|\xi)}[H(\theta | D, \xi)] \right)$$
De kernuitdaging is dat het evalueren van EIG herhaalde Bayesiaanse posterieure inferentie over vele gesimuleerde datasets vereist, wat een exhaustieve optimalisatie computationeel onhaalbaar maakt.

Methodologie
De auteurs stellen een pipeline voor die Bayesiaanse inverse planning combineert met schaalbare technieken voor experimenteel ontwerp:

1. Generatieve Gedragssimulator: De auteurs modelleren agenten met behulp van een geparametriseerde planner met latente cognitieve parameters $\theta$ (planningshorizon $H$ en werkgeheugen $K$). De agent interageert met een Markov Decision Process (MDP) omgeving $\xi$, waarbij de interne cognitieve staat $b_t$ wordt bijgewerkt op basis van $\theta$. Acties worden gesampled via een softmax-beleid over actiewaarden $Q_\theta$, wat trajectdata $D \sim p(D|\theta, \xi)$ genereert.
2. Exact Monte Carlo BED (MC-BED): Om een benchmark voor de grondwaarheid vast te stellen, berekenen de auteurs EIG met behulp van Monte Carlo-simulatie. Dit omvat het samplen van parameters en omgevingen, het simuleren van trajecten en het uitvoeren van exacte Bayesiaanse posterieure inferentie voor elke gesimuleerde dataset om de KL-divergentie tussen de posterieur en de prior te berekenen.
3. Amortized Bayesian Experimental Design (ABED): Om de computationele kosten van MC-BED te overwinnen, introduceren de auteurs een geamortiseerd kader:
   • Neurale Posterieure Surrogaat: Een neuraal netwerk $q_\phi(\theta | D, \xi)$ wordt getraind om de exacte Bayesiaanse posterieur te benaderen. Trainingsdata wordt gegenereerd door $\theta, \xi,$ en $D$ te samplen, waarbij de exacte posterieur dient als het supervisiesignaal.
   • Multi-Task Learning: De surrogaat wordt getraind met een multi-task objectief dat posterieure distillatie (het matchen van de exacte posterieur), gesuperviseerde classificatie (het voorspellen van de grondwaarheid $\theta$) en een hulp-regressiekop combineert die de exacte posterieur-naar-prior KL-divergentie voorspelt (de design utility).
   • Efficiënte Design Evaluatie: Eenmaal getraind, vervangt de surrogaat de dure exacte inferentie. Het design objectief wordt benaderd door een enkele forward pass door het netwerk, wat een snelle rangschikking van kandidaat-omgevingen mogelijk maakt.

Belangrijkste Bijdragen

• Formulering: Het ontwerp van cognitieve planningsomgevingen wordt geformuleerd als een BED-probleem waarbij de omgeving zelf de designvariabele is, in plaats van alleen de experimentele condities binnen een vaste taak.
• Benchmarking: Er is een exacte Monte Carlo BED benchmark vastgesteld om de informatieve waarde van omgevingen voor cognitieve parameterinferentie te evalueren.
• Geamortiseerd Kader: Een geamortiseerd BED-kader wordt geïntroduceerd dat omgevingen rangschikt die nauw overeenkomen met de exacte MC-BED benchmark, terwijl de computationele kosten aanzienlijk worden verminderd door herhaalde inferentie te vervangen door een neurale surrogaat.
• Systematische Analyse: Het kader wordt geëvalueerd op de Mouselab-MDP proces-tracing paradigma, waarbij de exacte inferentie, MC-BED en ABED systematisch worden vergeleken met heuristische en gesuperviseerde baselines.

Experimentele Resultaten
Experimenten werden uitgevoerd op boomstructuur Mouselab-MDP omgevingen met variërende dieptes ($d$) en vertakkingsfactoren ($b$).

• Recoverability vs. Information Gain: Resultaten tonen aan dat er geen enkele omgeving is die uniform optimaal is. Omgevingen die de posterieure recoverability bij eindige steekproeven maximaliseren (bijv. $d_5b_2$ voor gezamenlijke inferentie) komen niet altijd overeen met de omgevingen die de verwachte informatiewinst maximaliseren (bijv. $d_6b_2$).
• Amortisatie Prestaties: De geamortiseerde surrogaat (ABED) reproduceert de omgevingen-rangschikking van de exacte MC-BED nauwkeurig. Hoewel de nauwkeurigheid van de posterieure recovery varieert, komt de voorspelde design utility (KL-divergentie) overeen met het exacte objectief, wat de identificatie van de meest informatieve omgevingen mogelijk maakt.
• Vergelijking met Baselines: ABED presteert beter dan structurele heuristieken (bijv. "grootste boom") en gesuperviseerde regressoren die design scores voorspellen zonder posterieure inferentie uit te voeren. ABED is de enige methode die simultaan zowel cognitieve parameterinferentie als omgevingsevaluatie ondersteunt binnen een verenigd kader.
• Trade-offs: De studie onthult trade-offs tussen verwachte informatiewinst, posterieure recoverability en informatie-efficiëntie (KL per klik). Diepere omgevingen maximaliseren over het algemeen de informatiewinst voor complexe strategieën, terwijl ondiepere omgevingen mogelijk een hogere efficiëntie of betere recoverability bieden voor eenvoudige strategieën.

Betekenis en Claims
Het artikel claimt een principieel kader te bieden voor het ontwerpen van informatieve cognitieve experimenten voor Bayesiaanse parameterinferentie. Door de experimentele omgeving als een designvariabele te behandelen, beweegt het werk verder dan vaste evaluatiesettings naar de actieve selectie van omgevingen die de informatie over latente cognitieve mechanismen maximaliseren.

De auteurs benadrukken dat hun resultaten de noodzaak van adaptieve omgevingselectie aantonen. Omdat de optimale omgeving afhangt van de specifieke latente cognitieve staat en het inferentie-objectief (recovery vs. informatiewinst), is een vaste omgeving suboptimaal. Het voorgestelde ABED-kader biedt de noodzakelijke componenten (gezamenlijke posterieure schatting en design-waarde voorspelling) om sequentiële, adaptieve experimentselectie mogelijk te maken die geconditioneerd is op een evoluerende posterieur, wat een pad biedt naar schaalbare en deelnemer-efficiënte cognitieve beoordeling. Het werk betoogt dat experimentele omgevingen zelf geoptimaliseerd moeten worden als onderdeel van het cognitieve model inferentieproces.