Low-dimensional factorized neural computations underlie risk-adaptive choices

Technische Samenvatting: Laagdimensionale gefactoriseerde neurale computaties vormen de basis voor risico-adaptieve keuzes

Probleemstelling
Besluitvorming in de echte wereld vindt frequent plaats onder omstandigheden van onzekerheid, waarbij individuen potentiële beloningen moeten afwegen tegen de waarschijnlijkheid van ongunstige uitkomsten. Falen in dit proces is gekoppeld aan maladaptief gedrag en psychiatrische stoornissen zoals gokverslaving en middelengebruik. Hoewel reinforcement learning (RL) een kader biedt voor het modelleren van deze beslissingen, blijven de specifieke neurale computaties en populatiedynamieken die gevolgtrekking over onzekere uitkomstlandschappen faciliteren, onduidelijk. De auteurs onderzoeken of deep RL-agenten en het menselijk brein convergeren naar vergelijkbare interne representaties bij het oplossen van risicovolle besluitvormingstaken, waarbij specifiek wordt gekeken of onderscheidende gedragsstrategieën worden ondersteund door onderscheidende laagdimensionale neurale geometrieën.

Methodologie
De studie maakte gebruik van een "neuro-AI"-benadering, waarbij kunstmatige en biologische intelligentie werden overbrugd via de Balloon Analog Risk Task (BART).

• Deep RL-agenten: De auteurs trainden 400 willekeurig geïnitialiseerde deep RL-agenten met een Actor-Critic-architectuur met Proximal Policy Optimization (PPO). De agenten werden getraind op "meta-BART", een variatie waarbij de gemiddelde ballonomvang ($\mu$) per epoch varieerde. De agenten werden geëvalueerd op een reeks van 17 vaste $\mu$-condities.
• Classificatie van agenten: De activiteit van de knopen in de recurrente lagen werd geanalyseerd met behulp van k-means clustering (oorspronkelijk $k=12$, gereduceerd naar 6 na symmetrie-aanpassingen). De agenten werden geclassificeerd in drie typen op basis van knoopproporties. Twee onderscheidende gedragsphenotypes kwamen naar voren: "Type 1" (later aangeduid als Bimodaal) en "Type 3" (later aangeduid als Explorer).
• Analyse van neurale dynamica: De auteurs analyseerden de trajecten van de activaties in de recurrente lagen van de agenten in 3D Principal Component Analysis (PCA)-ruimte. Ze schatten een "ballonomvang-as" met behulp van Partial Least Squares (PLS) regressie om de neurale trajecten te projecteren en hun geometrische structuur (bijv. convexe hulls, bimodaliteit) te beoordelen.
• Menselijke dataverzameling: 44 patiënten met therapieresistente epilepsie die ondergaan voor intracraniële monitoring (stereo-elektro-encefalografie met microwires) voerden een computergestuurde BART uit. Single-unit activiteit werd opgenomen uit de mediale frontale cortex (ACC, vmPFC) en de mesiale temporale kwab (MTL).
• Menselijke classificatie: Menselijke participanten werden geclusterd in "Bimodale" en "Explorer" groepen op basis van gedragsmetrieken (totaalscore, pop rate en gemiddelde inflatietijden over rode, oranje en gele ballonverdelingen).
• Cross-domein vergelijking: Neurale ensembles van menselijke participanten werden gegroepeerd in "pseudo-ensembles" die overeenkomen met de Bimodale en Explorer gedragsstrategieën. Deze werden geanalyseerd met dezelfde PCA- en PLS-methoden als toegepast op de agenten om de geometrie van de neurale trajecten, de representatieve gelijkenis en de verklaarde variantie te vergelijken.

Belangrijkste bijdragen en resultaten

1. Opkomst van onderscheidende strategieën in agenten:

   • Bimodale Agenten (Type 1): Deze agenten adopteerden een efficiënte, risico-adaptieve strategie. Ze bliezen kleinere ballonnen minder vaak op en grotere ballonnen vaker, wat resulteerde in hogere totale scores zonder een significant hogere pop rate. Hun neurale trajecten vormden laagdimensionale representaties die veilige en risicovolle staten segregeerden. Specifiek clusterden hun trajecten bimodaal nabij de randen van de ballonomvang-as, en de omvang-as stemde nauw overeen met de eerste hoofdcomponent (PC1).
   • Explorer Agenten (Type 3): Deze agenten vertoonden een voorzichtige, minder succesvolle strategie, waarbij ze langzaam de beloningscontingentie-ruimte verkenden. Hun neurale trajecten waren scheef, unimodaal en verstrengeld, waarbij de omvang-as orthogonaal aan PC1 georganiseerd was.

2. Voorspelling van menselijk gedrag:

   • Menselijke participanten segregeerden van nature in Bimodale en Explorer groepen met proporties die vergelijkbaar zijn met de agentenverdeling.
   • Bimodale Mensen: Net als hun kunstmatige tegenhangers behaalden zij significant hogere scores en langere inflatietijden voor ballonnen met een hoog rendement (geel) vergeleken met ballonnen met een laag rendement (rood).
   • Explorer Mensen: Zij vertoonden een meer geleidelijke toename in inflatietijden over de verschillende ballontypen en een lagere algehele prestatie.

3. Convergentie van neurale geometrieën:

   • Laagdimensionale factorisatie: Bimodale menselijke neurale ensembles vertoonden neurale trajecten die opvallend vergelijkbaar waren met die van de Bimodale agenten. Deze trajecten bogen rond een geordende ballonomvang-as die de verwachte waarde van verschillende ballonkleuren duidelijk segregeerde. De 2-D convexe hulls van deze trajecten namen toe voor ballonnen met grotere gemiddelde inflaties, wat wijst op een robuust predictief model.
   • Verstrengeling in Explorers: In contrast hiermee misten de Explorer menselijke ensembles deze gestructureerde, laagdimensionale geometrie. Hun trajecten vertoonden niet dezelfde co-activiteitpatronen of duidelijke segregatie langs de omvang-as.
   • Representational Similarity Analysis (RSA): RSA onthulde dat de Bimodale neurale activiteitspatronen significant correleerden met voorspelde ballonomvang (het coderen van fysieke grootte-relaties), terwijl de Explorer-patronen negatieve of afwezige correlaties vertoonden.
   • Beslissingsgrenzen: Paarsgewijze zwaartepuntafstanden gaven aan dat Bimodale mensen hun toestandsruimte comprimeerden rond gedragsrelevante grenzen, waarbij ze medium en hoogwaardige ballonnen als één "inflatie-waardige" categorie behandelden (Rood onderscheiden van Oranje/Geel). Explorers lieten de representaties van Rood en Oranje instorten terwijl ze Geel scheidden.

4. Anatomische bijdragen:

   • Bij Bimodale participanten verklaarde de ventromediale prefrontale cortex (vmPFC) de grootste variantie in PC1 (72,9%), wat suggereert dat er proactief wordt overwogen in termen van waarde/risicocategorieën.
   • Bij Explorer participanten verklaarde de anterior cingulate cortex (ACC) een groter deel van de variantie in PC1 (56,0%), wat potentieel wijst op een focus op het monitoren van reward prediction errors in plaats van het opbouwen van een taakmodel.
   • Controle-analyses bevestigden dat deze geometrische verschillen geen artefacten waren van verschillen in steekproefgrootte of ongelijke anatomische bemonstering.

Betekenis
Het artikel stelt dat specifieke dynamische computaties, gekenmerkt door laagdimensionale, gefactoriseerde neurale manifolds, ten grondslag liggen aan succesvolle gevolgtrekking over onzekere uitkomsten. De studie demonstreert dat deep RL-agenten spontaan onderscheidende gedragsphenotypes en bijbehorende neurale geometrieën kunnen genereren die de menselijke neurale ensembles weerspiegelen.

De primaire betekenis ligt in de convergentie van kunstmatige en biologische systemen: de "Bimodale" strategie, die efficiënt risicobeheer ondersteunt, wordt onderbouwd door ontwarre, laagdimensionale trajecten die een georganiseerde readout van neurale activiteit mogelijk maken. Dit suggereert dat het menselijk brein complexe probabilistische toestandsruimten comprimeert tot laagdimensionale dynamica op manifolds om besluitvorming te vereenvoudigen. De bevindingen ondersteunen de "Neuro-AI"-hypothese dat kunstmatige netwerken als geldige modellen kunnen dienen om de dynamische computaties die ten grondslag liggen aan hoogwaardige cognitieve processen te ontleden, waarbij specifiek onderscheid wordt gemaakt tussen model-gebaseerde gevolgtrekking (Bimodal) en model-vrije of fout-monitorende strategieën (Explorer). De auteurs merken de beperkingen op met betrekking tot de specifieke hersengebieden die zijn gesampled (vanwege klinische beperkingen bij epilepsiepatiënten) en de abstractie van de RL-agenten, maar concluderen dat het afstemmen van latente ruimtes tussen biologische en kunstmatige agenten gedeelde algoritmische principes van besluitvorming onthult.