Emergent Generalization by Representation Learning in Artificial Neural Networks

Technische Samenvatting: Emergente Generalisatie door Representatieleer in Kunstmatige Neurale Netwerken

Probleemstelling
Het artikel behandelt een langlopend debat in de neurowetenschap over de functionele relevantie van "neurale manifolds"—laagdimensionale structuren die ten grondslag liggen aan hoogdimensionale neurale activiteit. Hoewel dimensionaliteitsreductietechnieken erin zijn geslaagd deze manifolds te identificeren in diverse hersengebieden en soorten, blijft het onderwerp van discussie of deze structuren louter beschrijvende epifenomenen zijn van activiteit op neuronniveau, of dat ze een causale, functionele voorsprong bieden voor leren en generalisatie. Specifiek onderzoeken de auteurs of het vermogen van een leersysteem om laagdimensionale representaties te extraheren uit hoogdimensionale inputs een functioneel voordeel biedt voor het generaliseren naar out-of-distribution (OOD) data, en of dergelijke representaties "causale emergentie" vertonen.

Methodologie
De auteurs hanteren een hybride benadering waarbij kunstmatige neurale netwerk (ANN) simulaties worden gecombineerd met de analyse van biologische neurale data.

1. Synthetische Taak en Architectuur:

   • Taak: Een tijdreeksvoorspellingsopdracht waarbij het netwerk de volgende tijdstap van een hoogdimensionale input $X_t$ moet voorspellen. Deze input wordt gegenereerd door een laagdimensionaal latent dynamisch systeem $x_t$ (bijv. Lorenz-, Rössler- of Sprott-attractoren) te projecteren in een hoogdimensionale ruimte via een willekeurige orthogonale projectie $R$, met toegevoegde ruis.
   • Architectuur: Een aangepaste Reservoir Computing (RC) architectuur. Deze bestaat uit een vaste recurrente reservoirlaag, een trainbare bottleneck-laag (het focuspunt van representatieleer) en een lineaire ridge-regressie readout-laag. De bottleneck-laag wordt getraind via backpropagation om een laagdimensionale voorspellende latente representatie te leren, terwijl de readout-laag wordt getraind om de gemiddelde kwadratische fout (MSE) te minimaliseren.
   • Generalisatietests: Het model wordt getraind op een subset van dynamische systemen en getest op: (a) willekeurige orthogonale rotaties van de trainingsattractoren, en (b) uit de training gehouden (held-out) dynamische systemen die OOD zijn ten opzichte van de trainingsdata.
   • Complexiteitscontrole: De taakcomplexiteit wordt gemoduleerd door de tijdreeksen te subsamplen om $N_{\tau}$ tijdstappen te behouden voordat de autocorrelatie onder $1/e$ daalt.

2. Informatietheoretische Maten:

   • Causale Emergentie ($\Psi$): De auteurs maken gebruik van de $\Psi$-maat (Rosas et al., 2020) om causale emergentie te kwantificeren. Deze wordt gedefinieerd als het verschil tussen de macro-voorspelbaarheid (wederzijdse informatie tussen de geaggregeerde staat $V_t$ en zijn toekomst $V_{t+1}$) en de som van de micro-voorspelbaarheden (som van de wederzijdse informatie tussen individuele reservoirneuronen $Y^i_t$ en hun toekomsten). Een positieve $\Psi$ geeft aan dat de macrostaat voorspellender is dan de som van de delen.
   • Information Bottleneck (IB): De IB-loss ($I(Y_t; V_t) - \beta I(V_t; X_{t+1})$) wordt gebruikt om de afweging te volgen tussen het comprimeren van inputinformatie en het behouden van voorspellende informatie.

3. Biologische Data-analyse:

   • Dataset: Neurale spike-activiteit opgenomen uit de dorsale CA1 en de mediale prefrontale cortex (PFC) van muizen tijdens een W-maze ruimtelijke alternatietaak (8 muizen, 8+ trainingssessies).
   • Analyse: Voorbewerkte vuursnelheden (firing rates) werden ingevoerd in een eenvoudige lineaire bottleneck-encoder met een ridge-decoder om de volgende tijdstap van gedragsvariabelen (positie en snelheid) te voorspellen. De $\Psi$-maat werd geschat voor de bottleneck-staten over de trainingssessies heen om de evolutie ervan te volgen in relatie tot gedragsprestaties en voorspellingsfouten.

Belangrijkste Resultaten

1. Noodzaak van Bottlenecks voor Generalisatie:

   • Netwerken zonder een bottleneck-laag konden de trainingsdata weliswaar leren, maar faalden in het generaliseren naar willekeurige rotaties van de trainingsattractoren of naar uit de training gehouden OOD-dynamische systemen.
   • De aanwezigheid van een bottleneck-laag stelde het netwerk in staat om een rotatie-invariante representatie van de latente staten te leren, wat succesvolle generalisatie mogelijk maakte naar zowel geroteerde trainingsdata als volledig nieuwe dynamische systemen.
   • De generalisatieprestaties waren robuust over verschillende dynamische systemen en waren primair afhankelijk van de taakcomplexiteit (gecontroleerd door $N_{\tau}$) in plaats van de specifieke attractor die werd geleerd.

2. Niet-monotone Traject van Causale Emergentie:

   • Terwijl de voorspellingsverlies (MSE) monotoon afnam tijdens de training, vertoonde de maatstaf voor causale emergentie ($\Psi$) een niet-monotoon traject.
   • Fase 1 (Memoriseren): $\Psi$ nam aanvankelijk af tijdens de vroege fase van de training.
   • Fase 2 (Transitie): $\Psi$ bereikte een minimum.
   • Fase 3 (Generalisatie): $\Psi$ steeg vervolgens naar een maximum tijdens de generalisatiefase.
   • Dit traject weerspiegelt het "grokking"-fenomeen dat in andere contexten is waargenomen, waarbij een transitie van memoriseren naar generalisatie wordt gekenmerkt door een structurele verandering in de representatie. De omvang van deze emergente structuur voorspelde de generalisatieprestaties betrouwbaar.

3. Correlatie met Generalisatie:

   • De mate van causale emergentie correleerde positief met het vermogen van het netwerk om te generaliseren naar OOD-data.
   • De decompositie van de $\Psi$-maat onthulde dat generalisatie geassocieerd is met een hoge macro-voorspelbaarheid (stabiliteit van de representatie) en een lage micro-voorspelbaarheid (hooggedistribueerde representaties waarbij geen enkele component de macrostaat voorspelt).
   • De transitie naar hoge emergentie ging vooraf aan de minimalisatie van de Information Bottleneck-loss, wat suggereert dat de opkomst van structuur een voorloper is van optimale compressie en generalisatie.

4. Biologische Validatie:

   • Analyse van de CA1- en mediale PFC-data van muizen toonde een vergelijkbaar niet-monotoon gedrag in de maatstaf voor causale emergentie tijdens ruimtelijk leren.
   • De emergentie nam aanvankelijk af en nam daarna toe in latere trainingssessies. Cruciaal was dat het minimum van de emergentie-maat significant voorafging aan het minimum van de voorspellingsfout (MSE) en de piek in gedragsprestaties, wat de dynamiek waargenomen in het kunstmatige netwerk weerspiegelt.

Betekenis en Claims
Het artikel betoogt dat het vermogen om compacte, gedistribueerde en emergente representaties te leren een functioneel voordeel biedt voor de generalisatie van lerende systemen. Door aan te tonen dat causale emergentie een noodzakelijke voorwaarde is voor OOD-generalisatie in een gecontroleerde synthetische setting, en door een vergelijkbare niet-monotone emergentie-dynamiek te observeren in biologische neurale netwerken tijdens het leren, ondersteunen de auteurs een causale rol voor geleerde representaties in cognitie.

De bevindingen suggereren dat neurale manifolds niet louter beschrijvende samenvattingen zijn, maar mogelijk causale emergente structuren vertegenwoordigen die het voorspellend vermogen vergroten. De studie stelt dat het leren van deze emergente manifolds een sleutelkenmerk is van leren in biologische neurale netwerken, wat een functionele verklaring biedt voor waarom hersenen evolueren om hoogdimensionale activiteit te organiseren in laagdimensionale, emergente structuren. De auteurs blijven bescheiden over mechanistische verklaringen en merken op dat hoewel zij het functionele voordeel hebben geïdentificeerd, de specifieke plasticiteitsmechanismen die dit in biologische hersenen mogelijk maken, een open vraag blijven voor toekomstig onderzoek.