Harnessing cortical geometry, wiring, and function as inductive biases for recurrent neural networks

Technische Samenvatting: Neuronale Beperkingen Drijven Superieur Leren in RNN's aan

Probleemstelling
Een centrale uitdaging op het snijvlak van neurowetenschappen en machine learning is het begrijpen van hoe de specifieke geometrie, bedrading en functionele organisatie van de cerebrale cortex de recurrente computatie vormgeven. Hoewel Recurrente Neurale Netwerken (RNN's) krachtige instrumenten zijn voor het modelleren van temporele dynamiek, worden ze doorgaals geïnitialiseerd met willekeurige gewichten en ongeconstrueerde connectiviteit. Dit staat in contrast met biologische circuits, waarbij neuronen fysieke ruimte innemen, zich houden aan principes van bedradingseconomie en deelnemen aan gestructureerde anatomische en functionele relaties. Eerdere studies suggereerden dat het opleggen van biologische beperkingen (bijv. ruimtelijke inbedding) het leren kan verbeteren, maar de meeste studies vertrouwen op gestileerde of gerandomiseerde inbeddingen in plaats van gemeten corticale organisatie. De onopgeloste vraag is of de specifieke, gemeten geometrie, bedrading en functionele structuur van echte corticale circuits kunnen dienen als krachtige inductieve biases die superieur leren aandrijven vergeleken met generieke biologische inspiratie.

Methodologie
De auteurs maken gebruik van de Machine Intelligence from Cortical Networks (MICrONS) dataset, een multimodale functionele connectomics-bron uit de visuele cortex van een muis. Deze dataset registreert uniek dicht twee-foton calcium-imaging (functionele activiteit) met hoog-resolutie elektronenmicroscopie (anatomische connectiviteit en ruimtelijke coördinaten) voor dezelfde neuronale populatie (~12.000 excitatieve neuronen).

De studie construeert een familie van 11 biologisch gefundeerde RNN-varianten om de bijdragen van drie specifieke corticale priors systematisch te ontrafelen:

1. Functionele Gewichtsinitialisatie ($W^*$ of $W!$): Recurrente gewichten worden geïnitialiseerd met behulp van functionele relaties afgeleid van neuronale activiteit (Pearson correlatie en de Spike Time Tiling Coefficient, of STTC). Een controlevariant ($W!$) permuteert deze gewichten om de statistische distributie te behouden terwijl de specifieke neuron-naar-gewicht mapping wordt verstoord.
2. Echte Ruimtelijke Inbedding ($D^*$): Recurrente eenheden worden toegewezen aan posities gebaseerd op gemeten neuronale soma-coördinaten uit MICrONS, in tegen plaats van een kunstmatig rooster ($D$).
3. Communicabiliteits-gebaseerde Regularisatie ($C$ of $C^*$): Tijdens het leren legt een regularisatieterm een straf op aan langafstandscommunicatie of dwingt gelijkenis af tussen de communicabiliteitsdistributie van het model en de empirische distributie afgeleid van de anatomische connectiviteit.

Deze modellen worden getraind op drie cognitieve besluitvormingstaken: One-Choice Inference, Perceptual Decision-Making, en Go/NoGo. Prestaties worden niet alleen geëvalueerd op taakaccuratesse, maar ook op emergente graaftheoretische eigenschappen van de geleerde gewichtsmatrices, inclusclusief entropie, modulariteit, assortativiteit en small-worldness. Robuustheid wordt verder getest door de recurrente gewichten te beperken tot strikt positieve waarden (het excitatie-alleen regime).

Belangrijkste Bijdragen

• Empirische Validatie van Corticale Priors: De studie demonstreert dat het funderen van RNN's in gemeten corticale geometrie, bedrading en functie aanzienlijk betere leerresultaten oplevert dan ongestructureerde of gedeeltelijk geconstrueerde baselines.
• Hiërarchische Bijdrage van Priors: Door middel van ablatie-studies stellen de auteurs een hiërarchie van inductieve biases vast:
  • Functionele Initialisatie levert de grootste en meest algemene prestatiewinst op.
  • Echte Ruimtelijke Inbedding biedt een robuuste, secundaire verbetering.
  • Communicabiliteits-regularisatie zorgt voor selectieve, context-afhankelijke verfijningen.
• Structureel-Functionele Synergie: Het onderzoek toont aan dat het combineren van functionele initialisatie met echte ruimtelijke coördinaten en communicabiliteitsbeperkingen leidt tot netwerken die niet alleen nauwkeuriger zijn, maar ook convergeren naar lage-entropie, modulaire en small-world topologieën die kenmerkend zijn voor biologische netwerken.
• Robuustheid onder Teken-beperkingen: De auteurs tonen aan dat functionele initialisatie het leren stabiliseert, zelfs wanneer de recurrente architectuur is beperkt tot enkel positieve gewichten (wat het excitatie-alleen regime nabootst), een conditie waaronder willekeurig geïnitialiseerde modellen falen.

Resultaten

• Taakprestaties: Volledig geconstrueerde modellen (bijv. $W^*D^*C$ en $W^*D^*C^*$) presteerden consequent beter dan baselines en gedeeltelijk geconstrueerde varianten over alle drie de taken. Bijvoorbeeld, op Taak 1 bereikte het volledig geconstrueerde model ~0,985 accuratesse vergeleken met ~0,625 voor de baseline.
• Inzichten uit Ablatie:
  • Het verwijderen van functionele initialisatie veroorzaakte een dramatische daling in prestaties, met name in Taken 2 en 3.
  • Het vervangen van echte coördinaten door een rooster ($D$) verminderde de prestaties aanzienlijk, wat bevestigt dat de werkelijke corticale geometrie fungeert als een betekenende computationele prior.
  • De gepermuteerde gewichtsvariant ($W!$) presteerde vergelijkbaar met de gestructureerde variant ($W^*$), wat aangeeft dat de statistische structuur van de biologische gewichtsdistributie de primaire drijfveer is, in plaats van een precieze één-naar-één mapping met neuronen.
• Emergente Topologie:
  • Entropie: Biologisch geconstrueerde modellen convergeerden naar lage-entropie (hooggestructureerde) gewichtsdistributies, terwijl baselines hoog-entropische (willekeurige) distributies behielden.
  • Modulariteit & Small-Worldness: Modellen met directe communicabiliteits-regularisatie en echte coördinaten ontwikkelden sterke modulariteit en small-world structuren ($\sigma \approx 1,5–2,5$). Opvallend genoeg bereikten sommige varianten een lage entropie en hoge prestaties zonder sterke modulariteit, wat suggereert dat dit afzonderlijke maar gerelateerde uitkomsten zijn.
  • Assortativiteit: Functionele initialisatie had de neiging netwerken naar disassortatieve (hub-periferie) structuren te drijven, terwijl ruimtelijke beperkingen alleen soms tot assortatieve (hub-rijke) structuren leidden.
• Positive-Only Regime: Onder de beperking van enkel positieve gewichten stortten willekeurig geïnitialiseerde modellen in tot prestaties op niveau van toeval, terwijl functioneel geïnitialiseerde modellen een hoge accuratesse behielden, wat aantoont dat biologische priors het optimalisatieproces in moeilijke parameterruimtes kunnen stabiliseren.

Betekenis en Claims
Het artikel beweert dat de "machinerie van de cortex"—specifiek de geometrie, bedrading en functionele structuur—kan worden ingezet als een krachtige inductieve basis voor het bouwen van recurrente netwerken. De auteurs stellen dat deze priors meer doen dan de modellen slechts "biologisch realistischer" maken; ze verbeteren fundamenteel de efficiëntie en robuustheid van het leren.

De belangrijkste conclusies die de auteurs benadrukken zijn:

1. Inductieve Bias boven Complexiteit: Betere recurrente computatie kan worden bereikt, niet door de modelgrootte of architecturale complexiteit te vergroten, maar door de optimalisatielandschap te hervormen met behulp van biologisch gefundeerde priors.
2. Interafhankelijkheid van Structuur en Functie: Hoewel anatomische structuur een steiger biedt, is functionele informatie (activiteit-afgeleide relaties) de beslissende beperking voor het specificeren van recurrente dynamiek. Structuur alleen bepaalt de dynamiek niet uniek; functionele priors zijn vereist om de oplossingsruimte te vernauwen tot effectieve regimes.
3. Ontwerpprincipes voor AI: De bevindingen suggereren dat corticale organisatieprincipes (ruimtelijke inbedding, functionele initialisatie, bedradingseconomie) computationeel consequent zijn en kunnen dienen als herbruikbare ontwerpprincipes voor kunstmatige systemen, met name in domeinen die dataefficiëntie en robuuste interne organisatie vereisen.

De auteurs hanteren een bescheiden reikwijdte en erkennen beperkingen zoals de focus op excitatieve neuronen, het specifieke experimentele regime van de MICRONS-data, en het gebruik van statistische in plaats van causale functionele maten. Ze stellen echter dat de resultaten direct empirisch bewijs leveren voor de hypothese dat corticale microcircuits zijn georganiseerd rond efficiëntieprincipes die effectief kunnen worden overgedragen naar kunstmatige recurrente netwerken.