Harnessing cortical geometry, wiring, and function as inductive biases for recurrent neural networks

Resumo Técnico: Restrições Neuronais Impulsionam o Aprendizado Superior em RNNs

Problema
Um desafio central na interseção entre neurociência e aprendizado de máquina é compreender como a geometria específica, o cabeamento e a organização funcional do córtex cerebral moldam a computação recorrente. Embora as Redes Neurais Recorrentes (RNNs) sejam ferramentas poderosas para modelar dinâmicas temporais, elas são tipicamente inicializadas com pesos aleatórios e conectividade não restrita. Isso contrasta com os circuitos biológicos, onde os neurônios ocupam um espaço físico, aderem a princípios de economia de fiação e participam de relações anatômicas e funcionais estruturadas. Trabalhos anteriores sugeriram que impor restrições biológicas (ex: incorporação espacial) pode melhorar o aprendizado, mas a maioria dos estudos baseia-se em incorporações estilizadas ou aleatorizadas, em vez de organização cortical medida. A questão não resolvida é se a geometria, o cabeamento e a estrutura funcional específica e medida de circuitos corticais reais podem servir como vieses indutivos poderosos que impulsionam um aprendizado superior em comparação com uma inspiração biológica genérica.

Metodologia
Os autores utilizam o conjunto de dados Machine Intelligence from Cortical Networks (MICrONS), um recurso multimodal de conectômica funcional do córtex visual de camundongo. Este conjunto de dados co-registra de forma única imagens de cálcio de dois fótons densas (atividade funcional) com microscopia eletrônica de alta resolução (conectividade anatômica e coordenadas espaciais) para a mesma população neuronal (~12.000 neurônios excitatórios).

O estudo constrói uma família de 11 variantes de RNN biologicamente fundamentadas para dissecar sistematicamente as contribuições de três priors corticais específicos:

1. Inicialização de Pesos Funcionais ($W^*$ ou $W!$): Os pesos recorrentes são inicializados usando relações funcionais derivadas da atividade neuronal (correlação de Pearson e Coeficiente de Tiling de Tempo de Spike, ou STTC). Uma variante de controle ($W!$) permuta esses pesos para preservar a distribuição estatística enquanto interrompe o mapeamento específico neurônio-para-peso.
2. Incorporação Espacial Real ($D^*$): As unidades recorrentes são atribuídas a posições baseadas nas coordenadas somáticas neuronais medidas do MICrONS, em vez de uma grade artificial ($D$).
3. Regularização Baseada em Comunicabilidade ($C$ ou $C^*$): Durante o aprendizado, um termo de regularização penaliza a comunicação de longo alcance ou impõe similaridade entre a distribuição de comunicabilidade do modelo e a distribuição empírica derivada da conectividade anatômica.

Esses modelos são treinados em três tarefas de tomada de decisão cognitiva: Inferência de Escolha Única, Tomada de Decisão Perceptual e Go/NoGo. O desempenho é avaliado não apenas pela precisão da tarefa, mas também por propriedades de grafos emergentes das matrizes de pesos aprendidas, incluindo entropia, modularidade, assortatividade e small-worldness. A robustez é testada adicionalmente restringindo os pesos recorrentes para serem estritamente positivos (regime puramente excitatório).

Principais Contribuições

• Validação Empírica de Priors Corticais: O estudo demonstra que fundamentar RNNs na geometria, fiação e função cortical medida produz resultados de aprendizado significativamente melhores do que baselines não restritos ou parcialmente restritos.
• Contribuição Hierárquica de Priors: Através de estudos de ablação, os autores estabelecem uma hierarquia de vieses indutivos:
  • A Inicialização Funcional fornece o maior e mais geral ganho de desempenho.
  • A Incorporação Espacial Real oferece uma melhoria secundária robusta.
  • A Regularização de Comunicabilidade fornece refinamentos seletivos e dependentes de contexto.
• Sinergia Estrutural-Funcional: A pesquisa mostra que combinar a inicialização funcional com coordenadas espaciais reais e restrições de comunicabilidade leva a redes que não são apenas mais precisas, mas que convergem para topologias de baixa entropia, modulares e de mundo pequeno (small-world) características de redes biológicas.
• Robustez sob Restrições de Sinal: Os autores mostram que a inicialização funcional estabiliza o aprendizado mesmo quando a arquitetura recorrente é restrita a pesos apenas positivos (mimicando um regime puramente excitatório), uma condição sob a qual modelos inicializados aleatoriamente falham.

Resultos

• Desempenho da Tarefa: Modelos totalmente restritos (ex: $W^*D^*C$ e $W^*D^*C^*$) superaram consistentemente os baselines e as variantes parcialmente restritas em todas as três tarefas. Por exemplo, na Tarefa 1, o modelo totalmente restrito alcançou ~0,985 de precisão comparado a ~0,625 do baseline.
• Insights de Ablação:
  • Remover a inicialização funcional causou uma queda dramática no desempenho, particularmente nas Tarefas 2 e 3.
  • Substituir coordenadas reais por uma grade ($D$) reduziu significamente o desempenho, confirmando que a geometria cortical real atua como um prior computacional significativo.
  • A variante de peso permutado ($W!$) teve desempenho comparável à variante estruturada ($W^*$), indicando que a estrutura estatística da distribuição de pesos biológicos é o principal motor, e não um mapeamento preciso neurônio-para-neurônio.
• Topologia Emergente:
  • Entropia: Modelos biologicamente restritos convergiram para distribuições de pesos de baixa entropia (altamente estruturadas), enquanto os baselines permaneceram de alta entropia (semelhantes ao aleatório).
  • Modularidade e Small-Worldness: Modelos com regularização direta de comunicabilidade e coordenadas reais desenvolveram forte modularidade e estruturas de mundo pequeno ($\sigma \approx 1,5–2,5$). Notavelmente, algumas variantes alcançaram baixa entropia e alto desempenho sem forte modularidade, sugerindo que estes são resultados distintos, mas relacionados.
  • Assortatividade: A inicialização funcional tendeu a levar as redes para estruturas desassortativas (hub-periferia), enquanto restrições apenas espaciais levaram às vezes a estruturas assortativas (ricas em hubs).
• Regime de Apenas Positivos: Sob a restrição de pesos apenas positivos, modelos inicializados aleatoriamente colapsaram para o desempenho de acaso, enquanto modelos com inicialização funcional mantiveram alta precisão, demonstrando que os priors biológicos podem estabilizar a otimização em espaços de parâmetros difíceis.

Significância e Alegações
O artigo afirma que a "maquinaria do córtex" — especificamente sua geometria, fiação e estrutura funcional — pode ser aproveitada como uma base indutiva poderosa para construir redes recorrentes. Os autores argumentam que esses priors fazem mais do que tornar os modelos "mais realistas biologicamente"; eles fundamentalmente melhoram a eficiência e a robustez do aprendizado.

As principais conclusões enfatizadas pelos autores incluem:

1. Viés Indutivo sobre Complexidade: Uma melhor computação recorrente pode ser alcançada não aumentando o tamanho do modelo ou a complexidade arquitetônica, mas remodelando o panorama de otimização através de priors biologicamente fundamentados.
2. Interdependência Estrutura-Função: Embora a estrutura anatômica forneça um arcabouço, a informação funcional (relações derivadas da atividade) é a restrição decisiva para especificar as dinâmicas recorrentes. A estrutura sozinha não determina unicamente a dinâmica; priors funcionais são necessários para estreitar o espaço de solução para regimes eficazes.
3. Princípios de Design para IA: As descobertas sugerem que os princípios de organização cortical (incorporação espacial, inicialização funcional, economia de fiação) são computacionalmente consequentes e podem servir como princípios de design reutilizáveis para sistemas artificiais, particularmente em domínios que exigem eficiência de dados e organização interna robusta.

Os autores mantêm um escopo modesto, reconhecendo limitações como o foco em neurônios excitatórios, o regime experimental específico dos dados MICRONS e o uso de medidas funcionais estatísticas em vez de causais. No entanto, afirmam que os resultados fornecem suporte empírico direto para a hipótesia de que os microcircuitos corticais são organizados em torno de princípios de eficiência que podem ser efetivamente transferidos para redes recorrentes artificiais.