Harnessing cortical geometry, wiring, and function as inductive biases for recurrent neural networks

Resumen Técnico: Las Restricciones Neuronales Impulsan un Aprendizaje Superior en las RNN

Planteamiento del Problema
Un desafío central en la intersección entre la neurociencia y el aprendizaje automático es comprender cómo la geometría específica, el cableado y la organización funcional de la corteza cerebral moldean la computación recurrente. Si bien las Redes Neuronales Recurrentes (RNN) son herramientas poderosas para modelar la dinámica temporal, suelen inicializarse con pesos aleatorios y una conectividad no restringida. Esto contrasta con los circuitos biológicos, donde las neuronas ocupan un espacio físico, se adhieren a principios de economía de cableado y participan en relaciones anatómicas y funcionales estructuradas. Trabajos previos han sugerido que imponer restricciones biológicas (por ejemplo, el embebimiento espacial) puede mejorar el aprendizaje, pero la mayoría de los estudios dependen de embebimientos estilizados o aleatorizados en lugar de una organización cortical medida. La pregunta no resuelta es si la geometría, el cableado y la estructura funcional específicos y medidos de los circuitos corticales reales pueden servir como sesgos inductivos poderosos que impulsen un aprendizaje superior en comparación con una inspiración biológica genérica.

Metodología
Los autores aprovechan el conjunto de datos Machine Intelligence from Cortical Networks (MICrONS), un recurso multimodal de conectómica funcional del córtex visual de ratón. Este conjunto de datos co-registra de manera única el registro de calcio de dos fotones (actividad funcional) con microscopía electrónica de alta resolución (conectividad anatómica y coordenadas espaciales) para la misma población neuronal (~12,000 neuronas excitatorias).

El estudio construye una familia de 11 variantes de RNN fundamentadas biológicamente para desentrañar sistemáticamente las contribuciones de tres sesgos corticales específicos:

1. Inicialización de Pesos Funcionales ($W^*$ o $W!$): Los pesos recurrentes se inicializan utilizando relaciones funcionales derivadas de la actividad neuronal (correlación de Pearson y el Coeficiente de Tiling de Tiempo de Pico, o STTC). Una variante de control ($W!$) permuta estos pesos para preservar la distribución estadística mientras se interrumpe el mapeo específico de neurona a peso.
2. Embebimiento Espacial Real ($D^*$): Las unidades recurrentes se asignan posiciones basadas en las coordenadas medidas de los somas neuronales de MICrONS, en lugar de una rejilla artificial ($D$).
3. Regularización Basada en la Comunicabilidad ($C$ o $C^*$): Durante el aprendizaje, un término de regularización penaliza la comunicación de largo alcance o impone la similitud entre la distribución de comunicabilidad del modelo y la distribución empírica derivada de la conectividad anatómica.

Estos modelos se entrenan en tres tareas de toma de decisiones cognitivas: Inferencia de Elección Única, Toma de Decisiones Perceptuales y Go/NoGo. El rendimiento se evalúa no solo por la precisión de la tarea, sino también por las propiedades emergentes de teoría de grafos de las matrices de pesos aprendidas, incluyendo la entropía, modularidad, asortatividad y la propiedad de "mundo pequeño" (small-worldness). La robustez se prueba además restringiendo los pesos recurrentes para que sean estrictamente positivos (régimen de solo excitatorios).

Contribuciones Clave

• Validación Empírica de los Sesgos Corticales: El estudio demuestra que fundamentar las RNN en la geometría, el cableado y la función cortical medida produce resultados de aprendizaje significativamente mejores que los de las líneas base no restringidas o parcialmente restringidas.
• Contribución Jerárquica de los Sesgos: A través de estudios de ablación, los autores establecen una jerarquía de sesgos inductivos:
  • La Inicialización Funcional proporciona la mayor y más general ganancia de rendimiento.
  • El Embebimiento Espacial Real ofrece una mejora secundaria y robusta.
  • La Regularización de la Comunicabilidad proporciona refinamientos selectivos y dependientes del contexto.
• Sinergia Estructura-Función: La investigación muestra que combinar la inicialización funcional con coordenadas espaciales reales y restricciones de comunicabilidad conduce a redes que no solo son más precisas, sino que también convergen hacia topologías de baja entropía, modulares y de mundo pequeño, características de las redes biológicas.
• Robustez bajo Restricciones de Signo: Los autores muestran que la inicialización funcional estabilza el aprendizaje incluso cuando la arquitectura recurrente está restringida a pesos únicamente positivos (imitando un régimen de solo excitatorios), una condición bajo la cual los modelos inicializados aleatoriamente fallan.

Resultados

• Rendimiento de la Tarea: Los modelos totalmente restringidos (por ejemplo, $W^*D^*C$ y $W^*D^*C^*$) superaron consistentemente a las líneas base y a las variantes parcialmente restringidas en todas las tareas. Por ejemplo, en la Tarea 1, el modelo totalmente restringido logró una precisión de ~0.985 frente al ~0.625 de la línea base.
• Perspectivas de Ablación:
  • Eliminar la inicialización funcional causó una caída dramática en el rendimiento, particularmente en las Tareas 2 y 3.
  • Reemplazar las coordenadas reales con una rejilla ($D$) redujo significamente el rendimiento, confirmando que la geometría cortical real actúa como un sesgo computacional significativo.
  • La variante de pesos permutados ($W!$) se comportó de manera comparable a la variante estructurada ($W^*$), lo que indica que la estructura estadística de la distribución de pesos biológicos es el principal motor, más que un mapeo preciso de uno a uno con la neurona.
• Topología Emergente:
  • Entropía: Los modelos con restricciones biológicas convergieron a distribuciones de pesos de baja entropía (altamente estructuradas), mientras que las líneas base permanecieron de alta entropía (similares al azar).
  • Modularidad y Mundo Pequeño: Los modelos con regularización directa de comunicabilidad y coordenadas reales desarrollaron estructuras fuertes de modularidad y de mundo pequeño ($\sigma \approx 1.5–2.5$). Notablemente, algunas variantes lograron baja entropía y alto rendimiento sin una fuerte modularidad, lo que sugiere que estos son resultados distintos pero relacionados.
  • Asortatividad: La inicialización funcional tendió a dirigir las redes hacia estructuras desasortativas (núcleo-periferia), mientras que las restricciones puramente espaciales a veces llevaron a estructuras asortativas (ricas en núcleos).
• Régimen de Solo Positivos: Bajo la restricción de pesos únicamente positivos, los modelos inicializados aleatoriamente colapsaron hacia un rendimiento de azar, mientras que los modelos inicializados funcionalmente mantuvieron una alta precisión, demostizando que los sesgos biológicos pueden estabilizar la optimización en espacios de parámetros difíciles.

Significancia y Reivindicaciones
El artículo afirma que la "maquinaria de la corteza" —específicamente su geometría, cableado y estructura funcional— puede aprovecharse como una poderosa base inductiva para construir redes recurrentes. Los autores argumentan que estos sesgos hacen más que simplemente hacer que los modelos sean más "biológicamente realistas"; mejoran fundamentalmente la eficiencia y la robustez del aprendizaje.

Las conclusiones clave enfatizadas por los autores incluyen:

1. Sesgo Inductivo sobre Complejidad: Se puede lograr una mejor computación recurrente no aumentando el tamaño del modelo o la complejidad arquitectónica, sino remodelando el paisaje de optimización mediante sesgos fundamentados biológicamente.
2. Interdependencia Estructura-Función: Aunque la estructura anatómica proporciona un andamiaje, la información funcional (relaciones derivadas de la actividad) es la restricción decisiva para especificar la dinámica recurrente. La estructura por sí sola no determina únicamente la dinámica; se requieren sesgos funcionales para estrechar el espacio de soluciones hacia regímenes efectivos.
3. Principios de Diseño para la IA: Los hallazgos sugieren que los principios de organización cortical (embebimiento espacial, inicialización funcional, economía de cableado) son computacionalmente consecuentes y pueden servir como principios de diseño reutilizables para sistemas artificiales, particularmente en dominios que requieren eficiencia de datos y organización interna robusta.

Los autores mantienen un alcance modesto, reconociendo limitaciones tales como el enfoque en neuronas excitatorias, el régimen experimental específico de los datos de MICrONS y el uso de medidas funcionales estadísticas en lugar de causales. Sin embargo, afirman que los resultados proporcionan un apoyo empírico directo a la hipótesis de que los microcircuitos corticales están organizados en torno a principios de eficiencia que pueden transferirse efectivamente a las redes recurrentes artificiales.