Quantifying information stored in synaptic connections rather than in firing activities of neural networks

A continuación se presenta un resumen técnico detallado del artículo "Cuantificación de la información almacenada en las conexiones sinápticas en lugar de en las actividades de disparo de las redes neuronales".

1. Planteamiento del Problema

Si bien la teoría de la información se ha utilizado durante mucho tiempo para cuantificar la información codificada en las actividades de disparo de las neuronas (tanto biológicas como artificiales), existe una brecha teórica significativa respecto a la cuantificación de la información almacenada directamente en la distribución de las conexiones sinápticas (pesos).

• Limitaciones actuales: Los enfoques existentes o bien proporcionan cotas superiores laxas (por ejemplo, mediante inyección de ruido en el aprendizaje automático) o dependen de inferir la codificación sináptica indirectamente a través de patrones de disparo neuronal (por ejemplo, dividiendo la capacidad total de almacenamiento por el número de sinapsis en redes de Hopfield).
• El desafío central: A diferencia del disparo neuronal, que tiene una asignación explícita a los datos, los pesos sinápticos surgen implícitamente del proceso de aprendizaje. Esto hace que la derivación de una expresión en forma cerrada para la información mutua entre patrones de datos y distribuciones de pesos sea matemáticamente opaca.
• Objetivo: Desarrollar un marco teórico que cuantifique analíticamente la información mutua de Shannon (MI) entre patrones de datos y conjuntos de conexiones sinápticas, avanzando más allá de la perspectiva de "actividad de disparo" hacia una perspectiva de "conectividad".

2. Metodología

Los autores proponen un marco basado en redes hebbianas densamente conectadas que realizan tareas de memoria autoasociativa.

• Configuración del modelo:

  • Datos: $N$ patrones de datos independientes y $d$-dimensionales $\{x_1, ..., x_N\}$ se modelan como distribuciones log-normal multivariadas. Esta elección refleja las estadísticas de cola pesada observadas en poblaciones neuronales biológicas.
  • Red: Una red totalmente conectada donde los pesos sinápticos $w_{ij}$ se determinan mediante la regla de aprendizaje hebbiano:
    $$w_{ij} = \sum_{k=1}^{N} x_i^k x_j^k$$
  • Objetivo: Calcular la Información Mutua $MI(w; x_l)$ entre un conjunto de pesos sinápticos $w$ y un patrón de datos específico $x_l$.

• Derivación analítica:

  • Aproximación: Dado que la suma de variables log-normales no tiene una distribución en forma cerrada, los autores emplean la aproximación de Fenton-Wilkinson. Este método aproxima la suma de variables log-normales independientes como una única variable log-normal igualando los dos primeros momentos (media y varianza).
  • Conexión única: Derivan la distribución de probabilidad $p(w_{ij})$ y la distribución condicional $p(w_{ij}|x_l)$ (que es una versión desplazada de la suma excluyendo el patrón $l$).
  • Conjuntos: El marco se extiende desde conexiones individuales hasta pares y $n$-tuplas arbitrarias de conexiones. La distribución conjunta del logaritmo de los pesos se aproxima como una Gaussiana multivariada.
  • Fórmulas: Los autores derivan expresiones analíticas en forma cerrada para la Información Mutua de:
    1. Conexiones individuales ($MI(w_{ij}; x_l)$).
    2. Pares de conexiones ($MI((w_{ij}, w_{mn}); x_l)$).
    3. Conjuntos arbitrarios de tamaño $n$ ($MI(w; x_l)$).
  • Insight clave: La MI depende únicamente de los parámetros estadísticos (medias y covarianzas) de los patrones de datos involucrados en el conjunto sináptico específico, lo que hace que el resultado sea invariante al contexto respecto al tamaño total de la red.

3. Contribuciones Clave

1. Primer marco analítico para la información sináptica: El artículo proporciona las primeras aproximaciones analíticas en forma cerrada para la información mutua de Shannon entre datos y conjuntos de pesos sinápticos, evitando la necesidad de simular dinámicas neuronales.
2. Validación de la codificación distribuida: Los resultados confirman matemáticamente que la información se distribuye a través de la red; a medida que aumenta el número de patrones almacenados, la información almacenada en cualquier conexión individual disminuye.
3. Descubrimiento de sinergia: El marco revela que las conexiones sinápticas exhiben interacciones sinérgicas. La información codificada por un conjunto de sinapsis es mayor que la suma de la información codificada por sinapsis individuales ($E[MI_{conjunto}] > n \times E[MI_{individual}]$).
4. Nuevas leyes de escalado de capacidad: Al analizar la relación entre el tamaño de la red, el tamaño del conjunto y los patrones almacenados, los autores derivan una nueva ley de escalado para la capacidad de las redes hebbianas que difiere de los límites tradicionales de las redes de Hopfield.

4. Resultados Clave

Los autores validaron su teoría mediante tres conjuntos de simulaciones con estructuras de covarianza variables (intercambiables, estocásticas y aleatorias).

• Efecto del número de patrones de datos ($N$):

  • La información codificada por una sola conexión (o un conjunto) sobre un patrón específico disminuye a medida que aumenta el número total de patrones almacenados ($N$).
  • Escalado: $MI \sim N^{-1.0 \text{ a } -1.2}$. Esto confirma que los nuevos patrones diluyen la capacidad de información de las conexiones existentes, apoyando el principio de codificación distribuida.

• Efecto del tamaño del conjunto ($n$):

  • La información total codificada por un conjunto de $n$ conexiones aumenta a medida que aumenta $n$.
  • Escalado: $MI \sim n^{1.1}$.
  • Sinergia: Crucialmente, la información promedio por conexión ($MI/n$) aumenta a medida que crece el tamaño del conjunto. Esto indica que las conexiones trabajan juntas de manera sinérgica; el todo es mayor que la suma de sus partes. Esta sinergia se observó hasta al menos el vigésimo orden de interacción.

• Escalado de la capacidad de la red:

  • Al relacionar el tamaño del conjunto $n$ con la dimensión de la red $d$ (donde $n \approx d^2/2$) y asumiendo requisitos lineales de información por componente de patrón, los autores derivaron la capacidad total de almacenamiento $P$ (número de patrones) en relación con el tamaño de la red $d$:
    $$P \sim d^{1.2}$$
  • Esto sugiere una capacidad de almacenamiento superlineal para redes hebbianas densas, que es mayor que los límites lineales ($P \sim d$) o sublineales ($P \sim 0.14d$) citados a menudo para redes de Hopfield basados en dinámicas de recuperación. Los autores argumentan que esto representa la capacidad de almacenamiento (cota superior), mientras que la capacidad de recuperación es menor debido a la pérdida de información durante la fase de lectura.

5. Significado e Implicaciones

• Cambio teórico: El estudio desplaza el paradigma de analizar la codificación neuronal a través de "picos" hacia analizarla a través de "pesos", ofreciendo una perspectiva complementaria sobre cómo se instancian físicamente el aprendizaje y la memoria.
• Relevancia biológica: Los hallazgos apoyan el principio biológico de que la memoria no está localizada en "células abuela" o sinapsis específicas, sino que está distribuida y es sinérgica a través de conjuntos neuronales.
• Aplicaciones en aprendizaje automático:
  • Poda: Sugiere que podar redes neuronales basándose únicamente en el contenido de información aislado de un solo peso es engañoso, ya que la contribución del peso es dependiente del contexto y sinérgica.
  • Interpretabilidad: El marco ofrece una herramienta para cuantificar el almacenamiento de información en motivos de circuitos específicos, potencialmente haciendo que los modelos de aprendizaje profundo de "caja negra" sean más interpretables.
  • Diseño de arquitectura: Implica que la disposición estructural de las conexiones (motivos) juega un papel crítico en la eficiencia del almacenamiento de información.
• Robustez: Los autores demuestran que sus conclusiones (codificación distribuida, sinergia, escalado de capacidad) son robustas frente a los errores de aproximación introducidos por el método de Fenton-Wilkinson, ya que se basan en tendencias cualitativas en lugar de valores numéricos precisos.

En resumen, este artículo establece una base matemática rigurosa para comprender el almacenamiento de información en la conectividad sináptica, revelando que las redes neuronales almacenan información de manera más eficiente a través de interacciones distribuidas y sinérgicas de lo que se entendía anteriormente a través de la lente de las tasas de disparo únicamente.