Correlative Information Maximization: A Biologically Plausible Approach to Supervised Deep Neural Networks without Weight Symmetry

Resumen Técnico: Maximización de Información Correlativa (CorInfoMax)

1. El Problema: La Plausibilidad Biológica del Backpropagation

El algoritmo de backpropagation (retropropagación del error) ha sido fundamental para el éxito de las redes neuronales artificiales a gran escala. Sin embargo, su aplicación en neurociencia computacional enfrenta críticas severas sobre su plausibilidad biológica, principalmente por dos razones:

• Simetría de Pesos (Weight Symmetry): El algoritmo requiere que las conexiones sinápticas en la ruta de retropropagación del error sean exactamente la transpuesta de las conexiones en la ruta de inferencia hacia adelante. En el cerebro biológico, no existe evidencia de un mecanismo de "transporte de pesos" que sincronice estas dos rutas físicas distintas.
• Simplificación Neuronal: Los modelos tradicionales utilizan neuronas puntuales (point neurons) que ignoran la compleja estructura de las neuronas piramidales reales, las cuales poseen múltiples compartimentos (soma, dendritas basales y apicales) que procesan información de manera diferenciada.

El objetivo de este trabajo es proponer un marco normativo que permita el aprendizaje supervisado en redes profundas sin violar estos principios biológicos.

2. Metodología: Maximización de Información Correlativa (CorInfoMax)

Los autores proponen un nuevo marco basado en la Maximización de Información Correlativa (CorInfoMax) entre capas consecutivas de una red neuronal. En lugar de minimizar directamente el error de salida, el objetivo es maximizar la dependencia lineal (información mutua correlativa) entre las activaciones de capas adyacentes.

Componentes Clave del Enfoque:

• Dos Expresiones Equivalentes de Información Mutua:
  La contribución central es el uso de dos formas alternativas pero equivalentes de la Información Mutua Correlativa (CMI) entre dos capas $r^{(k)}$ y $r^{(k+1)}$:

  1. Predicción hacia adelante: Minimizar el error al predecir $r^{(k+1)}$ a partir de $r^{(k)}$.
  2. Predicción hacia atrás: Minimizar el error al predecir $r^{(k)}$ a partir de $r^{(k+1)}$.

  Al optimizar ambas expresiones simultáneamente, el marco genera naturalmente dos redes de predicción distintas: una hacia adelante y otra hacia atrás. Esto resuelve el problema de la simetría de pesos, ya que los pesos de la ruta de retroalimentación ($W_{fb}$) no necesitan ser la transpuesta de los pesos hacia adelante ($W_{ff}$); surgen de forma independiente para minimizar sus respectivos errores de predicción.

• Estructura Neuronal de Múltiples Compartimentos:
  La optimización del objetivo CorInfoMax, combinada con restricciones polipédicas (como no negatividad o normas L1) en las activaciones, deriva matemáticamente en una arquitectura de red que emula neuronas biológicas reales:

  • Neuronas Piramidales de 3 Compartimentos: Cada unidad neuronal modela el soma, las dendritas basales (que reciben entrada hacia adelante) y las dendritas apicales distales (que reciben entrada de retroalimentación y lateral).
  • Interneuronas Inhibidoras: La maximización de la entropía de la capa (para evitar la degeneración dimensional) introduce conexiones laterales y autapses, que se interpretan biológicamente como la acción de interneuronas inhibitorias (tipo SST) que generan competencia lateral.
  • Dinámica de Potenciales de Membrana: Las ecuaciones de actualización de las activaciones se reformulan como ecuaciones diferenciales que describen la dinámica de potenciales de membrana en los diferentes compartimentos dendríticos.

• Algoritmo de Aprendizaje (Equilibrium Propagation):
  El entrenamiento se realiza mediante un enfoque de propagación de equilibrio (Equilibrium Propagation) con dos fases:

  1. Fase Libre ($\beta = 0$): La red se deja evolucionar hasta un estado de equilibrio sin influencia de la etiqueta.
  2. Fase de Empuje ($\beta > 0$): Se introduce una pequeña perturbación basada en la etiqueta de supervisión para "empujar" la red hacia el estado deseado.
     Los pesos se actualizan comparando las diferencias de actividad entre estas dos fases, utilizando reglas de aprendizaje locales (Hebbianas y anti-Hebbianas) que no requieren transporte de pesos globales.

3. Contribuciones Clave

1. Solución al Problema de Simetría de Pesos: Demuestran que la maximización de la información mutua correlativa conduce intrínsecamente a redes con pesos asimétricos hacia adelante y hacia atrás, eliminando la necesidad de un mecanismo biológico improbable de transporte de pesos.
2. Marco Normativo para Neuronas Multicompartimento: Derivan una arquitectura de red específica (neuronas piramidales con dendritas apicales y basales, más interneuronas) directamente de un principio de optimización de información, en lugar de imponerla heurísticamente.
3. Codificación Predictiva Bidireccional: Establecen que la codificación predictiva (minimización de errores de predicción) es una consecuencia natural de maximizar la información correlativa, facilitando el flujo de información tanto ascendente (feedforward) como descendente (feedback).
4. Validación Empírica: Muestran que este enfoque biológicamente plausible puede competir o superar a otros métodos plausibles (como EP, CSM, PC) en tareas de clasificación de imágenes.

4. Resultados Experimentales

Los autores evaluaron su marco en tres conjuntos de datos de imágenes: MNIST, Fashion-MNIST y CIFAR-10.

• Rendimiento: Las redes CorInfoMax lograron precisiones de prueba comparables o superiores a otros algoritmos biológicamente plausibles (Equilibrium Propagation, Contrastive Similarity Matching, Predictive Coding) y se acercaron al rendimiento del Backpropagation estándar (BP) en tareas de clasificación.
  • Ejemplo: En MNIST, CorInfoMax alcanzó 97.6-97.7%, superando a EP (97.6%) y CSM (~98.1% en algunos casos, pero con limitaciones en CIFAR).
• Asimetría de Pesos: Mediante la medición del ángulo coseno entre los pesos hacia adelante y la transpuesta de los pesos hacia atrás, confirmaron que los pesos permanecen asimétricos (ángulos cercanos a 90°) durante todo el entrenamiento, validando la resolución del problema de transporte de pesos.
• Robustez: El método funcionó bien bajo diferentes restricciones de activación (hipercubo no negativo $B_{\infty,+}$ y bola L1 no negativa $B_{1,+}$), demostrando flexibilidad en la formación de representaciones dispersas y democráticas.

5. Significado e Impacto

Este trabajo representa un avance significativo en la intersección entre el aprendizaje automático y la neurociencia:

• Puente Teórico: Proporciona una justificación normativa (basada en principios de información) para estructuras neuronales complejas observadas experimentalmente, sugiriendo que el cerebro podría estar optimizando la información correlativa en lugar de seguir el backpropagation clásico.
• Viabilidad Biológica: Al eliminar la restricción de simetría de pesos y utilizar reglas de aprendizaje locales y dinámicas de múltiples compartimentos, el modelo se alinea mucho más estrechamente con lo que sabemos sobre la biología del cerebro.
• Futuro en Hardware Neuromórfico: Dado que el método se basa en reglas de aprendizaje locales y dinámicas recursivas, es altamente prometedor para su implementación eficiente en hardware neuromórfico de bajo consumo, donde el transporte de pesos globales es inviable.

En conclusión, los autores presentan CorInfoMax como una alternativa viable y teóricamente sólida al backpropagation, capaz de entrenar redes profundas supervisadas respetando las restricciones biológicas fundamentales, mientras mantiene un rendimiento competitivo en tareas de visión por computadora.