Emergent Generalization by Representation Learning in Artificial Neural Networks

Resumen Técnico: Emergencia de la Generalización mediante el Aprendizaje de Representaciones en Redes Neuronales Artificiales

Planteamiento del Problema
El artículo aborda un debate de larga data en la neurociencia sobre la relevancia funcional de los "manifolds neuronales" (variedades neuronales): estructuras de baja dimensión que subyacen a la actividad neuronal de alta dimensión. Si bien las técnicas de reducción de dimensionalidad han identificado con éxito estos manifolds en diversas regiones y especies cerebrales, sigue siendo objeto de controversia si estas estructuras son meros epifenómenos descriptivos de la actividad a nivel de neurona o si confieren una ventaja causal y funcional para el aprendizaje y la generalización. Específicamente, los autores investigan si la capacidad de un sistema de aprendizaje para extraer representaciones de baja dimensión a partir de entradas de alta dimensión proporciona un beneficio funcional para la generalización a datos fuera de la distribución (OOD, por sus siglas en inglés), y si tales representaciones exhiben una "emergencia causal".

Metodología
Los autores emplean un enfoque híbrido que combina simulaciones de redes neuronales artificiales (ANN) con el análisis de datos neurales biológicos.

1. Tarea Sintética y Arquitectura:

   • Tarea: Una tarea de predicción de series temporales en la que la red debe predecir el siguiente paso temporal de una entrada de alta dimensión $X_t$. Esta entrada es generada mediante la proyección de un sistema dinámico latente de baja dimensión $x_t$ (por ejemplo, atractores de Lorenz, Rössler o Sprott) en un espacio de alta dimensión mediante una proyección ortogonal aleatoria $R$, con ruido añadido.
   • Arquitectura: Una arquitectura de Computación de Reservorio (RC) modificada. Consiste en una capa de reservorio recurrente fija, una capa de cuello de botella entrenable (el foco del aprendizaje de representaciones) y una capa de lectura (readout) de regresión de cresta lineal. La capa de cuello de botella se entrena mediante retropropagación para aprender una representación latente predictiva de baja dimensión, mientras que la capa de lectura se entrena para minimizar el Error Cuadrático Medio (MSE).
   • Pruebas de Generalización: El modelo se entrena en un subconjunto de sistemas dinámicos y se prueba en: (a) rotaciones ortogonales aleatorias de los atractores de entrenamiento, y (b) sistemas dinámicos mantenidos fuera de la distribución (OOD) respecto a los datos de entrenamiento.
   • Control de Complejidad: La complejidad de la tarea se modula mediante el submuestreo de la serie temporal para retener $N_{\tau}$ pasos temporales antes de que la autocorrelación caiga por debajo de $1/e$.

2. Medidas de Información Teórica:

   • Emergencia Causal ($\Psi$): Los autores utilizan la medida $\Psi$ (Rosas et al., 2020) para cuantificar la emergencia causal. Se define como la diferencia entre la predictibilidad macro (información mutua entre el estado grueso $V_t$ y su futuro $V_{t+1}$) y la suma de las predictibilidades micro (suma de la información mutua entre neuronas individuales del reservorio $Y^i_t$ y sus futuros). Un $\Psi$ positivo indica que el estado macro es más predictivo que la suma de sus partes.
   • Cuello de Botella de Información (IB): Se utiliza la pérdida de IB ($I(Y_t; V_t) - \beta I(V_t; X_{t+1})$) para rastrear el compromiso entre la compresión de la información de entrada y la preservación de la información predictiva.

3. Análisis de Datos Biológicos:

   • Conjunto de Datos: Actividad de disparo neuronal registrada de la región CA1 dorsal y la corteza prefrontal medial (mPFC) de ratones realizando una tarea de alternancia espacial en un laberinto en forma de W (8 ratones, más de 8 sesiones de entrenamiento).
   • Análisis: Las tasas de disparo preprocesadas se introdujeron en un codificador de cuello de botella lineal simple con un decodificador de cresta para predecir el siguiente paso temporal de las variables conductuales (posición y velocidad). La medida $\Psi$ se estimó para los estados del cuello de botella a lo largo de las sesiones de entrenamiento para rastrear su evolución en relación con el rendimiento conductual y el error de predicción.

Resultados Clave

1. Necesidad de Cuellos de Botella para la Generalización:

   • Las redes sin una capa de cuello de botella pudieron aprender los datos de entrenamiento, pero fallaron al generalizar a rotaciones aleatorias de los atractores de entrenamiento o a sistemas dinámicos OOD completamente nuevos.
   • La presencia de una capa de cuello de botella permitió a la red aprender una representación de los estados latentes invariante a la rotación, permitiendo una generalización exitosa tanto a los datos de entrenamiento rotados como a nuevos sistemas dinámicos.
   • El rendimiento de la generalización fue robusto a través de diferentes sistemas dinámicos y dependió principalmente de la complejidad de la tarea (controlada por $N_{\tau}$) más que del atractor específico aprendido.

2. Trayectoria No Monotónica de la Emergencia Causal:

   • Mientras que la pérdida de predicción (MSE) disminuyó de forma monótona durante el entrenamiento, la medida de la emergencia causal ($\Psi$) exhibió una trayectoria no monotónica.
   • Fase 1 (Memorización): $\Psi$ disminuyó inicialmente durante las primeras etapas del entrenamiento.
   • Fase 2 (Transición): $\Psi$ alcanzó un mínimo.
   • Fase 3 (Generalización): $\Psi$ aumentó posteriormente hasta alcanzar un máximo durante la fase de generalización.
   • Esta trayectoria refleja el fenómeno de "grokking" observado en otros contextos, donde una transición de la memorización a la generalización está marcada por un cambio estructural en la representación. La magnitud de esta estructura emergente predijo de manera fiable el rendimiento de la generalización.

3. Correlación con la Generalización:

   • El grado de emergencia causal se correlacionó positivamente con la capacidad de la red para generalizar a datos OOD.
   • La descomposición de la medida $\Psi$ reveló que la generalización está asociada con una alta predictibilidad macro (estabilidad de la representación) y una baja predictibilidad micro (representaciones altamente distribuidas donde ningún componente individual predice el macro).
   • La transición hacia una alta emergencia precedió a la minimización de la pérdida del Cuello de Botella de Información (IB), lo que sugiere que la emergencia de la estructura es un precursor de la compresión y la generalización óptimas.

4. Validación Biológica:

   • El análisis de los datos de CA1 y mPFC de ratones reveló un comportamiento no monotónico similar en la medida de la emergencia causal durante el aprendizaje espacial.
   • La medida de la emergencia disminuyó inicialmente y luego aumentó en las sesiones de entrenamiento posteriores. Crucialmente, el mínimo de la medida de la emergencia precedió significativamente al mínimo del error de predicción (MSE) y al pico en el rendimiento conductual, reflejando la dinámica observada en la red artificial.

Significado y Reivindicaciones
El artículo argumenta que la capacidad de aprender representaciones compactas, distribuidas y emergentes confiere una ventaja funcional para la generalización en los sistemas de aprendizaje. Al demostrar que la emergencia causal es una condición necesaria para la generalización OOD en un entorno sintético controlado, y al observar dinámicas de emergencia no monotónicas análogas en redes neuronales biológicas durante el aprendizaje, los autores respaldan un papel causal de las representaciones aprendidas en la cognición.

Los hallazgos sugieren que los manifolds neurales no son meramente resúmenes descriptivos, sino que pueden representar estructuras causalmente emergentes que mejoran el poder predictivo. El estudio postula que el aprendizaje de estos manifolds emergentes es una característica clave del aprendizaje en las redes neuronales biológicas, proporcionando una explicación funcional de por qué los cerebros podrían evolucionar para organizar la actividad de alta dimensión en estructuras emergentes de baja dimensión. Los autores mantienen la modestia respecto a las explicaciones mecanísticas, señalando que, si bien identifican la ventaja funcional, los mecanismos de plasticidad específicos que permiten esto en los cerebros biológicos siguen siendo una pregunta abierta para trabajos futuros.