Resumen Técnico: Leyes de Escalamiento y Compensaciones en Redes Recurrentes de Neuronas Expresivas

Planteamiento del Problema

Las neuronas corticales son procesadores complejos de múltiples escalas temporales, capaces de una integración no lineal que va más allá de las no linealidades puntuales simples. En contraste, el aprendizaje automático (ML) predominante depende principalmente de unidades extremadamente simples (por ejemplo, perceptrones estándar o LSTMs), un default heredado de la teoría temprana de redes neuronales. Si bien la neurociencia computacional ha refinado los modelos de neuronas individuales para incluir dinámicas internas ricas e integración dendrítica estructurada, y el ML ha escalado el rendimiento ampliando las redes y apilando capas, ambos campos han evolucionado mayormente a lo largo de ejes separados.

La pregunta normativa central abordada es: ¿Cómo debe asignarse óptimamente un presupuesto fijo de parámetros $P$ entre el número de unidades $N$, la complejidad efectiva por unidad $k_e$ y la conectividad por unidad $k_c$? Las leyes de escalamiento actuales del ML se centran en el tamaño del modelo, los datos y la capacidad de cómputo, pero el escalamiento con la complejidad por unidad permanece en gran medida inexplorado. Los autores postulan que la suposición de que las unidades simples son un default obviamente óptimo podría ser errónea una vez que se sondee la superficie de compensación entre la cantidad de unidades, la complejidad de las unidades y la conectividad.

Metodología

La Arquitectura de la Red ELM

Para investigar esta compensación, los autores introducen la Red ELM, una arquitectura recurrente construida a partir de neuronas de Memoria Fuga Expresiva (ELM). Este diseño permite el ajuste independiente de $N$, $k_e$ y $k_c$ mientras se mantiene un entrenamiento estable a través de órdenes de magnitud.

• La Neurona ELM: Una celda recurrente que presenta:
  • Integración Sináptica Estructurada: Las entradas se ponderan, se agrupan en ramas y se suman.
  • Cálculo Interno No Lineal: Las activaciones de las ramas y los estados de memoria decaídos pasan a través de un perceptrón multicapa (MLP).
  • Memoria de Múltiples Escalas Temporales: Integración con fuga de unidades de memoria con escalas temporales aprendibles.
  • Filtrado de Paso Alto Temporal: Se resta un promedio móvil exponencial (EMA) de la lectura de memoria lineal antes de una activación ReLU, estabilizando el entrenamiento y filtrando oscilaciones lentas.
• La Red: Consiste en una capa oculta recurrente ancha de neuronas ELM, seguida de una capa de lectura feed-forward más simple y una proyección de salida lineal.
• Definición del Presupuesto: El presupuesto total de parámetros se define como $P = N(k_e + k_c)$, donde $k_e$ representa los parámetros internos de la neurona (pesos del MLP, pesos de lectura) y $k_c$ representa los parámetros de conexión (pesos sinápticos).

Configuración Experimental

Los autores evaluaron el modelo en dos benchmarks cualitativamente diferentes:

1. SHD-Adding: Un benchmark neuromórfico que implica la suma de dígitos hablados codificados como patrones de picos espacio-temporales.
2. Enwik8: Una tarea de modelado de lenguaje a nivel de caracteres utilizando los primeros $10^8$ bytes de Wikipedia.

Los experimentos implicaron un barrido de $N$, $k_e$ (a través de unidades de memoria $d_m$ y profundidad/ancho del MLP) y conectividad ($k_c$) a través de tres órdenes de magnitud en parámetros entrenables.

Marco Teórico

Para explicar las compensaciones empíricas, los autores proponen un modelo teórico de la información de forma cerrada que trata la capa neuronal como una colección de canales ruidosos.

• Información de Representación Efectiva ($I_{rep}$): Definida como la información mutua entre la señal relevante para la tarea y la salida ruidosa de la capa.
• Suposiciones Clave:
  1. Señal y ruido gaussianos.
  2. Espectro de covarianza de la señal con ley de potencias ($\lambda_i \propto i^{-\beta}$), donde $\beta$ captura la redundancia inter-neuronal.
  3. El ruido por neurona decae como una ley de potencias con la complejidad $k_e$ hasta saturar en un suelo ($\sigma_n^2 \propto \max((\gamma k_e)^{-\alpha}, q_\infty)$), donde $\alpha$ captura la expresividad de la integración espacio-temporal.
  4. Presupuesto fijo $P$ distribuido entre $N$ neuronas.
• Fórmula Resultante:
  $$I_{rep}(k_e) = \frac{1}{2} \sum_{i=1}^{P/(k_e+k_c)} \log_2 \left( 1 + s(k_e) i^{-\beta} \right)$$
  donde $s(k_e)$ es la relación señal-ruido dependiente de $k_e$.

Resultados Clave

1. Escalamiento Monótono vs. Compensaciones No Triviales

• Ejes Individuales: El rendimiento mejora monótonamente al escalar $N$, $k_e$ o la conectividad ($k_c$) individualmente.
• Compensación con Presupuesto Fijo: Bajo un presupuesto fijo de parámetros, emerge un óptimo claro y no trivial en la compensación entre $N$ y $k_e$.
  • Las redes con demasiadas pocas neuronas o neuronas demasiado simples tienen un rendimiento pobre.
  • El óptimo es agudo, particularmente al utilizar sustitutos de picos binarios.
• Desplazamiento del Presupuesto: A medida que aumenta el presupuesto total $P$, la configuración óptima se desplaza hacia ambas: más neuronas y neuronas más complejas (por ejemplo, desplazándose de $N=512, d_m=15$ a $N=1024, d_m=25$ cuando el presupuesto se cuadruplica).

2. Conectividad y Recurrencia

• Conectividad: Aumentar el número de sinapsis ($d_s$) mejora el rendimiento. Una vez que existen suficientes conexiones feed-forward, las ganancias adicionales de rendimiento son impulsadas casi en su totalidad por conexiones recurrentes.
• Fracción de Recurrencia: Las redes más grandes favorecen una mayor fracción de conexiones recurrentes ($\rho_{rec}$).
• Complejidad vs. Conectividad: Dividir los parámetros entre la complejidad de la neurona y la conectividad produce un óptimo alrededor de $N_{rec}$ conexiones.

3. Validación Teórica

• El modelo teórico de la información reproduce cualitativamente las formas de escalamiento empíricas, incluida la ubicación y el desplazamiento del óptimo con el presupuesto.
• Interpretabilidad de Parámetros:
  • $\alpha$ (exponente de decaimiento del ruido) se correlaciona con los ajustes de integración espacio-temporal (por ejemplo, $l_{mlp}$, $\tau_{max}$). Las mediciones empíricas en benchmarks de neuronas individuales confirman una reducción con ley de potencias del error con $k_e$.
  • $\beta$ (exponente de decaimiento espectral) se correlaciona con la conectividad. La conectividad reducida aumenta $\beta$ (mayor redundancia), desplazando el óptimo hacia neuronas más grandes.
• Un ajuste conjunto de la teoría a los datos experimentales a través de siete experimentos de ablación logró una correlación de Pearson de $r=0.98$, con parámetros ajustados que coinciden con mediciones independientes.

4. Receta de Escalamiento

Una búsqueda estructurada de hiperparámetros identificó una receta de escalamiento simple que traza la frontera de Pareto empírica en ambos conjuntos de datos:

• $d_m \sim \sqrt{N_{rec}}$
• $d_{mlp} = 2d_m$
• $d_{tree} = 2d_{mlp}$
• $d_{branch} = d_{tree}$
  Esta receta escala la conectividad por neurona de manera agresiva, consistente con la importancia teórica de $\beta$.

Significado y Afirmaciones

El artículo afirma proporcionar una lente normativa sobre la dependencia de la corteza de integradores espacio-temporales complejos. Al demostrar que los defaults de unidades simples no son obviamente óptimos bajo restricciones de presupuesto, el trabajo sugiere que:

1. La maquinaria compleja por unidad es una elección de diseño eficiente en presupuesto para el cálculo recurrente.
2. La compensación entre la cantidad de unidades y la complejidad de las unidades está gobernada por principios fundamentales de la teoría de la información: la saturación de la relación señal-ruido por neurona y la redundancia entre neuronas.
3. El default de "unidad simple" en el ML podría ser subóptimo una vez que se explore la superficie completa de compensaciones.

Los autores señalan explícitamente limitaciones: el marco abstrae topologías de red específicas y dinámicas de optimización; las suposiciones (como espectros de ley de potencias) se mantienen aproximadamente; y el uso del conteo de parámetros como proxy del presupuesto no captura directamente los costos metabólicos, limitando la interpretabilidad biológica directa. No obstante, el trabajo establece un sistema de modelo robusto para estudiar el escalamiento en neuronas expresivas y ofrece un marco teórico compacto para comprender las compensaciones arquitectónicas.