Resumen Técnico: Generalización de Arquitectura con MetaNCA

Planteamiento del Problema

Los paradigmas actuales de aprendizaje profundo dependen fuertemente de la retropropagación y la optimización basada en gradientes, lo que presenta limitaciones significativas en cuanto al consumo de memoria, la rigidez arquitectónica y la eficiencia de datos. Los sistemas biológicos, por el contrario, desarrollan circuitos neuronales complejos mediante interacciones locales y autoorganización, regidos por reglas generalizadas codificadas en un genoma que es órdenes de magnitud más pequeño que la circuitería resultante.

Los enfoques existentes intentan cerrar esta brecha, pero enfrentan restricciones específicas:

• Las Hypernetworks suelen generar pesos globalmente para arquitecturas objetivo fijas, careciendo de una verdadera interacción local.
• Los métodos basados en plasticidad ofrecen actualizaciones locales, pero a menudo tienen dificultades para generalizar a arquitecturas no vistas.
• Los Autómatas Celulares Neuronales (NCA) y los programas de desarrollo (por ejemplo, HyperNCA) pueden generar parámetros mediante reglas locales, pero a menudo operan sobre rejillas fijas o desarrollan la topología desde cero, en lugar de generar pesos para una distribución de arquitecturas diversas y preespecificadas.

Existe una falta de métodos que combinen actualizaciones de pesos puramente locales en un grafo computacional con un entrenamiento de extremo a extremo a través de una distribución de arquitecturas.

Metodología: MetaNCA

Los autores presentan Meta Neural Cellular Automata (MetaNCA), un marco que aprende una única regla local para autoorganizar los pesos de redes neuronales artificiales.

Mecanismo Central

MetaNCA trata los pesos de una red de tarea como "píxeles" en una "rejilla" basada en un grafo. Una red de regla local separada, $R$, actualiza iterativamente los pesos ($w$) y los estados ocultos asociados ($\vec{h}$) de una red de tarea utilizando únicamente información local del grafo computacional.

• Vecindad Local: Para cualquier peso $w$, la entrada a la red de regla consiste en sus vecinos hacia adelante (pesos post-sinápticos) y sus vecinos hacia atrás (pesos pre-sinápticos), junto con sus estados ocultos correspondientes.
• Proceso Iterativo: El sistema actualiza los pesos durante $T=10$ pasos temporales. La red de tarea se actualiza exclusivamente por las salidas de la regla local, mientras que la red de la regla se entrena mediante BPTT (retropropagación a través del tiempo).

Arquitectura: Weight Transformer

Para agregar señales de los vecinos, los autores proponen una novedosa arquitectura de Weight Transformer para la red de la regla local:

1. Atención Lineal: La red utiliza atención lineal con un mapa de características basado en ELU ($\psi(x) = \text{ELU}(x) + 1$) para agregar pesos y estados ocultos de las vecindades hacia adelante y hacia atrás. Esto evita materializar la matriz de atención completa, asegurando un escalamiento lineal con el número de vecinos.
2. Codificación Posicional Rotatoria: Se aplican matrices de rotación dependientes de la posición a las consultas (queries) y claves (keys) para codificar la información estructural (índice de capa, índices de neurona, posiciones de kernel).
3. Vector de Percepción: La salida del mecanismo de atención (señal hacia adelante $a_f$ y señal hacia atrás $a_b$) se concatena con el peso actual y el estado oculto para formar un vector de percepción: $v_{perception} = [w, \vec{h}, a_f, a_b]$.
4. Regla de Actualización: Una red de alimentación hacia adelante (MLP) procesa este vector para producir actualizaciones $\Delta w$ y $\Delta \vec{h}$.

Estrategia de Entrenamiento

• Meta-Entrenamiento: La red de la regla local se entrena en un pequeño conjunto de arquitecturas de red de tarea (2–5 configuraciones).
• Objetivo de Generalización: La regla debe generar parámetros válidos para diversas arquitecturas (variaciones en anchos de capa, tamaños de kernel y conteos de canales) simultáneamente. Esto obliga a la regla a aprender estrategias de desarrollo generalizadas en lugar de memorizar configuraciones específicas.
• Actualizaciones Estocásticas: Para simular actualizaciones biológicas asíncronas, la regla se aplica estocásticamente al 80% de los pesos por paso.

Contribuciones Clave

1. Primera Regla Local Trans-Arquitectura: MetaNCA es el primer método que aprende una única regla local capaz de autoorganizar pesos a través de una distribución de arquitecturas no vistas con millones de parámetros.
2. Weight Transformer: La introducción de un mecanismo de atención lineal diseñado específicamente para agregar señales de vecindad en un grafo de computación para la generación de pesos.
3. Generalización de Arquitectura: Demostró la capacidad de generar pesos para MLPs densos, CNNs y ResNets sin retropropagación en la propia red de la tarea.
4. Compresión: El marco actúa como un método de destilación de modelos flexible a la arquitectura, comprimiendo el entrenamiento de múltiples redes grandes en una sola y pequeña red de regla (por ejemplo, una compresión de 16x para redes de 2M de parámetros).

Resultados Experimentales

Los autores evaluaron MetaNCA en MNIST y CIFAR-100 a través de tres familias de arquitecturas:

• MLPs Densos (MNIST): Entrenado en 3–5 arquitecturas, la regla generalizó a anchos de capa no vistos. Con 5 arquitecturas de entrenamiento, alcanzó un $\ge 90\%$ de precisión en la mayoría de las configuraciones, incluyendo aquellas con capas pequeñas que anteriormente funcionaban mal.
• Redes Convolucionales (MNIST): Entrenado en solo dos arquitecturas (tamaños de kernel 3 y 5), la regla alcanzó hasta un 97% de precisión en tamaños de kernel no vistos (por ejemplo, tamaño 4), con un rendimiento que se degrada gradualmente a medida que las configuraciones se alejan de los datos de entrenamiento.
• ResNets (CIFAR-100): Entrenado en dos anchos de canal base ($c=16, 20$), la regla generalizó a arquitecturas cercanas, alcanzando un 29.9% de precisión. El rendimiento cayó significamente para arquitectes con menor capacidad ($c \le 14$), indicando que la regla aprendió la dinámica específica de un cierto rango de capacidad.
• Comparación con Baselines: En MNIST, las redes generadas por MetaNCA igualaron a los baselines entrenados con Adam (97% vs. 96.9%). En CIFAR-100, MetaNCA (29.9%) se quedó rezagado respecto a los baselines entrenados con Adam (41–42%), aunque los autores señalan que esta brecha podría reducirse con más arquitecturas de entrenamiento o ajuste de hiperparámetros.
• Estructura de Pesos: Los pesos generados por MetaNCA exhibieron simetría y una mayor dispersión (sparsity) en comparación con los pesos entrenados con Adam, a pesar de lograr una precisión similar.

Significado y Reivindicaciones

El artículo afirma que MetaNCA demuestra que las reglas de autoorganización local pueden generar efectivamente parámetros de redes neuronales a través de diversas arquitecturas sin coordinación global. Al desplazar el enfoque de escalar detalles específicos del modelo hacia el aprendizaje de las reglas que los generan, MetaNCA ofrece un camino hacia modelos más flexibles, compresibles y adaptables.

Los autores enfatizan que:

• La regla local aprende un atractor hacia configuraciones de pesos de alto rendimiento desde una inicialización aleatoria.
• La red de la regla sirve como una descripción comprimida del proceso de generación, capaz de descomprimirse en redes de diversos tamaños.
• La diversidad arquitectónica en la fase de entrenamiento es crítica; aumentar el número de arquitecturas de entrenamiento mejora la cobertura de generalización.

Limitaciones y Trabajo Futuro

Los autores señalan modestamente que la generalización es más fuerte dentro del rango de capacidad cubierto por las arquitecturas de entrenamiento y se degrada para redes significativamente más pequeñas o más grandes. Además, aunque la definición de vecindad es general, la instanciación para nuevas familias de arquitectura (por ejemplo, topologías convolucionales específicas) aún requiere mapear la definición a esa familia.

El trabajo futuro apunta a:

• Condicionar la regla local directamente en señales de datos (activaciones y valores de pérdida) para mejorar la generalización a nuevas tareas.
• Explorar MetaNCA multitarea, donde una sola regla genera redes para múltiples tareas simultáneamente (una capacidad ya demostrada en pruebas preliminares).
• Entrenar una sola regla a través de múltiples familias de arquitectura distintas en lugar de una regla por familia.