Resumen Técnico: Sobre la Estabilidad del Crecimiento en la Plasticidad Estructural

Enunciado del Problema

Las pipelines estándar de aprendizaje profundo suelen fijar la arquitectura de la red antes del entrenamiento. En contraste, la plasticidad estructural permite la modificación de las arquitecturas de red durante el entrenamiento, principalmente a través de dos operadores: poda (eliminación de capacidad) y crecimiento (adición de capacidad). Mientras que la poda está bien establecida y a menudo se vincula con la Hipótesis del Billete de Lotería (LTH), el crecimiento está menos comprendido. El artículo postula que el crecimiento no es simplemente la inversa de la poda. La poda selecciona entre unidades que han participado en el entrenamiento desde la inicialización, whereas el crecimiento inserta nuevas unidades en una trayectoria de optimización ya especializada. El problema central investigado es si las unidades recién insertadas pueden integrarse de manera estable y lo suficientemente rápida como para apoyar el aprendizaje adaptativo y continuo, o si el propio proceso de inserción introduce inestabilidad que obstaculiza el rendimiento.

Metodología

Los autores evalúan la plasticidad estructural bajo flujos de datos, optimizadores y objetivos de compacidad coincidentes, comparando tres familias de modelos:

1. Densa: Sin esparcimiento.
2. Poda: Poda Iterativa por Magnitud (IMP) aplicada a capas enmascaradas, con los pesos supervivientes devueltos a un punto de control anterior (siguiendo el protocolo LTH).
3. Crecimiento: Comienza desde una semilla dispersa e itera activando unidades basándose en una heurística de puntuación (frecuencia de activación o magnitud del gradiente) hasta alcanzar una compacidad objetivo. Crucialmente, Crecimiento no devuelve los pesos; estudia la inserción tardía de unidades en una trayectoria madura.

La evaluación emplea dos métricas distintas para separar la calidad del proceso de edición de la calidad de la arquitectura final:

• Rendimiento del Ciclo: Precisión medida durante el procedimiento de edición estructural en línea.
• Rendimiento del Billete Ganador (BG): Precisión medida después de congelar la máscara descubierta, reinicializar los pesos y reentrenar desde cero.

Los experimentos abarcan benchmarks mínimos de Perceptrones Multicapa (MLP) (MNIST, Fashion-MNIST) y configuraciones más complejas de Redes Neuronales Convolucionales (ConvNet) (CIFAR-10, CIFAR-100). El estudio también investiga escenarios de aprendizaje continuo que involucran acumulación secuencial de clases y cambios distribucionales repetidos.

Para aislar los mecanismos del fracaso del crecimiento, los autores introducen varias intervenciones:

• Estado del Optimizador: "Dos Velocidades" (escalando actualizaciones para parámetros recién nacidos) y "Transplante de Momento" (copiando búferes del optimizador desde unidades incumbentes).
• Inserción: "Net2Wider" (ensanchamiento que preserva la función).
• Selección: "GradMax" (seleccionando unidades basadas en la magnitud del gradiente).
• Entrenabilidad: "Rand. Smooth-Leaky" (una función de activación aleatorizada y suave diseñada para preservar el flujo de gradiente no nulo).

Contribuciones y Hallazgos Clave

1. La Asimetría entre Crecimiento y Poda

El artículo demuestra que la brecha de rendimiento entre crecimiento y poda no es monolítica; depende en gran medida de la complejidad del régimen de aprendizaje de representaciones:

• MLPs Pequeños: En configuraciones simples (por ejemplo, MNIST), Crecimiento y Poda producen máscaras reentrenables de manera similar, sin un ordenamiento consistente en la precisión final o en la precisión promedio de la trayectoria.
• Regímenes Convolucionales: En configuraciones más difíciles (CIFAR-100), emerge una clara asimetría. Crecimiento logra una precisión final más alta durante el ciclo de edición estructural (Rendimiento del Ciclo), pero produce máscaras que, al reentrenarse desde cero, son comparables o ligeramente peores que las de Poda. Por el contrario, Poda a menudo mantiene un rendimiento promedio de trayectoria más fuerte durante el proceso de edición y produce subredes que se reentrenan de manera robusta.

2. El Fenómeno "Activo hacia Adelante, Hambriento hacia Atrás"

Un hallazgo mecanístico central es que las unidades recién nacidas en escenarios de crecimiento sufren un cuello de botella específico de integración:

• Participación hacia Adelante: Las unidades recién nacidas están activas inmediatamente tras la inserción; participan en el cálculo hacia adelante y no son unidades "muertas".
• Desventaja hacia Atrás: A pesar de estar activas hacia adelante, las unidades recién nacidas reciben señales de gradiente significativamente más débiles (crédito hacia atrás) en comparación con las unidades incumbentes. Esta "hambre hacia atrás" persiste durante todo el ciclo de entrenamiento, impidiendo que las nuevas unidades se integren efectivamente en la trayectoria de optimización.
• Implicación: La desventaja del crecimiento es un problema a nivel de proceso relacionado con cuándo y cómo se insertan las unidades, en lugar de una incapacidad fundamental para descubrir arquitecturas dispersas útiles.

3. Intervenciones e Integración

El estudio prueba varias intervenciones para aliviar el cuello de botella de integración:

• Estado del Optimizador: "Transplante de Momento" (copiando estados del optimizador) muestra cierta promesa, mientras que "Dos Velocidades" (acelerando actualizaciones) es menos fiable.
• Funciones de Activación: La función de activación Rand. Smooth-Leaky resulta ser la más efectiva. Mejora la entrenabilidad de las unidades recién nacidas asegurando un mejor flujo de gradiente, impulsando significativamente el Rendimiento del Ciclo de los métodos de Crecimiento, particularmente en configuraciones de aprendizaje continuo.
• Selección e Inserción: Cambiar la heurística de selección (GradMax) o utilizar inserción que preserva la función (Net2Wider) no elimina el problema de la hambre hacia atrás.

4. Aprendizaje Continuo y Sensibilidad Temporal

En benchmarks de aprendizaje continuo que estresan la pérdida de plasticidad (por ejemplo, MNIST Permutado, tareas de Etiquetas Aleatorias):

• Poda permanece como la línea base más fiable porque preserva la capacidad madura.
• Crecimiento es competitivo solo cuando se da a las nuevas unidades suficiente tiempo para integrarse antes del siguiente cambio distribucional.
• La combinación de Crecimiento + Rand. Smooth-Leaky se convierte en la variante de crecimiento más robusta, estrechando la brecha con Poda y superándola en configuraciones con ventanas de integración más largas (por ejemplo, Split-CIFAR100).

Significado y Afirmaciones

El artículo argumenta que el crecimiento estructural no debe evaluarse únicamente como un operador de búsqueda de arquitecturas (es decir, ¿encuentra una buena máscara final?), sino como un proceso de optimización sensible al tiempo. El éxito del crecimiento depende críticamente de la estabilidad de la inserción: la capacidad de las unidades recién nacidas para integrarse rápidamente en una trayectoria de optimización madura.

Los autores afirman que la limitación principal del crecimiento no es el descubrimiento de arquitecturas dispersas, sino las "desventajas del momento de nacimiento" que enfrentan las nuevas unidades:

1. Choque Funcional: Perturbación del mapeo aprendido.
2. Arranque en Frío: Falta de estado acumulado del optimizador.
3. Señal de Aprendizaje Débil: Crédito de gradiente desproporcionadamente bajo en relación con los incumbentes.

El artículo concluye que mejorar la entrenabilidad y la integración temprana de las unidades recién nacidas (por ejemplo, mediante el diseño de funciones de activación) puede hacer que el crecimiento sea una alternativa viable a la poda, particularmente en sistemas de aprendizaje adaptativo y continuo. Sin embargo, esto requiere reconocer que el "proceso adaptativo" y la "arquitectura final reentrenable" son objetos de evaluación distintos, y que el crecimiento a menudo sobresale en el primero mientras se rezaga en el último, a menos que se empleen mecanismos de integración específicos.