Gradual Capacity Growth for Sparse Network Discovery

Resumen Técnico: Crecimiento Gradual de Capacidad para el Descubrimiento de Redes Dispersas

1. Planteamiento del Problema

El desafío central en el aprendizaje de redes neuronales dispersas es que la relación entre la densidad de la red (dispersión) y el rendimiento de la tarea es generalmente desconocida y dependiente de la tarea. Aunque el rendimiento suele saturarse más allá de cierta "densidad operativa" (la densidad más pequeña que produce una precisión cercana a la de una red densa), identificar esta densidad suele requerir un costoso proceso de ensayo y error o un preentrenamiento denso.

Los enfoques existentes sufren de limitaciones específicas:

• Poda de Magnitud Iterativa (IMP): Requiere preentrenamiento denso y múltiples ciclos de reentrenamiento, lo que incurre en 3 a 4 veces las operaciones de punto flotante (FLOPs) del entrenamiento denso.
• Entrenamiento Disperso Dinámico (DST) y Poda en la Inicialización: Estos métodos requieren que la densidad objetivo esté fijada de antemano, lo que impide el descubrimiento de la densidad operativa óptima sin una búsqueda exhaustiva.
• Expansión basada en el Crecimiento: Los métodos anteriores suelen expandir el ancho para converger hacia modelos densos, tratando la dispersión como algo temporal en lugar de una propiedad arquitectónica final.

El artículo postula que descubrir la densidad operativa es un problema distinto de optimizar un presupuesto de dispersión fijo. El objetivo es hacer crecer constructivamente una red dispersa para encontrar la densidad más pequeña $\rho^*$ donde el rendimiento se satura, sin preentrenamiento denso ni un objetivo de dispersión preestablecido, minimizando al mismo tiempo el costo acumulado de entrenamiento.

2. Metodología: Crecimiento Gradual de Capacidad (GCG)

Los autores proponen el Crecimiento Gradual de Capacidad (GCG), un marco de entrenamiento de disperso-a-denso constructivo. El GCG parte de una semilla dispersa y añade conexiones progresivamente hasta que se estima la saturación del rendimiento.

Componentes Principales:

• Inicialización: La red se inicializa utilizando PHEW [19] en una densidad baja ($\rho_{init}$), proporcionando un punto de partida eficiente mientras se evitan los nodos desconectados.
• Mecanismo de Crecimiento (PathGrow):
  • Motivación: Basándose en el análisis del Kernel de Tangente Neuronal (NTK), las conexiones que participan en rutas de alto peso aceleran la convergencia. Sin embargo, maximizar puramente los pesos de las rutas puede crear cuellos de botella (capas ocultas estrechas), perjudicando la generalización.
  • Producto de la Magnitud del Peso de la Ruta (PWMP): Para identificar rutas de alta señal de manera eficiente, el GCG calcula una puntuación $S(i, j)$ para posibles aristas. Esta puntuación es el producto de la "complejidad" del nodo de origen (PWMP total desde la entrada hasta el nodo $i$) y la "generalidad" del nodo de destino (PWMP total desde el nodo $j$ hasta la salida). Esto se calcula mediante una única pasada hacia adelante y hacia atrás en una red con pesos de valor absoluto.
  • Muestreo Probabilístico: En lugar de añadir determinísticamente las aristas con mayor puntuación (lo que causa cuellos de botella), PathGrow muestrea nuevas conexiones con una probabilidad proporcional a sus puntuaciones PWMP. Esto sesga el crecimiento hacia rutas de alta señal mientras preserva la diversidad estructural.
• Programación de Entrenamiento:
  • Crecimiento Intercalado: El crecimiento ocurre temprano en el proceso de entrenamiento, intercalado con fases cortas de "entrenamiento aproximado". Esto permite que la red exponga señales útiles de peso de ruta antes de que los gradientes se vuelcan ruidosos.
  • Crecimiento Exponencial: La densidad aumenta por una fracción de la densidad actual ($\Delta \rho_k = \gamma \cdot \rho_k$) en cada paso, facilitando la exploración eficiente del paisaje de densidad-rendimiento.
  • Inicialización de Pesos: Las nuevas conexiones se inicializan con pesos de cero para evitar el ruido y permitir que el descenso de gradiente aprenda los valores apropiados.
• Criterio de Parada:
  • Dado que no se realiza un entrenamiento extensivo en cada densidad intermedia, el método ajusta una curva de saturación exponencial ($P(G_k) = P_0 + A(1 - e^{-\beta \rho_k})$) a la trayectoria observada de rendimiento-densidad.
  • La densidad operativa $\hat{\rho}^*$ se estima como la densidad más pequeña donde la curva ajustada alcanza el 95% de la mejora máxima predicha.

3. Contribuciones Clave

1. Marco Constructivo: El GCG introduce un paradigma de disperso-a-denso que descubre la densidad operativa durante el entrenamiento, eliminando la necesidad de preentrenamiento denso o un presupuesto de dispersión preestablecido.
2. Algoritmo PathGrow: Una regla de crecimiento probabilística que equilibra la convergencia rápida (vía rutas de alto PWMP) con la diversidad estructural (vía muestreo aleatorio) para evitar cuellos de botella.
3. Eficiencia: El método estima la densidad operativa con un costo de entrenamiento acumulado significativamente menor en comparación con la poda iterativa.
4. Validación Empírica: Experimentos extensos en CIFAR, TinyImageNet e ImageNet demuestran que el GCG identifica subredes dispersas que alcanzan un rendimiento cercano al denso.

4. Resultados

• Rendimiento vs. Densidad: En CIFAR y TinyImageNet, el GCG encuentra subredes que igualan o superan el rendimiento de la Poda de Magnitud Iterativa (IMP-C) en densidades de aproximadamente 30–50%. Mientras que la IMP-C logra la precisión óptima en densidades más bajas (~15–20%), el GCG alcanza una precisión comparable en densidades moderadas.
• Comparación con Baselines:
  • PathGrow vs. Alternativas: PathGrow supera o iguala al Crecimiento Aleatorio (RG) y al Crecimiento basado en Gradientes (GG) en la mayoría de los benchmarks. Es más eficiente que el GG, el cual requiere una estimación de gradientes costosa para las conexiones faltantes.
  • GCG vs. PHEW/RigL: El GCG supera consistentemente a la poda de un solo paso (PHEW) y al entrenamiento disperso dinámico (RigL) cuando los presupuestos de entrenamiento se normalizan, resaltando el beneficio del crecimiento iterativo.
  • ImageNet: En la escala de ImageNet con ResNet-50, el GCG se queda rezagado respecto a los métodos dinámicos (como RigL y GSE) por aproximadamente 2 puntos porcentuales. Los autores atribuyen esto a la incapacidad de los métodos de solo crecimiento para podar y reasignar conexiones que se vuelven menos útiles con el tiempo.
• Costo de Entrenamiento: El GCG es sustancialmente más eficiente que la IMP-C. En los benchmarks de CIFAR, el GCG logra un rendimiento comparable con aproximadamente 1.5× los FLOPs de una ejecución de entrenamiento denso, mientras que la IMP-C requiere 3–4×.

5. Significado y Limitaciones

Significado:
El artículo enmarca el aprendizaje disperso no solo como un problema de optimización, sino como una exploración de cómo las redes crecen hacia subredes de alto rendimiento. El GCG proporciona un mecanismo práctico para explorar el compromiso entre precisión y densidad bajo presupuestos de optimización limitados. Sirve como un enfoque complementario a la poda, siendo particularmente efectivo para descubrir redes dispersas en el régimen de moderada dispersión sin el costo prohibitivo del preentrenamiento denso.

Limitaciones (según los autores):

• Techo de Dispersión: Los métodos de solo crecimiento no pueden alcanzar los niveles de dispersión extrema de la poda porque las conexiones de baja importancia nunca se eliminan explícitamente.
• Especificidad de la Arquitectura: La heurística PWMP está diseñada para estructuras de alimentación hacia adelante (feed-forward) y convolucionales, y no se extiende naturalmente a los mecanismos de atención (matrices de consulta-clave), donde las magnitudes se desacoplan de la importancia funcional.
• Métricas de Eficiencia: El análisis de costos se basa en FLOPs algorítmicos en lugar de tiempo de ejecución real (wall-clock time), ignorando los sobrecargos específicos del hardware (por ejemplo, acceso a memoria dispersa, sobrecarga de lanzamiento de kernels) que podrían contrarrestar las ganancias en aceleradores actuales.
• Alcance del Dominio: Los experimentos se limitan a benchmarks de visión; la validación en dominios de NLP o voz a gran escala sigue siendo un trabajo futuro.

Los autores concluyen que el GCG representa un paso hacia una agenda de investigación de crecimiento más amplia, ofreciendo una alternativa constructiva a la poda destructiva y al entrenamiento dinámico de presupuesto fijo.