Do Deep Networks Forget Initialization? A Forgetting-Time View of Practical Inductive Bias

Resumen Técnico: ¿Olvidan las Redes Profundas la Inicialización? Una Perspectiva del Tiempo de Olvido sobre el Sesgo Inductivo Práctico

Enunciado del Problema
Las redes neuronales modernas son altamente sobreparametrizadas, lo que significa que su capacidad por sí sola no puede explicar la generalización. Aunque el pipeline de entrenamiento (arquitectura, optimizador, regularización, etc.) selecciona una función específica de la clase de hipótesis, el papel de los pesos iniciales aleatorios en la determinación del predictor final permanece ambiguo. La literatura existente presenta dos visiones conflictivas:

1. Inicialización como Fuente de Sesgo: El trabajo teórico sugiere que las redes aleatorias poseen un "sesgo de simplicidad" inherente (un prior sobre funciones) que puede sobrevivir al entrenamiento e impulsar la generalización.
2. Inicialización como Mecanismo de Entrenabilidad: El entrenamiento práctico a gran escala a menudo trata la inicialización meramente como una herramienta para estabilizar la propagación de la señal y prevenir gradientes explosivos o que se desvanecen, asumiendo que el predictor final es en gran medida independiente de la semilla inicial una vez que el entrenamiento converge.

El artículo investiga una subpregunta precisa: ¿En qué medida depende el predictor final seleccionado por un pipeline de entrenamiento moderno de la escala de la inicialización aleatoria? Específicamente, ¿el proceso de entrenamiento "olvida" la condición inicial, o el sesgo inicial persiste en la solución final?

Metodología
Los autores realizan un estudio empírico controlado utilizando ResNets en el conjunto de datos CIFAR-10. Introducen una métrica diagnóstica llamada Memoria de Inicialización, definida como la dependencia del predictor seleccionado por validación respecto a la escala de inicialización $\sigma_w$.

• Diseño Experimental: Realizan un barrido de la escala global $\sigma_w$ de la inicialización aleatoria de kernels, manteniendo constantes todos los demás factores (arquitectura, división de datos, optimizador, tamaño de lote, programación de la tasa de aprendizaje y horizonte de entrenamiento).
• Métricas:
  • Dispersión de Precisión de Prueba: La diferencia entre la mejor y la peor precisión de prueba a través de diferentes valores de $\sigma_w$ en el punto de control con la pérdida de validación más baja.
  • Época de Interpolación ($\tau_{interp}$): La época en la que la precisión de entrenamiento alcanza el 99.5%.
  • Norma de Frobenius ($\|W\|_F$): Utilizada para medir la "memoria radial" (si la norma de los pesos finales permanece acoplada a la norma inicial).
  • Brecha de Reparación: El cambio en la precisión de validación entre la interpolación y el punto de control final.
• Variables: El estudio varía los optimizadores (SGD, SGD con momento, Adam, AdamW, Muon), los tamaños de lote ($b \in \{16, 32, 64, 128, 256\}$), las escalas de inicialización ($\sigma_w \in [0.1, 2.5]$), las profundidades de la red (ResNet-9, 56, 110) y la regularización explícita (decaimiento de peso L2).
• Marco Teórico: Los autores emplean análisis de error hacia atrás para interpretar los optimizadores discretos como flujos de gradiente sobre objetivos modificados. Proponen "escalas de tiempo de olvido" basadas en la fuerza acumulada de los mecanismos de regularización en lugar de simples conteos de épocas.

Resultados Clave

1. Dependencia del Optimizador:

   • SGD Recuerda: Bajo tasas de aprendizaje bajas, el SGD estándar retiene una fuerte memoria de inicialización. En ResNet-9 con tamaño de lote $b=128$, la precisión de prueba varía en 26.5 puntos porcentuales a través de las escalas de inicialización, a pesar de alcanzar una precisión de entrenamiento $\ge 99.5\%$. La norma de los pesos finales permanece acoplada a la norma inicial.
   • Métodos Adaptativos Olvidan: Adam, AdamW y Muon borran en gran medida la dependencia de la escala de inicialización. Bajo las mismas condiciones, su dispersión de precisión de prueba es mínima (por ejemplo, ~4.0 pp para Muon). Convergen a una escala de norma final común independientemente de la escala inicial.

2. Dependencia de los Hiperparámetros:

   • El Tiempo de Entrenamiento es Insuficiente: Extender el SGD de baja tasa de aprendizaje a 5,000 épocas no reduce significativamente la dispersión de inicialización; la memoria persiste.
   • Regularización y Tasa de Aprendizaje: El SGD puede hacer que olvide la inicialización si la receta de entrenamiento incluye tasas de aprendizaje más grandes o regularización L2 explícita (decaimiento de peso). Por ejemplo, añadir decaimiento L2 con $\eta=10^{-2}$ reduce la dispersión a cerca de cero.
   • Tamaño de Lote: Los tamaños de lote más grandes ralentizan el proceso de olvido para SGD, aumentando la dispersión.

3. Profundidad y Arquitectura:

   • En redes más profundas (ResNet-56, ResNet-110), las dinámicas deficientes de olvido se manifiestan de manera diferente: en lugar de simplemente interpolar con una generalización pobre, las redes a menudo fallan en entrenar bien (fallan en interpolar) a escalas de inicialización grandes.

4. Escalas de Tiempo de Olvido:
   Los autores identifican que el olvido está gobernado por "relojes" acumulativos en lugar del conteo de épocas:

   • $T_{SGD} = \frac{1}{b} \sum \eta_k^2$: La escala de tiempo para efectos estocásticos de pasos finitos (ruido de minibatch). El SGD de baja LR tiene un $T_{SGD}$ diminuto, lo que conduce a la retención de memoria.
   • $T_{L2} = \lambda \sum \eta_k$: La escala de tiempo para el decaimiento de norma explícito.
   • $T_{adapt} = \sum \eta_k$: La escala de tiempo para la precondicionamiento adaptativo.
     Los métodos adaptativos operan en la escala $T_{adapt}$, que es significativamente mayor (olvido más rápido) que la escala $T_{SGD}$ del SGD de baja LR.

Significado y Afirmaciones
El artículo afirma que el "sesgo inductivo práctico" de una red entrenada no es únicamente el prior arquitectónico presente en la inicialización, sino más bien el prior arquitectónico filtrado por las dinámicas de olvido del pipeline de entrenamiento.

• Resolución de la Paradoja: Los autores resuelven la aparente contradicción entre las teorías del sesgo de simplicidad y la estabilidad del entrenamiento práctico. Argumentan que los mecanismos que mejoran la generalización (por ejemplo, decaimiento de peso, optimizadores adaptativos, tasas de aprendizaje más grandes) son precisamente aquellos que borran la memoria de la inicialización.
• Papel de la Inicialización: En pipelines de entrenamiento modernos ricos en regularización, la inicialización sirve principalmente como un dispositivo de entrenabilidad (estabilizando la optimización, permitiendo profundidad) en lugar de una fuente persistente de sesgo inductivo. La "navaja de Occam" que importa en la práctica es impuesta por los regularizadores acumulados a lo largo de la trayectoria, no por el mapa de parámetros inicial.
• Limitaciones: Los autores reconocen que sus hallazgos se basan en ResNets con BatchNorm en CIFAR-10. Las expresiones de escala de tiempo propuestas son principios organizativos derivados de argumentos lineales e invariantes a la escala, no teoremas universales para redes no lineales con BatchNorm. Sin embargo, la jerarquía empírica observada (SGD recuerda, los métodos adaptativos olvidan, la regularización borra la memoria) se alinea con estos relojes teóricos.

En resumen, el artículo demuestra que las redes profundas no olvidan automáticamente la inicialización; solo la olvidan cuando las dinámicas específicas de entrenamiento (estocasticidad, adaptabilidad o regularización explícita) proporcionan suficiente "tiempo de olvido" para sobrescribir los sesgos geométricos iniciales.