🤖 machine learning

Effects of width-dependent model hyperparameters and $\ell_2$ -regularization on the loss landscape of two-layer ReLU networks

Este artículo investiga cómo los hiperparámetros dependientes del ancho y la regularización $\ell_2$ moldean el paisaje de pérdida de redes ReLU de dos capas, derivando condiciones para el colapso de la solución cero, proporcionando una solución analítica para entradas unidimensionales y revelando que AdamW previene el colapso de parámetros mientras que SGD no lo hace.

Autores originales: Haruka Eshima, Makoto Yamada

Publicado 2026-07-21

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Haruka Eshima, Makoto Yamada

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a un robot a reconocer gatos. Le das un cerebro hecho de capas de diminutos interruptores, y dejas que practique mostrándole miles de imágenes. Pero aquí está el truco: el cerebro del robot es un poco desordenado. A veces, cuando intentas enseñarle, todo el sistema simplemente se apaga y lo olvida todo, terminando con un cerebro lleno de ceros. Esto es un poco como intentar equilibrar una casa de naipes en un día ventoso; si el viento (o la matemática detrás del entrenamiento) es demasiado fuerte, toda la estructura colapsa.

En el mundo del aprendizaje automático, los científicos estudian el "paisaje de pérdida" (loss landscape). Piensa en esto como una cordillera gigante y accidentada donde la altura del terreno representa qué tan mal hace el robot su trabajo. El objetivo es encontrar el valle más profundo, lo que significa que el robot está haciendo su mejor esfuerzo. Pero este paisaje es complicado. Cambia de forma dependiendo de qué tan ancho sea el cerebro del robot (cuántos interruptores tiene) y de cuánto "decaimiento de peso" (weight decay) se aplique. El decaimiento de peso es como una mano suave que empuja constantemente el cerebro del robot hacia la simplicidad, tratando de evitar que se vuelva demasiado complicado. La gran pregunta es: ¿este empuje suave ayuda al robot a aprender, o accidentalmente empuja todo el cerebro hacia un cero plano e inútil?

Este artículo, titulado "Effects of width-dependent model hyperparameters and ℓ2-regularization on the loss landscape of two-layer ReLU networks", profundiza precisamente en este problema. Los autores, Haruka Eshima y Makoto Yamada, analizaron un tipo específico de red neuronal simple (una red de dos capas con activación ReLU) para ver qué sucede cuando cambias el tamaño de la red y la fuerza del decaimiento de peso. Querían saber, bajo qué condiciones el cerebro del robot colapsa en la nada, y si podemos evitarlo.

Los investigadores descubrieron que la respuesta depende en gran medida de cómo se escalan las cosas. Descubrieron un "punto de inflexión" matemático. Si haces la red más ancha (añadiendo más interruptores) pero mantienes el decaimiento de peso demasiado fuerte en relación con esa anchura, el cerebro del robot colapsará inevitablemente. La única forma de llegar al fondo del valle es que cada uno de los interruptores esté apagado, lo que significa que el robot no aprende nada. Es como intentar llenar una piscina con una taza pequeña mientras el desagüe está abierto de par en par; no importa cuánto viertas, la piscina permanece vacía.

Sin embargo, el artículo también revela un giro fascinante relacionado con cómo aprende el robot. Los autores realizaron simulaciones por computadora para ver qué sucede cuando utilizas diferentes "optimizadores": los algoritmos que guían los pasos de aprendizaje del robot. Descubrieron que si utilizas un método estándar llamado SGD (Descenso de Gradiente Estocástico), el cerebro del robot efectivamente colapsa hacia el cero cuando el decaimiento de peso es demasiado fuerte, tal como predijo la matemática. Pero, si utilizas un método diferente llamado AdamW, ¡el robot sobrevive! Incluso cuando la matemática dice que debería colapsar, AdamW mantiene el cerebro activo y aprendiendo. Es como si AdamW tuviera un truco especial, como un arnés de seguridad, que evita que el robot caiga en el agujero del cero, incluso cuando el terreno parece peligroso.

El equipo también se centró en un escenario muy específico y simplificado donde el robot solo ve un número a la vez (una entrada unidimensional). En este entorno controlado, pudieron trazar un mapa exacto de las mejores soluciones posibles. Descubrieron que añadir decaimiento de peso actúa como el cincel de un escultor. Sin él, las mejores soluciones están dispersas por todas partes, formando una nube enorme, conectada y no acotada. Pero con el decaimiento de peso, la nube se encoge y se vuelve mucho más organizada. La "conectividad" —qué tan fácil es caminar de una buena solución a otra sin caerse por un precipicio— se mantiene igual independientemente de qué tan ancha sea la red. Sin embargo, la "dimensionalidad" —el número de formas en que el robot puede mover su cerebro para encontrar una solución— se reduce significativamente a medida que la red se hace más ancha. Es como tomar un parque de juegos gigante y disperso y convertirlo en una pista estrecha y bien definida.

En resumen, este artículo muestra que el tamaño de tu red neuronal y la fuerza de tu regularización son una danza delicada. Si no los combinas correctamente, la red colapsa. Pero si eliges el algoritmo de aprendizaje adecuado (como AdamW), puedes mantener la danza activa incluso cuando las condiciones parecen imposibles. Los resultados se basan en pruebas matemáticas rigurosas para el colapso y el caso simplificado unidimensional, y están respaldados por experimentos numéricos con datos del mundo real, como la hidrodinámica de yates y los dígitos MNIST. Si bien la matemática demuestra que el colapso ocurre bajo ciertas condiciones, la supervivencia de la red con AdamW es algo que los autores observaron en sus simulaciones, lo que sugiere que la elección del optimizador es un factor crítico, quizás oculto, de por qué el aprendizaje profundo funciona tan bien en la práctica.

Resumen Técnico: Efectos de los Hiperparámetros Dependientes del Ancho y la Regularización $\ell_2$ en el Paisaje de Pérdida de Redes ReLU de Dos Capas

Planteamiento del Problema
Las propiedades teóricas de las redes neuronales profundas, particularmente las redes ReLU de dos capas, siguen siendo insuficientemente comprendidas cuando se aplica un decaimiento de peso explícito (regularización $\ell_2$ ). Si bien trabajos recientes han caracterizado los óptimos globales y sus estructuras geométricas para redes regularizadas, no se han explorado exhaustivamente los efectos sistemáticos de los escalamientos de hiperparámetros dependientes del ancho sobre estos paisajes de pérdida. Específicamente, no está claro cómo el escalamiento del ancho de la red ( $m$ ) en relación con el escalamiento de la salida ( $\alpha$ ), la inicialización ( $\tau$ ) y el coeficiente de regularización ( $\beta$ ) influye en la existencia, dimensionalidad y conectividad de los mínimos globales.

Metodología
Los autores analizan una red ReLU de dos capas $f_\theta: \mathbb{R}^d \to \mathbb{R}$ definida como:
$f_\theta(x) = \frac{1}{\alpha} \sum_{j=1}^m (x u_j)_+ \omega_j$
donde $\theta = (u_j, \omega_j)_{j=1}^m$ . El estudio se centra en minimizar una función de pérdida $\mathcal{L}_\ell(\theta) = \ell(\theta) + \frac{\beta}{2} \sum_{j=1}^m (\|u_j\|_2^2 + \omega_j^2)$ .

El enfoque metodológico central consiste en introducir un ajuste de hiperparámetros dependiente del ancho donde los parámetros escalan con el ancho de la red $m$ :

Escalamiento de la salida: $\alpha = m^a$
Escalas de inicialización: $\tau_1 = m^{-b_1}, \tau_2 = m^{-b_2}$
Coeficiente de regularización: $\beta = m^{-\delta}$

El análisis procede en dos direcciones principales:

Dimensionalidad General ( $d$ ): Derivar condiciones suficientes bajo las cuales los mínimos globales colapsan hacia la solución cero basándose en la relación entre los exponentes de escalamiento $a$ y $\delta$ .
Entrada Unidimensional ( $d=1$ ): Restringir la dimensión de entrada a uno para derivar soluciones analíticas en forma cerrada para los conjuntos de parámetros globalmente óptimos. Esto permite una caracterización precisa de la geometría (dimensión, acotación y conectividad) de los conjuntos de soluciones tanto para el caso no regularizado ( $\beta=0$ ) como para el regularizado ( $\beta>0$ ). Las demostraciones aprovechan la formulación convexa de las redes ReLU de dos capas introducida por Pilanci y Ergen [31], la cual se vuelve tratable en el entorno 1D.

Contribuciones Clave y Resultados

Colapso de los Óptimos Globales:
El artículo establece una condición suficiente para el colapso de los mínimos globales hacia la solución cero. El Teorema 1 demuestra que si el coeficiente de regularización escala más rápido que el escalamiento de la salida de la red (es decir, $\delta < a$ ), entonces para un $m$ suficientemente grande, el único mínimo global es el vector de pesos cero. Esto se cumple para la mayoría de las funciones convexas utilizadas en la práctica.
Colapso Dependiente del Optimizador:
Experimentos numéricos revelan una discrepancia crítica entre los mínimos globales teóricos y la dinámica de entrenamiento práctica. Cuando $\delta < a$ (condiciones que favorecen el colapso), SGD provoca que los parámetros aprendidos colapsen hacia cero, de acuerdo con el Teorema 1. Sin embargo, AdamW (y Adam) evita este colapso, manteniendo parámetros no nulos. Los autores sugieren que esto puede estar relacionado con el decaimiento de peso desacoplado de AdamW y su sesgo implícito hacia la optimización con restricción $\ell_\infty$ , la cual difiere de la optimización del objetivo con regularización $\ell_2$ explícita.
Caracterización Analítica de los Mínimos Globales en 1D:
Para $d=1$ , los autores derivan descripciones exactas de los conjuntos de soluciones:

No regularizado ( $\beta=0$ ): El conjunto de mínimos globales $\phi^*(m)$ $ϕ^{*} (m)$ se caracteriza por restricciones en las sumas de productos $u_j \omega_j$ $u_{j} ω_{j}$ .
- Conectividad: Para $m=1$ , el conjunto está vacío; para $m=2$ , tiene exactamente 2 componentes conectados; para $m \ge 3$ , es conexo.
- Dimensión: La dimensión es $2m-2$ , y el conjunto es no acotado.
Regularizado ( $\beta>0$ ): El conjunto de mínimos globales $\Theta^*(m)$ $Θ^{*} (m)$ está significativamente más restringido.
- Conectividad: El artículo identifica anchos críticos $M$ y $\bar{M}$ (dependientes de los hiperparámetros) que dictan transiciones de fase. Para $m < M$ , la solución es el vector cero. Para $m > M$ , el conjunto se vuelve conexo. A diferencia del caso no regularizado, el comportamiento de conectividad es más restringido, con solo tres comportamientos posibles (único elemento, conjunto finito o conexo) para conjuntos no vacíos.
- Dimensión: La dimensión del conjunto de soluciones se reduce a $m-2$ .
- Acotación: A diferencia del caso no regularizado, el conjunto de soluciones regularizado es acotado. La norma de los parámetros óptimos escala como $\Theta(m^{a/2})$ .

Efectos Dependientes del Ancho:
El análisis muestra que la regularización $\ell_2$ tiene un efecto invariante al ancho sobre la conectividad (una vez que la red es lo suficientemente ancha para ser no trivial), pero un efecto de reducción de dimensionalidad que se fortalece con el ancho. Específicamente, la diferencia de dimensión entre el espacio de parámetros ( $2m$ ) y el conjunto de soluciones regularizado crece linealmente con $m$ (pasando de una diferencia de 2 en el caso no regularizado a una diferencia de $m+2$ en el caso regularizado).

Significancia
Este artículo proporciona un marco teórico riguroso para comprender cómo el escalamiento de hiperparámetros interactúa con la regularización en redes sobreparametrizadas. Destaca que la geometría del paisaje de pérdida no es estática, sino que depende críticamente del escalamiento relativo del coeficiente de regularización y el ancho de la red. Los hallazgos ofrecen una explicación teórica para el éxito empírico de AdamW al prevenir el colapso de parámetros en regímenes donde SGD falla, y aclaran cómo la regularización altera fundamentalmente la geometría de las soluciones óptimas al reducir la dimensionalidad y forzar la acotación, efectos que se vuelven más pronunciados a medida que aumenta el ancho de la red.

Más como este