🤖 machine learning

Implicit Bias of SGD in Multivariate ReLU Networks: Effective Width Collapse

Este artículo demuestra que el entrenamiento mediante descenso de gradiente estocástico ruidoso de redes ReLU de dos capas anchas para la regresión multivariante induce un sesgo implícito hacia un predictor único de ancho efectivamente finito donde las neuronas se alinean a lo largo de un número acotado de direcciones determinadas por la geometría combinatoria de los datos de entrenamiento, a pesar de la sobreparametrización infinita de la red.

Autores originales: Shuang Liang, Tom Jacobs, Guido Montúfar

Publicado 2026-07-07

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shuang Liang, Tom Jacobs, Guido Montúfar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un taller masivo y caótico lleno de miles de trabajadores (neuronas). Cada trabajador tiene un trabajo específico: observan un conjunto de puntos de datos (como imágenes o números) y deciden si se "activan" o se "desactivan" basándose en una regla que ellos mismos inventaron. Quieres que estos trabajadores aprendan un patrón para predecir la respuesta correcta ante nuevos datos.

El artículo que proporcionaste investiga qué sucede cuando entrenas este taller masivo utilizando un método específico llamado Descenso de Gradiente Estocástico (SGD) con un poco de "ruido" (aleatoriedad) y una regla llamada decaimiento de pesos (que desincentiva que los trabajadores se vuelvan demasiado fuertes).

Aquí tienes el desglose sencillo de sus hallazgos:

1. El taller "infinito" que se encoge

Comienzas con una red tan ancha que es prácticamente infinita. Podrías esperar que la solución final sea un enredo desordenado y complejo de miles de reglas diferentes.

La sorpresa: Aunque comenzaste con miles de trabajadores, el proceso de entrenamiento fuerza naturalmente a que estos se colapsen.

La analogía: Imagina que 1,000 personas intentan dibujar un mapa. En lugar de que cada una dibuje una línea única y sinuosa, el proceso de entrenamiento actúa como un imán. Empuja casi todos los dibujos hacia solo unas pocas líneas rectas y específicas.
El resultado: El "mapa" final (la función que la red aprende) no es una mancha suave y curva. Se convierte en una función afín por partes. En lenguaje sencillo, esto significa que la respuesta final está compuesta por segmentos de líneas rectas y planas unidos en esquinas afiladas (quiebres). Se ve como una línea quebrada (zigzag) en 2D o una hoja de papel arrugada en 3D.

2. El límite "combinatorio"

¿Cuántas de estas líneas rectas (o "quiebres") termina teniendo la red?

El artículo demuestra que el número de líneas no está determinado por cuántos trabajadores empezaste con (que eran infinitos).
En su lugar, está determinado enteramente por la geometría de tus datos de entrenamiento.
La analogía: Piensa en tus datos de entrenamiento como un conjunto de estacas clavadas en el suelo. El número de líneas que la red dibuja está limitado por cuántas formas hay de cortar el suelo con un cuchillo de modo que las estacas caigan en diferentes grupos.
Las matemáticas: Si tienes $P$ formas de separar tus puntos de datos con una línea recta, la red aprenderá como máximo $2P - 1$ direcciones distintas. Es un tope estricto basado en la forma de los datos, no en el tamaño de la red.

3. El fenómeno de "alineación"

Antes del entrenamiento, tus trabajadores (neuronas) apuntan en direcciones aleatorias. Después del entrenamiento, algo mágico sucede:

La analogía: Imagina una habitación llena de personas sosteniendo linternas que apuntan en direcciones aleatorias. A medida que el entrenamiento progresa, las linternas de repente se alinean. Todas apuntan hacia solo un puñado de direcciones específicas.
El resultado: Los "pesos de entrada" y los "sesgos" (las reglas que usan las neuronas) dejan de ser individuos únicos. Se alinean a lo largo de un número finito de direcciones. Esto se llama Colapso de Ancho Efectivo. La red efectivamente olvida que tenía miles de neuronas y se comporta como si solo tuviera un puñado de ellas.

4. La regla de "no redundancia"

El artículo también descubrió que estas pocas direcciones restantes son muy eficientes.

La analogía: Si tienes un equipo de expertos, no quieres que dos expertos hagan exactamente el mismo trabajo. El artículo muestra que cada "dirección alineada" (cada experto superviviente) hace algo único.
El resultado: Cada dirección aprendida crea un patrón distinto de señales de "encendido/apagado" para tus datos de entrenamiento. No hay dos direcciones redundantes; ninguna de las dos direcciones es simplemente una "versión" de la otra. Todas son esenciales y distintas.

5. El papel del "ruido" y el "decaimiento"

¿Por qué sucede esto? El artículo sugiere que es un efecto secundario específico (o "sesgo implícito") del algoritmo de entrenamiento:

Ruido: La aleatoriedad en el entrenamiento (como sacudir el taller) ayuda al sistema a establecerse en un estado estable.
Decaimiento de pesos: Este es un penalizador por ser demasiado "fuerte". Actúa como un filtro que poda la complejidad innecesaria.
El resultado: Juntos, empujan a la red infinita a encontrar la solución más simple posible "lineal por partes" que se ajuste a los datos, gobernada estrictamente por la propia geometría de los datos.

Resumen

El artículo afirma que cuando entrenas una red neuronal gigante con SGD ruidoso, el universo de posibilidades infinitas colapsa. La red no solo "memoriza" los datos; se organiza en una estructura finita y eficiente hecha de segmentos de línea recta. La complejidad de esta estructura está dictada enteramente por la forma de tus datos, no por el tamaño de tu computadora. Es como si el algoritmo de entrenamiento fuera un escultor que va tallando todo el mármol sobrante hasta que solo quedan las líneas esenciales y geométricamente necesarias.

Resumen Técnico: Sesgo Implícito de SGD en Redes ReLU Multivariantes: Colapso del Ancho Efectivo

Planteamiento del Problema
Las redes sobreparametrizadas poseen infinitas soluciones que interpolan los datos de entrenamiento, sin embargo, el descenso de gradiente estocástico (SGD) selecciona consistentemente soluciones con fuertes propiedades de generalización. Este fenómeno se atribuye al "sesgo implícito" del algoritmo de optimización. Si bien el sesgo implícito está bien comprendido para modelos lineales y en el régimen "perezoso" (kernel) de redes anchas, el sesgo en regímenes de aprendizaje de características para redes no lineales sigue estando incompletamente comprendido. Específicamente, existe una falta de caracterización rigurosa sobre cómo el SGD con ruido selecciona soluciones específicas en problemas de regresión multivariante con activaciones ReLU, particularmente en lo que respecta a la dispersión de las características aprendidas y la estructura geométrica del predictor resultante.

Metodología
Los autores analizan la dinámica de entrenamiento de redes ReLU de dos capas anchas utilizando el régimen de campo medio (mean-field). En este marco, los parámetros de la red se modelan como una medida de probabilidad sobre las neuronas, y la dinámica de entrenamiento de SGD con ruido se aproxima mediante un flujo de gradiente de Wasserstein.

Pasos metodológicos clave:

Aproximación de Campo Medio: El entrenamiento de una red con $N$ unidades ocultas se describe mediante una ecuación diferencial parcial (PDE) que gobierna la evolución de la distribución de parámetros $\rho_t$ . La inclusión de ruido gaussiano (temperatura $\beta^{-1}$ ) y decaimiento de pesos ( $\lambda$ ) asegura la existencia de una medida estacionaria única $\rho^*$ cuando $t \to \infty$ .
Aproximación de ReLU: Dado que las neuronas ReLU estándar son no acotadas y no suaves, violando los supuestos requeridos para los teoremas de convergencia de campo medio, los autores emplean una aproximación suave y acotada ( $\sigma_{m,\tau}$ ) de la función ReLU. Analizan los límites cuando el parámetro de suavizado $\tau \to \infty$ y el parámetro de truncamiento $m \to \infty$ , recuperando efectivamente el comportamiento de la ReLU.
Límite de Temperatura Desvaneciente: El estudio se centra en el límite donde el nivel de ruido $\beta^{-1} \to 0$ (temperatura desvaneciente), lo cual corresponde al SGD estándar con decaimiento de pesos. Los autores investigan las propiedades estructurales de la medida estacionaria y la función solución correspondiente en este límite, sin asumir a priori la existencia de un límite único, sino analizando puntos de acumulación.
Análisis Geométrico: Las demostraciones se basan en el análisis del Hessiano de la función solución y la geometría del espacio de parámetros. Específicamente, utilizan una "Condición de Positividad Cuadrática" para acotar el Hessiano y demostrar que el soporte de la medida estacionaria se concentra en rayos específicos en el espacio de parámetros.

Contribuciones Clave y Resultados

Solución Afín por Partes (Teorema 4):
Los autores demuestran que, a medida que el ancho de la red $N \to \infty$ y el ruido desaparece, la solución seleccionada por el SGD con ruido converge a una función afín por partes continua. Esta función es afín en los componentes conexos del complemento de un conjunto finito de hiperplanos.
- Límite de Complejidad: El número de hiperplanos de quiebre (kink hyperplanes) $K$ está acotado por $K \le 2P - 1$ , donde $P$ es el número de dicotomías lineales realizables sobre los datos de entrenamiento. Este límite depende únicamente de la geometría combinatoria de los datos de entrenamiento, no del ancho de la red ni de la dimensión ambiental.
Colapso del Ancho Efectivo (Teoremo 5):
El artículo establece que, a pesar de que la red está infinitamente sobreparametrizada, el predictor aprendido admite una representación efectivamente finita.
- Alineación de Características: Los pesos de entrada y los sesgos (biases) de la red entrenada se alinean a lo largo de como máximo $2P - 1$ direcciones distintas (rayos) en el espacio de parámetros.
- Colapso: Consecuentemente, la red de ancho infinito colapsa a un ancho efectivo de como máximo $2P - 1$ . La solución puede representarse exactamente mediante una red ReLU poco profunda con este número finito de neuronas ocultas.
No Redundancia de las Características (Teorema 6):
Los autores establecen una fuerte propiedad de no redundancia para las direcciones aprendidas.
- Patrones Distintos: Cada dirección aprendida induce un patrón de activación ternario único sobre los datos de entrenamiento (mapeando entradas a $\{-1, 0, 1\}$ ).
- Incomparabilidad: Estos patrones son incomparables bajo un orden parcial específico (donde un patrón es una "degeneración" de otro al convertir etiquetas $\pm 1$ en $0$). Específicamente, para cualquier patrón de signo binario, como máximo dos patrones ternarios aprendidos pueden degenerar de él.
Caracterización Específica para Datos Simétricos (Proposición 7):
Para conjuntos de datos simétricos de dos puntos, los autores caracterizan explícitamente la ubicación de los hiperplanos de quiebre, mostrando que dependen de la norma de los datos de entrada y la configuración de las etiquetas (impares o pares).

Significancia y Reivindicaciones
El artículo afirma proporcionar la primera derivación del colapso del ancho efectivo como un sesgo implícito de SGD con ruido para regresión multivariante con datos de entrenamiento generales. A diferencia de trabajos previos que dependían de supuestos restrictivos (ej., datos ortogonales o simétricos) o analizaban problemas de interpolación estáticos de tipo norma $L_1$ mínima, este trabajo deriva la estructura de ancho finito directamente de la dinámica de entrenamiento de SGD con ruido en el límite de campo medio.

Los resultados conectan la caracterización de optimización estática con los procesos de entrenamiento dinámicos, mostrando que la geometría combinatoria de los datos de entrenamiento (específicamente el número de dicotomías lineales) gobierna la complejidad del predictor aprendido. Los autores señalan que su análisis requiere que la red sea suficientemente ancha para explotar el marco de campo medio y requiere un parámetro de decaimiento de pesos positivo ( $\lambda > 0$ ) para asegurar la validez del análisis de la medida estacionaria. Reconocen que obtener cotas no asintóticas para el "conjunto de falla" (don donde el Hessiano no se anula) para dimensiones $d > 1$ sigue siendo un desafío abierto en comparación con el caso univariante.

El trabajo extiende los hallazgos de Shevchenko et al. (2022) de entornos univariantes a multivariantes y caracteriza de forma única la estructura de la medida estacionaria en el espacio de parámetros, no solo en el espacio de funciones.