Resumen Técnico: Espacios de Variación de Redes Neuronales Profundas

Planteamiento del Problema

La comprensión teórica de la profundidad en las redes neuronales profundas sigue siendo incompleta. Aunque la evidencia empírica sugiere que la profundidad mejora la capacidad de representación, los marcos teóricos existentes se basan mayoritariamente en medidas de complejidad basadas en parámetros (por ejemplo, el ancho, el recuento total de parámetros o la suma de los cuadrados de los pesos). Estas medidas a menudo no logran capturar la complejidad efectiva de los predictores aprendidos, particularmente en regímenes sobreparametrizados donde el número de parámetros supera el tamaño de los datos. Además, las teorías existentes de espacios de funciones para redes profundas están fragmentadas, a menudo especializadas en activaciones homogéneas (como ReLU), y utilizan nociones de complejidad dispares que son difíciles de comparar. Se necesita una perspectiva unificada para distinguir entre la complejidad funcional que surge de la composición repetida de no linealidades frente a la complejidad que surge meramente de la reescalación lineal compuesta a través de las capas.

Metodología

Los autores desarrollan una teoría unificada de espacios de funciones para redes neuronales totalmente conectadas profundas, denominada Espacios de Variación de Redes Profundas ($V_L$). La metodología central consiste en los siguientes pasos:

1. Funciones de Activación Normalizadas: Para manejar de manera uniforme tanto las activaciones homogéneas (ej. ReLU) como las no homogéneas (ej. GELU, SiLU), los autores introducen una familia de funciones de activación normalizadas $\sigma_s(t) = \sigma(st)/s$ (o $\sigma(st)/s^m$ para funciones homogéneas de grado-$m$). Esto separa la "forma" de la característica de su "tamaño", asegurando que las características con diferentes escalas incurran en un costo de norma proporcional a su constante de Lipschitz.
2. Construcción Recursiva: Los espacios de funciones se definen recursivamente. La capa base $B_1$ consiste en un diccionario de funciones afines. Las capas subsiguientes $B_L$ se definen como la envolvente convexa absoluta cerrada de las composiciones $\sigma_s \circ f$, donde $f \in B_{L-1}$.
3. Normas Variacionales: El espacio $V_L$ está equipado con una norma atómica (o de medida de gauge) $\|f\|_{V_L}$, definida como el ínfimo de $c > 0$ tal que $f \in cB_L$. Esta norma mide el "costo" de representar una función como una combinación convexa de funciones activadas de la capa anterior.
4. Representaciones Integrales: Los autores establecen que las funciones en $V_L$ admiten representaciones integrales con respecto a medidas finitas sobre el espacio de las funciones de la capa anterior y los parámetros de escala. Esto conecta los espacios profundos con los espacios de Barron generalizados y los espacios de árboles neuronales.
5. Comparación con Costos Existentes: La norma propuesta se compara con otros costos de representación, incluyendo la suma de los cuadrados de los pesos (SOSW) y varias normas de grupo ($\ell_{2,1}$, $\ell_{1,1}$). Los autores demuestran que su norma es una verdadera norma de Banach en el espacio de funciones, mientras que muchos costos existentes actúan como cuasi-normas o penalizaciones aditivas que no contabilizan adecuadamente la amplificación exponencial de la salida de la función debido a la reescalación por capas.

Contribuciones Clave

1. Marco Unificado para Activaciones Generales: El artículo proporciona un marco único de espacio de funciones aplicable a una amplia familia de funciones de activación continuas, incluyendo las no homogéneas. Demuestran que para muchas activaciones "tipo ReLU" (Leaky ReLU, GELU, SiLU, etc.), los espacios de funciones inducidos son normo-equivalentes al espacio ReLU, con cotas explícitas dependientes de la profundidad para las constantes de equivalencia.
2. Nuevo Teorema del Representante: Los autores demuestran un teorema del representante que muestra que las soluciones a problemas de ajuste de datos penalizados por norma se realizan mediante redes neuronales de ancho acotado. Específicamente, para activaciones homogéneas, la solución es una red de ancho finito; para activaciones no homogéneas, la solución puede involucrar átomos límite ($\sigma_0, \sigma_\infty$) pero permanece con ancho acotado.
3. Cotas de Complejidad de Espacio de Funciones: Se derivan nuevas cotas para la complejidad de Rademacher empírica en el peor de los casos y las entropías métricas $L_p(\mu)$ de las bolas unitarias $B_L$. Estas cotas crecen solo levemente con la profundidad (a menudo de forma polinómica o lineal en $L$, y en muchos casos independientes de $L$ para activaciones 1-Lipschitz), contrastando con el crecimiento exponencial que suele implicar los análisis basados en el recuento de parámetros.
4. Resultado de Saturación de Profundidad: En el caso univariante de ReLU, los autores demuestran un teorema de "saturación de profundidad": las bolas unitarias profundas satisfacen $B_2 \subset B_L \subset 2B_2$ para todo $L \ge 2$. Esto implica que la profundidad no añade nueva diversidad funcional más allá de un reescalado constante de la clase superficial.
5. Control de Frecuencia: Como consecuencia del resultado de saturación univariante, muestran que las funciones multivariantes en clases ReLU de norma profunda no pueden exhibir altas frecuencias a lo largo de ninguna dirección individual del dominio de entrada.

Resultados Clave

• Equivalencia de Normas: Para una amplia gama de activaciones (Leaky ReLU, GELU, SiLU, Mish, etc.), los espacios de variación profunda $V_L^\sigma$ son normo-equivalentes al espacio ReLU $V_L^{\text{ReLU}}$. Sin embargo, las constantes de equivalencia pueden crecer con la profundidad para activaciones no homogéneas.
• Cotas de Complejidad:
  • Complejidad de Rademacher: La complejidad crece como máximo como $\sqrt{L}$ (o $L$ para activaciones no 1-Lipschitz) hasta factores polilogarítmicos, y es independiente del ancho de la red.
  • Entropía Métrica: La entropía métrica de las bolas unitarias $B_L$ está acotada de manera similar, creciendo levemente con la profundidad. Las cotas inferiores derivadas de clases superficiales ($B_2$) muestran que la brecha entre las cotas superiores e inferiores es pequeña para dimensiones de entrada altas.
• Saturación de Profundidad (ReLU Univariante): El artículo demuestra que para las redes ReLU univariantes, aumentar la profundidad no expande el conjunto de funciones representables más allá de un factor constante (específicamente, un factor de 2) de la clase superficial $B_2$. Funciones como la función de sierra de Telgarsky, citadas a menudo como evidencia del poder de la profundidad, requieren pesos exponencialmente grandes (en la norma del espacio de funciones) para ser representadas, lo que efectivamente niega el beneficio de la profundidad cuando la complejidad se controla por la norma en lugar del recuento de neuronas.
• Restricciones de Frecuencia: Las funciones en las clases ReLU profundas multivariantes deben exhibir bajas frecuencias a lo largo de cualquier línea en el dominio de entrada. Si la restricción de una función a una línea excede una constante específica en su variación total de la segunda derivada, no puede ser representada en ninguna clase ReLU de norma profunda.

Significado y Reivindicaciones

El artículo sostiene que una perspectiva de espacio de funciones ofrece nuevos conocimientos estructurales sobre la relación entre profundidad y complejidad. El significado principal radica en demostrar que muchos resultados de "separación de profundidad" —donde se afirma que las redes profundas representan funciones de alta frecuencia o complejas de manera más eficiente que las superficiales— dependen de medidas de costo de representación (como el recuento de parámetros o SOSW) que no logran penalizar la reescalación compuesta de los pesos a través de las capas.

Cuando la complejidad se controla mediante una verdadera norma de espacio de funciones (que tiene en cuenta la magnitud de la salida de la función), los autores argumentan que las ventajas estructurales de la profundidad son mucho más limitadas de lo que se pensaba anteriormente. Específicamente:

• La profundidad no genera inherentemente nuevas formas funcionales en el caso de ReLU univariante; solo permite el reescalado.
• La capacidad de las redes profundas para representar funciones de alta frecuencia depende de permitir que los pesos crezcan exponencialmente con la profundidad, lo cual es penalizado por la norma propuesta.
• El sesgo inductivo de las redes profundas controladas por norma es uno de control de frecuencia a lo largo de todas las direcciones, en lugar de la capacidad de generar oscilaciones de alta frecuencia arbitrarias.

Los autores concluyen que, si bien la profundidad puede ofrecer beneficios en contextos específicos, estos beneficios desaparecen cuando la complejidad de la red se mide mediante una norma que controla adecuadamente la magnitud de la función, sugiriendo que la "expresividad" de la profundidad es a menudo un artefacto del escalado de parámetros sin restricciones en lugar de la aplicación repetida de la no linealidad.