📊 statistics

Beyond ReLU: How Activations Affect Neural Kernels and Random Wide Networks

Este artículo caracteriza los Espacios de Reproducción de Núcleos (RKHS) de las funciones de activación que presentan no suavidad solo en el cero (como SELU o ELU), demostrando que, a diferencia de las activaciones polinomiales, una amplia clase de estas funciones generan espacios equivalentes independientemente de la profundidad de la red.

Autores originales: David Holzmüller, Max Schölpple

Publicado 2026-04-28

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: David Holzmüller, Max Schölpple

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

El "ADN" de la Inteligencia Artificial: ¿Por qué aprenden las máquinas?

Imagina que estás intentando enseñar a un niño a reconocer animales. No le das una lista de reglas matemáticas rígidas, sino que le muestras miles de fotos. El cerebro del niño (o la red neuronal de una IA) empieza a crear "filtros" internos para distinguir un gato de un perro.

Los científicos saben que, cuando estas redes de IA son "gigantes" (tienen miles de millones de conexiones), se comportan de una manera matemática muy predecible. A esto lo llaman el "régimen de kernel". Es como si, al mirar la red desde muy lejos, dejara de verse como un caos de cables y empezara a verse como una superficie suave y elegante.

Pero aquí hay un problema: la mayoría de las teorías actuales solo funcionan si usamos un tipo de "filtro" muy específico llamado ReLU (que es como un interruptor: o deja pasar la señal o la corta en seco). El problema es que en el mundo real, los ingenieros usan otros filtros más sofisticados (como SELU o ELU) para que la IA sea más rápida y precisa.

¿Qué hizo este estudio? Básicamente, han escrito el "manual de instrucciones" para entender cómo funcionan esos otros filtros, algo que nadie había logrado hacer con tanto detalle.

Las tres analogías para entender el descubrimiento

1. La analogía de la "Textura de la Superficie" (El RKHS)

Imagina que la inteligencia de la red neuronal es como una sábana extendida sobre una mesa. Dependiendo de qué "filtro" (activación) uses, esa sábana tendrá una textura diferente:

ReLU es como una sábana de lona: tiene pliegues muy marcados y esquinas afiladas.
Filtros más suaves (como SELU o tanh) son como una sábana de seda: es mucho más fluida y no tiene esos cortes bruscos.

El estudio de Holzmüller y Schölpple explica matemáticamente qué tan rugosa o suave es esa sábana según el filtro que elijas. Esto es vital porque, si la sábana es demasiado rugosa, la IA se "tropieza" y no aprende bien; si es demasiado suave, quizás no sea capaz de captar los detalles importantes.

2. La analogía de la "Profundidad de la Piscina" (La profundidad de la red)

Uno de los grandes debates es: ¿Realmente sirve de algo hacer una red neuronal más profunda (con más capas), o es lo mismo que una red bajita?

Los autores descubrieron algo sorprendente:

Si usas filtros "normales" (que no son perfectamente suaves), añadir más capas es como añadir más profundidad a una piscina, pero la textura del fondo sigue siendo la misma. No cambia la naturaleza de lo que la red puede aprender, solo la escala.
Sin embargo, si usas filtros "polinomiales" (matemáticas muy específicas), entonces cada capa sí cambia radicalmente la textura, como si cada vez que profundizas, el fondo de la piscina se transformara en algo totalmente distinto.

3. La analogía del "Eco en la Montaña" (Los Autovalores)

Cuando una red neuronal aprende, está buscando patrones. Estos patrones resuenan en la red como un eco. El estudio analiza la "frecuencia" de esos ecos (lo que los matemáticos llaman autovalores).

Han descubierto que la suavidad del filtro determina qué tan rápido se apaga el eco. Si el filtro es muy suave, los ecos de los detalles finos se pierden rápido; si es más brusco, los detalles se mantienen más tiempo. Esto ayuda a los ingenieros a saber qué tan rápido va a aprender su IA y qué tan bien va a recordar lo que ha visto.

¿Por qué es esto importante para el mundo real?

Aunque parezca pura matemática abstracta, este trabajo es como haber descubierto las leyes de la aerodinámica para los diseñadores de aviones.

Antes, los ingenieros de IA elegían sus filtros por "intuición" o "ensayo y error". Ahora, gracias a este estudio, tienen una brújula matemática. Saben exactamente qué tan "suave" será su modelo, qué tan profundo debe ser para ser eficiente y cómo se comportará la IA cuando intente resolver problemas complejos.

En resumen: Han pasado de la "alquimia" (mezclar ingredientes y ver qué pasa) a la "química" (entender exactamente qué reacción ocurre en cada capa de la inteligencia artificial).

1. El Problema

En la teoría del aprendizaje profundo, los límites de ancho infinito de las redes neuronales se estudian mediante dos objetos matemáticos fundamentales: el Kernel de Proceso Gaussiano de Redes Neuronales (NNGP) y el Kernel de Tangente Neuronal (NTK).

Hasta la fecha, la comprensión teórica de la estructura de estos núcleos (específicamente de sus Espacios de Hilbert con Núcleo Reproductor o RKHS) se había limitado principalmente a funciones de activación que son potencias de la función ReLU o funciones infinitamente suaves. Existe un vacío de conocimiento sobre cómo se comportan estos núcleos cuando se utilizan activaciones comunes que son suaves en todas partes excepto en el origen (como SELU, ELU o LeakyReLU). El problema central es caracterizar la regularidad (suavidad) de las funciones que estos núcleos pueden representar.

2. Metodología

Los autores emplean un enfoque de análisis funcional y teoría de kernels en la esfera $S^d$ . Los pasos clave de su metodología son:

Parametrización de Tangente Neuronal (NTP): Se centran en este régimen para estudiar el comportamiento en el límite de ancho infinito.
Análisis de Funciones Duales: Utilizan el concepto de "activación dual" ( $\hat{\phi}$ ), que describe el comportamiento de la activación en una capa oculta mediante una forma cuadrática basada en la distribución normal.
Comportamiento de Frontera: El núcleo de la técnica consiste en analizar el comportamiento asintótico de las funciones duales cuando el argumento tiende a $\pm 1$ (lo que equivale a estudiar la no-suavidad de la activación en el origen).
Descomposición Paridad (Even/Odd): Analizan cómo la simetría de la función de activación (si es par o impar) afecta la estructura del RKHS, especialmente en redes sin sesgo (bias-free).
Teoría de Espacios de Sobolev: Utilizan la relación entre la tasa de decaimiento de los autovalores de un kernel y la suavidad de los espacios de Sobolev para caracterizar los RKHS.

3. Contribuciones Clave

El trabajo presenta tres contribuciones principales:

Caracterización General del RKHS (Teorema 9): Proporcionan una clasificación completa de los RKHS para NTK y NNGP basada en el grado de suavidad ( $s$ ) de la función de activación.
Extensión a Activaciones No Suaves: Logran incluir funciones como SELU, ELU y LeakyReLU, demostrando que su comportamiento está dictado por su grado de no-suavidad en cero.
Suavidad de las Trayectorias de Muestreo (Teorema 14): Caracterizan la suavidad de las funciones muestreadas del proceso gaussiano (NNGP) en el límite de ancho infinito, estableciendo una conexión entre la suavidad del kernel y la suavidad de la función resultante.

4. Resultados Principales

Los resultados se pueden resumir en cuatro escenarios según la naturaleza de la activación $\phi$ :

Activaciones con suavidad finita ( $1 \leq s < \infty$ ): Para activaciones como ReLU, LeakyReLU, ELU y SELU, los RKHS son equivalentes a espacios de Sobolev. Específicamente:
- El RKHS del NTK es equivalente a $H_{d/2 + s - 1/2}(S^d)$ .
- El RKHS del NNGP es equivalente a $H_{d/2 + s + 1/2}(S^d)$ .
- Nota: Esto implica que la profundidad de la red no cambia la clase de suavidad del espacio (el beneficio de la profundidad no se ve en el RKHS para estas funciones).
Activaciones Infinitamente Suaves ( $s = \infty$ ): Si la función no es un polinomio (ej. Sigmoide, Tanh, GELU), los núcleos son universales y los RKHS están contenidos en todos los espacios de Sobolev, pero sus autovalores decaen más rápido que cualquier potencia inversa.
Activaciones Polinomiales: El RKHS solo contiene polinomios, y el grado máximo de estos crece exponencialmente con la profundidad de la red.
Activaciones Discontinuas ( $s = 0$ ): El NNGP genera espacios de Sobolev cuya suavidad depende de la profundidad de la red ( $L$ ), mientras que el NTK no está bien definido.

5. Significado e Implicaciones

Este trabajo tiene implicaciones profundas para la teoría del aprendizaje profundo:

Profundidad vs. Capas Rasas: Confirma que, para una amplia clase de activaciones no suaves, el régimen de kernel no captura la ventaja de la profundidad (ya que los espacios de funciones representables son equivalentes para diferentes profundidades).
Dinámica de Entrenamiento y Generalización: Al conocer la estructura exacta de los RKHS, se pueden aplicar resultados de teoría de la generalización (como el benign overfitting) a una gama mucho más amplia de funciones de activación.
Sesgo Espectral: Sugiere que el sesgo espectral (la tendencia de las redes a aprender primero frecuencias bajas) puede ser controlado o influenciado mediante la elección de la suavidad de la función de activación.
Modelado Teórico: Permite utilizar activaciones más suaves (como CELU) para realizar estudios matemáticos de la dinámica del gradiente que antes eran imposibles con ReLU debido a su discontinuidad en la derivada.