Resumen Técnico: ¿Puede un MLP absorber su propia conexión de salto (skip connection)?

1. El Problema

El estudio investiga la redundancia representacional de las conexiones de salto (residuales) en las redes neuronales de tipo MLP (Multi-Layer Perceptron). La pregunta fundamental es: dado un bloque con conexión de salto de la forma $x + \text{MLP}_2(x)$, ¿existe un MLP sin conexión de salto ($\text{MLP}_1(x)$) del mismo ancho que pueda representar exactamente la misma función?

Si la respuesta es sí, la conexión de salto es algebraicamente redundante en ese ancho. Si es no, la conexión de salto otorga a la red acceso a una región del espacio de funciones que un MLP estándar no puede alcanzar sin aumentar su ancho o profundidad.

2. Metodología

Los autores emplean herramientas de álgebra lineal, análisis funcional y geometría de redes neuronales para analizar diferentes tipos de funciones de activación ($\sigma$):

• Descomposición de paridad: Para activaciones como ReLU y GELU, descomponen la función en una parte par y una parte impar. Notan que en ambos casos, la parte impar es exactamente $z/2$, lo que permite un análisis algebraico unificado.
• Argumentos de homogeneidad y linealización: Utilizan grados de homogeneidad para activaciones como ReLU$^2$ y argumentos de series de Taylor para activaciones con compuertas (gated).
• Teoría de funciones de cresta (Ridge functions): Para el caso de GELU, emplean el teorema de unicidad de Pinkus para demostrar la independencia lineal de las funciones de activación escaladas.
• Análisis de medida de Lebesgue: Para determinar si la absorción es un evento "común" o "raro", tratan los pesos como variables en un espacio paramétrico y evalúan la medida de los conjuntos que permiten la absorción.

3. Contribuciones Clave y Resultados

El estudio clasifica los resultados según el tipo de activación utilizada en los modelos de vanguardia actuales:

A. Activaciones Modernas (Imposibilidad Absoluta)

Para las funciones de activación utilizadas en modelos como LLaMA, Mistral, DeepSeek y Gemma, la absorción es imposible:

• Activaciones Homogéneas (ej. ReLU$^2$, ReGLU): Debido a que la conexión de salto es de grado 1 y la activación es de grado $k \neq 1$, las clases de homogeneidad son incompatibles.
• Activaciones con Compuertas (ej. SwiGLU, GeGLU): Mediante un argumento de linealización cerca del origen, demuestran que la salida de estas activaciones es de orden $O(\|x\|^2)$, mientras que la conexión de salto es $O(\|x\|)$. Esto impide que coincidan.
• Extensión a la profundidad: Estos resultados se extienden a arquitecturas profundas: una composición de $L$ bloques residuales no puede ser replicada por $L$ bloques sin conexión de salto del mismo ancho.

B. El Caso de ReLU y GELU (Imposibilidad Genérica)

Para las activaciones no compuertas (ReLU y GELU), la situación es más compleja pero el resultado final es similar:

• Condición de Absorción: La absorción es posible únicamente si existe un subconjunto de neuronas $S$ tal que la combinación de sus matrices de pesos cumpla: $W_{\text{down}}[:, S] W_{\text{up}}[S, :] = -\text{Id}$.
• Disjuntad Genérica: Esta condición es extremadamente restrictiva. Los autores demuestran que el conjunto de pesos que satisfacen esto tiene medida de Lebesgue cero. Por lo tanto, para casi cualquier configuración de pesos, las clases de funciones de MLPs con salto y sin salto son disjuntas.

C. Generalización a Hyper-Connections

Demuestran que si la conexión de salto no es la identidad, sino una matriz lineal invertible $M$ (como en las Hyper-Connections), el problema se reduce matemáticamente al caso de la identidad, manteniendo la imposibilidad de absorción.

4. Significado e Implicaciones

Este trabajo tiene implicaciones profundas para la arquitectura de redes neuronales:

1. Valor Representacional: Confirma que las conexiones de salto no son solo una herramienta de optimización (para suavizar el paisaje de pérdida o ayudar al flujo de gradientes), sino que expanden la capacidad expresiva de la red.
2. Límites de la Compresión: Sugiere que cualquier intento de comprimir una red residual en una red sin saltos (manteniendo el mismo ancho) resultará inevitablemente en un error de aproximación, ya que las funciones que representan son fundamentalmente distintas.
3. Diseño de Arquitecturas: Valida la decisión de la industria de utilizar arquitecturas residuales y gated (como SwiGLU), ya que estas estructuras crean espacios de funciones que son matemáticamente inalcanzables para arquitecturas MLP tradicionales.