A Complete Symmetry Classification of Shallow ReLU Networks

A continuación presento un resumen técnico detallado del artículo "A COMPLETE SYMMETRY CLASSIFICATION OF SHALLOW RELU NETWORKS" (Una clasificación completa de simetrías en redes ReLU superficiales) de Pranavkrishnan Ramakrishnan.

1. Planteamiento del Problema

El artículo aborda un problema fundamental en la teoría de redes neuronales: la distinción entre el espacio de parámetros y el espacio de funciones. En arquitecturas de redes neuronales, múltiples configuraciones de parámetros distintos pueden generar exactamente la misma función de mapeo. El conjunto de parámetros que producen la misma función se denomina fibre de la aplicación de realización ($\rho$).

El objetivo es clasificar completamente las simetrías (equivalencias de parámetros) en redes neuronales superficiales (de una sola capa oculta) con función de activación ReLU (Rectified Linear Unit).

• Contexto previo: Trabajos anteriores han estudiado estas simetrías bajo la suposición de que las funciones de activación son analíticas (como sigmoide o tangente hiperbólica). Sin embargo, el ReLU no es diferenciable en cero, lo que ha impedido la aplicación de técnicas analíticas estándar y ha dejado la clasificación completa de simetrías para ReLU como un problema abierto.
• La pregunta central: ¿Es el espacio de parámetros que realiza una función dada simplemente una órbita bajo el grupo de simetrías conocido (permutaciones y escalado positivo), o existen "simetrías ocultas" adicionales que no derivan de este grupo?

2. Metodología

El autor emplea un enfoque algebraico y geométrico, aprovechando específicamente la no diferenciabilidad del ReLU en el origen, en lugar de depender de técnicas probabilísticas o geométricas de alta profundidad utilizadas en trabajos previos.

Los pilares metodológicos son:

1. Definición del Grupo de Simetría Estándar ($H_n$): Se define el grupo $H_n \leq GL_n(\mathbb{R})$ generado por permutaciones ($S_n$) y matrices diagonales con coeficientes positivos ($D_n^+$). Este grupo actúa sobre el espacio de parámetros $\Omega(m,n,k)$ preservando la función realizada.
2. Forma Mínima (Minimal Form): Se introduce una forma canónica para los parámetros dentro de sus clases de equivalencia. Esto permite reducir cualquier parámetro a una representación única (o casi única) eliminando redundancias obvias (como neuronas con peso cero o parámetros redundantes).
3. Análisis de Diferenciabilidad: El núcleo del argumento reside en el Proposición 14. El autor demuestra que si una combinación de funciones ReLU resulta en una función suave (lineal afín), esto impone restricciones extremadamente fuertes sobre los parámetros. Dado que el ReLU tiene un punto de no diferenciabilidad en 0, la única manera de que una suma de ReLUs sea diferenciable en todo el dominio es si los términos de no diferenciabilidad se cancelan exactamente entre sí.
4. Reducción a Caso Escalar ($k=1$): El problema se resuelve primero para redes con una sola salida ($k=1$) y luego se generaliza a múltiples salidas mediante proyecciones.

3. Contribuciones Clave y Resultados Principales

A. Clasificación Completa de Simetrías (Teorema 1)

El resultado principal establece que, para un conjunto denso de parámetros en el espacio $\Omega(m,n,k)$, la fibra de la aplicación de realización es difeomorfa al grupo de Lie $H_n$.

• Interpretación: Para la gran mayoría de los parámetros (en el sentido de un conjunto abierto de Zariski), las únicas simetrías son las "inmediatas": permutar neuronas ocultas y escalar sus pesos de entrada/salida de manera inversa. No existen simetrías ocultas adicionales para estos casos genéricos.

B. Identificación de la Única Simetría No Trivial (Proposición 14 y Teorema 3)

El artículo identifica que, más allá de las simetrías de $H_n$, existe una y solo una clase adicional de simetría en redes ReLU superficiales. Esta surge de la identidad algebraica:
$$\sigma(x) - \sigma(-x) = x$$
Donde $\sigma$ es la función ReLU.

• Esto implica que un par de neuronas con pesos opuestos y sesgos opuestos pueden cancelarse mutuamente para producir una función lineal, la cual puede ser absorbida por la capa de salida.
• El Teorema 3 describe el espacio cociente de funciones realizables ($\text{im } \rho$) como $\Omega / \equiv$, donde la relación de equivalencia $\equiv$ incluye tanto las acciones de $H_n$ como esta cancelación específica de pares opuestos.

C. Estabilizadores del Espacio de Parámetros (Teorema 2)

Se clasifica el estabilizador de un parámetro $\theta$ bajo la acción de $H_n$ ($\text{Stab}_{H_n}\theta$).

• Se demuestra que el estabilizador es isomorfo a $S \times H_{n'}$, donde $n'$ es el número de neuronas "inactivas" (con parámetros cero) y $S$ es un subgrupo generado por ciclos de permutación de neuronas que son linealmente dependientes (escaladas positivamente).
• Esto proporciona una condición necesaria (aunque no suficiente) para que la fibra sea más grande que la órbita de $H_n$.

D. Ejemplo Concreto de Simetría Oculta

El autor presenta un ejemplo explícito (Figura 1 y ecuaciones en la Introducción) de dos parámetros $\theta_1$ y $\theta_2$ que no están relacionados por permutaciones ni escalados positivos, pero que generan la misma función debido a la identidad $\sigma(x) - \sigma(-x) = x$. Esto refuta la idea de que las condiciones de "transversalidad" o "genericidad" usadas en trabajos previos (como [8]) son suficientes para garantizar la identificabilidad local única.

4. Significado e Impacto

1. Superación de Limitaciones Analíticas: El trabajo demuestra que la no diferenciabilidad del ReLU, a menudo vista como un obstáculo, puede ser explotada algebraicamente para obtener clasificaciones completas que son imposibles de obtener con funciones de activación suaves.
2. Geometría del Paisaje de Pérdida: Al entender la estructura exacta de las fibras (el "neuromanifold"), se puede comprender mejor la dinámica de la optimización. Si las fibras son más grandes de lo esperado (debido a simetrías ocultas), el paisaje de pérdida tiene valles planos más complejos.
3. Identificabilidad: El resultado aclara cuándo un modelo ReLU es localmente identificable. Se muestra que las condiciones de genericidad estándar no son suficientes; se requiere evitar específicamente la configuración de pares opuestos que se cancelan.
4. Fundamento Teórico: Proporciona una base algebraica rigurosa para el estudio de simetrías en redes profundas, sugiriendo que la relación $\sigma(x) - \sigma(-x) = x$ es la única fuente de simetrías no triviales en el caso superficial, lo que podría guiar futuras investigaciones en redes profundas.

En resumen, el artículo cierra una brecha teórica importante al proporcionar la primera clasificación completa de simetrías para redes ReLU superficiales, demostrando que, salvo un conjunto de medida cero y una clase específica de cancelación algebraica, las simetrías conocidas (permutación y escalado) son exhaustivas.