Identifiable Equivariant Networks are Layerwise Equivariant

Resumen Técnico: Las redes equivariantes identificables son equivariantes por capa

Planteamiento del problema
En el aprendizaje profundo geométrico, un paradigma dominante consiste en diseñar redes neuronales con equivariancia explícita por capa para asegurar que la red completa respete las simetrías de los datos. Sin embargo, persiste una pregunta teórica fundamental: ¿Es la equivariancia por capa una condición necesaria para que una red sea equivariante de extremo a extremo (end-to-end)? Empíricamente, las redes entrenadas con datos simétricos suelen desarrollar estructuras aproximadamente equivariantes en sus capas intermedias, pero la justificación teórica de por qué la equivariancia de extremo a extremo implica la equivariancia por capa no había estado clara. Este trabajo aborda la brecha entre la simetría global (extremo a extremo) y la simetría local (por capa), investigando específicamente si una función equivariante de extremo a extremo debe estar construida a partir de capas equivariantes.

Metodología y formalismo
Los autores desarrollan un formalismo altamente abstracto y agnóstico a la arquitectura, fundamentado en la teoría de categorías y la geometría algebraica, para analizar redes neuronales profundas.

1. Definición del modelo abstracto: Un modelo profundo se define como una composición secuencial de mapas paramétricos $f_i: V_{i-1} \times \Theta_i \to V_i$, que representan capas actuando sobre espacios latentes $V_i$.
2. Simetrías y acciones de grupo: Las simetrías se formalizan mediante acciones de grupo. Los espacios de entrada y salida son actuados por un grupo $G$. Crucialmente, los espacios latentes $V_i$ están equipados con sus propios grupos de simetría $K_i$.
3. Supuesto de identificabilidad: El supuesto teórico central es la identificabilidad de parámetros. Los autores definen un parámetro $\theta$ como "débilmente identificable" si es la imagen de un parámetro identificable dentro de un "submodelo". Un submodelo representa un caso degenerado donde las neuronas están inactivas o son redundantes (clonadas).
   • La identificabilidad implica que si dos conjuntos de parámetros producen la misma función, deben estar relacionados por simetrías de los espacios latentes (específicamente, transformaciones entre capas que se cancelan entre sí).
   • Esta propiedad se sabe que se cumple para diversas arquitecturas (p. ej., MLP con activaciones Sigmoide, Tanh o polinómicas de alto grado), pero sigue siendo una conjetura para otras (p. ej., redes ReLU, aunque existen resultados parciales).
4. Submodelos y degeneración: El marco de trabajo gestiona explícitamente las neuronas "inactivas" (aquellas que no participan en el paso hacia adelante o forward pass) tratándolas como submodelos. La teoría postula que cualquier parámetro no identificable surge de tales estructuras degeneradas.

Resultado teórico principal
El teorema central (Teorema 4.1) establece un vínculo directo entre la equivariancia global y la local:

• Premisa: Considere una red profunda que es equivariante de extremo a extremo con respecto a un grupo $G$ que actúa sobre la entrada y la salida. Suponga que los parámetros de la red son débilmente identificables.
• Conclusión: Existen acciones de grupo de $G$ sobre los espacios latentes intermedios $V_1, \dots, V_{L-1}$ tales que cada capa $f_i$ es equivariante con respecto a estas acciones.
• Implicación: Diseñar capas equivariantes no es meramente un heurístico; es la única forma de construir una red equivariante de extremo a extremo (salvo por el descarte de neuronas inactivas). Si una red converge a una solución equivariante durante el entrenamiento, la equivariancia debe emerger automáticamente en las partes activas de sus capas.

Contribuciones clave

1. Formalización abstracta: El artículo formula la identificabilidad, la equivariancia y los submodelos en un lenguaje abstracto y unificado que se aplica a diferentes arquitecturas de redes y grupos de simetría.
2. Prueba de necesidad: Demuestra que, bajo el supuesto de la débil identificabilidad, la equivariancia de extremo a extremo requiere necesariamente la equivariancia por capa. Esto resuelve la cuestión abierta de si las redes no equivariantes por capa pueden lograr la equivariancia global.
3. Aplicación a arquitecturas específicas:
   • MLP: La teoría se aplica a Perceptrones Multicapa, mostrando cómo las simetrías latentes corresponden a permutaciones de neuronas y reescalamientos. Se discute el estado de la identificabilidad para varias funciones de activación (Sigmoide, Tah, Polinomios, ReLU).
   • Redes de Atención: El marco se extiende a redes de Atención de Múltiples Cabezales (Multi-Head Attention), donde las simetrías latentes incluyen permutaciones de cabezales y transformaciones lineales de los espacios de tokens.
4. Ilustración empírica: Los autores realizan experimentos en CIFAR10 utilizando MLPs pequeños (autoencoders y clasificadores) entrenados con una pérdida de equivariancia. Aunque la teoría asume la equivariancia exacta, los experimentos demuestran que las estructuras por capa predichas (p. ej., filtros simétricos o antisimétricos) emergen en entornos prácticos de equivariancia aproximada.

Significancia y afirmaciones
El artículo afirma proporcionar una explicación matemática para el fenómeno observado consistentemente en la práctica: que las redes neuronales entrenadas con datos simétricos codifican estas simetrías linealmente en sus espacios latentes.

• El trabajo clarifica la relación entre el aumento de datos basado en simetría y el diseño de capas equivariantes, sugiriendo que si una red aprende una función equivariante, esta efectivamente "descubre" la estructura equivariante por capa necesaria para soportarla.
• Los resultados se fundamentan en el supuesto de identificabilidad. Los autores reconocen que, si bien esto está establecido para muchas arquitecturas, sigue siendo una conjetura para otras (notablemente las redes ReLU), y sus resultados se aplican inmediatamente a las primeras y condicionalmente a las segundas.
• La teoría se presenta como agnóstica a la arquitectura, basándose en las propiedades estructurales de los mapas paramétricos en lugar de configuraciones de pesos específicas, ofreciendo así un principio general para el aprendizaje profundo geométrico.

Limitaciones y alcance
Los autores señalan que su prueba depende de propiedades de adjunción específicas entre la acción de grupo y los parámetros de la capa. Aunque discuten generalizaciones para redes de atención y convolucionales, ciertas arquitecturas como Deep Sets o redes de grafos equivariantes específicas, donde las capas lineales absorben acciones de grupo específicas pero no transformaciones arbitrarias, quedan fuera del alcance directo de su prueba actual. Además, la dependencia de la débil identificabilidad significa que sus resultados están supeditados a que el modelo no quede atrapado en configuraciones de parámetros degeneradas que no surjan de submodelos.