On the Stable Euclidean Distance Degree of Algebraic Layers

Resumen Técnico: Sobre el grado de distancia euclídea estable de las capas algebraicas

Planteamiento del problema
Este artículo investiga la geometría proyectiva de las capas neuronales algebraicas, específicamente las familias de mapas inducidos por funciones de activación polinómicas. El objeto central de estudio es el grado de distancia euclídea genérico (gED) de las "neurovariedades" asociadas. El gED es un invariante proyectivo que mide el número de aproximaciones óptimas de un punto general en el espacio ambiente con respecto a una métrica general. Si bien el grado de distancia euclídea (ED) es un invariante dependiente de la métrica, su valor se estabiliza para un producto escalar suficientemente general, convirtiéndose en un invariante proyectivo igual a la suma de las clases polares de la variedad.

El problema específico abordado es el comportamiento del gED para redes neuronales poco profundas (capas ocultas simples) a medida que las dimensiones de los espacios de entrada y salida varían, mientras que el ancho arquitectónico y el grado del polinomio de activación permanecen fijos. Un trabajo previo [9] proporcionó fórmulas cerradas para el gED cuando la dimensión de salida varía, pero las propiedades funcionales estables respecto tanto a las dimensiones de entrada como de salida para activaciones polinómicas generales permanecían abiertas.

Metodología
Los autores emplean un enfoque uniforme de teoría de intersección basado en la geometría algebraica. La metodología procede a través de los siguientes pasos:

1. Realización geométrica: El conjunto de funciones en una capa neuronal algebraica se realiza como una variedad proyectiva (la variedad secante $k$-ésima de un producto tipo Segre específico). El artículo establece que, para un soporte fijo de la activación polinómica, la variedad asociada es proyectivamente equivalente independientemente de los coeficientes específicos, siempre que el soporte sea idéntico.
2. Explosión de Nash y resolución: Para manejar las singularidades de estas variedades, los autores utilizan la explosión de Nash (Nash blow-up). Construyen una resolución de singularidades $Z_S$ para la neurovariedad $X_S$ como un fibrado proyectivo sobre un producto de Grassmannianas, $B_S = \text{Gr}_{N_S-k}(V_S) \times \text{Gr}_k(W)$. Este espacio parametriza los mapas lineales de rango $k$ que definen la capa junto con sus núcleos e imágenes.
3. Clases de Chern-Mather y grados polares: El gED se expresa en términos de las clases de Chern-Mather de la variedad (Teorema 2.18). Utilizando la explosión de Nash, los autores relacionan estas clases con los fibrados tautológicos sobre el producto de Grassmannianas $B_S$. Esto reduce el cálculo del gED a un número de intersección (una integral) sobre $B_S$.
4. Localización equivariante: Para evaluar estas integrales y demostrar la polinomialidad, los autores aplican técnicas de localización equivariante. Consideran la acción de un toro algebraico sobre las Grassmannianas. La integral se expresa como una suma finita sobre los puntos fijos de esta acción.
5. Cálculo de Schubert y estabilización: El artículo analiza la estructura del integrando utilizando el cálculo de Schubert. Al establecer cotas uniformes sobre los grados de las clases de Schubert que contribuyen a los números de intersección, los autores demuestran que, para dimensiones suficientemente grandes, el soporte específico de la activación polinómica se vuelve irrelevante y solo importa su grado.

Contribuciones clave y resultados

• Polinomialidad estable (Teorema 4.5): El resultado principal establece que, para un ancho de capa $k$ fijo y un grado de activación $r$ fijo, el grado de distancia euclídea genérico $gED(m, n, S, k)$ viene dado eventualmente por una función polinómica en la dimensión de entrada $n$ y la dimensión de salida $m$. Esto se cumple para cualquier soporte finito $S$ de la activación polinómica con $\max(S) = r$. La prueba se basa en el hecho de que la fórmula de localización produce sumas simétricas de pesos, las cuales son conocidas por ser polinómicas en el número de variables para $N$ grande (Proposición A.1).
• Reducción al caso monomio (Teorema 5.4): El segundo resultado principal demuestra que el gED depende únicamente del grado de la activación polinómica, no de su soporte de monomios específico. Específicamente, para dimensiones suficientemente grandes, el gED de una capa con una activación polinómica general $P$ es idéntico al gED de una capa con una activación monómica $z^{\deg(P)}$.
  • Esto se logra mostrando que la diferencia entre las integrales de intersección para diferentes soportes involucra clases de Schubert de codimensión alta que se anulan en el rango estable (Lemas 5.1 y 5.2).
  • Esto implica una simplificación drástica para fines computacionales: se puede reemplazar las complejas activaciones polinómicas por monomios simples sin alterar la complejidad algebraica asintótica (el gED).
• Fórmulas de intersección explícitas: El artículo proporciona un marco para expresar el gED como una integral sobre productos de Grassmannianas que involucra las clases de Chern de los fibrados tautológicos (Observación 4.2). Esta formulación es independiente de los coeficientes específicos de la función de activación, dependiendo únicamente de la dimensión del espacio de potencias simétricas involucradas.

Significancia y afirmaciones
El artículo afirma extender la comprensión de la geometría proyectiva de las neurovariedades más allá de casos específicos hacia un régimen estable general. Al demostrar la polinomialidad estable, el trabajo sitúa la complejidad algebraica de las capas neuronales dentro de un paradigma más amplio donde los parámetros estructurales son fijos mientras las dimensiones ambientales crecen, trazando un paralelo con los resultados en modelos gaussianos y programación semidefinida mediante el cálculo de Schubert en variedades de cuadráticas completas [11].

La reducción al caso monomio se destaca como una simplificación teórica significativa. Sugiere que, para el propósito de calcular el grado de distancia euclídea genérico —una medida del número de puntos críticos de la función de distancia— la estructura algebraica específica de la función de activación (más allá de su grado) no influye en el conteo en el límite estable. Esto permite a los investigadores centrarse en modelos monómicos al estudiar la complejidad algebraica asintótica de las redes neuronales poco profundas.

El trabajo se apoya en herramientas estándar de la teoría de intersección, incluyendo la explosión de Nash, las clases de Chern-Mather y la localización equivariante, aplicadas sistemáticamente a la geometría específica de las capas neuronales algebraicas. No propone nuevas aplicaciones experimentales ni implementaciones algorítmicas futuras, sino que consolida la base teórica para analizar el poder de expresión y la complejidad geométrica de estos modelos.