Tubular Neighbourhoods of Pfaffian Sets and Applications to Neural Networks

Resumen Técnico: Vecindarios Tubulares de Conjuntos Pfaffianos y Aplicaciones a Redes Neuronales

Planteamiento del Problema
El artículo aborda la complejidad geométrica de las fronteras de decisión en clasificadores de redes neuronales, específicamente aquellos que emplean funciones de activación trascendentales suaves (por ejemplo, la sigmoide logística, tanh). Un problema central en el análisis de robustez de tales clasificadores es cuantificar la probabilidad de que una entrada aleatoria se encuentre dentro de un vecindario tubular $\varepsilon$ de la frontera de decisión. Esta probabilidad se traduce directamente en cotas de cola sobre el número de condición del clasificador, una medida de robustez definida como la relación entre la norma de la entrada y la distancia hacia la clasificación errónea.

Si bien los límites de volumen para vecindarios tubulares de variedades algebraicas están bien establecidos (por ejemplo, la fórmula del tubo de Weyl, resultados de Smale, Renegar y Basu-Lerario), extenderlos a redes neuronales con activaciones trascendentales no es trivial. Las herramientas algebraicas estándar como el teorema de Bézout son insuficientes. En su lugar, los autores utilizan la teoría de funciones Pfaffianas, que generalizan los conjuntos semialgebraicos para incluir funciones que satisfacen sistemas triangulares de ecuaciones diferenciales parciales de primer orden con coeficientes polinómicos. Un desafío principal identificado es que la aplicación de los límites Pfaffianos generales (basados en la teoría de pocos términos de Khovanskii) a las redes neuronales produce constantes que dependen exponencialmente del ancho de la red, lo que hace que los límites sean práctica y teóricamente subóptimos.

Metodología
Los autores desarrollan un marco que combina geometría integral, geometría o-minimal y combinatoria algebraica:

1. Fórmula del Tubo Pfaffiano: Los autores derivan un límite para el volumen del vecindario tubular de una hipersuperficie Pfaffiana suave. Esto se logra combinando una variante de la fórmula del tubo de Weyl con límites sobre el grado del mapa de Gauss generalizado. El grado del mapa de Gauss se acota utilizando el teorema de Khovanskii, que limita el número de soluciones a un sistema de ecuaciones Pfaffianas basándose en el "formato" $(\alpha, \beta, s)$ de las funciones que las definen (grado de la cadena, grado de la función y orden de la cadena).
2. Red Neuronal como Funciones Pfaffianas: El artículo establece que las redes neuronales con activaciones Pfaffianas autónomas y suaves son, en sí mismas, funciones Pfaffianas. El formato de la red se deriva inductivamente basándose en la profundidad, el ancho y el formato de las funciones de activación.
3. Límites Polinómicos para Redes de Capa Única: Para superar la dependencia exponencial del ancho inherente a los límites generales de Khovanskii, los autores se centran en redes de una sola capa oculta con pesos racionales. Emplean un cambio de variables (sustitución exponencial) para transformar el sistema del mapa de Gauss en un sistema de polinomios de Laurent. Al aplicar el teorema de Bernstein-Kushnirenko-Khovanskii (BKK), acotan el número de soluciones mediante el volumen mixto de los politopos de Newton. Crucialmente, demuestran que, para pesos racionales, la estructura de red permite un límite que es polinómico en el ancho de la red $w$, específicamente del orden $O(w^n)$.
4. Manejo de Secciones Afines: Para la fórmula del tubo completa, se requieren límites para las intersecciones con subespacios afines de diversas dimensiones. Los autores muestran que, si bien las secciones genéricas destruyen la estructura de red racional requerida para el enfoque BKK, una transformación de carta multiplicativa permite tratar el sistema como un sistema Pfaffiano con una longitud de cadena independiente del ancho, produciendo un límite polinómico $O(w^{2n})$ para todos los grados de sección.

Contribuciones Clave y Resultados

• Límites de Tubo Generales para Hipersuperficies Pfaffianas (Teorema 3.6): Los autores establecen un límite de volumen para el vecindario tubular de una hipersuperficie Pfaffiana suave y acotada $V = Z(f)$. Para un punto $X$ distribuido uniformemente en una bola $B(p, \rho)$, la probabilidad de que $X$ se encuentre a una distancia $\varepsilon$ de $V$ está acotada por:
  $$P\{d(X, V) \le \varepsilon\} \le C_{\alpha,\beta,s,n} \left[ \left(1 + \frac{(\alpha+\beta+1)\varepsilon}{\rho}\right)^n - \left(1 + \frac{\varepsilon}{\rho}\right)^n \right]$$
  donde la constante $C$ depende del formato Pfaffiano. Esto generaliza resultados previos para variedades algebraicas.

• Garantías de Robustez para Redes Pfaffianas Generales (Teorema 5.4, Corolario 5.7): Aplicando la fórmula del tubo a las redes neuronales, los autores derivan límites de cola para el número de condición $C(X)$. Para redes con $\ell$ capas ocultas y $h$ unidades totales, la probabilidad de cola decae como $O(1/t)$. Sin embargo, la constante involucra un factor exponencial $2^{h(h-1)/2}$ que surge del límite estándar de Khovanskii sobre la longitud de la cadena.

• Límites Polinómicos en Ancho para Redes Sigmoides de Capa Única (Teorema 4.15, Corolario 5.8): Para redes de una sola capa oculta con pesos racionales, los autores eliminan el factor exponencial de Khovanskii. Demuestran que el grado máximo del mapa de Gauss está acotado por $C(n, L) \cdot w^n$ (y los grados de sección por $w^{2n}$), donde $L$ es una constante de red relacionada con los pesos. En consecuencia, el límite de la cola para el número de condición se vuelve polinómico en el ancho $w$:
  $$P\{C_p(X) > t\} \le O\left(\frac{w^n}{t}\right)$$
  Este resultado se muestra como ajustado en su dependencia de $w$ mediante un límite inferior constructivo (Proposición 4.11).

• Entornos Gaussianos vs. Uniformes: El artículo proporciona límites de cola tanto para distribuciones uniformes en una bola como para perturbaciones gaussianas. Para el caso gaussiano, los autores señalan que, si bien el límite polinómico se mantiene para la parte de "radio grande" de la integral, la parte de "radio pequeño" todavía depende del límite Pfaffiano general, lo que conduce a un límite híbrido donde el factor exponencial puede dominar a menos que se cumplan ciertas condiciones de concentración (Observación 5.11).

Significancia y Reivindicaciones
El artículo afirma proporcionar las primeras garantías de robustez cuantitativas y efectivas para redes neuronales con activaciones trascendentales que no son meramente exponenciales en el tamaño de la red. Al generalizar la teoría de vecindarios tubulares al entorno Pfaffiano, los autores cierran la brecha entre la teoría clásica del condicionamiento en análisis numérico y el aprendizaje profundo moderno.

La significancia principal reside en el refinamiento de los límites para redes de una sola capa. Los autores demuestran que la aplicación "estándar" del teorema de Khovanskii produce límites exponenciales excesivamente pesimistas, mientras que explotar la estructura específica de los pesos racionales y la arquitectura de una sola capa permite obtener límites polinómicos. Esto sugiere que la complejidad geométrica de las fronteras de decisión en redes poco profundas es significativamente menor de lo que implica la teoría general de pocos términos.

Los autores mantienen la modestia respecto a las redes multicapa. Expresan explícamente que el límite polinómico en el ancho para capas únicas no se extiende automáticamente a redes más profundas debido a la "obstrucción de Rolle por capas" y la falta de un lema de Rolle multidimensional para cadenas por capas. Proponen la Conjetura 6.1 (Límite de Bloque de Khovanskii) y la Conjetura 4.13, sugiriendo que podrían existir límites totalmente polinómicos para redes multicapa, pero probarlo requiere nuevas herramientas más allá de la aplicación secuencial actual del teorema de Khovanskii. Además, el artículo señala que los resultados actuales requieren suavidad (gradientes no nulos), y extender estos límites a fronteras de decisión singulares (comunes en redes ReLU o configuraciones de pesos específicas) sigue siendo un problema abierto debido a la falta de herramientas complejo-analíticas para funciones Pfaffianas.