Resumen Técnico: Las Redes Neuronales de Punto Flotante son Aproximadores Universales Probablemente Robustos

1. Planteamiento del Problema

El teorema de Aproximación Universal (UA) clásico y el más reciente teorema de Aproximación Universal de Intervalos (IUA) establecen que las redes neuronales pueden aproximar funciones continuas y sus mapas de imagen directa (intervalos) con una precisión arbitraria. Sin embargo, estos resultados teóricos dependen de la hipótesis poco realista de que las redes neuronales operan sobre números reales de precisión infinita. En la práctica, las implementaciones de software utilizan aritmética de punto flotante de precisión finita, lo que introduce discretización, acotación, errores de redondeo y posibles desbordamientos o desbordamientos bajo de flujo (overflow/underflow).

La cuestión central abierta que aborda este artículo es si el teorema IUA se mantiene en el entorno de punto flotante. Específicamente, ¿puede una red neuronal de punto flotante, cuando se analiza mediante interpretación abstracta (dominio de intervalos), capturar perfectamente el mapa de la imagen directa de una función objetivo redondeada? Trabajos previos no han establecido esto, debido principalmente a que los errores de redondeo inherentes a las operaciones de punto flotante invalidan las técnicas de prueba utilizadas para las redes de valores reales (por ejemplo, la construcción de subredes específicas que dependen de la aritmética exacta falla debido al redondeo).

2. Metodología

Los autores desarrollan un marco teórico riguroso para cerrar la brecha entre la teoría de valores reales y la práctica de punto flotante.

2.1 Formalización de la Semántica de Punto Flotante

El artículo define las redes neuronales como funciones sobre el conjunto de números de punto flotante finito $\mathcal{F}$, utilizando operaciones compatibles con IEEE-754 ($\oplus, \ominus, \otimes$) con el modo de "redondeo al más cercano (emparejando hacia el par)" (round to nearest, ties to even). La semántica de intervalo $\nu^\sharp$ se define sobre intervalos abstractos $\langle a, b \rangle$, que representan el conjunto de floats dentro de $[a, b]$.

2.2 Condiciones sobre las Funciones de Activación

Para probar el teorema, los autores introducen la Condición 1, un conjunto de restricciones sobre la función de activación $\sigma: \mathcal{F} \to \mathcal{F}$. Estas condiciones aseguran que la función pueda:

1. Generar un cero exacto y un valor específico distinto de cero dentro de un rango acotado.
2. Exhibir monotonía o un comportamiento de umbral específico alrededor de un valor crítico $\eta$.
3. Satisfacer una restricción de tipo Lipschitz para evitar un crecimiento ilimitado.

El artículo demuestra que las versiones correctamente redondeadas de funciones de activación comunes (ReLU, GELU, Sigmoide, Tanh, etc.) satisfacen estas condiciones, aprovechando a menudo el Lema 1, que mapea las propiedades de las funciones de valores reales a sus contrapartes de punto flotante.

2.3 Estrategia de Prueba: Separabilidad y Construcción de Indicadores

El núcleo de la prueba consiste en construir una red neuronal que actúe como un "aproximador de intervalos universal". La metodología procede en dos etapas principales:

1. Separabilidad: Los autores definen una propiedad llamada $([a, b]_\mathcal{F}, \eta, K, L_\phi, L_\psi)$-separabilidad. Esta propiedad garantiza la existencia de redes que pueden implementar funciones indicadoras escaladas (por ejemplo, mapear entradas $\le z$ a 0 y entradas $> z$ a $K$) bajo la semántica de intervalos.

   • La prueba construye subredes específicas (por ejemplo, $\mu_z$, $\tau_{\theta, \theta'}$) que explotan los errores de redondeo para "contraer" intervalos. Por ejemplo, se diseña una red tal que las entradas en un rango específico se mapeen a un intervalo de un solo elemento $\langle \eta, \eta \rangle$ o $\langle \eta^+, \eta^+ \rangle$ tras pasar por la función de activación.
   • Crucialmente, la construcción evita valores infinitos en las capas intermedias, abordando los problemas de desbordamiento que afectan a las pruebas de valores reales cuando se escalan los pesos a magnitudes arbitrarias.

2. Composición para la Aproximación Universal: Utilizando la propiedad de separabilidad, los autores construyen redes para:

   • Funciones indicadoras de cajas arbitrarias.
   • Funciones indicadoras de subconjuntos arbitrarios del espacio de entrada.
   • Finalmente, la propia función objetivo, expresándola como una combinación lineal de punto flotante de estas funciones indicadoras. La prueba gestiona cuidadosamente la suma de punto flotante para asegurar que los errores de redondeo acumulados se alineen perfectamente para reconstruir el mapa de la imagen de la función objetivo.

3. Contribuciones Clave

3.1 El Teorema IUA de Punto Flotante (Teorema 1)

El artículo demuestra que para cualquier función objetivo $f: \mathbb{R}^d \to \mathbb{R}$ y una amplia clase de funciones de activación que satisfagan la Condición 1, existe una red neuronal de punto flotante $\nu$ tal que su semántica de intervalo $\nu^\sharp$ computa exactamente el mapa de la imagen directa de la función objetivo redondeada $\hat{f}$ sobre el dominio $[-1, 1]^d \cap \mathcal{F}^d$.

• Exactitud: A diferencia del IUA de valores reales que logra una $\delta$-aproximación, la versión de punto flotante logra una exactitud de $\delta = 0$ (coincidencia exacta) porque el dominio es finito.
• Generalidad: El teorema se sostiene para funciones objetivo arbitrarias (no solo continuas) y una amplia gama de funciones de activación, incluyendo la función identidad (lo cual es imposible en el IUA de valores reales).

3.2 Existencia de Redes Probablemente Robustas (Teorema 2)

Como corolario, el artículo demuestra que si existe un clasificador robusto ideal (incluso si no es una red neuronal), existe una red neuronal de punto flotante que es probablemente robusta mediante análisis de intervalos y realiza predicciones idénticas. Esto resuelve la cuestión de si existen límites fundamentales en la capacidad de expresión de las redes notablemente robustas en el entorno de punto flotante: no existen tales límites.

3.3 Completitud de Intervalos de Punto Flotante (Teorema 3)

El artículo establece un resultado sorprendente respecto a la completitud computacional: la clase de programas de línea recta de punto flotante que utilizan únicamente suma ($\oplus$) y multiplicación ($\otimes$) es completa en intervalos de punto flotante. Esto significa que tales programas simples pueden simular la semántica de intervalos de cualquier programa de punto flotante que termine, tomando como entrada floats finitos y devolviendo floats finitos o infinitos. Este resultado extiende el teorema IUA a la función de activación identidad sobre todo el dominio $\mathcal{F}^d$.

4. Resultados y Comparaciones

El artículo destaca tres distinciones fundamentales entre el nuevo teorema IUA de punto flotante y los resultados previos de valores reales:

1. Funciones Objetivo: El IUA de valores reales aproxima funciones continuas; el IUA de punto flotante computa exactamente la imagen de cualquier función objetivo redondeada (dado que el dominio es finito).
2. Funciones de Activación: El IUA de valores reales requiere activaciones "comprimibles" (no afines); el IUA de punto flotante se sostiene incluso para la función identidad. Esto se debe a que las transformaciones afines de punto flotante no son estrictamente afines sobre los reales debido a los errores de redondeo, lo que permite romper la linealidad y aproximar comportamientos no lineales.
3. Aproximación vs. Exactitud: Los resultados de valores reales proporcionan $\delta$-aproximaciones; los resultados de punto flotante proporcionan coincidencias exactas para la función objetivo redondeada.

5. Significado y Reivindicaciones

Los autores afirman que este trabajo cierra la brecha teórica entre la verificación de robustez basada en la interpretación abstracta y las implementaciones prácticas de punto flotante.

• Garantía Teórica: Demuestra que la falta de precisión de vanguardia en las redes notablemente robustas no se debe a una limitación fundamental en su capacidad de expresión, sino probablemente a desafíos de optimización o a los algoritmos de verificación específicos utilizados.
• Completitud: El resultado de completitud de intervalos sugiere que las operaciones aritméticas simples son suficientes para simular comportamientos complejos de punto flotante bajo la semántica de intervalos, ofreciendo nuevas perspectivas sobre el poder computacional de los programas de punto flotante.
• Relevancia Práctica: Al validar el teorema IUA para números de punto flotante, el artículo proporciona una base teórica para el uso del análisis de intervalos en dominios de seguridad crítica (salud, conducción autónoma) donde la aritmética de punto flotante es el estándar.

El artículo establece explícitamente que estas son pruebas de existencia; no afirma que los algoritmos de entrenamiento actuales puedan encontrar fácilmente tales redes, ni propone nuevos métodos de entrenamiento. La contribución es estrictamente teórica, estableciendo que el "techo de expresividad" para las redes de punto flotante notablemente robustas es, de hecho, inexistente.