🤖 machine learning

Expressive Power of Floating-Point Neural Networks with Arbitrary Reduction Orders and Inexact Activation Implementations

Este trabajo establece un marco general de distinguibilidad para caracterizar la representabilidad universal de las redes neuronales en punto flotante bajo semánticas de ejecución realistas, demostrando que los órdenes de reducción arbitrarios y los errores ulp acotados en las implementaciones de las activaciones no excluyen la representación exacta de funciones para una amplia clase de funciones de activación prácticas.

Autores originales: Yeachan Park, Geonho Hwang, Wonyeol Lee, Sejun Park

Publicado 2026-05-28

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Yeachan Park, Geonho Hwang, Wonyeol Lee, Sejun Park

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina una red neuronal como una fábrica gigante y compleja diseñada para clasificar y transformar materias primas (datos) en productos terminados (respuestas). Durante décadas, los planos de estas fábricas fueron dibujados por matemáticos que asumían que la fábrica tenía herramientas perfectas. Asumían que si sumabas dos números, el resultado era siempre exactamente correcto, y que los "interruptores de activación" de la fábrica (las partes que deciden cuánto señal pasar) funcionaban con precisión matemática absoluta.

Sin embargo, las computadoras del mundo real no utilizan herramientas perfectas. Utilizan aritmética de punto flotante, que es como una fábrica que usa reglas ligeramente desgastadas. Cuando sumas números, el orden en que los sumas puede cambiar el resultado (porque la regla no es perfecta), y los "interruptores de activación" podrían no estar ajustados a la posición teórica exacta; podrían estar desviados por una fracción diminuta del ancho de un cabello.

Este artículo plantea una pregunta crítica: ¿Si construimos nuestra fábrica de red neuronal con estas herramientas imperfectas y del mundo real, ¿puede seguir haciendo todo lo que necesitamos que haga? Específicamente, ¿puede seguir aprendiendo a representar cualquier patrón o función posible, o la imperfección rompe la magia?

Aquí está el desglose de sus hallazgos utilizando analogías simples:

1. El problema del "Orden de las Operaciones"

En un mundo perfecto, sumar números es como apilar bloques: no importa si apilas el bloque A sobre B, luego C, o B sobre C, luego A; la torre es la misma.
En el mundo real (punto flotante), el orden importa. Es como intentar mezclar pintura en un cubo que tiene una pequeña fuga. Si viertes la pintura roja primero y luego la azul, obtienes un tono ligeramente diferente que si viertes la azul primero y luego la roja.

Hallazgo del artículo: Los autores demostraron que incluso si la fábrica usa cualquier orden aleatorio para mezclar estas pinturas (sumar números), la red aún puede aprender cualquier cosa, siempre que los "interruptores de activación" sean lo suficientemente buenos. No necesitas un orden fijo y perfecto para hacer el trabajo.

2. La prueba de "Distinguibilidad"

Para entender cómo una fábrica clasifica artículos, imagina que tienes dos manzanas que se ven muy similares (Entrada A y Entrada B).

El problema: Si la primera máquina de la fábrica (la primera capa) aplasta ambas manzanas en la misma forma exacta, el resto de la fábrica nunca sabrá que eran diferentes. Las tratará como la misma manzana para siempre.
La solución del artículo: Los autores introdujeron una regla llamada "Distinguibilidad". Demostraron que para que una red sea un aprendiz "universal" (capaz de hacer cualquier cosa), su primera capa debe ser capaz de distinguir cada par individual de entradas diferentes. Si la primera capa no puede distinguir dos entradas diferentes, toda la red falla.
La buena noticia: Mostraron que la mayoría de las funciones de activación comunes (como ReLU, Sigmoid, Tanh, Swish, etc.) pueden distinguir entradas, incluso con matemáticas imperfectas.

3. El problema del "Interruptor Imperfecto"

En teoría, un interruptor podría encenderse exactamente cuando la entrada alcanza 0.5. En la realidad, debido a limitaciones de fabricación, el interruptor podría encenderse en 0.5000001 o 0.4999999.

Hallazgo del artículo: Las teorías anteriores decían: "Si el interruptor no es perfecto, la red podría romperse". Este artículo dice: "No necesariamente".
Demostraron que siempre que la "imperfección" (el error) sea pequeña y acotada (como estar desviado solo por unas pocas unidades diminutas, o "ulps"), la red aún puede distinguir entradas y aprender cualquier cosa.
El resultado: Confirmaron que las funciones de activación populares utilizadas en la vida real, como Sigmoid, Tanh, ReLU, GELU, Swish e incluso Sin, son lo suficientemente robustas para funcionar perfectamente bien, incluso si sus implementaciones en código informático no son matemáticamente perfectas.

4. El contraejemplo del "Coseno"

Los autores también encontraron un caso específico donde la fábrica sí se rompe. Mostraron que si usas una función de activación Coseno (que se ondula arriba y abajo como una ola), la red podría fallar al distinguir entre ciertas entradas porque la ola se repite a sí misma. Es como tener una fábrica donde dos bolas de diferentes colores se pintan del mismo tono exacto de azul porque la máquina de pintura cambia de colores demasiado rápido.

Esto explica por qué algunas funciones teóricas funcionan en la clase de matemáticas pero fallan en el código informático real.

Resumen: La gran conclusión

El artículo esencialmente dice: "No te preocupes por los pequeños errores en las matemáticas de tu computadora".

Aunque las computadoras reales tienen:

Reglas que no son perfectas (errores de redondeo),
Ordenes de mezcla que cambian el resultado (suma no asociativa),
Interruptores que no están perfectamente calibrados (implementaciones de activación inexactas),

...las redes neuronales construidas con estas herramientas siguen siendo lo suficientemente poderosas para representar cualquier función que les lances, siempre que uses funciones de activación estándar (como ReLU o Sigmoid). La "magia" de las redes neuronales sobrevive a la transición de la teoría matemática perfecta a la ingeniería real y desordenada.

Resumen Técnico: Poder Expresivo de las Redes Neuronales de Punto Flotante con Órdenes de Reducción Arbitrarios e Implementaciones de Activación Inexactas

1. Planteamiento del Problema

Los marcos teóricos existentes sobre el poder expresivo de las redes neuronales dependen predominantemente de la aritmética real exacta. Sin embargo, las redes neuronales prácticas operan bajo aritmética de punto flotante de precisión finita, caracterizada por:

Representabilidad Finita: Los parámetros y las activaciones pertenecen a un conjunto discreto de números de máquina.
Errores de Redondeo: Las operaciones aritméticas incurren en errores de redondeo.
No Asociatividad: La suma de punto flotante no es asociativa, lo que significa que la salida de las transformaciones afines depende del orden de reducción (la secuencia en la que se suman los términos).
Implementaciones Inexactas: Las implementaciones prácticas de funciones de activación (por ejemplo, exp, tanh, sin) a menudo se desvían de los valores correctamente redondeados en varias unidades del último dígito (ulp) para optimizar el costo computacional.

Trabajos anteriores que abordaron la expresividad de punto flotante han estado limitados por suposiciones idealizadas, tales como:

Restringir el análisis a activaciones lineales por partes (por ejemplo, ReLU, Step).
Asumir órdenes de reducción fijos de izquierda a derecha.
Asumir implementaciones de activación correctamente redondeadas.

Estas suposiciones no logran capturar el comportamiento de las redes en entornos modernos masivamente paralelos (por ejemplo, GPUs), donde los órdenes de reducción varían y donde las activaciones suaves y ampliamente utilizadas (por ejemplo, Sigmoid, GELU, Swish) se implementan con errores de aproximación acotados. En consecuencia, sigue sin estar claro si las redes neuronales de punto flotante conservan su representabilidad universal bajo estas condiciones realistas.

2. Metodología

Los autores introducen un marco general para analizar la representabilidad universal de las redes neuronales de punto flotante. Una red se considera un "representador universal" si puede representar cada función entre dominios de punto flotante prescritos exactamente.

Definiciones y Marco Clave

Redes Neuronales de Punto Flotante ( $N(I,S)$ ): Definidas bajo un orden de reducción arbitrario $S$ . La transformación afín en la capa $\ell$ calcula $\Sigma((w_i \otimes x); o_{d_{in}}) \oplus b_i$ , donde $\Sigma$ denota la suma de reducción según el orden $o$ , y $\otimes, \oplus$ son la multiplicación y la suma de punto flotante.
Distinguibilidad: El concepto central introducido es la $\sigma$ -distinguibilidad. Un dominio $X$ $X$ es $\sigma$ $σ$ -distinguible bajo $S$ $S$ si para cualesquiera $x, x' \in X$ $x, x^{'} \in X$ distintos, existe una transformación afín de punto flotante $\phi$ $ϕ$ tal que $\sigma(\phi(x)) \neq \sigma(\phi(x'))$ $σ (ϕ (x)) \neq = σ (ϕ (x^{'}))$ .
- Necesidad: El artículo demuestra que si un dominio no es $\sigma$ -distinguible, la red no puede representar todas las funciones en ese dominio (Lema 2).
- Suficiencia: Bajo condiciones suaves sobre la función de activación (Condición 1), se demuestra que la $\sigma$ -distinguibilidad es suficiente para la representabilidad universal (Teorema 5).

Enfoque Técnico

Puntos de Separación: Los autores definen "puntos de separación" ( $\eta$ ) donde la salida de la función de activación cambia de manera discontinua con respecto a la cuadrícula de punto flotante (es decir, $\sigma(\eta^-) \notin \{\sigma(\eta), \sigma(\eta^+)\}$ ). Establecen condiciones bajo las cuales estos puntos existen tanto para implementaciones correctamente redondeadas como inexactas.
Transferibilidad: Una serie de lemas técnicos (Sección V) demuestra que, bajo la Condición 1, pares específicos de números de punto flotante pueden ser "transferidos" a valores objetivo utilizando sumas de izquierda a derecha y funciones de activación. Esto permite la construcción de redes que aíslan entradas específicas.
Manejo de la Inexactitud: Para implementaciones con errores ulp acotados, los autores derivan condiciones (Condición 2) que aseguran que el error de aproximación no colapse los puntos de separación necesarios, siempre que la precisión $p$ sea suficientemente alta (por ejemplo, $p \geq 7$ ).

3. Contribuciones Clave

A. Marco General de Distinguibilidad

El artículo establece una condición necesaria y suficiente para la representabilidad universal basada en la distinguibilidad.

Condición Necesaria: Si una red no puede distinguir cada par de entradas distintas en la primera capa mediante una transformación afín seguida de activación, no puede representar todas las funciones. Este marco generaliza contraejemplos anteriores (por ejemplo, coseno correctamente redondeado) a clases más amplias de funciones.
Condición Suficiente: Si la función de activación satisface la Condición 1 (existencia de valores de salida específicos $C_0, C_1, C_2$ ) y el dominio es $\sigma$ -distinguible, una red de cuatro capas puede representar cualquier función en ese dominio. Crucialmente, esto se cumple para órdenes de reducción arbitrarios, demostrando que la representabilidad universal no es un artefacto de una secuencia de suma específica.

B. Extensión a Funciones de Activación Prácticas

La teoría se extiende más allá de las funciones lineales por partes a una amplia clase de activaciones prácticas y suaves:

Correctamente Redondeadas: El artículo demuestra la representabilidad universal para versiones correctamente redondeadas de Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish y sin.
Implementaciones Inexactas: Los autores proporcionan condiciones verificables bajo las cuales las implementaciones con errores ulp acotados (hasta $K=10$ ulps) siguen siendo representadores universales. Esto cubre bibliotecas prácticas donde funciones como exp y sin se aproximan.

C. Resultados Negativos y Contraejemplos

El marco identifica funciones de activación específicas que fallan en ser representadores universales bajo ciertas condiciones.

Corolario 4: Las redes que utilizan coseno, $\sqrt{1+x^2}$ , cosh, o $e^{-x^2}$ correctamente redondeados no pueden representar todas las funciones en dominios específicos (por ejemplo, $[-2^{p+3}, 2^{p+3}]_F$ ) porque fallan en la condición de distinguibilidad. Esto generaliza el contraejemplo conocido de la activación coseno.

4. Resultados

El artículo establece los siguientes teoremas principales:

Teorema 5: Si $\sigma$ satisface la Condición 1 y $X$ es $\sigma$ -distinguible con rango $[-2^{e_{max}}, 2^{e_{max}}]_F$ , entonces cualquier función $f: X \to (F \cup \{-\infty, \infty\})^{d_{out}}$ puede ser representada por una red $\sigma$ de cuatro capas bajo cualquier orden de reducción $S$ .
Corolario 9 y 12: Para Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish y sin correctamente redondeados, la representabilidad universal se cumple sobre dominios grandes (por ejemplo, $(-2^{e_{max}-1}, 2^{e_{max}-1})_F^d$ ). Cabe destacar que incluso la función de activación Identidad se demuestra que es un representador universal en aritmética de punto flotante (a diferencia de la aritmética real) debido a la naturaleza no afín de las operaciones de punto flotante.
Corolario 13 y 16: Para Sigmoid, tanh, ReLU, ELU, SeLU, GELU, Swish, Mish y sin implementados con errores ulp acotados (Condición 2), la representabilidad universal se cumple siempre que la precisión $p \geq 7$ .

5. Significado y Afirmaciones

El artículo afirma generalizar sustancialmente la comprensión teórica de las redes neuronales de punto flotante:

Realismo: Se aleja de las suposiciones idealizadas (órdenes de reducción fijos, redondeo correcto) hacia modelos que reflejan la ejecución real del hardware (órdenes arbitrarios, errores ulp acotados).
Amplia Aplicabilidad: Proporciona las primeras garantías teóricas sobre el poder expresivo de redes que utilizan activaciones suaves y no lineales por partes (como GELU y Swish) bajo semánticas realistas de punto flotante.
Perspectiva Fundamental: Demuestra que el fenómeno de "aproximación universal" en aritmética de punto flotante es robusto frente a la no asociatividad de la suma y las imprecisiones de implementación, siempre que la función de activación mantenga propiedades de "separación" suficientes.
Limitaciones: Los resultados son modestos en cuanto a formatos de baja precisión (por ejemplo, float8), donde el número de valores representables es demasiado pequeño para que las condiciones derivadas se cumplan sin implementaciones específicas de tablas de búsqueda. El artículo también señala que las demostraciones dependen de la existencia de puntos de separación específicos, lo cual puede fallar para ciertas funciones (como el coseno) o precisiones muy bajas.

Los autores enfatizan que estos resultados se derivan de un nuevo marco que no depende de la linealidad por partes, órdenes de suma fijos o comportamientos exactos de activación, ofreciendo así una base más rigurosa para comprender las redes neuronales en entornos prácticos de precisión finita.