Limitations of Learning Tanh Neural Networks with Finite Precision

Resumen Técnico: Limitaciones del Aprendizaje de Redes Neuronales Tanh con Precisión Finita

Planteamiento del Problema
Este artículo investiga las limitaciones fundamentales del aprendizaje de clases de redes neuronales con funciones de activación tangente hiperbólica ($\tanh$) bajo aritmética de precisión finita. Si bien los resultados teóricos establecen que las redes neuronales poseen capacidades de aproximación universal, el aprendizaje práctico está restringido por la disponibilidad de solo un número finito de valores muestreados y la precisión finita de los dispositivos computacionales. Los autores abordan la pregunta: ¿Cuántas muestras $m$ son necesarias para garantizar que un algoritmo pueda aproximar cada función en una clase de redes $\tanh$ a una precisión específica $\epsilon$?

El estudio se centra en la interacción entre la naturaleza suave y no homogénea de las activaciones $\tanh$ y las restricciones impuestas por la precisión finita (cuantización). A diferencia de las redes ReLU, donde se pueden construir exactamente funciones de tipo "bump" (protuberancia) localizadas debido a la propiedad de homogeneidad ($\rho(\lambda x) = \lambda \rho(x)$), las redes $\tanh$ son real-analíticas y generalmente no pueden producir funciones con soporte compacto (cero exacto en conjuntos de medida positiva). Esto crea un obstáculo analítico significativo para demostrar cotas inferiores en la complejidad del aprendizaje, ya que las técnicas estándar que dependen de la localización exacta fallan.

Metodología
Los autores desarrollan un marco novedoso para superar la falta de soporte compacto exacto en las redes $\tanh$ aprovechando la aritmética de precisión finita. Su enfoque involucra tres componentes técnicos principales:

1. Localización de Precisión Finita: Los autores asumen un mapa de cuantización $Q_{\epsilon_p}$ donde cualquier valor con magnitud $|x| \le \epsilon_p$ se redondea a cero. Construyen redes neuronales que producen "bumps" (protuberancias) "agudamente localizadas": funciones que son no triviales en un cubo pequeño pero decaen exponencialmente rápido fuera de esta región. Al ajustar la profundidad y los parámetros de la red, las "colas" de estas funciones se fuerzan a caer por debajo del umbral de precisión de la máquina $\epsilon_p$, haciéndolas indistinguibles de cero para el dispositivo computacional, a pesar de tener una norma $L_p$ positiva.

2. Mecanismo de Iteración de Punto Fijo: Una innovación central es la explotación de la estructura de punto fijo de la activación $\tanh$. Para una activación escalada $\sigma_a(x) = \tanh(ax)$ con $a > 1$, existen puntos fijos no triviales $\pm x_\star$ que satisfacen $\tanh(ax_\star) = x_\star$. Los autores diseñan capas de red que aplican iterativamente $\sigma_a$ a una función de protuberancia gruesa. Esta iteración amplifica la señal, impulsando la salida hacia un perfil de función escalón (convergiendo a $\pm x_\star$ dentro del soporte y decayendo rápidamente fuera de él). Este mecanismo reemplaza las construcciones basadas en la homogeneidad utilizadas en el análisis de ReLU.

3. Marco de Algoritmo Aleatorio Adaptativo: Las cotas inferiores se derivan para algoritmos aleatorios adaptativos, que pueden elegir puntos de muestreo basados en observaciones previas y utilizar aleatoriedad interna. La prueba utiliza un argumento de "palomar": al construir una gran familia de funciones de protuberancia disjuntas (centradas en una cuadrícula) y demostrar que sus soportes son menores que la densidad de muestreo, los autores demuestran que una fracción significativa de estas funciones arrojará valores cuantizados de cero en todos los puntos muestreados. En consecuencia, el algoritmo no puede distinguir estas funciones de la función cero.

Contribuciones Clave y Resultados
El artículo establece una cota inferior en la complejidad de muestreo para el aprendizaje de redes neuronales $\tanh$. El resultado principal (Teorema 6) demuestra que, para una clase de redes con dimensión de entrada $d$, profundidad $L$, anchura $B$ y coeficientes acotados, el error de aproximación $\epsilon$ para cualquier algoritmo que utilice $m$ muestras satisface:
$$\epsilon \gtrsim C \cdot m^{-1/p}$$
donde la constante $C$ depende de los parámetros de la arquitectura de la red.

Hallazgos clave incluyen:

• Dependencia Exponencial de la Arquitectura: El número admisible de muestras $m$ requerido para alcanzar una precisión fija crece exponencialmente con respecto a los parámetros de la arquitectura de la red (específicamente anchura y profundidad). Esto implica que el aprendizaje se vuelve infactible a medida que el tamaño de la red aumenta, incluso si el problema de optimización fuera computable.
• Comparación con ReLU: Mientras que el entorno ReLU (Berner et al., 2023) exhibe una cota inferior que escala con $m^{-1/d - 1/p}$, el entorno $\tanh$ bajo precisión finita produce una cota que escala con $m^{-1/p}$. Sin embargo, el factor constante en la cota de $\tanh$ depende exponencialmente de la arquitectura, lo que conduce a una infactibilidad práctica similar.
• Inestabilidad Intrínseca: Los resultados revelan una inestabilidad fundamental en el problema de aprendizaje. Para cualquier algoritmo que utilice un número sub-exponencial de muestras, existen pares de redes que difieren por una perturbación negligible (por debajo de la precisión de la máquina) en todos los puntos muestreados, pero que tienen una distancia $L_p$ grande (orden 0.5). Por lo tanto, ningún procedimiento de reconstrucción puede ser simultáneamente preciso y estable dentro del estado de muestreo descrito.
• Papel de la Precisión: El resultado de dureza es contingente al supuesto de precisión finita. La construcción se basa en la capacidad de "ocultar" la cola de la función de protuberancia por debajo del umbral de cuantización $\epsilon_p$.

Significancia y Reivindicaciones
El artículo afirma extender los resultados de dureza previos para las redes ReLU a la activación $\tanh$, ampliamente utilizada en arquitecturas recurrentes (RNN, LSTM), redes neuronales informadas por la física (PINNs) y modelos fundacionales modernos.

Los autores enfatizan que sus resultados no tratan meramente sobre la complejidad computacional (tiempo de ejecución), sino sobre limitaciones de información-teórica. Incluso si un algoritmo de optimización pudiera encontrar el mínimo global, el número de muestras requeridas para identificar unívocamente la función a partir de las evaluaciones de puntos es prohibitivamente grande. El trabajo destaca que la suavidad y la naturaleza analítica de $\tanh$, a menudo vistas como ventajosas para la diferenciabilidad, introducen desafíos severos para la aprendibilidad en entornos de precisión finita, particularmente en cuanto a la construcción de características localizadas necesarias para demostrar cotas inferiores.

El artículo proporciona un teorema simplificado (Teorema 1) y una declaración técnica completa (Teorema 6) con dependencias explícitas en parámetros como la precisión de la máquina $\epsilon_p$, la anchura de la red $B$, la profundidad $L$ y los límites de los coeficientes $c$. Incluye una herramienta de verificación numérica para demostrar que, para tamaños de red moderados y precisiones de máquina realistas, los tamaños de muestra requeridos para la recuperación uniforme se vuelven astronómicamente grandes, haciendo que la tarea de aprendizaje sea computacionalmente infactible.