Function approximation and nonparametric regression with binary and ternary ReLU networks

Resumen Técnico: Aproximación de Funciones y Regresión No Paramétrica con Redes ReLU Binarias y Ternarias

Planteamiento del Problema
Las redes neuronales profundas (DNN) se han convertido en herramientas estándar para la clasificación, el reconocimiento de patrones y la predicción. Sin embargo, lograr una alta precisión a menudo requiere modelos con un número significativo de parámetros, lo que conlleva altos costos computacionales y de memoria. Esto plantea desafíos para el despliegue en dispositivos de baja capacidad. Para abordar esto, los investigadores han explorado la restricción de los pesos de las redes a conjuntos discretos, específicamente pesos binarios $\{ \pm 1 \}$ y pesos ternarios $\{ 0, \pm 1 \}$. Si bien tales redes ofrecen ventajas en reducción de memoria y eficiencia energética, persiste una brecha teórica respecto a su capacidad de expresión: específicamente, si las redes ReLU binarias y ternarias profundas pueden aproximar funciones suaves complejas y alcanzar tasas estadísticas óptimas en la regresión no paramétrica comparables a sus contrapartes de valores reales.

Metodología
El artículo investiga las capacidades de aproximación de redes ReLU profundas y dispersas con conjuntos de pesos restringidos. El autor se basa en resultados existentes sobre la aproximación de funciones $\beta$-Hölder mediante redes ReLU profundas y dispersas con pesos en el intervalo $[-1, 1]$ y el conjunto específico $\{0, \pm 1/2, \pm 1, 2\}$.

La contribución metodológica central implica la construcción de mapeos explícitos para simular redes con pesos en $\{0, \pm 1/2, \pm 1, 2\}$ utilizando redes con pesos estrictamente binarios $\{ \pm 1 \}$ o ternarios $\{ 0, \pm 1 \}$. Esto se logra mediante:

1. Escalamiento de Pesos y Homogeneidad: Aprovechar la homogeneidad positiva de la función de activación ReLU ($\sigma(ax) = a\sigma(x)$ para $a > 0$) para absorber los factores de escala dentro de la arquitectura de la red.
2. Expansión de Capas: Introducir capas ocultas adicionales para replicar combinaciones lineales y operaciones de escalamiento específicas.
   • Para simular pesos $\{0, \pm 1/2, \pm 1, 2\}$, el autor construye una red con pesos ternarios $\{0, \pm 1\}$ (escalados por $1/2^{L+3}$) utilizando 2 capas ocultas adicionales. Esto implica replicar las coordenadas de entrada y utilizar combinaciones lineales de $\{0, \pm 1/2\}$ para representar los pesos objetivo.
   • Para simular pesos ternarios $\{0, \pm 1/2\}$, el autor construye una red con pesos binarios $\{ \pm 1 \}$ (escalados por $1/4^{L+6}$) utilizando 3 capas ocultas adicionales. Esto implica computar combinaciones lineales específicas de las entradas usando pesos de $\pm 1/4$ para reconstruir los valores necesarios.
3. Análisis de Regresión No Paramétrica: Aplicar estos resultados de aproximación al problema de la minimización del riesgo empírico para la regresión no paramétrica. El autor define una clase de redes ReLU ternarias dispersas con pesos en $\{0, \pm 1\}$ y analiza el error de predicción del minimizador del riesgo empírico sobre esta clase.

Contribuciones Clave y Resultados

1. Aproximación de Funciones (Teorema 2.2):
   El artículo demuestra que cualquier función $f_0$ perteneciente a la bola de Hölder $C^\beta_d(K)$ en $[0, 1]^d$ puede ser $\epsilon$-aproximada por:

   • Redes ReLU Ternarias Profundas y Dispersas: Redes con pesos en $\{0, \pm 1\}$ (escalados por un factor de $1/2^{L+3}$).
   • Redes ReLU Binarias Profundas: Redes con pesos en $\{ \pm 1 \}$ (escalados por un factor de $1/4^{L+6}$).

   Se muestra que la profundidad y el ancho de estas redes son comparables a los requeridos para redes con pesos en $\{0, \pm 1/2, \pm 1, 2\}$, con solo un aumento de un factor constante en el ancho y un pequeño aumento aditivo en la profundidad. El límite del error de aproximación sigue siendo del orden de $O(N^{-\beta/d} + N^{-m})$, donde $N$ es un parámetro relacionado con el tamaño de la red y la complejidad de la muestra.

2. Regresión No Paramétrica (Teorema 3.1):
   El autor aplica los resultados de aproximación al problema de recuperar una función de regresión desconocida $f_0$ a partir de observaciones ruidosas $Y_i = f_0(X_i) + \epsilon_i$. Definen un espacio de hipótesis $\mathcal{F}_n$ que consiste en redes ReLU ternarias profundas y dispersas con pesos $\{0, \pm 1\}$.

   El resultado principal establece que el error de predicción (error cuadrático medio) del minimizador del riesgo empírico $\hat{f}_n$ sobre $\mathcal{F}_n$ satisface:
   $$R(\hat{f}_n, f_0) \leq C n^{-\frac{2\beta}{2\beta+d}} \log^2 n$$
   donde $n$ es el tamaño de la muestra, $\beta$ es el parámetro de suavidad y $d$ es la dimensión.

Significancia y Reivindicaciones
El artículo afirma que las redes ReLU ternarias profundas y dispersas con pesos $\{0, \pm 1\}$ son teóricamente suficientes para alcanzar la tasa minimax de predicción para funciones de regresión $\beta$-suaves, salvo por un factor logarítmico. Esto demuestra que la cuantización extrema de los pesos a conjuntos binarios o ternarios no degrada fundamentalmente la eficiencia estadística del modelo para tareas de regresión no paramétrica, siempre que la profundidad y la dispersidad de la red se ajusten adecuadamente.

El autor enfatiza que su trabajo extiende los hallazgos previos sobre redes con pesos $\{0, \pm 1/2, \pm 1, 2\}$ (de la referencia [3]) al mostrar que estas aproximaciones pueden realizarse con pesos estrictamente binarios y ternarios. Los resultados proporcionan una justificación teórica para el uso de redes binarias y ternarias en tareas de regresión de alta precisión, sugiriendo que los beneficios computacionales y de memoria de tales redes pueden obtenerse sin sacrificar las tasas de convergencia óptimas.