Resumen Técnico: Las Redes Neuronales Racionales poseen Ventajas de Expresividad

Planteamiento del Problema

Las redes neuronales profundas dependen fuertemente de la elección de funciones de activación no lineales para controlar la expresividad y la entrenabilidad. Aunque las arquitecturas modernas utilizan predominantemente activaciones suaves y fijas (p. ej., GELU, Swish/SiLU, Mish, ELU/SELU/CELO) o funciones lineales por tramos (p. ej., ReLU y sus variantes), estas elecciones imponen limitaciones específicas sobre cómo las redes pueden aproximar eficientemente funciones con transiciones bruscas, quiebres o singularidades complejas cercanas. El artículo investiga si reemplazar estas activaciones fijas con funciones de activación racionales de bajo grado y entrenables ofrece una ventaja teórica y práctica en términos de eficiencia de parámetros y poder expresivo.

Metodología

Marco Teórico

Los autores establecen separaciones de aproximación teórica entre las redes racionales y las redes construidas a partir de activaciones suaves o lineales por tramos estándar.

• Redes Racionales: Definidas como redes feedforward donde la no linealidad escalar en cada capa es una función racional $r(x) = P(x)/Q(x)$ con polinomios de bajo grado $P$ y $Q$. Los coeficientes se aprenden durante el entrenamiento.
• Métricas de Aproximación: La expresividad se mide mediante el número de parámetros entrenables (tamaño de la red) necesarios para lograr un error uniforme $\epsilon$ en un dominio compacto fijo (p. ej., $[-1, 1]^d$).
• Herramientas Teóricas Clave:
  • Teoría de la Aproximación Racional: Aprovechando resultados clásicos (p. ej., Trefethen, Gonchar) que muestran que las funciones racionales pueden aproximar características no suaves (como $|x|$ o ReLU) y funciones con singularidades cercanas de manera exponencialmente más eficiente que los polinomios o los sustitutos suaves.
  • Pruebas Constructivas: El artículo proporciona construcciones explícitas utilizando funciones de Zolotarev, iteraciones de la media aritmética-geométrica (AGM) y el método de Halley para aproximar activaciones suaves (como GELU) mediante redes racionales.
  • Límites Inferiores: Demostrar que aproximar ciertos objetivos racionales (específicamente aquellos con polos cerca de la recta real) utilizando redes suaves de parámetros limitados requiere significativamente más parámetros debido a las restricciones de curvatura.

Configuración Experimental

Los autores evalúan las activaciones racionales en tres dominios distintos, manteniendo constantes las arquitecturas, los optimizadores y los presupuestos de entrenamiento mientras varían únicamente la función de activación:

1. Visión Supervisada: Clasificación de imágenes CIFAR-10 utilizando arquitecturas VGG4 y VGG8, y clasificación de Tiny ImageNet utilizando modelos basados en Transformers (ViT, CaiT, Swin).
2. Aprendizaje por Refuerzo Offline: Benchmarks de locomoción de control continuo (HalfCheetah, Hopper, Walker2d) utilizando los conjuntos de datos de medio Minari y algoritmos IQL y TD3+BC.
3. Análisis de Normalización: Investigación de la interacción entre las activaciones racionales adaptativas y las capas de normalización (BatchNorm, LayerNorm), probando específicamente variantes de "no-LayerNorm" en Transformers.

Principales Contribuciones

1. Separación Exponencial en la Complejidad de Parámetros:

   • Suave $\to$ Racional: Cualquier red construida con activaciones suaves estándar (GELU, Swish, SiLU, etc.) puede ser aproximada uniformemente por una red racional con un sobrecosto de tamaño de solo $O(\text{poly}(\log \log(1/\epsilon)))$. Específicamente, el artículo prueba un límite de tamaño de $O(\log^3 \log(1/\epsilon))$ para GELU.
   • Racional $\to$ Suave: Por el contrario, aproximar una familia de funciones racionales de peor caso (con polos cerca del dominio) utilizando redes suaves de parámetros limitados requiere un tamaño de al menos $\Omega(\log(1/\epsilon))$.
   • Resultado: Esto establece una brecha exponencial en la expresividad, donde las redes racionales pueden lograr la misma precisión con significativamente menos parámetros que las redes de activación suave en regímenes que involucran estructuras no suaves.

2. Extensión a Arquitecturas Complejas:

   • Los resultados de separación se elevan de funciones escalares a redes feedforward completas, activaciones con compuertas (gated) y arquitecturas de tipo Transformer (específicamente las subcapas MLP).
   • El artículo demuestra que las redes racionales pueden aproximar modelos suaves con compuertas con un bajo sobrecosto, mientras que el proceso inverso requiere un alto sobrecosto.

3. Normalización e Identificabilidad:

   • Los autores formalizan que las capas de normalización estándar pueden ser perjudiciales para las activaciones racionales adaptativas. La normalización introduce transformaciones afines aprendidas que pueden ser absorbidas por los coeficientes racionales, lo que conduce a la no-identificabilidad y a un mal condicionamiento.
   • Además, la estocasticidad dependiente de los datos en la normalización (p. ej., BatchNorm) amplifica el ruido del gradiente debido a las sensibilidades polinómicas de los coeficientes racionales.
   • Hallazgo: Eliminar la normalización (p. ej., variantes de Transformers "no-LayerNorm") permite que las racionales adaptativas funcionen como mecanismos de reescalado aprendibles, estabilizando a menudo el entrenamiento donde las activaciones fijas fallan.

4. Pruebas Constructivas:

   • El artículo proporciona pruebas constructivas basadas en la teoría de la aproximación clásica, incluyendo el uso de funciones de Zolotarev y construcciones AGM, para demostrar cómo las redes racionales pueden realizar eficientemente no linealidades complejas.

Resultados Experimentales

• CIFAR-10: Las activaciones racionales lograron consistentemente la mayor precisión de prueba Top-1 tanto en los modelos VGG4 como en VGG8, superando a ReLU, LeakyReLU, Swish y GELU. En el flujo de entrenamiento aumentado, las variantes racionales (inicializadas para imitar a LeakyReLU o GELU) se mantuvieron con un rendimiento superior incluso cuando se aplicó GroupNorm, aunque GroupNorm indujo una caída de rendimiento mayor para las racionales en comparación con las activaciones fijas.
• RL Offline: En los datasets de medio de MuJoCo, las activaciones racionales igualaron o superaron a las mejores activaciones fijas en 5 de los 6 entornos (IQL y TD3+BC en HalfCheetah, Hopper, Walker2d). Notablemente, los modelos racionales con anchos menores (128) fueron competitivos o superiores a modelos GELU mucho más grandes (ancho 384), validando la hipótesis de la eficiencia de parámetros.
• Tiny ImageNet (Transformers): Las activaciones racionales igualaron o mejoraron la mejor precisión de validación EMA para modelos ViT, CaiT y Swin. Crucialmente, en una variante de ViT "no-LayerNorm", las activaciones fijas (ReLU, GELU) divergieron a NaNs, mientras que la variante racional se mantuvo estable y alcanzó una alta precisión (61.24%), apoyando la afirmación de que la normalización puede ser restrictiva para las racionales adaptativas.
• Formas Aprendidas: Las visualizaciones de las funciones racionales aprendidas mostraron que reasignan rápidamente la curvatura a las regiones de alta densidad de entrada, desarrollando a menudo formas de "compuerta" no monótonas localizadas similares a las activaciones fijas exitosas como Swish y Mish.

Significado y Reivindicaciones

El artículo sostiene que las redes neuronales racionales ofrecen una base matemáticamente natural y computacionalmente eficiente para el aprendizaje profundo. El núcleo de su significancia reside en la ventaja de expresividad: las activaciones racionales pueden representar funciones con transiciones bruscas y singularidades complejas utilizando exponencialmente menos parámetros que las activaciones suaves modernas.

Los autores argumentan que esta ventaja teórica se traduce directamente en la práctica, resultando en:

• Mayor Precisión: Logrando un mejor rendimiento en tareas de visión y RL con arquitecturas idénticas.
• Convergencia más Rápida: Alcanzando un rendimiento sólido más temprano en el entrenamiento.
• Eficiencia de Parámetros: Logrando resultados comparables o superiores con anchos de red más pequeños.
• Robustez en Regímenes Libres de Normalización: Permitiendo el entrenamiento de Transformers profundos sin capas de normalización, un régimen donde las activaciones fijas suelen fallar.

El trabajo sugiere que el campo debería reconsiderar el dominio de las activaciones suaves fijas, proponiendo que las funciones racionales entrenables proporcionan una alternativa con principios sólidos que se alinea mejor con los requisitos estructurales de las distribuciones de datos complejos.