Kolmogorov-Arnold Fourier Networks

Resumen Técnico: Redes de Fourier Kolmogorov-Arnold (KAF)

Planteamiento del Problema
Aunque las Redes Kolmogorov-Arnold (KAN) ofrecen una fuerte expresividad teórica al reemplazar las funciones de activación fijas con funciones base de B-splines aprendibles, enfrentan dos barreras críticas para su adopción práctica en tareas de alta dimensionalidad:

1. Explosión de Parámetros: La arquitectura de doble matriz (matriz de funciones de activación y matriz de coeficientes de B-splines) hace que la cantidad de parámetros escalé significativamente más que en los Perceptrones Multicapa (MLP) tradicionales, lo que genera altos costos de almacenamiento y computación.
2. Limitaciones Espectrales: La suavidad inherente de las funciones base de B-splines limita la capacidad de capturar características de alta frecuencia, resultando en un rendimiento subóptimo en datos con características espectrales ricas, como imágenes naturales, audio y ecuaciones diferenciales complejas.

Metodología
Los autores proponen la Red de Fourier Kolmogorov-Arnold (KAF), que redefine fundamentalmente el paradigma KAN mediante una reparametrización espectral. La arquitectura central reemplaza la representación local basada en cuadrículas de B-splines con una representación espectral global y adaptativa.

Los componentes metodológicos clave incluyen:

• Reparametrización Espectral: KAF fusiona las grandes matrices de KAN utilizando la propiedad asociativa de la multiplicación de matrices, reduciendo la complejidad paramétrica de $O(d_{in} \times d_{out} \times (G + K + 3))$ a $O(d_{in} \times d_{out})$.
• Características de Fourier Aleatorias Entrenables (RFF): En lugar de B-splines, KAF emplea RFFs aprendibles para mapear las entradas a un Espacio de Hilbert de Núcleo Reproductor (RKHS). La matriz de frecuencias $W$ se inicializa mediante una estrategia de alineación espectral (específicamente $\sigma = 1.64$) derivada del Teorema del Límite Central y el análisis de Fourier de la función de activación GELU. Esta inicialización alinea el espectro de RFF con el conocimiento previo de las señales naturales, mitigando la fuga espectral.
• Activación Híbrida GELU-Fourier: La red utiliza un mecanismo de activación dinámico definido como $H(x) = \alpha \odot \text{GELU}(x) + \beta \odot \psi_{\text{RFF}}(x)$. Los coeficientes $\alpha$ y $\beta$ son parámetros de escala aprendibles. Durante el entrenamiento, $\alpha$ prioriza inicialmente la suavidad de baja frecuencia, mientras que $\beta$ (inicializado a un valor pequeño, por ejemplo, $10^{-2}$) crece progresivamente para capturar componentes de alta frecuencia, permitiendo una transición automática de la activación fija a representaciones híbridas Fourier-simbólicas.

Contribuciones Clave

1. Transformación de Base: Un cambio de B-splines locales a representaciones espectrales globales y adaptativas, reduciendo la complejidad paramétrica mientras se preserva la expresividad.
2. Inicialización de Alineación Espectral: Una estrategia de inicialización de RFF ($\sigma = 1.64$) que rompe las limitaciones de suavidad de los núcleos fijos, permitiendo la captura precisa de componentes de alta frecuencia.
3. Activación Híbrida Adaptativa: Un mecanismo que equilibra dinámicamente la suavidad de baja frecuencia y la representación de alta frecuencia durante el entrenamiento, garantizando estabilidad y eficiencia.

Resultados Experimentales
Se realizaron experimentos exhaustivos en tareas de Visión por Computadora (CV), Procesamiento del Lenguaje Natural (NLP), audio y computación científica:

• Rendimiento en Puntos de Referencia: En conjuntos de datos de visión (MNIST, CIFAR-10/100, SVHN), KAF logró consistentemente una mayor precisión que MLP, KAN, FAN y GPKAN bajo presupuestos de parámetros comparables.
• Modelos a Gran Escala: Al integrarse en ResNet-18, ViT-Tiny y MLP-Mixer, KAF mejoró la precisión Top-1 (por ejemplo, 91.72% en CIFAR-10 para ResNet-18 frente a 91.19% para MLP) manteniendo costos computacionales razonables.
• Modelado del Lenguaje: En arquitecturas GPT-2, reemplazar la Red de Alimentación Adelante (FFN) con KAF redujo la Perplejidad (PPL) en WikiText (180.85 frente a 184.53 para MLP) y OpenWebText, mientras reducía significativamente el tiempo de entrenamiento en comparación con KAN, que sufrió de inestabilidad y una sobrecarga masiva de parámetros.
• Aproximación de Funciones y EDPs: KAF demostró capacidades de ajuste superiores en funciones complejas (incluyendo sumas de alta frecuencia y funciones discontinuas) y logró errores menores en la resolución de Ecuaciones Diferenciales Parciales (Poisson, Calor, Burgers) en comparación con MLP y otras líneas base.
• Estudios de Ablación: Los experimentos confirmaron la necesidad de la activación híbrida GELU-RFF y la inicialización específica de $\sigma = 1.64$, mostrando que eliminar cualquiera de estos componentes degrada el rendimiento.

Significado
El artículo afirma que KAF cierra con éxito la brecha entre la interpretabilidad teórica de las redes Kolmogorov-Arnold y la eficiencia paramétrica requerida para el aprendizaje profundo escalable. Al abordar la "paradoja entre teoría y práctica" inherente a las KAN, KAF ofrece una alternativa práctica que retiene la perspectiva de aproximación de funciones de las KAN mientras logra un rendimiento de vanguardia con una eficiencia mejorada. Los autores posicionan a KAF como un reemplazo viable tanto para componentes KAN como MLP en arquitecturas neuronales modernas, particularmente para tareas que requieren la extracción de características de alta frecuencia.