Adaptive RBF-KAN: A Comparative Evaluation of Dynamic Shape Parameters in Kolmogorov-Arnold Networks

Resumen Técnico: RBF-KAN Adaptativo

Enunciado del Problema
Las Redes Kolmogorov-Arnold (KAN) ofrecen una alternativa a los Perceptrones Multicapa (MLP) al colocar funciones univariadas aprendibles en los bordes de la red en lugar de utilizar funciones de activación fijas en los nodos. Si bien la implementación original de KAN utiliza bases de B-splines, este enfoque incurre en costos computacionales significativos durante el entrenamiento. FastKAN aborda esto reemplazando los splines con Funciones de Base Radial (RBF) Gaussianas, mejorando significativamente la eficiencia. Sin embargo, el FastKAN estándar depende de un parámetro de forma de núcleo fijo ($h$). La elección de este parámetro es crítica: valores pequeños pueden causar sobreajuste, mientras que valores grandes conducen a un suavizado excesivo. Un parámetro fijo limita la adaptabilidad del modelo a través de diversos tipos de funciones (por ejemplo, superficies suaves, discontinuidades, patrones oscilatorios y singularidades). Además, la formulación estándar de FastKAN se restringe a núcleos Gaussianos, limitando potencialmente la flexibilidad representacional para funciones no suaves o altamente localizadas.

Metodología
Los autores proponen un RBF-KAN Adaptativo (también denominado FastKAN adaptativo) que introduce dos mejoras principales al marco existente:

1. Inicialización Basada en LOOCV: En lugar de utilizar un parámetro de forma fijo o inicializado aleatoriamente, los autores estiman la escala inicial del núcleo ($h_{opt}$) utilizando Validación Cruzada de Salida Uno (LOOCV). Esto se realiza sobre un modelo de interpolación RBF unidimensional auxiliar construido a partir de los datos de entrada. Para garantizar la estabilidad numérica, se añade un pequeño término de regularización ($\lambda = 10^{-9}$) a la matriz de interpolación. El $h$ óptimo se encuentra mediante una búsqueda en dos etapas (gruesa y fina) que minimiza el error máximo de LOOCV.
2. Aprendizaje Adaptativo del Parámetro de Forma: Para permitir que la red refine la escala del núcleo durante el entrenamiento, el parámetro de forma se reparametriza en el espacio logarítmico ($\theta = \ln(h)$). Esto asegura que $h = e^\theta$ permanezca estrictamente positivo, previniendo la inestabilidad numérica (división por cero o crecimiento exponencial) durante la optimización basada en gradientes. El parámetro $\theta$ se actualiza junto con los coeficientes de los splines mediante retropropagación.
3. Familia de Núcleos Extendida: El marco se extiende más allá del núcleo Gaussiano para incluir una familia más amplia de funciones de base radial. Específicamente, los autores introducen núcleos Matérn (M2, M4, M6) y Wendland (W2, W4, W6) en la arquitectura KAN por primera vez. Estos núcleos ofrecen diversos grados de suavidad y soporte compacto, permitiendo que la red se adapte mejor a funciones con diferentes características estructurales.

Contribuciones Clave

• Primera Integración de LOOCV y KAN Profundos: Hasta donde se sabe a los autores, este es el primer estudio que integra la estimación de la escala del núcleo basada en LOOCV con el entrenamiento de arquitecturas KAN profundas.
• Integración de Núcleos Novedosos: El artículo introduce núcleos Matérn y Wendland en el marco KAN, superando el enfoque exclusivo de Gaussianas del FastKAN estándar.
• Estrategia de Inicialización Basada en Datos: El método propuesto proporciona una inicialización principada y basada en datos para la escala del núcleo, reduciendo la dependencia de búsquedas costosas de hiperparámetros mientras permite un refinamiento adicional durante el entrenamiento.
• Evaluación Comparativa Exhaustiva: El estudio evalúa el método propuesto frente a MLPs, KANs estándar, EfficientKAN, Chebyshev KAN, KAF y FastKAN estándar a través de cuatro funciones de referencia distintas que representan comportamientos suaves, discontinuos, oscilatorios y singulares.

Resultados
Los experimentos numéricos en el dominio del cuadrado unitario $[0, 1]^2$ revelan lo siguiente:

• La Selección del Núcleo Importa: Ningún núcleo único es óptimo para todos los tipos de funciones.
  • Funciones Suaves (Franke): El núcleo Gaussiano (GA) tiene el mejor rendimiento, consistente con su diferenciabilidad infinita.
  • Discontinuidades: El núcleo Matérn C2 (M2) supera significativamente a GA, capturando saltos agudos con menor error y menos desenfoque.
  • Patrones Oscilatorios: El núcleo Gaussiano falla al capturar oscilaciones de alta frecuencia, mientras que el núcleo Wendland C2 (W2) reconstruye el patrón con precisión.
  • Singularidades: El núcleo Wendland C6 (W6) reduce el error en aproximadamente un 52% en comparación con la línea base GA para picos localizados.
• La Adaptabilidad Mejora el Rendimiento: El RBF-KAN adaptativo supera consistentemente al FastKAN estándar con un parámetro de forma fijo. Por ejemplo, en la función oscilatoria, el error disminuyó de $4.54 \times 10^{-1}$ (GA fijo) a $6.24 \times 10^{-2}$ (W2 adaptativo).
• Compensación entre Eficiencia y Precisión: Mientras que el KAN estándar (basado en splines) ofrece alta precisión, es computacionalmente costoso (tiempos de entrenamiento ~60s vs. ~3-5s para variantes RBF). El RBF-KAN Adaptativo mantiene la eficiencia computacional de FastKAN mientras logra una precisión competitiva o superior en todos los casos de prueba. Se encontró que los MLPs son computacionalmente eficientes pero lucharon con la precisión en patrones complejos, a menudo suavizando en exceso las características de alta frecuencia.

Significado y Afirmaciones
El artículo afirma que combinar la inicialización basada en LOOCV con el aprendizaje adaptativo de núcleos proporciona una estrategia práctica y flexible para mejorar los modelos KAN basados en RBF. Los autores enfatizan que su trabajo representa el primer intento de conectar la estimación de escala basada en LOOCV con el entrenamiento de KAN profundos. Plantean que el método propuesto aborda las limitaciones de las elecciones de núcleos fijos y los parámetros de forma fijos, permitiendo que la red adapte mejor su representación de base a las características estructurales específicas de la función objetivo (suavidad, discontinuidad, oscilación o singularidad). El estudio concluye que, si bien diferentes núcleos muestran ventajas para diferentes clases de funciones, el marco adaptativo ofrece una solución robusta que equilibra la eficiencia computacional de FastKAN con la precisión requerida para diversos desafíos de aproximación. Se sugiere trabajo futuro para investigar aplicaciones en problemas de dimensiones más altas, conjuntos de datos reales ruidosos y tareas de computación científica, como la resolución de ecuaciones diferenciales parciales.