FI-KAN: Fractal Interpolation Kolmogorov-Arnold Networks

Resumen Técnico: FI-KAN (Redes de Interpolación Fractal Kolmogorov–Arnold)

1. El Problema

Las arquitecturas de aproximación de funciones neuronales actuales, como las Redes Perceptrón Multicapa (MLP) y las Redes Kolmogorov–Arnold (KAN), asumen implícitamente que las funciones objetivo son suaves (diferenciables o con regularidad de Hölder alta).

• Limitación de las KAN: Las KAN utilizan expansiones de B-splines en sus nodos. Aunque los B-splines son óptimos para funciones suaves (espacios de Sobolev y Besov con suavidad entera o fraccionaria alta), fallan fundamentalmente cuando aproximan funciones no suaves, fractales o con autosimilitud (como campos de velocidad de turbulencia, series temporales financieras o soluciones de EDP con singularidades).
• El Desajuste: Aproximar una función con dimensión de caja $dim_B > 1$ (fractal) utilizando bases suaves requiere un número exponencialmente mayor de elementos de base para lograr la misma precisión, sin aprovechar las propiedades de reproducción polinómica que hacen eficientes a los splines en funciones suaves.

2. Metodología: FI-KAN

El artículo introduce FI-KAN, una arquitectura que incorpora Funciones de Interpolación Fractal (FIF) derivadas de la teoría de Sistemas de Funciones Iteradas (IFS) dentro del marco de las KAN. La innovación central es tratar los parámetros de contracción vertical del IFS como parámetros entrenables, permitiendo que la dimensión fractal de la función de activación en cada arista se adapte a la regularidad del objetivo durante el entrenamiento.

Se proponen dos variantes principales:

1. Pure FI-KAN (Marco de Barnsley):

   • Reemplaza completamente los B-splines por bases de interpolación fractal ($\phi_m(x; d)$).
   • Las funciones de base se construyen resolviendo la ecuación funcional de Read–Bajraktarevi´c mediante iteración truncada.
   • Cuando los parámetros de contracción $d=0$, las bases degeneran en funciones "hat" lineales a trozos. Cuando $d \neq 0$, adquieren estructura fractal.
   • Objetivo: Probar la hipótesis de que las bases fractales son necesarias y suficientes para objetivos rugosos.

2. Hybrid FI-KAN (Marco de Navascués):

   • Implementa una descomposición $\alpha$-fractal: $f^\alpha_b = b + h$.
   • Mantiene la ruta de B-splines (la función base $b$, que captura la parte suave) y añade una ruta paralela de corrección fractal ($h$, que captura el residuo no suave).
   • Cuando $d=0$ y los pesos fractales son cero, la arquitectura se reduce exactamente a una KAN estándar.
   • Ventaja: Ofrece robustez tanto en regímenes suaves como rugosos, aprendiendo a descomponer la función en componentes suaves y fractales.

Regularización de Dimensión Fractal:
Se introduce un regularizador diferenciable basado en la dimensión de caja ($dim_B$) de las funciones de base. Penaliza la complejidad fractal innecesaria (cuando $dim_B > 1$ en funciones suaves), actuando como una "navaja de Occam" geométrica que favorece bases suaves a menos que los datos exijan estructura fractal.

3. Contribuciones Clave

1. Dos arquitecturas fundamentadas en teoría: Pure y Hybrid FI-KAN, derivadas de marcos matemáticos clásicos (Barnsley y Navascués) y no de modificaciones ad hoc.
2. Dimensión Fractal Aprendizable: Los parámetros de contracción proporcionan un control continuo y diferenciable desde bases suaves ($dim_B=1$) hasta bases fractales ($dim_B > 1$).
3. Validación de la Hipótesis de Coincidencia de Regularidad: La comparación entre Pure y Hybrid demuestra que la geometría de la base es una variable de diseño crítica; las bases deben coincidir con la regularidad del objetivo.
4. Regularización Interpretativa: El valor aprendido de la dimensión fractal actúa como un diagnóstico interpretable de la regularidad del objetivo.
5. Validación en EDPs No Suaves: Demostración de mejoras significativas en soluciones de EDPs con singularidades en esquinas y coeficientes rugosos.

4. Resultados Experimentales

Los experimentos cubren un espectro de regularidad de Hölder ($\alpha \in [0.2, 2.0]$) y problemas de EDP:

• Aproximación de Funciones 1D y 2D:

  • Objetivos Suaves: Hybrid FI-KAN supera a las KAN estándar (mejoras de $1.3\times$ a $33\times$ en MSE) al mantener la ruta de splines. Pure FI-KAN falla en objetivos suaves, confirmando que las bases fractales sin estructura polinómica son ineficientes para curvatura suave.
  • Objetivos Fractales: En funciones de Weierstrass y Takagi-Landsberg, FI-KAN logra reducciones de MSE de hasta 6.3 veces frente a KAN.
  • Regularidad Mixta: Hybrid FI-KAN maneja funciones con regularidad espacialmente heterogénea (suave en una zona, rugosa en otra) con superioridad.

• Robustez al Ruido:

  • En objetivos fractales con ruido, Hybrid FI-KAN mantiene una ventaja de 4.7x a 6.1x sobre KAN incluso a bajos niveles de SNR (5 dB), actuando como un desruidificador multi-escala implícito.

• Soluciones de EDPs No Suaves (Resultados Destacados):

  • Difusión con Coeficientes Rugosos: Hybrid FI-KAN logra mejoras de 65x a 79x sobre KAN. La estructura fractal captura la rugosidad heredada del campo de coeficientes a través del operador de la EDP.
  • Dominio en L (Singularidad en Esquina): Mejora de 3.5x en la aproximación de la singularidad $r^{2/3}$, superando la limitación de convergencia de los métodos de elementos finitos uniformes con polinomios.

• Análisis de Escala y Profundidad:

  • Se encontró que una profundidad de recursión fractal $K=2$ es óptima. Profundidades mayores degradan el entrenamiento debido a la dificultad de propagar gradientes a través de pasos multiplicativos secuenciales.

5. Significado e Impacto

El trabajo establece el diseño de bases coincidentes con la regularidad como una estrategia principista para la aproximación de funciones neuronales.

• Cambio de Paradigma: Demuestra que la suposición de suavidad en las arquitecturas neuronales modernas es una limitación para problemas científicos y de ingeniería que involucran fenómenos no suaves, fractales o multi-escala.
• Aplicaciones Prácticas: FI-KAN es particularmente relevante en dominios donde la estructura no suave es la norma: flujo en medios heterogéneos, EDPs elípticas en dominios no convexos, procesamiento de señales geofísicas y señales biomédicas con escalado fractal.
• Interpretabilidad: La capacidad de la red para "aprender" la dimensión fractal del objetivo ofrece una nueva herramienta diagnóstica para entender la complejidad geométrica de los datos.

En conclusión, FI-KAN no es simplemente una mejora general sobre KAN, sino una extensión principista que cierra la brecha de modelado para funciones con regularidad geométrica no trivial, adaptando dinámicamente la geometría de la base a la naturaleza del problema.