KANDy: Kolmogorov-Arnold Networks and Dynamical System Discovery

Resumen Técnico: KANDy (Kolmogorov-Arnold Networks for Dynamics)

1. El Problema

El descubrimiento de ecuaciones gobernantes en sistemas dinámicos caóticos y complejos enfrenta obstáculos fundamentales:

• Limitaciones de la Regresión Escasa (Sparse Regression): Métodos como SINDy (Sparse Identification of Nonlinear Dynamics) asumen que las ecuaciones pueden representarse mediante una combinación escasa de funciones elementales (polinomios, series de Fourier). Sin embargo, muchos sistemas reales (como el mapa de Ikeda, sistemas de Holling tipo II o la ecuación de Kuramoto-Sivashinsky) violan esta condición de escasez, conteniendo estructuras no lineales infinitas o complejas que no se pueden aproximar bien con pocas bases.
• Colapso de la Precisión en el Caos: En sistemas caóticos, los errores de predicción crecen exponencialmente (limitados por el tiempo de Lyapunov). Los modelos basados en redes neuronales profundas (MLP) o arquitecturas estándar a menudo fallan en preservar la geometría del atractor a largo plazo o en recuperar ecuaciones simbólicas interpretables.
• Ineficacia de las KANs Profundas: Aunque las Redes de Kolmogorov-Arnold (KANs) ofrecen interpretabilidad, las arquitecturas profundas (con múltiples capas ocultas) tienden a oscurecer la estructura global de la ecuación gobernante y pueden ser insuficientes para modelar términos bilineales complejos (como $xy$ en el sistema de Lorenz) sin una profundidad o ancho inadecuados.

2. Metodología: La Arquitectura KANDy

Los autores proponen KANDy (Kolmogorov-Arnold Network for Dynamics), una arquitectura híbrida que sintetiza el Teorema de Representación de Kolmogorov-Arnold (KAT) con la identificación de ecuaciones gobernantes.

• Arquitectura de Profundidad Cero (Zero-Depth):

  • A diferencia de las KANs tradicionales profundas, KANDy utiliza una arquitectura de profundidad cero (equivalente a una regresión amplia).
  • La red mapea directamente las variables de estado (y características elevadas) a las derivadas temporales ($\dot{x}$).
  • Esto evita la composición de funciones en capas profundas que oscurece la interpretabilidad simbólica.

• Mecanismo de "Lifting" (Elevación) de Características:

  • El sistema eleva las variables de estado observables ($x$) a un espacio de mayor dimensión o infinito mediante una función $\Phi$ que incluye términos no lineales informados por la física (ej. productos $xy$, $xz$, derivadas espaciales).
  • Esto se basa en la teoría del operador de Koopman, donde la dinámica no lineal se vuelve aproximadamente lineal en un espacio de observables elevado.

• Función de Pérdida Híbrida:

  • El entrenamiento optimiza una combinación de dos objetivos:
    1. Pérdida de Derivada ($L_{deriv}$): Asegura que la red prediga correctamente el campo vectorial local ($\dot{x}$) en cada paso de tiempo.
    2. Pérdida de Despliegue (Rollout Loss, $L_{roll}$): Integra la ecuación aprendida en el tiempo y compara la trayectoria resultante con los datos reales. Esto fuerza al modelo a mantener la consistencia global y la estabilidad del atractor a largo plazo, no solo la precisión de un solo paso.

• Extracción Simbólica Regularizada:

  • Se implementa un procedimiento de selección de bordes (edges) que ajusta las activaciones de las splines aprendidas a una biblioteca de funciones simbólicas (polinomios, trigonométricas, etc.).
  • Se aplica un umbral de $R^2$ y una penalización por complejidad para podar activaciones insignificantes, resultando en ecuaciones simbólicas limpias y dispersas.

3. Contribuciones Clave

1. Superación de la Condición de Escasez: KANDy descubre ecuaciones en sistemas donde la regresión escasa falla (ej. mapa de Ikeda, ecuación de Burgers invíscida), gracias a la flexibilidad de las splines aprendidas y la elevación de características.
2. Preservación de Topología y Simetría: El modelo es capaz de recuperar estructuras topológicas no triviales, como la fibración de Hopf, demostrando que puede aprender invariantes de simetría y reducir la dimensión del espacio de estados de manera efectiva.
3. Análisis Teórico de Limitaciones de KANs: Los autores demuestran teóricamente (Teoremas 1-7) que las KANs profundas con ancho fijo (ej. ancho 1 o 3) no pueden representar ciertos términos bilineales críticos (como $xy$y$xz$ simultáneamente en Lorenz) sin una elevación adecuada de características o un ancho específico. Esto justifica el enfoque de "profundidad cero" con características elevadas.
4. Robustez en Caos Espaciotemporal: El método logra estabilidad en la predicción a largo plazo (rollouts) más allá del tiempo de Lyapunov, preservando la geometría del atractor incluso cuando la fase se desincroniza.

4. Resultados Experimentales

El modelo se evaluó en una variedad de sistemas de complejidad creciente:

• Fibración de Hopf (Ejemplo Topológico):

  • KANDy aprendió el mapa de cociente que colapsa las órbitas del grupo ($S^1$) a puntos en la esfera base ($S^2$), recuperando la estructura de fibrado no trivial.
  • Las KANs profundas estándar fallaron, colapsando las fibras incorrectamente.
  • Resultado: Error angular medio de $1.8 \times 10^{-5}$ vs $1.02$ en KAN profunda.

• Sistemas Discretos (Mapa de Hénon y Ikeda):

  • Recuperó las ecuaciones exactas del mapa de Hénon con 100% de fidelidad.
  • Recuperó el mapa de Ikeda (un caso límite para SINDy debido a su serie infinita), algo que otros métodos no lograron.

• Sistemas Continuos (Sistema de Lorenz):

  • Recuperó los parámetros clave ($\sigma, \rho, \beta$) y los términos de acoplamiento no lineal ($xy, xz$) con alta precisión.
  • Los rollouts (despliegues) mantuvieron la coherencia con el atractor de Lorenz durante 5 tiempos de Lyapunov, preservando la geometría global aunque la fase se desviara después de 1 tiempo de Lyapunov (límite teórico).

• Ecuaciones Diferenciales Parciales (PDEs):

  • Kuramoto-Sivashinsky (KS): Recuperó la estructura correcta de la ecuación (convección no lineal, disipación de 2ª y 4ª derivada) y mantuvo la estabilidad en rollouts espaciotemporales.
  • Burgers Invíscida: Logró capturar la formación de choques (shocks) y discontinuidades sin introducir oscilaciones espurias, superando a métodos basados en SINDy y PDE-Find que fallaron o requirieron términos innecesarios.

5. Significado e Impacto

El trabajo KANDy representa un avance significativo en el aprendizaje automático para ciencias físicas:

• Cambio de Paradigma: Propone que para muchos sistemas dinámicos, la "profundidad" no es la solución, sino la expresividad a través de una elevación de características adecuada y una arquitectura de regresión amplia.
• Interpretabilidad y Robustez: Ofrece un equilibrio único entre la capacidad de modelado de las redes neuronales y la interpretabilidad simbólica de las ecuaciones diferenciales, crucial para la validación física.
• Aplicabilidad General: Al no depender estrictamente de la suposición de escasez, KANDy abre la puerta al descubrimiento de modelos en sistemas biológicos, ecológicos y físicos donde las ecuaciones son inherentemente complejas o no lineales de forma no polinómica simple.

En resumen, KANDy demuestra que la combinación de la teoría de representaciones de Kolmogorov-Arnold, la elevación de características (Koopman) y la regularización de trayectorias permite descubrir ecuaciones gobernantes precisas en sistemas caóticos donde los métodos tradicionales fallan.