KAN-SR: A Kolmogorov-Arnold Network Guided Symbolic Regression Framework

Resumen Técnico: KAN-SR

Planteamiento del Problema
La Regresión Simbólica (SR) tiene como objetivo descubrir expresiones matemáticas de forma cerrada que modelen con precisión un conjunto de datos dado, infiriendo tanto la forma funcional como sus parámetros. A diferencia de la regresión tradicional con estructuras fijas o modelos de aprendizaje automático de caja negra, la SR busca relaciones interpretables y concisas, esenciales para el descubrimiento científico. Sin embargo, los métodos clásicos como la Programación Genética (GP) suelen sufrir de ineficiencia de muestreo, altos costos computacionales y problemas de escalabilidad. Los enfoques neuro-simbólicos recientes tienen dificultades con el entrenamiento de extremo a extremo de representaciones discretas, y la falta de referentes universales impide una comparación consistente. Además, la aplicación de la SR a sistemas de ingeniería dinámicos es un desafío debido a la sensibilidad de la estimación de derivadas al ruido en los datos de series temporales.

Metodología: El Marco de Trabajo KAN-SR
Los autores proponen KAN-SR, un marco basado en las Redes Kolmogorov-Arnold (KANs) [22, 23] combinado con una estrategia de divide y vencerás y simplificación simbólica.

1. Arquitectura de la Red:

   • KANs: A diferencia de las redes neuronales estándar con funciones de activación fijas, las KAN emplean funciones univariantes aprendibles. Los autores implementan Fast-KAN utilizando Funciones de Base Radial (específicamente una Función de Activación de Conmutación Reflexiva, RSWAF) en lugar de B-splines para mejorar la velocidad y eficiencia del entrenamiento.
   • Composición Híbrida: Para superar la limitación de las KAN puramente aditivas en la representación de interacciones multiplicativas, el marco permite explícitamente combinaciones tanto aditivas como multiplicativas de activaciones aprendibles dentro de unidades de una sola capa.
   • Regularización: Para imponer la dispersión e interpretabilidad, el modelo utiliza un esquema de regularización que penaliza el uso innecesario de entradas mediante pérdidas de magnitud ($L_1$) y entropía en las matrices de activación, junto con una penalización $L_1$ en los pesos lineales base.

2. Flujo de Trabajo y Pipeline:
   El marco opera a través de un pipeline flexible de múltiples etapas (ver Figura 1 en el artículo):

   • Preprocesamiento: Normalización de las variables de entrada.
   • Búsqueda de Fuerza Bruta: Una búsqueda exhaustiva inicial de expresiones multiplicativas multivariantes simples.
   • Simplificación y Descomposición: Inspirado en AI Feynman [15], el sistema detecta recursivamente la separabilidad (aditiva o multiplicativa) y las simetrías (traslación, escala, etc.) para descomponer problemas complejos en subproblemas de menor dimensión.
   • Ajuste de KAN de Capa Única: Los subproblemas descomuestos se ajustan utilizando arquitecturas KAN mínimas (una o múltiples unidades).
   • Extracción Simbólica: Las activaciones univariantes entrenadas se aproximan mediante funciones de una biblioteca predefinida y ampliable (polinomios, trigonométricos, exponenciales, logarítmicos, Michaelis-Menten, etc.). El mejor ajuste se selecciona basándose en el Error Cuadrático Medio (MSE) o una puntuación que equilibra el MSE y la complejidad.
   • Transformación de Salida: Si el ajuste falla, la variable objetivo se transforma (por ejemplo, logarítmicamente) para simplificar la forma funcional antes de reintentar la búsqueda.
   • Bucle de KAN Profundo: Como alternativa, se exploran arquitecturas KAN más profundas si los modelos simples fallan, aunque los experimentos principales se centran en la eficacia del pipeline de simplificación sin este paso.

3. Extensión a Sistemas Dinámicos (Neural CDEs):
   Para sistemas dinámicos, el marco integra Ecuaciones Diferenciales Controladas Neuronales (Neural CDEs) [36, 28]. Una Neural CDE se entrena en datos de series temporales ruidosos para estimar derivadas suaves. Estas estimaciones de derivadas robustas sirven como el objetivo para el paso de regresión simbólica, permitiendo el descubrimiento de ecuaciones diferenciales gobernantes (leyes de velocidad cinética) a pesar de las observaciones con ruido.

Contribuciones Clave

• Propuesta de Marco: Introducción de KAN-SR, unificando el aprendizaje profundo composicional (KANs) con la extracción simbólica y la simplificación.
• Pipeline Simbólico: Desarrollo de un pipeline de extracción y simplificación simbólica inspirado en AI Feynman, utilizando una biblioteca exhaustiva de funciones univariantes.
• Evaluación de Referencia: Evaluación exhaustiva en el conjunto de datos SRSD-Feynman [16], demostrando mejoras en las tasas de recuperación simbólica.
• Modelado Dinámico: Extensión del método a sistemas dinámicos mediante un caso de estudio de bioprocesos, aprovechando las Neural CDEs para la estimación de derivadas robustas al ruido.

Resultados Experimentales

• Benchmark SRSD-Feynman: KAN-SR logró las tasas de solución más altas en todos los niveles de dificultad (Fácil, Medio, Difícil) en comparación con las líneas base del estado del arte (gplearn, AFP, AIF, DSR, PySR, etc.).
  • Fácil: 93.3% de tasa de solución (frente al 60.0% del siguiente mejor).
  • Medio: 60.0% (frente al 30.0% de PySR).
  • Difícil: 12.0% (frente al 4.0% de PySR).
  • Robustez: El marco mantuvo un alto rendimiento (86.7% en Fácil) incluso cuando se introdujeron variables ficticias (irrelevantes), superando significativamente a otros métodos. También demostró robustez al ruido Gaussiano, resolviendo más del 50% de los problemas Fáciles con niveles de ruido de 0.1.
• Caso de Estudio de Bioproceso: En un modelo de fermentación por lotes simulado, el enfoque de dos pasos (Neural CDE para derivadas + KAN-SR para ecuaciones) recuperó con éxito ecuaciones de velocidad cinética estructuralmente similares a la verdad de campo (ground truth). Aunque el término de autoinhibición dependiente de la biomasa no se recuperó por completo, el modelo simbólico resultante reprodujo la dinámica del sistema con alta fidelidad en los gráficos de paridad.

Significado y Reivindicaciones
El artículo afirma que KAN-SR ofrece un avance significativo en la regresión simbólica al combinar eficazmente la expresividad del aprendizaje profundo con la interpretabilidad de las formas simbólicas. El enfoque de "divide y vencerás", utilizando la detección de separabilidad y simetría, permite al marco resolver problemas complejos que a menudo derrotan a otros métodos, particularmente en presencia de variables irrelevantes y ruido.

Los autores posicionan a KAN-SR como una herramienta capaz de recuperar ecuaciones de verdad de campo en dominios científicos, destacando específicamente su potencial para el modelado de sistemas de ingeniería dinámica como los bioprocesos. Señalan que, si bien el método destaca cuando la verdad de campo es recuperable a partir de las variables de entrenamiento, enfrenta limitaciones si la solución óptima se encuentra fuera del espacio de búsqueda restringido definido por la arquitectura KAN de una sola capa y la biblioteca específica de funciones univariantes. El marco se presenta como un paso hacia un modelado dinámico más robusto e interpretable, aunque los autores reconocen que se requiere una validación más amplia en sistemas de series temporales del mundo real para evaluar plenamente su generalizabilidad.