Symbolic--KAN: Kolmogorov-Arnold Networks with Discrete Symbolic Structure for Interpretable Learning

Resumen Técnico: Symbolic-KAN

1. Planteamiento del Problema

En el aprendizaje automático científico (SciML), existe un compromiso fundamental (trade-off) entre la interpretabilidad y la escalabilidad:

• Regresión Simbólica Clásica: Produce expresiones analíticas explícitas y legibles, pero depende de búsquedas combinatorias que son computacionalmente costosas y no escalan bien con la dimensionalidad de los datos.
• Redes Neuronales (MLP, PINNs): Escalan eficientemente con grandes volúmenes de datos y dimensiones, pero actúan como "cajas negras" (representaciones opacas), dificultando la extracción de leyes físicas o ecuaciones gobernantes.
• Limitaciones de los KANs existentes: Las Redes de Kolmogorov-Arnold (KANs) recientes mejoran la interpretabilidad al usar funciones univariadas aprendidas, pero sus expresiones globales compuestas pueden volverse largas, complejas y opacas, perdiendo la ventaja simbólica. Además, los métodos basados en bibliotecas (como SINDy) no pueden generar nuevas combinaciones de términos si no están explícitamente definidos en su biblioteca inicial.

El objetivo es desarrollar una arquitectura que combine la capacidad de aprendizaje escalable de las redes neuronales con la capacidad de descubrir estructuras simbólicas discretas y compactas directamente desde los datos, sin necesidad de ajuste simbólico post-hoc.

2. Metodología: Symbolic-KAN

Los autores proponen Symbolic-KAN, una arquitectura neuronal que incrusta una estructura simbólica discreta dentro de una red profunda entrenable.

A. Formulación de la Red:

• Se basa en el Teorema de Representación de Kolmogorov-Arnold (KART), que establece que cualquier función multivariada continua puede representarse como una superposición finita de funciones univariadas.
• A diferencia de los KANs estándar que usan funciones base fijas (como splines B), Symbolic-KAN aprende proyecciones escalares de las características de entrada y aplica funciones primitivas univariadas aprendidas sobre ellas.
• La arquitectura reemplaza la suma fija de coordenadas por una descomposición interna flexible donde cada unidad aprende una proyección escalar ($s$) y aplica una transformación univariada ($\psi(s)$).

B. Construcción de Unidades y Primitivas:

• Biblioteca de Primitivas: Se utiliza una biblioteca diversa de funciones analíticas interpretables (ej. $\{0, 1, x, x^2, \sin(x), \cos(x), \tanh(x), e^x, \log(1+|x|), \dots\}$).
• Mecanismo de Puertas (Gating):
  1. Selección de Primitivas: Cada borde de una unidad tiene un vector de logits que se convierte en una distribución suave mediante Gumbel-Softmax. Durante el entrenamiento, la temperatura ($\tau$) se reduce (annealing) para forzar que la selección se vuelva "one-hot" (una sola primitiva activa).
  2. Selección de Bordes: Cada unidad recibe múltiples proyecciones escalares (bordes). Un mecanismo de enmascaramiento selecciona un solo borde relevante.
  3. Puertas de Unidad: Permiten podar unidades enteras si no contribuyen significativamente, fomentando la esparsidad estructural.

C. Función de Pérdida y Entrenamiento:
El entrenamiento minimiza una función de pérdida compuesta:

1. Fidelidad de Datos / Física: Error cuadrático medio (MSE) para regresión o residuos de EDPs (Physics-Informed).
2. Regularización Simbólica:
   • Entropía: Penaliza mezclas difusas de primitivas, empujando hacia selecciones "one-hot".
   • Supresión de Máximos (NMS): Evita que diferentes bordes de la misma unidad seleccionen la misma primitiva, fomentando la diversidad.
   • Esparsidad de Unidades: Penaliza la activación de unidades innecesarias (con un presupuesto de esparsidad).
3. Proceso en Dos Etapas:
   • Fase I: Optimización relajada con puertas suaves y temperatura decreciente.
   • Fase II: Endurecimiento (hardening) de las puertas a valores discretos (0 o 1) y refinamiento de los parámetros continuos restantes con optimizadores de segundo orden (L-BFGS).

3. Contribuciones Clave

1. Descubrimiento Simbólico Integrado: La arquitectura no requiere un ajuste simbólico posterior; la estructura simbólica emerge directamente del entrenamiento de la red.
2. Selección de Primitivas y Proyecciones: A diferencia de métodos anteriores que asumen una biblioteca fija o una estructura de proyección fija, Symbolic-KAN aprende simultáneamente qué primitiva usar, qué dirección de proyección es relevante y qué unidades son necesarias.
3. Mecanismo de Pre-selección para SINDy: Actúa como un mecanismo escalable para descubrir componentes analíticos relevantes, que luego pueden alimentar bibliotecas para métodos de aprendizaje de ecuaciones dispersas (como SINDy), superando la limitación de SINDy de no poder generar nuevas combinaciones.
4. Generalización a EDPs: Extiende el aprendizaje simbólico a problemas de EDPs tanto en configuraciones directas (forward) como inversas, produciendo soluciones precisas y representaciones simbólicas compactas.

4. Resultados Experimentales

Los autores validaron el modelo en tres paradigmas:

• A. Regresión Guiada por Datos (Toy Experiments):

  • Recuperó con éxito funciones polinómicas ($x^2$) y no lineales complejas (combinaciones de trigonométricas y racionales).
  • Tras el endurecimiento, la red eliminó primitivas redundantes, dejando una expresión compacta que coincidía con la función objetivo real.

• B. Identificación de Sistemas Dinámicos (Ecuación de Van der Pol):

  • Se utilizó para identificar parámetros desconocidos ($a, \mu, c$) y la estructura de la ecuación en un oscilador no lineal con exponentes no enteros ($x^{2.15}$).
  • Resultados: Recuperó los parámetros con alta precisión (errores < 1% para la mayoría) y reconstruyó las trayectorias de estado con errores relativos bajos ($\sim 10^{-3}$), incluso en horizontes temporales largos ($T=50$).
  • Las primitivas seleccionadas ($\sin, \cos, x$) reflejaron correctamente el comportamiento oscilatorio y transitorio del sistema.

• C. Aprendizaje Informado por Física (EDPs):

  • Ecuación de Reacción-Difusión (Inversa): Recuperó el coeficiente de reacción $\kappa$ y la estructura simbólica. En dominios grandes, Symbolic-KAN redujo el error de validación en un 95% comparado con cPIKAN y un 99% comparado con PINNs estándar.
  • Ecuación de Laplace: Recuperó primitivas ($\sin, \sinh, \cosh$) consistentes con la solución analítica exacta. Superó a los modelos base (PINN y cPIKAN) reduciendo el error de validación en un 59% y 87% respectivamente.
  • Ventaja: La capacidad de descubrir la estructura funcional correcta (familia de funciones) incluso sin conocer la solución exacta de antemano.

5. Significado e Impacto

• Puente entre Paradigmas: Symbolic-KAN cierra la brecha entre el aprendizaje profundo escalable y la regresión simbólica interpretable.
• Interpretabilidad Mecanística: Proporciona modelos que no solo predicen, sino que revelan las leyes subyacentes (estructura analítica) de los fenómenos físicos, facilitando la confianza y el diagnóstico en aplicaciones científicas.
• Escalabilidad: A diferencia de la regresión simbólica tradicional, escala bien con la dimensionalidad y el volumen de datos gracias a la optimización basada en gradientes.
• Futuro: Establece una base para el desarrollo de solucionadores neuronales robustos que son tanto precisos como mecánicamente fundamentados, permitiendo la extracción de conocimiento científico directamente de los datos.

En conclusión, Symbolic-KAN representa un avance significativo hacia el aprendizaje automático científico "mecanístico", donde los modelos son entrenables a gran escala y, al mismo tiempo, ofrecen representaciones simbólicas compactas y verificables de las leyes que gobiernan los sistemas físicos.