Temporal Functional Circuits: From Spline Plots to Faithful Explanations in KAN Forecasting

Resumen Técnico: Circuitos Funcionales Temporales en la Predicción con KAN

Enunciado del Problema
La predicción de series temporales a largo plazo (LTSF) ha visto recientemente que modelos lineales simples superan a arquitecturas complejas como los Transformers en benchmarks estándar, lo que plantea dudas sobre la necesidad de añadir complejidad al modelo. Si bien las Redes Kolmogorov-Arnold (KAN) han surgido como una alternativa prometedora a los Perceptrones Multicapa (MLP) debido a sus funciones de borde aprendibles "intrínsecamente interpretables" (típicamente B-splines), las aplicaciones existentes a menudo dependen de visualizar estas funciones como evidencia de interpretabilidad. Este artículo argumenta que visualizar las formas de splines latentes no equivale a proporcionar explicaciones fieles y fundamentadas temporalmente. Específicamente, una función de borde KAN $\phi_e(z)$ no revela inherentemente qué pasos de tiempo de entrada la activaron, si el modelo utilizó realmente el borde, o si eliminarlo alteraría la predicción. Además, investigaciones previas sugieren que ningún núcleo de predicción único (lineal, KAN o atención) domina universalmente en todos los conjuntos de datos, lo que hace necesario un marco para determinar cuándo son beneficiosas las KAN y por qué.

Metodología
El artículo introduce Circuitos Funcionales Temporales, un marco diseñado para transformar las funciones de borde KAN de visualizaciones latentes en explicaciones fieles mediante una combinación de diseño arquitectónico y validación basada en intervenciones.

1. Arquitectura KAN Residual con Puerta:
   Los autores proponen una arquitectura de predicción definida como $\hat{y} = f_{lin}(x) + g(x) \odot f_{KAN}(x)$.

   • Descomposición: La señal de entrada se descompone en componentes de tendencia y residuo utilizando un filtro de media móvil.
   • Ramas: Una rama lineal ($f_{lin}$) maneja patrones lineales, mientras que una rama KAN ($f_{KAN}$) captura residuos no lineales.
   • Puerta: Una puerta regularizada $L_1$, $g(x) \in [0, 1]^C$, controla la contribución de la rama KAN por canal. Esto permite que el modelo aprenda cuándo suprimir la corrección KAN (volviendo a lo lineal) y proporciona una métrica medible de utilización KAN ($U_{KAN}$).
   • Estructura KAN: La rama KAN utiliza B-splines en los bordes, definidas como $\phi_e(z) = w \cdot \text{SiLU}(z) + \sum c_k B_p^k(z)$.

2. Circuitos Funcionales Temporales (TFC):
   Para cada borde KAN $e$, el marco construye una tupla de explicación $E_e = (\phi_e, A_e, I_e, \Delta_e)$:

   • $\phi_e$: La función univariada aprendida.
   • $A_e$ (Atribución de Retraso): Un método de atribución consciente de la salida que mapea bordes a retrasos de entrada específicos calculando gradientes a través de la incrustación de parches y las capas posteriores, teniendo en cuenta el estado de la puerta.
   • $I_e$ (Importancia): Una métrica de clasificación basada en la contribución esperada del borde a la predicción, combinando la magnitud de salida del borde y la sensibilidad aguas abajo. El artículo también utiliza el rango de activación ($R_e$) de la cuadrícula B-spline como un proxy independiente de los datos para la importancia.
   • $\Delta_e$ (Efecto Intervencional): El cambio en la pérdida predictiva cuando se interviene en el borde. Las intervenciones incluyen poner el borde a cero, reemplazarlo por su media, o eliminación de spline (manteniendo el término SiLU base mientras se elimina el componente B-spline aprendido).

3. Validación de Fidelidad:
   El marco valida las explicaciones mediante:

   • Curvas de Eliminación de Bordes: Eliminar progresivamente los bordes mejor clasificados (por $R_e$) y medir la degradación del MSE. Una clasificación fiel debería mostrar $\Delta_{top-k} > \Delta_{random-k} > \Delta_{bottom-k}$.
   • Recuperación de Mecanismos Sintéticos: Probar el modelo en regímenes sintéticos de complejidad creciente (Lineal, Multifrecuencia, AR de Umbral, Cambio de Régimen) para ver si la utilización de la puerta se correlaciona con la complejidad de la señal.
   • Pruebas de Intervención: Probar específicamente si la propia forma del spline aprendido tiene valor predictivo comparando el cegado total contra la eliminación del spline.

Resultados Clave

• Rendimiento: En ocho benchmarks (incluyendo Weather, ETT, Solar y PPG), la KAN con Puerta es competitiva frente a alternativas lineales, de atención y MLP. Logra el MSE mejor o empatado al mejor en 4/8 conjuntos de datos. Cabe destacar que, en señales con cambio de régimen, la KAN con Puerta logra un 59% de MSE menor que los modelos solo lineales.
• Utilización de la Puerta: La métrica de utilización de la puerta ($U_{KAN}$) se correlaciona con la complejidad de la señal. En experimentos sintéticos, $U_{KAN}$ aumenta monótonamente desde señales lineales (0.49) hasta señales con cambio de régimen (0.72). En datos reales, $U_{KAN}$ es baja para conjuntos de datos predominantemente lineales (por ejemplo, ETTh1) y más alta para conjuntos complejos (por ejemplo, Solar).
• Fidelidad de las Explicaciones:
  • Curvas de Eliminación: Eliminar los bordes mejor clasificados (por rango de activación $R_e$) degrada consistentemente el rendimiento más que la eliminación aleatoria o de los peor clasificados. En el conjunto de datos Weather, eliminar los 50 bordes principales aumentó el MSE en $2.20 \times 10^{-4}$, mientras que la eliminación aleatoria tuvo un efecto negligible.
  • Valor del Spline: Eliminar solo el componente B-spline (manteniendo el SiLU base) degradó las predicciones, representando hasta un 41% del efecto del cegado total en el conjunto de datos Weather. Esto proporciona evidencia de que la propia forma del spline aprendido tiene valor predictivo más allá de la activación base.
  • Recuperación de Retrasos: En señales sintéticas con retrasos causales conocidos, la atribución propuesta de borde a retraso ($A_e$) recuperó los retrasos reales con un AUPRC de 0.44 (6 veces por encima de lo aleatorio), identificando bordes KAN específicos responsables de las dependencias de retraso.
• Comparación con MLP: Si bien un MLP con Puerta puede igualar la precisión de la KAN con Puerta, no puede proporcionar las funciones de borde explícitas e inspeccionables requeridas para el análisis de Circuitos Funcionales Temporales.

Significado y Afirmaciones
El artículo afirma que la interpretabilidad de las KAN requiere más que simplemente visualizar gráficos de splines; exige fundamentación temporal y fidelidad probada mediante intervenciones.

• Perspectiva Mecanística: El marco demuestra que las KAN pueden descomponerse en circuitos funcionales donde bordes específicos se vinculan a retrasos de entrada específicos y se validan mediante eliminación.
• Utilidad Diagnóstica: La arquitectura con puerta proporciona un diagnóstico medible ($U_{KAN}$) que indica cuándo es necesaria una corrección no lineal, explicando por qué las KAN ayudan en algunos conjuntos de datos (complejos, con cambio de régimen) pero no en otros (predominantemente lineales).
• Valor de los Splines: El trabajo proporciona evidencia empírica de que la forma B-spline aprendida no es meramente un artefacto de ajuste, sino un componente funcional de la predicción, ya que su eliminación impacta significativamente el rendimiento.
• Alcance Moderado: Los autores reconocen que sus intervenciones establecen efectos internos del modelo en lugar de afirmaciones causales sobre el proceso generador de datos. También señalan que, aunque la KAN con Puerta es competitiva, no es uniformemente state-of-the-art, y que el marco es un paso hacia la comprensión de cuándo y cómo contribuyen las KAN a la predicción, en lugar de afirmar una superioridad universal.