Partition-of-Unity Gaussian Kolmogorov-Arnold Networks

Resumen Técnico: Partition-of-Unity Gaussian Kolmogorov–Arnold Networks (PU-GKAN)

Autor: Amir Noorizadegan (Hong Kong Baptist University)
Fecha: 28 de abril de 2026

1. El Problema

Las redes Kolmogorov-Arnold (KAN) han surgido como una alternativa estructurada a los Perceptrones Multicapa (MLP), utilizando funciones de activación aprendibles en las aristas en lugar de nodos fijos. Aunque las variantes basadas en funciones de base radial (RBF), específicamente las Gaussian KAN (GKAN), ofrecen suavidad y eficiencia, presentan un problema crítico de sensibilidad al parámetro de escala ($\epsilon$).

Si $\epsilon$ es muy pequeño, las bases se vuelven demasiado localizadas; si es muy grande, las funciones se aplanan, provocando una matriz de características mal condicionada (inestable numéricamente). Esta dependencia extrema del hiperparámetro dificulta el entrenamiento y la precisión en problemas complejos de aproximación y física computacional.

2. Metodología

El autor propone la PU-GKAN (Partition-of-Unity Gaussian KAN), una modificación basada en el método de Shepard. La innovación consiste en aplicar una normalización de "partición de la unidad" directamente a las funciones de base en cada arista.

• Normalización de tipo Shepard: En lugar de usar las funciones Gaussianas crudas $\phi_g(t)$, se divide cada base por la suma local de todas las bases en los centros fijos:
  $$e\phi_g(t) = \frac{\exp\left(-\frac{(t-c_g)^2}{\epsilon^2}\right)}{\sum_{h=1}^{G} \exp\left(-\frac{(t-c_h)^2}{\epsilon^2}\right)}$$
• Preservación de la arquitectura: A diferencia de otros métodos de partición de la unidad que descomponen el dominio en subredes, la PU-GKAN mantiene la estructura original de KAN. Solo se escala el mapa de características, manteniendo los mismos coeficientes entrenables.
• Propiedad de reproducción de constantes: Debido a que la suma de las bases normalizadas es exactamente 1, la red puede reproducir constantes de forma exacta a nivel de arista, lo que mejora la estabilidad.
• Análisis de Kernel: El trabajo formaliza la capa como un mapa de características de "características finitas" (finite-feature), permitiendo un análisis matemático explícito del kernel inducido y del condicionamiento de la matriz de características.

3. Contribuciones Clave

1. Introducción de la PU-GKAN: Un mecanismo de estabilización simple y efectivo que utiliza la normalización de Shepard para crear un mapa de características de partición de la unidad.
2. Marco Teórico de Kernel: Una formulación que permite entender la capa KAN como una expansión de características finitas, haciendo explícitos el rango numérico, el condicionamiento y el comportamiento de la matriz de características.
3. Regla de Selección de Escala: Propone un intervalo práctico para $\epsilon$ basado en el condicionamiento de la primera capa, con un límite superior recomendado de $\epsilon = 2/(G-1)$, donde $G$ es el número de centros.
4. Generalización: Demuestra que la técnica no es exclusiva de las Gaussianas, aplicándose con éxito a bases Matérn.

4. Resultados Experimentales

Los experimentos cubrieron múltiples escenarios, mostrando que la PU-GKAN supera consistentemente a la GKAN estándar:

• Aproximación de Funciones: En funciones suaves y moderadamente no suaves, la PU-GKAN redujo el error cuadrático medio (RMSE) significativamente (mejoras de hasta el 75% en algunos casos).
• Robustez de la Escala: La PU-GKAN es mucho menos sensible a la elección de $\epsilon$, manteniendo errores bajos en un rango más amplio de valores.
• Dimensiones Superiores: El beneficio persiste en arquitecturas de alta dimensión (hasta 4D), demostrando escalabilidad.
• Aprendizaje Informado por la Física (PINNs): En la resolución de la ecuación de Helmholtz y la ecuación de onda, la PU-GKAN mostró una convergencia más estable y una mayor precisión final en comparación con la GKAN estándar.
• Excepción: En funciones con discontinuidades marcadas, la mejora es menos uniforme, lo cual es consistente con la naturaleza de las bases radiales suaves.

5. Significado e Impacto

El trabajo demuestra que la normalización de tipo Shepard es un mecanismo de estabilización económico y matemáticamente fundamentado para las redes KAN basadas en RBF. Al regularizar la distribución de las coordenadas internas y mejorar el uso de las funciones de base, la PU-GKAN permite que estas redes sean herramientas más robustas y confiables para la computación científica, la resolución de ecuaciones diferenciales parciales (PDE) y el aprendizaje automático de alta precisión.