Resumen Técnico: Redes de Kolmogorov–Arnold Geométricas (GeoKAN)

Enunciado del Problema

Los modelos estándar de aprendizaje profundo, incluidos los Perceptrones Multicapa (MLP) y las recientes Redes de Kolmogorov–Arnold (KAN), operan típicamente dentro de un sistema de coordenadas euclídeo fijo. Aunque las KAN mejoran la flexibilidad de aproximación al reemplazar los pesos escalares fijos con funciones univariadas aprendibles, aún evalúan estas funciones directamente sobre las coordenadas de entrada originales. Esta limitación se vuelve crítica en el aprendizaje automático científico y en la resolución de ecuaciones diferenciales, donde las funciones objetivo a menudo exhiben un comportamiento altamente no uniforme: suave en algunas regiones pero variando rápidamente cerca de choques, interfaces delgadas, picos agudos o capas límite. En tales escenarios, las representaciones de coordenadas fijas asignan ineficientemente la capacidad del modelo, a menudo sobre-resolviendo regiones suaves mientras sub-resuelven áreas de variación rápida.

Metodología

Los autores introducen las Redes de Kolmogorov–Arnold Geométricas (GeoKAN), una familia de modelos que adaptan la geometría del espacio de entrada junto con la función de aproximación. El mecanismo central implica aprender una métrica riemanniana diagonal $g(u)$ que deforma las coordenadas de entrada antes de la expansión de la base y la mezcla de características.

Mecanismo Central

En lugar de evaluar funciones base sobre las entradas crudas $x$, GeoKAN primero calcula coordenadas deformadas:
$$\xi_i = x_i \sqrt{g_i(x)}$$
donde $g_i(x) > 0$ es un componente de métrica aprendido. Esta deformación estira las regiones de variación rápida (aumentando la resolución efectiva) y comprime las regiones más suaves. El modelo luego construye características en estas coordenadas adaptadas a la geometría.

Variantes

El artículo propone tres variantes principales de GeoKAN, que difieren en cómo se parametriza la métrica y cómo se construyen las características posteriores a la deformación:

1. GeoKAN-MetricRedNeuronal: Utiliza una métrica acoplada aprendida a partir de la representación entrante completa mediante una red neuronal (MetricRedNeuronal). Combina esto con un diccionario de wavelets localizado (wavelets de sombrero mexicano) y un término de resumen de volumen ($\log \det g$).
2. GeoKAN-γ: Emplea una métrica estructurada y separable donde cada coordenada aprende su propia escala independientemente. En lugar de un diccionario posterior a la deformación, construye características geométricas explícitas derivadas de la métrica, incluyendo la coordenada deformada, la derivada logarítmica local de la métrica y la magnitud de la métrica.
3. LM-KAN (KAN de Métrica Aprendida): Diseñado específicamente para entornos informados por física. Utiliza una métrica aprendida acoplada (como GeoKAN-MetricRedNeuronal) pero permite que la base posterior a la deformación se elija según la estructura del problema: Wavelet (LM-KAN-Wav), Función de Base Radial (LM-KAN-RBF) o Fourier (LM-KAN-Fourier).

Aprendizaje Informado por Física

En el entorno informado por física, los autores utilizan la variante LM-KAN como modelo sustituto dentro del marco estándar de Red Neuronal Informada por Física (PINN). El objetivo de entrenamiento permanece siendo una función de pérdida basada en residuos que incorpora la ecuación diferencial gobernante, las condiciones iniciales y las condiciones de frontera. La novedad radica exclusivamente en la arquitectura: el sustituto aprende una métrica dependiente de la tarea y evalúa su representación de base localizada en coordenadas adaptadas a la métrica, en lugar de cambiar la formulación variacional de la pérdida.

Contribuciones Clave

1. Sesgo Inductivo Geométrico: El artículo introduce un marco donde el modelo aprende no solo la aproximación de la función, sino también la geometría subyacente del espacio de representación, proporcionando un mecanismo para reasignar la resolución representacional de manera dependiente de la tarea.
2. Tres Arquitecturas Distintas: El desarrollo de GeoKAN-MetricRedNeuronal, GeoKAN-γ y LM-KAN ofrece un espectro de modelos que van desde enfoques de métrica acoplada flexible hasta modelos de características de métrica estructurada y ligera.
3. Adaptación de la Base: La integración de familias de bases específicas (Wavelet, RBF, Fourier) dentro de la deformación geométrica permite al modelo adaptar su sesgo inductivo a tipos de problemas específicos (por ejemplo, Fourier para problemas de Helmholtz oscilatorios).
4. Evaluación Exhaustiva: El trabajo evalúa estos modelos en dos regímenes distintos:
   • Aproximación de Funciones Supervisada: Utilizando benchmarks de capacidad coincidente para aislar las ventajas intrínsecas de aproximación.
   • Aprendizaje Informado por Física: Resolviendo varias ecuaciones diferenciales (Allen–Cahn, Burgers', sistema de Lorenz, Helmholtz) para probar el rendimiento en contextos de computación científica.

Resultados

Aproximación de Funciones Supervisada

En benchmarks de capacidad coincidente (aprox. $2 \times 10^4$ parámetros), las variantes de GeoKAN demostraron un rendimiento superior sobre MLP y Efficient-KAN en objetivos con estructuras no uniformes:

• Objetivos de alta frecuencia y localizados: GeoKAN-MetricRedNeuronal y LM-KAN-Wav lograron los menores Errores Cuadráticos Medios (MSE) en sinusoides de alta frecuencia, discontinuidades escalonadas, agujas estrechas y sinusoides moduladas por envolvente multiescala.
• Señales de chirp: LM-KAN-RBF superó a otras variantes en objetivos de chirp, sugiriendo que las bases RBF son más adecuadas para frecuencias locales que varían suavemente.
• Interpretación: Los resultados confirman que la métrica aprendida redistribuye efectivamente la resolución, estirando las regiones difíciles y comprimiendo las suaves, lo que conduce a ajustes más precisos sin aumentar la cantidad de parámetros.

Aprendizaje Informado por Física

El rendimiento de LM-KAN se comparó con las líneas base PIKAN estándar (Efficient-KAN y Wav-KAN) a través de varias ecuaciones diferenciales:

• Ecuación de Allen–Cahn (Caso 1): Ambos modelos lograron alta precisión. PIKAN alcanzó una pérdida final ligeramente menor, pero LM-KAN entrenó significativamente más rápido (315s vs. 539s) con menos parámetros.
• Ecuación de Allen–Cahn (Caso 2 - Rígido): En el régimen más desafiante con interfaces más agudas, LM-KAN proporcionó una mejor reconstrucción de la solución y menores residuos de EDP, aunque a un costo computacional más alto (4760s vs. 1281s).
• Ecuación de Burgers': LM-KAN alcanzó una pérdida final casi idéntica a PIKAN pero en sustancialmente menos tiempo (206s vs. 295s), a pesar de tener más parámetros, lo que indica una eficiencia computacional mejorada en la resolución de gradientes pronunciados.
• Sistema de Lorenz: LM-KAN alcanzó una pérdida final menor que PIKAN, demostrando que la adaptación geométrica beneficia a las EDO no lineales acopladas, aunque con tiempos de entrenamiento más largos.
• Ecuación de Helmholtz: En este régimen altamente oscilatorio, LM-KAN (utilizando bases de Fourier) superó significativamente a la línea base Efficient-KAN. Alcanzó una pérdida final menor (reducción de aproximadamente el 45%) y entrenó más del doble de rápido (76s vs. 166s), a pesar de tener cantidades de parámetros casi idénticas. La adaptación geométrica demostró ser particularmente efectiva para preservar la precisión de fase y la estructura de onda a medida que disminuían las longitudes de onda.

Significado y Afirmaciones

El artículo afirma que GeoKAN proporciona un mecanismo representacional más flexible y a menudo más efectivo para el aprendizaje automático científico, particularmente para problemas caracterizados por transiciones agudas, estructuras localizadas o complejidad oscilatoria.

• Arquitectural vs. Variacional: Los autores enfatizan que la mejora es arquitectónica. El marco de entrenamiento (función de pérdida basada en residuos) permanece estándar; la ganancia proviene de la capacidad del sustituto para aprender un sistema de coordenadas adaptado a la geometría.
• Resolución Dependiente de la Tarea: El significado principal es la capacidad de "colocar la capacidad donde más se necesita". Al aprender una métrica que estira las regiones difíciles, GeoKAN evita la ineficiencia de las representaciones de cuadrícula fijas que deben resolver globalmente características locales.
• Afirmaciones Modestas: Los autores reconocen que GeoKAN no es uniformemente superior en cada métrica. En algunos casos (por ejemplo, Allen–Cahn Caso 1), PIKAN estándar logra una pérdida final menor o un entrenamiento más rápido. La ventaja de GeoKAN es más pronunciada en regímenes con fuerte no uniformidad, rigidez u oscilaciones de alta frecuencia.
• Direcciones Futuras: El artículo sugiere que el trabajo futuro podría explorar métricas anisotrópicas (no diagonales) para EDP de dimensiones superiores y una mayor adaptabilidad en la selección de bases.

En resumen, GeoKAN extiende el paradigma KAN aprendiendo la geometría del dominio de entrada, ofreciendo un enfoque robusto para manejar la no uniformidad inherente en muchos problemas científicos y de ecuaciones diferenciales.