Geometry-Aware R-Structured Kolmogorov-Arnold Networks

Resumen Técnico: Redes de Kolmogorov–Arnold con Estructura R Consciente de la Geometría (GRS-KAN)

Planteamiento del Problema
Si bien las Redes de Kolmogorov–Arnold (KAN) han demostrado una promesa significativa en la computación científica al reemplazar las matrices de pesos con funciones univariantes aprendibles, siguen siendo una "caja negra" en su manejo de restricciones geométricas explícitas. Las KAN estándar deben inferir implícitamente estructuras geométricas complejas —como regiones factibles, condiciones booleanas y discontinuidades— a partir de los datos de entrenamiento utilizando bases de splines suaves. Esta inferencia implícita a menudo conduce a una precisión subóptima cerca de los límites y requiere un gran número de parámetros para aproximar transiciones bruscas. Por el contrario, las funciones R (desarrolladas por V. L. Rvachev) ofrecen un marco analítico riguroso para representar operaciones lógicas y formas geométricas complejas como ecuaciones únicas diferenciables, pero no se han integrado en las arquitecturas neuronales modernas para el aprendizaje de relaciones funcionales suaves.

Metodología
El artículo propone la Red de Kolmogorov–Arnold con Estructura R Consciente de la Geometría (GRS-KAN), una arquitectura híbrida que desacopla el aprendizaje de estructuras no lineales suaves del codificado de restricciones geométricas conocidas.

1. Integración Central: El marco retiene la rama KAN estándar, que aprende el comportamiento funcional suave a partir de los datos utilizando funciones de arista aprendibles (compuestas por una base SiLU suave y una corrección de B-spline). Simultáneamente, introduce una rama de funciones R que codifica analíticamente regiones geométricas conocidas (por ejemplo, rectángulos, círculos o combinaciones booleanas complejas) utilizando conjunciones R ($\land$) y disyunciones R ($\lor$) diferenciables.
2. Geometría Diferenciable: Las funciones R mapean condiciones lógicas (por ejemplo, "dentro de un rectángulo") a funciones de valores reales donde el signo determina la región. Estas se suavizan mediante una sigmoide logística ($\sigma(\kappa R(x))$) para crear compuertas diferenciables aptas para la retropropagación basada en gradientes.
3. Variantes Arquitectónicas: Los autores presentan tres configuraciones específicas:
   • GRS-KAN Aditiva Dirigida: Modela funciones con un fondo suave más un salto localizado dentro de una región conocida ($f_{suave} + c \cdot \text{compuerta}$).
   • GRS-KAN Multiplicativa Dirigida: Modela funciones que son distintas de cero solo dentro de un soporte geométrico conocido ($f_{suave} \cdot \text{compuerta}$).
   • GRS-KAN Agnóstica: Una arquitectura unificada que combina una KAN base, una rama aditiva y una rama multiplicativa. Emplea parámetros de selección de estructura aprendibles ($w_{KAN}, w_{add}, w_{mul}$) para determinar automáticamente el mecanismo de interacción dominante (puramente suave, aditivo o multiplicativo) basándose en los datos.

Contribuciones Clave

• Marco Teórico: Un método para integrar representaciones de funciones R de restricciones geométricas y lógicas directamente en el marco diferenciable de KAN.
• Construcciones Analíticas: Expresiones explícitas de forma cerrada para indicadores geométricos (por ejemplo, rectángulos) utilizando funciones R, completas con gradientes analíticos para la retropropagación.
• Innovación Arquitectónica: La propuesta de variantes aditivas, multiplicativas y agnósticas que permiten la codificación geométrica explícita sin sacrificar la diferenciabilidad requerida para la optimización.
• Descubrimiento Automático de Estructura: La demostración de que los pesos de las ramas aprendibles pueden identificar si un prior geomético es beneficioso para una tarea específica, realizando efectivamente una selección de estructura.

Resultados Experimentales
Se realizaron experimentos numéricos en bancos de pruebas suaves y problemas discontinuos con soportes rectangulares.

• Bancos de Pruebas Suaves: En los bancos de pruebas estándar de KAN (por ejemplo, $f(x,y) = \exp(\sin(\pi x) + y^2)$ y $f(x,y)=xy$), la implementación de los autores replicó con éxito la capacidad de las KAN para podar hacia estructuras dispersas y recuperar expresiones simbólicas exactas, validando la base.
• Bancos de Pruebas Discontinuos/Geométricos:
  • Discontinuidad Aditiva Rectangular: La GRS-KAN aditiva dirigida redujo el RMSE de prueba en un 67% y el RMSE de la banda de frontera en un 61% en comparación con las KAN estándar. La codificación geométrica explícita permitió al modelo localizar la discontinuidad de forma aguda, mientras que las KAN estándar produjeron transiciones suaves e inexactas.
  • Producto Enmascarado: Para funciones definidas solo dentro de un rectángulo, la GRS-KAN multiplicativa redujo el RMSE de prueba en un 58% y el RMSE de la frontera en un 50%.
  • Desempeño Agnóstico: La variante agnóstica identificó con éxito la estructura correcta para tareas específicas (por ejemplo, suprimiendo las ramas geométricas para $xy$ sin restricciones y priorizando los pesos multiplicativos para $xy$ enmascarado). Aunque no siempre superó a las variantes especializadas dirigidas, logró una precisión competitiva sin requerir conocimiento previo de la forma funcional.

Significancia y Reivindicaciones
El artículo afirma que GRS-KAN representa una dirección distinta de las variantes de KAN existentes, que se centran principalmente en modificar los mecanismos de aproximación (por ejemplo, funciones base o atención). En cambio, GRS-KAN incorpora geometría analítica explícita directamente en la arquitectura de la red.

La principal significancia radica en la capacidad de:

1. Mejorar la Precisión: Codificar explícitamente las restricciones geométricas conocidas mejora significativamente la precisión predictiva y la localización de fronteras en problemas con discontinuidades o dominios restringidos.
2. Mejorar la Interpretabilidad: El modelo proporciona una representación analítica explícita de la estructura geométrica aprendida, yendo más allá de las aproximaciones de caja negra para revelar cómo la geometría interactúa con el fondo suave.
3. Automatizar la Selección de Priors: La variante agnóstica demuestra que las redes neuronales pueden determinar automáticamente si los priors geométricos son necesarios, ofreciendo una solución robusta para problemas científicos donde el rol funcional de las restricciones geométricas es desconocido.

Los autores señalan que, aunque los experimentos utilizan rectángulos y círculos simples, el marco es teóricamente aplicable a regiones implícitas arbitrarias, incluyendo dominios no convexos y combinaciones booleanas de restricciones, allanando el camino para aplicaciones en espacios de diseño de ingeniería y control de procesos.