📊 statistics

Geometry-Constrained Kolmogorov-Arnold Networks: Learning Edge Geometry via Banach Duality

Este artículo introduce las Redes de Kolmogorov-Arnold con Restricciones Geométricas (Banach-KANs), las cuales reemplazan las activaciones de aristas fijas por funciones aprendibles derivadas de mapas de dualidad de Banach controlados por un exponente escalar $p$ , logrando un rendimiento superior o competitivo en la regresión simbólica y demostrando una mayor robustez al ruido y a los tamaños de muestra pequeños en comparación con las KAN tradicionales de base fija.

Autores originales: K S Sesh Kumar

Publicado 2026-08-27

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: K S Sesh Kumar

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo del descubrimiento científico, muchas leyes naturales describen cómo una cantidad cambia en respuesta a otra. El balanceo de un péndulo depende de su ángulo; la velocidad de un coche depende de la densidad del tráfico; el brillo de una estrella depende de su temperatura. Durante décadas, los científicos han utilizado modelos matemáticos para capturar estas relaciones, pero ha surgido un enfoque más nuevo que trata al modelo mismo como una entidad flexible y capaz de aprender. Este enfoque, conocido como Red Kolmogorov–Arnold, funciona descomponiendo un problema complejo en muchas piezas pequeñas y simples. En lugar de forzar a todo el sistema a aprender una regla única y rígida, construye una red donde cada conexión entre dos puntos está gobernada por su propia función única y aprendible. El desafío central para estas redes siempre ha sido decidir qué forma deben tomar esas funciones. Tradicionalmente, los investigadores han tenido que elegir una forma específica de antemano —como una curva suave o una onda repetitiva— y mantenerla para todo el problema. Esto es un poco como intentar reparar una máquina averiada con un solo tipo de llave inglesa; funciona bien para algunos pernos pero falla estrepitosamente en otros.

Un investigador del Imperial College London ha propuesto una forma diferente de pensar este problema. Se dio cuenta de que el problema real no es la forma de la función en sí, sino la "geometría" subyacente o el espacio en el que vive esa función. En matemáticas, la geometría determina cómo se miden las distancias y qué tan aguda o suave puede ser una curva. El investigador desarrolló un nuevo tipo de red donde la geometría no es fija antes de que comience el aprendizaje. En su lugar, la red aprende la mejor geometría para cada conexión individual directamente de los datos. Logró esto introduciendo un único número ajustable para cada conexión en la red. Este número actúa como un dial que desplaza el comportamiento de la conexión, de ser aguda y similar a un umbral, a ser suave y lineal, o incluso plana y saturada. Al dejar que los datos decidan dónde colocar ese dial, la red puede adaptar su propia estructura interna para coincidir con las peculiaridades específicas del problema que está resolviendo.

El investigador probó esta idea en cincuenta problemas matemáticos diferentes, que van desde ecuaciones físicas estándar hasta desafíos sintéticos diseñados para poner a prueba el sistema. Comparó sus nuevas redes de geometría adaptable con modelos más antiguos que dependían de formas fijas, como los splines (que son como reglas flexibles utilizadas para dibujar curvas suaves) o los polinomios. Los resultados mostraron que los modelos de forma fija tenían dificultades cuando los datos contenían saltos repentinos o esquinas afiladas, produciendo a menudo resultados inestables e inexactos porque sus formas rígidas no podían doblarse lo suficiente para ajustarse a los datos. En contraste, las nuevas redes, que podían ajustar su propia geometría, igualaron o superaron el rendimiento de todas las bases de comparación de forma fija. En un conjunto central de dieciocho ecuaciones difíciles, el nuevo método logró el mejor ranking promedio, y en el conjunto completo de cincuenta, funcionó tan bien como los métodos tradicionales más fuertes.

Quizás el hallazgo más significativo fue cómo estas nuevas redes manejaron el ruido. En el mundo real, las mediciones rara vez son perfectas; a menudo contienen errores aleatorios o "estática". Cuando el investigador añadió cantidades crecientes de ruido a sus datos, los modelos tradicionales se desmoronaron rápidamente. Sus tasas de error aumentaron por un factor de veintiuno o más a medida que el ruido aumentaba. Las nuevas redes de geometría adaptable fueron mucho más robustas. Incluso cuando el nivel de ruido aumentaba, sus tasas de error aumentaban por un factor mucho menor, a menudo menos de cuatro veces el error original. Esto sugiere que, al aprender la geometría correcta, la red puede ignorar la estática aleatoria y concentrarse en la señal real, una capacidad de la que carecen los modelos de forma fija.

El estudio también reveló que la red no solo aprende una geometría única y uniforme para todo. En cambio, diferentes conexiones dentro de la misma red aprendieron diferentes configuraciones para su dial de geometría. Algunas conexiones aprendieron a ser muy agudas para manejar cambios repentinos, mientras que otras aprendieron a ser suaves para tendencias graduales. Esta especialización ocurrió de manera constante a través de diferentes tipos de ecuaciones y dimensiones de entrada. Por ejemplo, cuando el problema involucraba más variables, la red tendía a aprender geometrías más agudas con mayor frecuencia. Este comportamiento proporciona una especie de interpretabilidad: al observar las configuraciones que la red eligió, los investigadores pueden ver una señal que refleja la estructura subyacente del problema. La red esencialmente nos dice: "Esta parte del problema necesita un borde afilado, mientras que esa parte necesita una curva suave".

El investigador también exploró qué sucede cuando hay muy pocos datos disponibles. En estos escenarios de muestras pequeñas, las nuevas redes volvieron a superar a los modelos de forma fija, que típicamente requieren grandes cantidades de datos para aprender de manera efectiva. La capacidad de adaptar la geometría permitió a las nuevas redes aproximar las respuestas correctas con muchos menos ejemplos. Sin embargo, el estudio también señaló límites para este enfoque. Si bien el nuevo método sobresale en problemas de baja a media dimensionalidad, no es un reemplora de las redes neuronales profundas y masivas utilizadas en tareas como el reconocimiento de imágenes. De hecho, al probarlo en conjuntos de datos de imágenes, el nuevo método solo igualó el rendimiento de las redes estándar si se le daban veinte a treinta veces más parámetros, lo que sugiere que su fuerza reside en la eficiencia y la adaptabilidad para tipos específicos de problemas de regresión, más que en la escala bruta.

En última instancia, este trabajo desplaza el enfoque de elegir la herramienta adecuada a construir una herramienta que pueda cambiar su propia forma. El investigador demostró que la clave para resolver problemas de regresión complejos no es la base matemática específica utilizada para representar los datos, sino el espacio geométrico en el que vive esa representación. Al hacer que ese espacio sea un parámetro aprendible, creó un sistema que es más robusto al ruido, más eficiente con conjuntos de datos pequeños y más capaz de capturar la verdadera naturaleza de las relaciones que intenta modelar. Los hallazgos sugieren que, en el futuro, los modelos más efectivos podrían no ser aquellos con las arquitecturas fijas más complejas, sino aquellos que pueden aprender la geometría misma del problema que están resolviendo.

Resumen Técnico: Redes de Kolmogorov–Arnold con Restricción Geométrica

Planteamiento del Problema

Las Redes de Kolmogorov–Arnold (KAN) reemplazan las funciones de activación fijas en arquitecturas profundas por funciones univariantes de borde aprendibles. Aunque las variantes existentes de KAN (por ejemplo, aquellas que utilizan B-splines, polinomios de Chebyshev o características de Fourier) ofrecen flexibilidad, dependen de expansiones de bases fijas. Esto impone una geometría de espacio funcional (por. ejemplo, suavidad, periodicidad o localidad) a priori, antes de observar los datos.

El artículo argumenta que esta geometría fija es una limitación fundamental. Como se demuestra en la introducción, las diferentes bases fijas fallan de formas distintas al ajustar objetivos con estructuras desajustadas (por ejemplo, las bases suaves tienen dificultades con discontinuidades como los escalones de Heaviside). El problema central no es la capacidad de representación, sino el desajuste geométrico: la geometría impuesta por la base no se alinea con la geometría intrínseca de la función objetivo.

Metodología: KANs con Restricción Geométrica

El autor propone KANs con restricción geométrica, donde la activación de borde no se selecciona de un conjunto discreto de bases, sino que se deriva del mapa de dualidad de una geometría de espacio de Banach aprendible.

1. Fundamento Teórico

El enfoque aprovecha la correspondencia entre una norma, un potencial convexo y su gradiente (la activación):
$\text{norma} \implies \text{geometría} \implies \text{potencial convexo } \Psi \implies \text{activación } \phi = \nabla \Psi$
En lugar de fijar la base, el autor parametriza la geometría utilizando la familia $\ell_p$ . El exponente $p$ controla el comportamiento cualitativo del borde:

$p \to 1$ : Produce un comportamiento agudo, similar a un umbral (reminiscente de la geometría $\ell_1$ ).
$p = 2$ : Recupera el régimen lineal/euclidiano.
$p > 2$ : Produce respuestas más planas cerca del origen y un crecimiento de ley de potencia en las colas.

2. Variantes de Arquitectura

El artículo define una familia controlada de tres arquitecturas para aislar los efectos de la expresividad y la adaptación geométrica:

Tanh-KAN: Utiliza la activación $\tanh$ estándar (derivada de la dualidad de Orlicz, $\Psi(z) = \log \cosh z$ ). Ofrece expresividad acotada pero sin adaptación geométrica.
$\ell_p$ -KAN: Utiliza el mapa de dualidad $J_p(z) = \text{sign}(z)(|z| + \epsilon)^{p-1}$ . Permite la adaptación geométrica mediante un exponente $p$ aprendido, pero carece de saturación acotada.
Banach-KAN: El modelo principal, que combina ambas ramas:
$\phi(x) = a_1 \tanh(w_1 x + b_1) + a_2 J_p(w_2 x + b_2) + d$
Esta arquitectura unifica la saturación acotada (de $\tanh$ ) y la geometría de ley de potencia adaptativa (de $J_p$ ), permitiendo que los bordes abarquen diversos regímenes de respuesta.

3. Detalles de Implementación

Exponente Aprendible: El exponente se parametriza como $p = 1 + \exp(\theta)$ , lo que permite una optimización sin restricciones de $\theta$ .
Estabilidad Numérica: El mapa de dualidad exacto $J_p$ tiene una derivada singular en $z=0$ para $p < 2$ . El autor implementa un mapa suavizado en todas partes $C^1$ : $J_p^\epsilon(z) = z(z^2 + \epsilon^2)^{(p-2)/2}$ , lo que preserva la interpretación geométrica en las colas mientras asegura la diferenciabilidad en el origen.
Condición de Profundidad Entrenable: El análisis teórico (Proposición 1) sugiere que, para un stack feedforward con pre-activaciones gaussianas, existe una escala de peso crítica solo si $p > 3/2$ . Por debajo de este umbral, la propagación de la señal puede volverse inestable sin conexiones residuales.

Contribuciones Clave

Parametrización con Restricción Geométrica: Introducción de activaciones de borde para KAN derivadas de mapas de dualidad de Banach donde la geometría (controlada por $p$ ) se aprende directamente de los datos, en lugar de ser determinada por la elección de una base.
Interpretación Unificada: Reencuadre de las funciones de borde de KAN no como expansiones de bases, sino como mapeos controlados por la geometría.
Robustez Empírica: Demostración de que el aprendizaje de la geometría mejora la robustez frente al ruido de medición y la aproximación en regímenes de muestras pequeñas en comparación con las KAN de base fija y la regularización de splines explícita.
Señal Interpretable: Demostración de que los exponentes aprendidos proporcionan un ordenamiento geométrico consistente y dependiente del objetivo (por ejemplo, objetivos más agudos producen un $p$ más bajo) que es estable a través de los niveles de ruido y las dimensiones de entrada.
Ablación de la Flexibilidad: Aislamiento del efecto de la "geometría" de la flexibilidad paramétrica genérica mediante la comparación con controles de presupuesto igualado (por ejemplo, activaciones adaptativas de pendiente, funciones racionales y modelos de mezcla).

Resultados Experimentales

Los modelos fueron evaluados en 50 objetivos de regresión simbólica (40 del benchmark AI Feynman, 10 pruebas de estrés sintéticas) y 12 conjuntos de datos tabulares PMLB.

Rendimiento en Datos Limpios

NRMSE Mediana: Banach-KAN logró un NRMSE mediano de 0.030 en el benchmark completo de 50 ecuaciones, empatando estadísticamente con Chebyshev-KAN (0.030) y superando a Spline-KAN (0.037).
Ranking: Banach-KAN logró el mejor promedio de ranking en el subconjunto "Core 18" (2.00) y empató con el mejor en el conjunto completo (2.32 vs. 2.34 para Spline).
Régimen de Muestra Pequeña: Banach-KAN ganó la mayoría de las ecuaciones en el régimen de muestra pequeña ( $n=50$ y $n=100$ ), superando a los modelos de base fija que requieren más datos para converger.

Robustez al Ruido

El artículo destaca ganancias significativas bajo ruido de medición ( $\sigma$ aumentando de 0 a 1):

Ratio de Degradación: A medida que el ruido aumentó, los modelos de base fija se degradaron significativamente (Spline G=3 degradó 21.6 $\times$ , Cheby-KAN 14.9 $\times$ ).
Estabilidad de la Restricción Geométrica: Las variantes con restricción geométrica se degradaron mucho menos. La $\ell_p$ -KAN se degradó solo 3.7 $\times$ , y Banach-KAN 8.8 $\times$ . Notablemente, incluso un spline con validación cruzada se degradó aproximadamente 11 $\times$ , lo que hace que la geometría aprendida sea más robusta que la regularización ajustada.
Cambio de Régimen de Ruido: En ruido alto ( $\sigma=1.0$ ), la variante $\ell_p$ superó a Banach-KAN, sugiriendo un compromiso donde la geometría pura de ley de potencia es más robusta al ruido extremo que la arquitectura combinada.

Extrapolación y Datos Tabulares

Extrapolación: En pruebas fuera de rango (entrenamiento en el 60% interno del espacio de entrada), Banach-KAN y $\ell_p$ -KAN lograron los NRMSE más bajos (0.35 y 0.42), superando significativamente a las bases locales como Splines (0.73) y RBFs (0.86).
Datos Tabulares: En 12 conjuntos de datos PMLB, la familia de restricción geométrica ganó en 10 de 12. Tanh-KAN fue el modelo individual más fuerte (5 victorias), mientras que Banach-KAN ganó 1. Spline G=3 ganó cero.

Significado y Reivindicaciones

El artículo posiciona su contribución como un principio de diseño más que como un récord de estado del arte. El autor establece explícitamente:

Alcance Modesto: El método está diseñado para regresión de baja a media dimensionalidad. No compite con arquitecturas profundas (como ResNets) en su terreno nativo (por ejemplo, clasificación de imágenes) donde los MLP igualan el rendimiento solo con 20–30 $\times$ más parámetros.
"La Herramienta Adecuada" para el Régimen: La afirmación es que, con presupuestos de parámetros por borde comparables, bajo ruido de medición y en regímenes de muestras pequeñas, la geometría inducida (aprendida vía $p$ ) gobierna el éxito del aprendizaje más que la capacidad de representación bruta.
Interpretabilidad: El exponente $p$ aprendido sirve como una "lectura geométrica" de la estructura de la función objetivo, proporcionando una señal interpretable sobre la regularidad requerida (aguda vs. suave) sin ajuste manual.
Limitaciones: El autor reconoce que la forma por cada borde tiene un techo de capacidad a medida que crece el tamaño de los datos, y que la evaluación se limita actualmente a la regresión simbólica y datos tabulares, requiendo trabajo futuro para modalidades de alta dimensión (secuencias, imágenes).

En resumen, el artículo argumenta que la geometría es la elección de modelado primaria en las KAN. Al hacer que la geometría sea adaptativa mediante un exponente $p$ aprendido, el modelo puede alinear su sesgo inductivo con los datos, resultando en una mayor robustez y aproximación en regímenes donde las bases fijas fallan.