📊 statistics

On the Rate of Convergence of Kolmogorov-Arnold Network Regression Estimators

Este artículo establece que las Redes de Kolmogorov-Arnold (KANs) con componentes de B-splines alcanzan tasas de regresión minimax-óptimas independientes de la dimensión ambiental, al tiempo que proporciona reglas de selección de nudos adaptativas y esclarece la no identificabilidad de sus componentes univariados.

Autores originales: Wei Liu, Eleni Chatzi, Zhilu Lai

Publicado 2026-07-31

📖 7 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Wei Liu, Eleni Chatzi, Zhilu Lai

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñarle a una computadora a predecir el clima. El mundo es caótico, con la temperatura, la humedad, la velocidad del viento y la presión interactuando de formas complejas. En el mundo del aprendizaje automático, esto se llama "regresión no paramétrica". Es el arte de encontrar un patrón oculto en un mar de datos sin forzar los datos en una caja simple y prefabricada como una línea recta. Durante décadas, los científicos han utilizado dos herramientas principales para esto. La primera es la "red neuronal", un cerebro digital hecho de capas que puede aprender casi cualquier cosa pero que suele ser una "caja negra": sabemos que funciona, pero no podemos ver fácilmente cómo funciona o por qué obtiene la respuesta correcta. La segunda es el "spline", una herramienta matemática que ajusta curvas suaves a través de puntos, como una regla flexible. Los splines son transparentes y fáciles de entender, pero tienen dificultades cuando los datos se vuelven demasiado complicados o tienen demasiadas dimensiones (como al añadir más variables meteorológicas).

Recientemente, ha aparecido un nuevo tipo de red neuronal llamada Red de Kolmogorov–Arnold, o KAN. Piensa en una KAN como un híbrido inteligente: tiene la estructura de capas de una red neuronal, pero en lugar de usar conexiones misteriosas y enredadas, construye sus predicciones apilando curvas unidimensionales simples (splines) unas sobre otras. Es como construir un rascacielos con paneles de vidrio transparente en lugar de concreto opaco. La gran pregunta para los científicos era: "¿Funciona este nuevo rascacielos de vidrio tan bien como los viejos de concreto, y podemos demostrarlo matemáticamente?". Este artículo profundiza en esa cuestión, no solo realizando experimentos, sino construyendo una prueba matemática rigurosa para mostrar exactamente qué tan rápido y qué tan precisamente aprenden estas redes.

El Rascacielos de Vidrio frente a la Pared de Concreto

Los autores de este artículo se propusieron demostrar que las KAN no son solo una idea genial, sino una forma matemáticamente óptima de aprender de los datos. Se centraron en un tipo específico de KAN donde los bloques de construcción son "B-splines" (esas reglas flexibles mencionadas anteriormente). Su principal descubrimiento es un "límite de velocidad" para el aprendizaje. Demostraron que si los datos que intentan predecir tienen un cierto nivel de suavidad (llamémosla "suavidad $r$ "), la KAN aprende a una velocidad de aproximadamente $O((\log n/n)^{2r/(2r+1)})$ .

Para poner esto en términos cotidianos, imagina que intentas adivinar la forma de un objeto oculto tocándolo con los dedos. Si el objeto es muy suave (como una canica pulida), necesitas menos toques para descubrirlo. Si es rugoso y dentado, necesitas muchos más. El artículo muestra que la KKAN mejora su capacidad de adivinar la forma a un ritmo que depende únicamente de qué tan suave sea el objeto, no de cuántas dimensiones tenga el objeto. Esto es algo trascendental. Normalmente, cuando añades más dimensiones (más variables a rastrear), el aprendizaje se vuelve exponencialmente más difícil, un problema conocido como la "maldición de la dimensionalidad". Es como intentar encontrar una aguja en un pajar que se hace más grande cada vez que añades una nueva habitación al granero. Los autores descubrieron que, debido a que la KAN está construida a partir de piezas unidimensionales simples, esquiva por completo esta maldición. Aprende con la misma rapidez si los datos tienen 5 dimensiones o 20, siempre que los datos sigan realmente la estructura específica de la KAN.

El Hipo Logarítmico y el Factor "Log"

Sin embargo, la historia no es perfectamente fluida. Los autores descubrieron que la velocidad de aprendizaje de la KAN es ligeramente más lenta que la mejor teórica absoluta por un pequeño factor que involucra un logaritmo (específicamente, un factor de $(\log n)^{2r/(2r+1)}$ ). Rastrearon este "hipo" no a la arquitectura de la KAN en sí, sino al hecho de que la red es no lineal.

Piénsalo de esta manera: si intentas encontrar un libro específico en una biblioteca donde los libros están dispuestos en una línea perfecta y recta (un sistema lineal), puedes encontrarlo instantáneamente. Pero si los libros están dispuestos en un laberinto complejo y retorcido (un sistema no lineal), tienes que buscar un poco más, lo que añade ese pequeño retraso "logarítmico". Los autores demostraron que si simplificamos la KAN para que actúe como una línea recta, ese retraso adicional desaparece. Esto sugiere que la KAN no es inherentemente "difícil" de aprender; es solo que la matemática de navegar por sus giros no lineales añade un pequeño gasto administrativo.

El Misterio de los Componentes Ocultos

Una de las partes más fascinantes del artículo es qué sucede cuando intentas mirar dentro de la KAN para ver las piezas individuales que utilizó para construir la respuesta. Los autores demostraron que no se pueden identificar de forma única estas piezas individuales simplemente mirando la respuesta final. Es como intentar averiguar los ingredientes exactos de un pastel solo probando el producto terminado. Si tienes un pastel que sabe a "vainilla", no puedes estar seguro de si el panadero usó 1 taza de extracto de vainilla y 2 tazas de harina, o 2 tazas de vainilla y 1 taza de harina, porque la receta permite un "grupo de escala": una forma de intercambiar cantidades entre ingredientes sin cambiar el sabor final.

Demostraron que el simple hecho de "centrar" los datos (asegurarse de que el promedio sea cero) no es suficiente para resolver este misterio. La red aún puede barajar los pesos de una manera que cambie los componentes internos pero deje la predicción final exactamente igual. Esto significa que, si bien la KAN es excelente para predecir el resultado, no siempre puedes confiar en las partes internas para que te digan la "verdadera" causa subyacente a menos que añadas reglas adicionales para bloquearlas.

Los Nudos y la Adaptabilidad

Para que estas redes funcionen, necesitas decidir cuántos "nudos" (los puntos donde la regla flexible se dobla) utilizar. Demasiados pocos, y la regla es demasiado rígida para seguir la curva; demasiados, y comienza a oscilar salvajemente y a memorizar el ruido en lugar del patrón. Los autores derivaron una regla perfecta para esto: el número de nudos debe crecer aproximadamente como $n^{1/(2r+1)}$ , donde $n$ es la cantidad de datos que tienes.

Aún más genial, demostraron que no necesitas conocer la "suavidad" ( $r$ ) de los datos de antemano para hacer esto correctamente. Crearon un método donde la red puede elegir automáticamente el número correcto de nudos probando diferentes opciones, muy parecido a un excursionista que prueba diferentes caminos para encontrar el que lo lleva a la cima más rápido. En sus simulaciones, este método "adaptativo" funcionó tan bien como si hubieran conocido la respuesta desde el principio.

Probando la Teoría en el Laboratorio

Finalmente, los autores no se detuvieron solo en las matemáticas; lo pusieron a prueba. Crearon datos falsos con niveles de suavidad conocidos y observaron cómo aprendía la KAN. Los resultados fueron exactos.

La Velocidad: La KAN aprendió a la velocidad predicha, volviéndose más precisa a medida que añadían más datos.
Las Dimensiones: Cuando aumentaron el número de variables de 5 a 20, la KAN mantuvo su velocidad, mientras que otros métodos estándar (como los k-vecinos más cercanos) se ralentizaron drásticamente, confirmando que la KAN realmente escapa de la "maldición de la dimensionalidad".
Los Nudos: El número óptimo de nudos que encontraron en los experimentos coincidió perfectamente con su predicción matemática.

El artículo concluye que las KAN son una herramienta poderosa y matemáticamente sólida. Ofrecen lo mejor de ambos mundos: el poder de aprendizaje de las redes neuronales profundas y la transparencia de los splines. Si bien todavía quedan preguntas abiertas sobre cómo identificar perfectamente las partes internas de la red, la prueba de que aprenden al ritmo óptimo (hasta ese pequeño factor logarítmico) es un gran paso adelante. Nos dice que, cuando los datos tienen una estructura específica, las KAN no son solo un truco ingenioso, sino la forma más eficiente de aprenderla.

Resumen Técnico: Sobre la Tasa de Convergencia de los Estimadores de Regresión de Redes Kolmogorov–Arnold

Planteamiento del Problema
El artículo aborda las tasas de convergencia estadística de las Redes Kolmogorov–Arnold (KAN) en la regresión no paramétrica. Aunque las KAN han ganado tracción empírica como una alternativa estructurada a las redes neuronales profundas —aproximando funciones multivariadas mediante composiciones de transformaciones univariadas—, las garantías estadísticas formales respecto a sus tasas de estimación han sido escasas. Los autores investigan el desempeño del estimador de mínimos cuadrados sobre un tamiz (sieve) KAN donde los componentes univariados son B-splines. Específicamente, se preguntan: ¿qué tasa alcanza el minimizador del riesgo empírico sobre una clase de funciones KAN con componentes univariadas de suavidad de Sobolev, y es esta tasa minimax óptima?

Metodología
Los autores analizan el estimador de mínimos cuadrados $\hat{f}_n$ definido sobre un espacio de tamiz $\mathcal{F}_n$ construido a partir de arquitecturas KAN. La función objetivo $f_0$ se modela como una suma finita de $Q$ unidades:
$f(x) = \sum_{q=1}^Q g_q(T_q(x))$
donde $T_q(x)$ representa una agregación aditiva ( $\sum \psi_{qj}(x_j)$ ) o una agregación multiplicativa ( $\prod \psi_{qj}(x_j)$ ). Tanto las funciones internas $\psi_{qj}$ como las funciones externas $g_q$ son aproximadas mediante B-splines de orden $m$ con $k_n$ nudos.

Pasos metodológicos clave incluyen:

Supuestos: La distribución del diseño tiene una densidad acotada, los errores son i.i.d. y sub-gaussianos, y la función de regresión pertenece a una clase $\mathcal{F}^{KAN}_r$ donde los componentes univariados poseen suavidad de Sobolev $r$ . Crucialmente, las funciones externas $g_q$ están restringidas en la escala de Sobolev $L_\infty$ ( $W^{r,\infty}$ ) en lugar de $L_2$ , y el tamiz impone cotas explícitas de norma sup sobre los coeficientes para asegurar la estabilidad.
Herramientas Teóricas: El análisis combina tres ingredientes clásicos:
- Una cota de aproximación para composiciones KAN (Lema C.1), utilizando un argumento de telescopio para los nodos multiplicativos.
- Una cota de entropía métrica para el tamiz no lineal (Lema C.2), contabilizando la no linealidad de la composición.
- Una desigualdad de oráculo para mínimos cuadrados sobre clases uniformemente acotadas (Lema C.3).
Análisis de Identificabilidad: Los autores examinan si los componentes aprendidos convergen a los componentes reales, demostrando que el centrado por sí solo es insuficiente para la identificabilidad debido a la invarianza de escala y las ambigüedades de mezcla.

Contribuciones Clave y Resultados

Tasa de Convergencia: El estimador de mínimos cuadrados sobre el tamiz de spline KAN alcanza una tasa de convergencia uniforme de:
$O\left(\left(\frac{\log n}{n}\right)^{\frac{2r}{2r+1}}\right)$
Esta tasa se mantiene uniforme sobre una bola de funciones KAN con componentes univariadas de suavidad de Sobolev $r$ .
Exponente Independiente de la Dimensión: El exponente $\frac{2r}{2r+1}$ es independiente de la dimensión ambiente $d$ . Los autores aclaran que esto no viola el límite inferior minimax $n^{-2r/(2r+d)}$ para clases de Sobolev generales en $[0,1]^d$ . En su lugar, la tasa independiente de la dimensión surge del supuesto estructural de que el objetivo admite una representación KAN con un número fijo de unidades $Q$ .
Optimalidad Minimax: Se establece un límite inferior coincidente de orden $n^{-2r/(2r+1)}$ , mostrando que el estimador es minimax óptimo hasta un factor logarítmico. Los autores rastrean este factor logarítmico hasta la no linealidad del tamiz (que requiere el encadenamiento sobre una cobertura) en lugar de la arquitectura KAN misma. Muestran que para submodelos lineales (por ejemplo, funciones externas fijas), el factor logarítmico desaparece.
Identificabilidad: El artículo demuestra que las restricciones de centrado no identifican una representación KAN; persiste un grupo de escala de un parámetro y existen otras ambigüedades para $d=1$ o $Q \ge 2$ . Por consiguiente, la consistencia de la función ajustada $\hat{f}_n$ no implica la consistencia de los componentes univariados individuales $\hat{\psi}_{qj}$ sin condiciones adicionales de normalización y no degeneración.
Adaptatividad: Se deriva una regla de selección de nudos $k_n \asymp (n/\log n)^{1/(2r+1)}$ . Los autores muestran que la selección penalizada sobre una rejilla de nudos diedrica alcanza la tasa óptima de forma adaptativa, sin conocimiento previo de la suavidad $r$ (hasta el orden del spline).

Verificación Experimental
Las predicciones teóricas son verificadas en objetivos sintéticos con suavidad $r$ exactamente conocida.

Error de Aproximación: El error de aproximación de spline univariado decae como $k^{-r}$ , coincidiendo con los límites teóricos.
Tasas de Convergencia: El riesgo $L_2$ empírico decae a tasas consistentes con $n^{-2r/(2r+1)}$ (hasta factores logarítmicos) para objetivos aditivos, univariados y multiplicativos.
Independencia de la Dimensión: En barridos de dimensión ( $d=5$ a $d=20$ ), el estimador KAN mantiene una pendiente de convergencia pronunciada, mientras que las líneas base sin estructura (k-NN, Kernel Ridge) se degradan hacia la tasa de la maldición de la dimensionalidad $n^{-2r/(2r+d)}$ .
Selección de Nudos: El riesgo exhibe una forma de U con respecto al número de nudos, y la validación cruzada localiza con éxito el recuento óptimo de nudos sin conocer $r$ .

Significancia y Reivindicaciones
El artículo afirma proporcionar el primer análisis de convergencia riguroso para las KAN, estableciendo que alcanzan tasas minimax óptimas para la regresión no paramétrica estructurada. La principal significancia radica en demostrar que la arquitectura KAN, al aprovechar una suma de componentes univariados de Sobolev, escapa de la maldición de la dimensionalidad inherente a la estimación no paramétrica general, siempre que la función objetivo posea la estructura KAN específica.

Los autores son modestos respecto al factor logarítmico, señalando que es un artefacto de la entropía del tamiz no lineal más que una limitación intrínseca de las KAN, e identificando la eliminación de este factor como un desafío técnico abierto que requiere un análisis de entropía local. Además, enfatizan que, si bien la función de regresión se estima de manera consistente, la recuperación de los componentes univariados subyacentes requiere condiciones de identificabilidad específicas que no están garantizadas por el centrado estándar. El trabajo cierra la brecha entre el éxito empírico de las KAN y la teoría no paramétrica clásica, situándolas junto a los métodos basados en splines en términos de optimalidad, manteniendo al mismo tiempo la estructura de composición por capas de las redes neuronales.