💻 computer science

Dictionary-KAN: Resolving the Optimization Paradox of Kolmogorov-Arnold Networks via Complex RKHS, Machine-Verified Theory, and Discrete Hierarchical Refinement

Este artículo presenta Dictionary-KAN (DKAN), una arquitectura verificada por máquina que resuelve la paradoja de optimización de las Redes Kolmogorov-Arnold mediante el empleo de diccionarios RBF de coeficientes complejos y un refinamiento jerárquico discreto para lograr una regresión multivariante, recuperación de coeficientes de EDP y una interpretabilidad eficiente en hardware superiores, evitando al mismo tiempo los problemas de memoria y convergencia de las KAN basadas en splines continuos.

Autores originales: Kiarash Mohammadi

Publicado 2026-08-25

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Kiarash Mohammadi

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el vasto paisaje de la inteligencia artificial moderna, un desafío persistente ha perseguido durante mucho tiempo a los investigadores: cómo construir máquinas que aprendan patrones complejos sin perderse en un mar de confusión matemática. Durante décadas, el enfoque estándar se ha basado en rejillas densas y masivas de conexiones, donde cada parte del sistema se comunica con todas las demás partes. Aunque potentes, estos sistemas a menudo luchan por encontrar el camino más eficiente hacia una solución, quedando atrapados en trampas locales o requiriendo tanta memoria que simplemente no pueden ejecutarse en el hardware disponible. Una idea más reciente, conocida como la representación de Kolmogorov-Arnold, ofreció un camino diferente. Sugirió que cualquier relación compleja y multidimensional podía descomponerse en una serie de pasos unidimensionales más simples sumados entre sí. Este concepto prometía una forma más elegante e interpretable de modelar el mundo, pero cuando los científicos intentaron construirlo, se toparon con una paradoja fundamental. Las herramientas matemáticas que utilizaban para hacer que estas redes fueran flexibles eran demasiado inestables, lo que causaba que el proceso de aprendizaje colapsara o se volviera imposiblemente costoso de computar.

Un investigador llamado Kiarash Mohammadi ha propuesto ahora una solución a esta paradoja con una nueva arquitectura llamada Dictionary-KAN. En lugar de intentar estirar y deformar una rejilla continua de puntos de datos, lo que a menudo conduce a la inestabilidad que plagó los intentos anteriores, este nuevo sistema utiliza un conjunto fijo y predefinido de bloques de construcción. Imagine un diccionario de palabras que nunca cambia; la red simplemente aprende cómo mezclar estas palabras para formar oraciones, en lugar de intentar inventar nuevas letras sobre la marcha. Al anclar cada conexión en este diccionario estable, el investigador asegura que el problema matemático que la computadora resuelve sea siempre suave y predecible, evitando los colapsos repentinos y la pérdida de progreso que ocurren en los modelos antiguos. Este enfoque permite que el sistema crezca en tamaño y detalle sin olvidar lo que ya ha aprendido, una hazaña que antes era imposible con este tipo de redes.

La innovación va más allá de la simple estabilidad. El investigador elevó todo el sistema a un espacio matemático complejo, permitiendo que la red comprenda naturalmente cómo las diferentes variables se multiplican e interactúan entre sí. En versiones anteriores, el sistema tenía que ser forzado a aprender estas interacciones mediante cálculos pesados e ineficientes. Aquí, la estructura misma gestiona la multiplicación, haciendo que el proceso de aprendizaje sea mucho más eficiente. Este diseño también incluye un método único de refinamiento. Cuando la red necesita ser más precisa, puede insertar nuevas capas de detalle entre las existentes sin perturbar el trabajo ya realizado. Las nuevas partes comienzan con una influencia de cero, asegurando que la salida de la red sea exactamente la misma antes y después de la expansión, eliminando efectivamente el problema del "olvido catastrófico", donde aprender cosas nuevas borra el conocimiento previo.

Para asegurar que estas afirmaciones no fueran solo esperanzas teóricas, el investigador sometió la lógica central a una rigurosa verificación realizada por máquina. Utilizando un programa especializado diseñado para probar verdades matemáticas, cada paso de la teoría de optimización fue verificado como correcto bajo condiciones específicas. La computadora confirmó que el sistema tiene una única solución óptima y que el método utilizado para encontrarla siempre convergerá a dicha solución sin quedarse estancado. Este nivel de certeza es raro en el campo, donde muchas teorías dependen de suposiciones que son difíciles de probar. Los resultados de esta verificación fueron puestos a prueba en una serie de simulaciones del mundo real. En tareas que involucran la interacción de múltiples variables, el nuevo sistema superó a los modelos densos estándar por un factor de veinte, logrando una precisión mucho mayor con muchos menos recursos.

El sistema también demostró capacidades notables en el descubrimiento científico. Al pedirle que identificara las leyes que gobiernan un péndulo oscilante con resistencia del aire, la red logró aislar las variables físicas correctas, incluyendo la sutil fuerza de amortiguación que otros modelos pasaron por alto. Del mismo modo, al encargarle el descubrimiento de las ecuaciones detrás de un problema de dinámica de fluidos conocido como la ecuación de Burgers, reconstruyó las relaciones matemáticas correctas con menos del uno por ciento de error, a pesar de que tuvo que inventar los términos de multiplicación necesarios por su cuenta. En una aplicación práctica, los investigadores entrenaron a la red para modelar la forma en que la luz se refleja en una superficie metálica rugosa, una tarea crítica para la computación gráfica realista. El modelo resultante fue tan limpio y estructurado que pudo traducirse directamente a un programa de computadora corto y legible por humanos, eliminando la necesidad del pesado software de red neuronal por completo.

Sin embargo, la investigación no está exenta de limitaciones, y el autor es cuidadoso al reportarlas con la misma claridad que los éxitos. Cuando el sistema fue probado con datos que presentan saltos bruscos y repentinos, como una función escalón, exhibió una debilidad conocida llamada "ringing" (oscilación), donde la salida oscila ligeramente alrededor del borde afilado. Si bien el nuevo sistema manejó esto mejor que las versiones anteriores, no pudo igualar la precisión de los modelos más simples y antiguos en estos casos específicos. Además, las garantías matemáticas proporcionadas por la verificación por máquina dependen de que se cumplan ciertas condiciones, como que los datos tengan una estructura específica, lo que significa que la teoría no es una garantía universal para cada conjunto de datos posible. El investigador señala explícitamente que el sistema no está diseñado para ser una memoria perfecta de cada detalle, sino más bien una herramienta para comprender y refinar relaciones complejas.

El trabajo representa un paso significativo hacia la creación de una inteligencia artificial más confiable y eficiente. Al reemplazar las rejillas continuas e inestables con un diccionario fijo de funciones, el investigador ha resuelto una paradoja de optimización de larga data que ha obstaculizado el desarrollo de estas redes. La capacidad de hacer crecer la red sin olvidar, de descubrir leyes físicas con alta precisión y de compilar el resultado final en código simple sugiere un futuro donde estos sistemas no solo sean potentes, sino también comprensibles y prácticos. Los hallazgos se presentan no como una respuesta final a todos los problemas, sino como una base estable sobre la cual se pueden construir versiones más avanzadas, con la teoría central ya verificada por una máquina como matemáticamente sólida.

Resumen Técnico: Dictionary-KAN

Planteamiento del Problema

El artículo aborda la "paradoja de optimización" inherente a las redes Kolmogorov-Arnold (KAN) continuas. Aunque el teorema de representación de Kolmogorov-Arnold garantiza que cualquier función multivariante continua puede descomponerse en funciones unidimensionales y sumas, las implementaciones estándar de KAN continuas (utilizando B-splines, polinomios de Chebyshev o centros gaussianos aprendibles) encuentran cuatro fallos críticos en la práctica:

Patologías de las Funciones de Base: Las funciones racionales acotadas causan gradientes evanescentes, mientras que los polinomios de alto grado crean paisajes de pérdida corrugados con cruces por cero erráticos.
Inestabilidad de la Rejilla (Grid Instability): El re-mallado dinámico de los nudos de la spline provoca colapsos de ordenamiento no convexos y deformaciones del dominio, lo que causa un olvido catastrófico durante las actualizaciones localizadas.
Violación de las Restricciones KA: Modelar interacciones no lineales de variables (por ejemplo, $x_1x_2$ ) a menudo requiere proyecciones lineales densas o compuertas (gating), reintroduciendo efectivamente las matrices de pesos densas de las Perceptrones de Capas Multicapa (MLP) y rompiendo la estructura de suma unidimensional.
Intratabilidad de la Regularización: Las penalizaciones estándar de Sobolev $L_2$ difuminan las transiciones bruscas, mientras que los límites de Lipschitz estrictos restringen excesivamente la expresividad.

Además, las KAN continuas sufren de una "maldición de la memoria de la dimensionalidad" donde las activaciones de rejilla densas escalan pobremente con el ancho de la red, lo que a menudo conduce a fallos por falta de memoria (OOM).

Metodología: Dictionary-KAN (DKAN)

El autor propone Dictionary-KAN, una arquitectura que reemplaza el empaquetamiento de rejilla (grid warping) continuo y aprendible por un enfoque de diccionario discreto y fijo basado en el análisis funcional. Los compromisos de diseño centrales son:

1. Diccionarios RKHS Fijos con Coeficientes Complejos

En lugar de centros aprendibles, cada función de borde se define como un diccionario de Gauss (magnitud-RBF) fijo en un Espacio de Hilbert de Núcleo Reproductor (RKHS). Los coeficientes son números complejos aprendibles.

Función de Borde: $\phi(z) = w_{b1}z + w_{b2}z^2 + \sum_{m=1}^M w_m \exp(-\gamma |z - c_m|^2)$ , donde $c_m$ son centros reales fijos y $w$ son pesos complejos.
Enrutamiento Complejo: Las entradas se elevan al plano complejo ( $x_p \mapsto x_p + 0i$ ). Los términos base analíticos ( $z, z^2$ ) aíslan naturalmente los productos cruzados multiplicativos (por ejemplo, $z^2 = (x+iy)^2 = x^2 - y^2 + 2ixy$ ) sin requerir proyecciones matriciales densas.

2. Refinamiento Jerárquico Discreto (DHR)

Para aumentar la capacidad sin reentrenar o perturbar las representaciones existentes, DKAN emplea DHR. Este proceso inserta centros de punto medio entre los centros del diccionario existentes. Crucialmente, los nuevos pesos se inicializan exactamente en cero, asegurando que la salida de la red sea bit-idéntica antes y después del refinamiento. Esto garantiza un "olvido catastrófico cero".

3. Regularización de Variación Total (TV) Discreta

Para imponer escasez (sparsity) y perfiles de peso lineales por tramos, se aplica una penalización $\ell_1$ a las segundas diferencias discretas de la secuencia de pesos: $R_{TV}(w) = \lambda_{TV} \sum |w_{m+1} - 2w_m + w_{m-1}|$ .

4. Teoría Verificada por Máquina

Una característica distintiva del trabajo es que la teoría central de optimización está formalmente verificada en Lean 4 / Mathlib. El autor no depende de argumentos asintóticos informales; en su lugar, proporciona pruebas verificadas por máquina para:

Convexidad Estricta: La pérdida es estrictamente convexa bajo supuestos de diccionario de rango completo.
Estacionariedad: La estacionariedad del descenso de gradiente es equivalente a las ecuaciones normales ( $K^*(Kw-y)=0$ ).
Convergencia: Se demuestra la convergencia geométrica del descenso de gradiente bajo una condición de Polyak–Lojasiewicz (PL) derivada.
Olvido Cero: Se demuestra que la identidad DHR preserva la función punto a punto.

Resultados Clave

1. Estabilidad de Optimización y Precisión

En una tarea de regresión multivariante acoplada ( $f(x,y) = \sin(x)\cos(y) + xy$ ), DKAN supera a las líneas base de RBF-KAN densas por aproximadamente 20× en MSE de prueba.

Complejo vs. Real: El DKAN de valores complejos (C-DKAN) converge de forma suave y monótona. En contraste, el DKAN de valores reales (R-DKAN) exhibe una severa inestabilidad de pérdida y choques de gradiente, validando la fase compleja como un estabilizador geométrico.
Olvido Cero: Tras la expansión DHR, el cambio en la salida de la red es exactamente 0.0, confirmando la garantía teórica.

2. Limitaciones en Discontinuidades

El artículo reporta resultados negativos respecto a las discontinuidades. En una tarea de aproximación de función escalón, los diccionarios de magnitud-RBF suaves exhiben oscilaciones tipo Gibbs (sobreimpulso/subimpulso).

Aunque C-DKAN oscila menos que las KAN densas, no puede igualar la aproximación casi exacta de un escalón de los MLP con ReLU.
El regularizador TV, que penaliza la curvatura en el espacio de pesos, falla en suprimir el sobreimpulso en el espacio de funciones porque los bultos de sobreimpulso amplios tienen segundas derivadas discretas pequeñas. El autor establece explícamente que el TV del espacio de pesos no controla la oscilación del espacio de funciones.

3. Escalamiento de Hardware

DKAN resuelve el cuello de botella de memoria de las KAN continuas.

Las KAN densas requieren $O(BN^2G)$ de memoria para tensores de activación de bordes, lo que lleva a fallos por falta de memoria (OOM) con un ancho $N=256$ .
DKAN escala con $O(BNM)$ de memoria. Con $N=128$ , DKAN utiliza 18.6× menos VRAM que la línea base densa. Con $N=256$ , el modelo denso falla, mientras que DKAN se completa dentro de 2.66 GB.

4. Descubrimiento Científico (EDOs y EDPs)

Péndulo Amortiguado: DKAN recupera con éxito la estructura de espacio de estados acoplados $\{\theta, \dot{\theta}\}$ y la no linealidad $\sin(\theta)$ . Una línea base de valores reales falló en retener la coordenada de amortiguamiento $\dot{\theta}$ , sustituyéndola por un proxy monotónico.
Ecuación de Burgers: DKAN descubre los coefientes de la EDP de Burgers viscosa ( $u_t = -1.0024 u u_x + 0.0095 u_{xx}$ ) con un error <1%. Crucialmente, sintetiza el producto no lineal $u u_x$ de forma nativa mediante la parte imaginaria de $z^2$ (donde $z = u + i u_x$ ), mientras que la línea base requería este término como una característica de entrada explícita.

5. Compilación Simbólica

DKAN puede compilarse en un shader GLSL de ~50 líneas de forma cerrada para la compensación de energía de BRDF. Al podar los pesos pequeños y utilizar centros fijos, la red se convierte directamente en un árbol de expresión simbólica, permitiendo el despliegue en tiempo real sin un entorno de ejecución neuronal.

Significado y Reivindicaciones

El artículo posiciona a Dictionary-KAN no como un interpolador universal (donde los MLP no estructurados pueden lograr un MSE bruto menor en rejillas suaves), sino como una alternativa estable, interpretable y eficiente de hardware tanto para MLPs como para KAN continuas.

Su principal significación radica en:

Resolver la Paradoja de la Optimización: Al fijar el diccionario y usar enrutamiento complejo, elimina la inestabilidad de la rejilla y los gradientes evanescentes, manteniendo las restricciones topológicas del teorema KA.
Garantías Verificadas por Máquina: Proporciona las primeras pruebas verificadas por máquina para la convergencia, convexidad y refinamiento de olvido cero de las KAN, yendo más allá de los argumentos teóricos informales.
Acoplamiento Multiplicativo Nativo: Logra el modelado de interacción de variables a través de propiedades analíticas complejas en lugar de proyecciones densas.
Escalabilidad: Elimina la maldición de la memoria de la dimensionalidad asociada con las KAN de rejilla densa.

El autor es modesto en sus afirmaciones, reconociendo explícitamente que los diccionarios suaves tienen dificultades con las discontinuidades y que la teoría actual depende de premisas condicionales (por ejemplo, diccionarios de rango completo) que requieren certificación dependiente de los datos en trabajos futuros (V2). El trabajo se presenta como una base "V1", con futuras versiones dirigidas a la unificación teórica de núcleos (kernel-theoretic) y el escalado de sistemas profundos.