⚡ electrical engineering

Tensor Network Kernel Machines: A JAX Framework for Machine Learning and Nonlinear System Identification

Este artículo presenta "tnkm", una biblioteca de Python basada en JAX de código abierto que permite la construcción y el entrenamiento de máquinas de kernel de redes tensoriales expresivas pero computacionalmente eficientes para la identificación de sistemas no lineales a través de una interfaz unificada que soporta diversos mapas de características, arquitecturas y estrategias de optimización.

Autores originales: Albert Saiapin, Kim Batselier

Publicado 2026-08-10

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Albert Saiapin, Kim Batselier

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando enseñar a una computadora a predecir el futuro, ya sea adivinando la siguiente nota en una canción, pronosticando el clima o controlando el brazo de un robot. Para hacer esto, la computadora necesita entender cómo diferentes entradas (como la velocidad del viento o el movimiento de un joystick) se convierten en salidas (como la formación de una nube o el giro de una rueda). La parte difícil es que el mundo real rara vez es una línea recta; está lleno de curvas, bucles y saltos repentinos. Este es el mundo de los "sistemas no lineales".

Durante décadas, los científicos han intentado construir modelos que puedan manejar estas curvas. Algunos modelos son como bibliotecas gigantes y desordenadas que pueden recordar todo pero tardan una eternidad en encontrar un libro (son precisos pero lentos). Otros son como pequeñas y rápidas fichas de estudio que son rápidas de leer pero podrían perderse el panorama general (son rápidos pero no muy inteligentes). El gran desafío en el aprendizaje automático es encontrar una manera de tener lo mejor de ambos mundos: un modelo que sea lo suficientemente inteligente para entender curvas complejas, pero lo suficientemente pequeño y rápido como para ejecutarse en una computadora portátil normal sin derretirla. Aquí es donde surge una idea ingeniosa llamada "redes de tensores". Piensa en una red de tensores como una forma de plegar un mapa masivo y difícil de manejar en una pequeña y compacta grulla de origami que aún conserva todas las direcciones importantes.

En este artículo, los autores, Albert Saiapin y Kim Batselier, presentan una nueva herramienta de software de código abierto llamada tnkm (Máquinas de Núcleo de Redes de Tensores). Construyeron esta herramienta para facilitar que cualquier persona pueda construir y entrenar estos modelos de "origami" utilizando un poderoso lenguaje de programación llamado JAX. Antes de esto, construir estos modelos era como intentar ensamblar una pieza compleja de muebles sin un manual o las herramientas adecuadas; era posible, pero frustrante y limitado a expertos. Los autores crearon una "navaja suiza" para estos modelos, permitiendo a los usuarios mezclar y combinar diferentes tipos de "mapas de características" (la forma en que la computadora ve los datos) con diferentes "redes de tensores" (la forma en que la computadora almacena las reglas) y "métodos de optimización" (la forma en que la computadora aprende).

El artículo no solo afirma que esta herramienta funciona; la pone a prueba. Entrenaron estos modelos en varios problemas de "referencia" famosos, que son como acertijos matemáticos estandarizados utilizados para ver qué tan bueno es un computador aprendiendo. En una prueba que involucraba el ruido de un ala de avión, encontraron que su método podía aprender el patrón tan bien como los métodos pesados y lentos, pero terminó el trabajo en aproximadamente 1 segundo en lugar de tardar minutos. En otras pruebas que involucraban tanques de fluidos y motores eléctricos, la nueva herramienta igualó la precisión de modelos complejos de caja negra, pero lo hizo con una fracción de la potencia de cómputo. Los autores demuestran que, al usar estas estructuras matemáticas compactas y plegadas, se pueden obtener predicciones de alta precisión sin necesidad de una supercomputadora. También compararon dos formas de enseñar al modelo: una que resuelve las matemáticas paso a paso (llamada Mínimos Cuadrados Alternos) y otra que utiliza un enfoque más general de ensayo y error (optimización basada en gradientes). Encontraron que el método paso a paso era a menudo mucho más rápido y estable para estos tipos específicos de problemas, aunque el método de ensayo y error ofrece más flexibilidad para diferentes tipos de tareas.

En última instancia, el artículo sugiere que este nuevo marco hace posible la construcción de modelos potentes y eficientes para cosas como la robótica y el control de procesos sin quedar estancado en la complejidad computacional. Es un paso hacia hacer que el aprendizaje automático avanzado sea accesible, reproducible y práctico para resolver problemas del mundo real que involucran datos no lineales desordenados.

Resumen Técnico: Máquinas de Núcleo de Redes Tensoriales: Un Marco de Trabajo en JAX para el Aprendizaje y la Identificación de Sistemas No Lineales

Planteamiento del Problema

El desarrollo de modelos no lineales que equilibren una alta capacidad de expresión con la eficiencia computacional sigue siendo un desafío significativo en el aprendizaje automático y la identificación de sistemas no lineales. Los enfoques tradicionales, como los métodos de núcleo (kernel), los procesos gaussianos y las redes neuronales profundas, suelen enfrentarse a problemas de escalabilidad donde la complejidad del modelo o los costes computacionales crecen de forma prohibitiva a medida que aumenta el número de parámetros o de muestras de entrenamiento. Específicamente, la representación de mapeos no lineales mediante mapas de características explícitos en espacios de alta dimensión suele provocar una explosión exponencial en el número de parámetros, lo que hace que la optimización directa sea inviable para problemas de alta dimensión.

Metodología

El artículo presenta las Máquinas de Núcleo de Redes Tensoriales (TNKM), un marco de trabajo que aborda la escalabilidad combinando representaciones de características no lineales explícitas con parametrizaciones de redes tensoriales compactas de bajo rango. La formulación matemática central representa una función no lineal $f(x)$ como un modelo lineal en un espacio de características de alta dimensión:
$f(x) = \phi(x)^\top w$
donde $\phi(x)$ es un mapa de características no lineal y $w$ es el vector de parámetros. Para superar la maldición de la dimensionalidad inherente a $w$ , el enfoque TNKM emplea dos estrategias clave:

Mapas de Características de Producto Tensorial: El mapa de características $\phi(x)$ se construye como un producto tensorial de mapas unidimensionales que actúan sobre variables de entrada individuales, surgiendo naturalmente de los núcleos de producto.
Descomposición de Tensores de Bajo Rango: En lugar de almacenar el vector de parámetros completo $w$ , los parámetros se representan utilizando descomposiciones de tensores de bajo rango, específicamente los formatos Canónico de Políadas (CP) y Tensor-Train (TT). Esto reduce la complejidad de los parámetros de exponencial a lineal (o casi lineal) con respecto a la dimensión de entrada.

Los autores desarrollaron tnkm, una biblioteca de Python de código abierto construida sobre JAX, para implementar este marco de trabajo. La biblioteca adopta una arquitectura modular que separa tres componentes principales:

Mapas de Características: Soporta características polinómicas, de Fourier y de Volterra (basadas en memoria).
Parametrizaciones de Redes Tensoriales: Implementa descomposiciones CP y TT a través de clases de modelos dedicadas (por ejemplo, CPKM, TTKM).
Algoritmos de Optimización: Proporciona dos estrategias complementarias:
- Mínimos Cuadrados Alternantes (ALS): Explota la estructura multilineal para una convergencia rápida y determinista en problemas de mínimos cuadrados.
- Optimización Basada en Gradiente: Utiliza la diferenciación automática de JAX y la biblioteca Optax (por ejemplo, Adam, SGD) para ofrecer flexibilidad con funciones de pérdida diferenciables arbitrarias.

Contribuciones Principales

El artículo describe cuatro contribuciones principales:

Marco de Trabajo JAX Unificado: Una biblioteca de código abierto con dependencias mínimas (tnkm) que unifica diferentes mapas de características, arquitecturas de redes tensoriales (CP y TT) y estrategias de optimización bajo una única interfaz.
Implementaciones de Entrenamiento Escalables: Integración de la optimización ALS sensible a la estructura junto con métodos generales basados en gradientes, permitiendo la aplicación tanto a la regresión como a tareas de aprendizaje más amplias.
Arquitectura de Software Modular: Un diseño que permite el intercambio sistemático de componentes (mapas de características, clases de modelos, optimizadores) y proporciona utilidades para el preprocesamiento de datos, simulación y evaluación específicas para la identificación de sistemas no lineales.
Evaluación Experimental Exhaustiva: Un riguroso benchmarking del marco de trabajo en tareas de regresión no lineal e identificación de sistemas, demostrando una precisión competitiva con tiempos de entrenamiento eficientes.

Resultados Experimentales

Los autores evaluaron tnkm en dos frentes:

1. Comparación de Métodos de Optimización (Conjunto de Datos de Ruido de Auto de Perfil Alar):

ALS vs. Adam: ALS convergió rápidamente a un Error Cuadrático Medio (MSE) de validación de 0.102, igualando de cerca la línea base de la Regresión de Núcleo de Ridge (KRR) de 0.15, en solo 1.16 segundos. En contraste, Adam requirió significativamente más tiempo (3.25s para mini-lote) y épocas para alcanzar un error mayor (0.145).
Conclusión: ALS ofrece una eficiencia superior para los problemas de mínimos cuadrados de TNKM, mientras que los métodos basados en gradientes proporcionan la flexibilidad necesaria para objetivos que no son de mínimos cuadrados.

2. Benchmarks de Identificación de Sistemas No Lineales:
El marco de trabajo fue probado en tres benchmarks estándar: Accionamientos Eléctricos Acoplados (Coupled Electric Drives), Tanques en Cascada (Cascaded Tanks) y Silverbox.

Accionamientos Eléctricos Acoplados: TNKM logró un RMSE comparable a los mejores métodos (GPNARX y dynoNet) pero con un tiempo de entrenamiento de < 0.1 segundos, mientras que los competidores requirieron segundos o minutos.
Tanques en Cascada: TNKM proporcionó una precisión competitiva (RMSE 0.347) entre los enfoques de caja negra, superando significativamente a métodos como SUBNET y PNARX en términos de velocidad de entrenamiento (< 0.1s frente a 1-60 min).
Silverbox: TNKM logró un rendimiento comparable a los principales métodos de caja negra (GPNARX, SUBNET) con tiempos de entrenamiento de 1 a 60 segundos. Aunque no igualó la precisión de los enfoques informados por la física (NL-LFR), demostró una estabilidad de predicción de largo horizonte efectiva.

Significado y Reivindicaciones

El artículo afirma que tnkm facilita el desarrollo y la aplicación reproducible de métodos de aprendizaje basados en redes tensoriales. Al desacoplar los mapas de características, las parametrizaciones tensoriales y los algoritmos de optimización, la biblioteca permite la exploración sistemática de configuraciones TNKM sin alterar el flujo de trabajo subyacente.

Los autores posicionan a TNKM como un enfoque intermedio entre los métodos de núcleo clásicos y las redes neuronales profundas. Al igual que los métodos de núcleo, TNKM utiliza representaciones de características explícitas, lo que ofrece un mayor control y la capacidad de incorporar conocimiento previo, pero reemplaza el vector de parámetros completo con una red tensorial compacta para asegurar la escalabilidad. A diferencia de las redes neuronales, no aprende las características directamente de los datos, lo cual los autores reconocen como una limitación que requiere la selección manual de características.

El significado del trabajo reside en proporcionar una base de software práctica y extensible que cierra la brecha entre los métodos teóricos de redes tensoriales y la identificación de sistemas no lineales del mundo real, demostrando que estos modelos pueden lograr una alta precisión predictiva manteniendo bajos costes computacionales.