⚡ electrical engineering

Tensor Network Kernel Machines: A JAX Framework for Machine Learning and Nonlinear System Identification

Cet article présente « tnkm », une bibliothèque Python open-source basée sur JAX qui permet la construction et l'entraînement de machines à noyaux de réseaux de tenseurs expressives mais efficaces sur le plan computationnel pour l'identification de systèmes non linéaires via une interface unifiée prenant en charge diverses cartes de caractéristiques, architectures et stratégies d'optimisation.

Auteurs originaux : Albert Saiapin, Kim Batselier

Publié 2026-08-10

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Albert Saiapin, Kim Batselier

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un ordinateur à prédire l'avenir, qu'il s'agisse de deviner la note suivante dans une chanson, de prévoir la météo ou de contrôler le bras d'un robot. Pour ce faire, l'ordinateur doit comprendre comment différentes entrées (comme la vitesse du vent ou le mouvement d'un joystick) se transforment en sorties (comme la formation d'un nuage ou la rotation d'une roue). La partie délicate est que le monde réel est rarement une ligne droite ; il est rempli de courbes, de boucles et de sauts soudains. C'est le monde des « systèmes non linéaires ».

Pendant des décennies, des scientifiques ont tenté de construire des modèles capables de gérer ces courbes. Certains modèles sont comme de gigantesques bibliothèques désordonnées qui peuvent tout mémoriser mais mettent une éternité à trouver un livre (ils sont précis mais lents). D'autres sont comme de petites fiches mémo rapides à lire mais qui pourraient passer à côté de l'image globale (ils sont rapides mais pas très intelligents). Le grand défi de l'apprentissage automatique est de trouver un moyen d'avoir le meilleur des deux mondes : un modèle assez intelligent pour comprendre les courbes complexes, mais assez petit et rapide pour fonctionner sur un ordinateur portable ordinaire sans le faire fondre. C'est là qu'intervient une idée ingénieuse appelée « réseaux de tenseurs » (tensor networks). Considérez un réseau de tenseurs comme une façon de replier une carte massive et encombrante en une petite grue en origami compacte qui conserve toujours toutes les directions importantes.

Dans cet article, les auteurs, Albert Saiapin et Kim Batselier, présentent un nouvel outil logiciel open-source appelé tnkm (Tensor Network Kernel Machines). Ils ont conçu cet outil pour faciliter grandement la création et l'entraînement de ces modèles « origami » en utilisant un langage de programmation puissant appelé JAX. Avant cela, construire ces modèles revenait à essayer d'assembler un meuble complexe sans manuel ni outils appropriés ; c'était possible, mais frustrant et limité aux experts. Les auteurs ont créé un « couteau suisse » pour ces modèles, permettant aux utilisateurs de mélanger et d'associer différents types de « cartes de caractéristiques » (la façon dont l'ordinateur voit les données) avec différents « réseaux de tenseurs » (la façon dont l'ordinateur stocke les règles) et des « méthodes d'optimisation » (la façon dont l'ordinateur apprend).

L'article ne se contente pas de prétendre que cet outil fonctionne ; ils le mettent à l'épreuve. Ils ont entraîné ces modèles sur plusieurs problèmes de référence (« benchmarks ») célèbres, qui sont comme des puzzles mathématiques standardisés utilisés pour voir à quel point un ordinateur est doué pour apprendre. Dans un test impliquant le bruit d'une aile d'avion, ils ont découvert que leur méthode pouvait apprendre le motif aussi bien que les méthodes lourdes et lentes, mais qu'elle terminait la tâche en environ 1 seconde au lieu de prendre plusieurs minutes. Dans d'autres tests impliquant des réservoirs de fluides et des moteurs électriques, le nouvel outil a égalé la précision de modèles complexes de type « boîte noire », mais avec une fraction de la puissance de calcul. Les auteurs montrent qu'en utilisant ces structures mathématiques compactes et repliées, on peut obtenir des prédictions de haute précision sans avoir besoin d'un supercalculateur. Ils ont également comparé deux façons d'enseigner au modèle : une qui résout les mathématiques étape par étape (appelée moindres carrés alternés ou Alternating Least Squares) et une autre qui utilise une approche plus générale par essais et erreurs (optimisation basée sur le gradient). Ils ont constaté que la méthode étape par étape était souvent beaucoup plus rapide et stable pour ces types de problèmes spécifiques, bien que la méthode par essais et erreurs offre plus de flexibilité pour différents types de tâches.

En fin de compte, l'article suggère que ce nouveau cadre rend possible la construction de modèles puissants et efficaces pour des domaines tels que la robotique et le contrôle de processus, sans être freiné par la complexité computationnelle. C'est une étape vers la rendre l'apprentissage automatique avancé accessible, reproductible et pratique pour résoudre des problèmes du monde réel impliquant des données non linéaires et complexes.

Résumé technique : Tensor Network Kernel Machines : Un framework JAX pour l'apprentissage automatique et l'identification de systèmes non linéaires

Énoncé du problème

Développer des modèles non linéaires qui équilibrent une grande puissance expressive avec une efficacité computationnelle demeure un défi important en apprentissage automatique et en identification de systèmes non linéaires. Les approches traditionnelles, telles que les méthodes à noyau, les processus gaussiens et les réseaux de neurones profonds, font souvent face à des problèmes d'évolutivité où la complexité du modèle ou les coûts de calcul augmentent de manière prohibitive à mesure que le nombre de paramètres ou d'échantillons d'entraînement augmente. Plus précisément, représenter des applications non linéaires via des cartes de caractéristiques explicites dans des espaces de haute dimension entraîne une explosion exponentielle du nombre de paramètres, rendant l'optimisation directe infaisable pour les problèmes de haute dimension.

Méthodologie

Le papier présente les Tensor Network Kernel Machines (TNKM), un framework qui répond au problème de l'évolutivité en combinant des représentations de caractéristiques non linéaires explicites avec des paramétrisations de réseaux de tenseurs compacts à faible rang. La formulation mathématique centrale représente une fonction non linéaire $f(x)$ comme un modèle linéaire dans un espace de caractéristiques de haute dimension :
$f(x) = \phi(x)^\top w$
où $\phi(x)$ est une carte de caractéristiques non linéaires et $w$ est le vecteur de paramètres. Pour surmonter le fléau de la dimensionnalité inhérent à $w$ , l'approche TNKM emploie deux stratégies clés :

Cartes de caractéristiques par produit tensoriel : La carte de caractéristiques $\phi(x)$ est construite comme un produit tensoriel de cartes monodimensionnelles agissant sur les variables d'entrée individuelles, ce qui découle naturellement des noyaux de produit.
Décomposition de tenseur à faible rang : Au lieu de stocker le vecteur de paramètres complet $w$ , les paramètres sont représentés à l'aide de décompositions de tenseurs à faible rang, spécifiquement les formats Canonical Polyadic (CP) et Tensor-Train (TT). Cela réduit la complexité des paramètres d'un régime exponentiel à un régime linéaire (ou quasi-linéaire) par rapport à la dimension d'entrée.

Les auteurs ont développé tnkm, une bibliothèque Python open-source basée sur JAX, pour implémenter ce framework. La bibliothèque adopte une architecture modulaire séparant trois composants principaux :

Cartes de caractéristiques (Feature Maps) : Supporte les caractéristiques polynomiales, de Fourier et de Volterra (basées sur la mémoire).
Paramétrisations par réseaux de tenseurs : Implémente les décompositions CP et TT via des classes de modèles dédiées (ex: CPKM, TTKM).
Algorithmes d'optimisation : Fournit deux stratégies complémentaires :
- Moindres Carrés Alternés (ALS) : Exploite la structure multilinéaire pour une convergence déterministe rapide sur les problèmes de moindres carrés.
- Optimisation basée sur le gradient : Utilise la différenciation automatique de JAX et la bibliothèque Optax (ex: Adam, SGD) pour la flexibilité avec des fonctions de perte différentiables arbitraires.

Principales contributions

Le papier expose quatre contributions principales :

Framework JAX unifié : Une bibliothèque open-source à dépendances minimales (tnkm) qui unifie différentes cartes de caractéristiques, des noyaux de réseaux de tenseurs (CP et TT) et des stratégies d'optimisation sous une interface unique.
Implémentations d'entraînement scalables : Intégration de l'optimisation ALS sensible à la structure aux côtés des méthodes de gradient généralisées, permettant l'application tant à la régression qu'à des tâches d'apprentissage plus larges.
Architecture logicielle modulaire : Une conception permettant l'échange systématique de composants (cartes de caractéristiques, classes de modèles, optimiseurs) et fournissant des utilitaires pour le prétraitement des données, la simulation et l'évaluation spécifiques à l'identification de systèmes non linéaires.
Évaluation expérimentale complète : Un benchmarking rigoureux du framework sur des tâches de régression non linéaire et d'identification de systèmes, démontrant une précision compétitive avec des temps d'entraînement efficaces.

Résultats expérimentaux

Les auteurs ont évalué tnkm sur deux fronts :

1. Comparaison des méthodes d'optimisation (Jeu de données Airfoil Self-Noise) :

ALS vs Adam : ALS a convergé rapidement vers une erreur quadratique moyenne (MSE) de validation de 0,102, égalant de près la ligne de base de la Régression à Noyau (KRR) qui est de 0,15, en seulement 1,16 seconde. En revanche, Adam a nécessité beaucoup plus de temps (3,25s pour le mini-batch) et d'époques pour atteindre une erreur plus élevée (0,145).
Conclusion : ALS offre une efficacité supérieure pour les problèmes TNKM de moindres carrés, tandis que les méthodes basées sur le gradient offrent la flexibilité nécessaire pour les objectifs autres que les moindres carrés.

2. Benchmarks d'identification de systèmes non linéaires :
Le framework a été testé sur trois benchmarks standards : Coupled Electric Drives, Cascaded Tanks et Silverbox.

Coupled Electric Drives : TNKM a atteint une RMSE comparable aux meilleures méthodes (GPNARX et dynoNet) mais avec un temps d'entraînement de < 0,1 seconde, alors que les concurrents nécessitaient des secondes ou des minutes.
Cascaded Tanks : TNKM a fourni une précision compétitive (RMSE 0,347) parmi les approches boîte noire, surpassant nettement des méthodes comme SUBNET et PNARX en termes de vitesse d'entraînement (< 0,1s contre 1-60 min).
Silverbox : TNKM a obtenu des performances comparables aux principales méthodes boîte noire (GPNARX, SUBNET) avec des temps d'entraînement de 1 à 60 secondes. Bien qu'il n'ait pas égalé la précision des approches fondées sur la physique (NL-LFR), il a démontré une stabilité efficace de prédiction à long horizon.

Signification et affirmations

Le papier affirme que tnkm facilite le développement et l'application reproductibles des méthodes d'apprentissage basées sur les réseaux de tenseurs. En découplant les cartes de caractéristiques, les paramétrisations de tenseurs et les algorithmes d'optimisation, la bibliothèque permet une exploration systématique des configurations TNKM sans modifier le flux de travail sous-jacent.

Les auteurs positionnent TNKM comme une approche intermédiaire entre les méthodes à noyau classiques et les réseaux de neurones profonds. Comme les méthodes à noyau, TNKM utilise des représentations de caractéristiques explicites, offrant un meilleur contrôle et la possibilité d'incorporer des connaissances a priori, mais il remplace le vecteur de paramètres complet par un réseau de tenseurs compact pour assurer l'évolutivité. Contra contrairement aux réseaux de neurones, il ne apprend pas directement les caractéristiques à partir des données, ce que les auteurs reconnaissent comme une limitation nécessitant une sélection manuelle des caractéristiques.

La portée du travail réside dans la fourniture d'une base logicielle pratique et extensible qui comble le fossé entre les méthodes théoriques de réseaux de tenseurs et l'identification de systèmes non linéaires du monde réel, démontrant que ces modèles peuvent atteindre une haute précision prédictive tout en maintenant des coûts computationnels faibles.