⚡ electrical engineering

Tensor Network Kernel Machines: A JAX Framework for Machine Learning and Nonlinear System Identification

Dieses Paper stellt „tnkm“ vor, eine Open-Source, auf JAX basierende Python-Bibliothek, die den Aufbau und das Training expressiver, aber recheneffizienter Tensor-Netzwerk-Kernel-Maschinen zur nichtlinearen Systemidentifikation über eine einheitliche Schnittstelle ermöglicht, welche diverse Feature-Maps, Architekturen und Optimierungsstrategien unterstützt.

Ursprüngliche Autoren: Albert Saiapin, Kim Batselier

Veröffentlicht 2026-08-10

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Albert Saiapin, Kim Batselier

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, die Zukunft vorherzusagen, sei es das Erraten der nächsten Note in einem Lied, die Vorhersage des Wetters oder die Steuerung eines Roboterarms. Um dies zu tun, muss der Computer verstehen, wie verschiedene Eingaben (wie Windgeschwindigkeit oder eine Joystick-Bewegung) in Ausgaben (wie einer Wolkenbildung oder einem rotierenden Rad) umschlagen. Das Schwierige dabei ist, dass die reale Welt selten eine gerade Linie ist; sie ist voller Kurven, Schleifen und plötzlicher Sprünge. Dies ist die Welt der „nichtlinearen Systeme“.

Seit Jahrzehnten versuchen Wissenschaftler, Modelle zu bauen, die diese Kurven handhaben können. Einige Modelle sind wie riesige, unordentliche Bibliotheken, die alles speichern können, aber ewig brauchen, um ein Buch zu finden (sie sind genau, aber langsam). Andere sind wie winzige, schnelle Karteikarten, die schnell gelesen werden können, aber vielleicht das große Ganze übersehen (sie sind schnell, aber nicht sehr intelligent). Die große Herausforderung im maschinellen Lernen besteht darin, einen Weg zu finden, das Beste aus beiden Welten zu erhalten: ein Modell, das klug genug ist, um komplexe Kurven zu verstehen, aber klein und schnell genug, um auf einem normalen Laptop zu laufen, ohne ihn zum Schmelzen zu bringen. Hier kommt eine clevere Idee namens „Tensor-Netzwerke“ ins Spiel. Betrachten Sie ein Tensor-Netzwerk als eine Art, eine massive, unhandliche Landkarte in einen winzigen, kompakten Origami-Kranich zu falten, der dennoch alle wichtigen Richtungen enthält.

In dieser Arbeit stellen die Autoren Albert Saiapin und Kim Batselier ein neues Open-Source-Softwaretool namens tnkm (Tensor Network Kernel Machines) vor. Sie haben dieses Tool entwickelt, um es für jeden viel einfacher zu machen, diese „Origami“-Modelle unter Verwendung einer leistungsfähigen Programmiersprache namens JAX zu bauen und zu trainieren. Vorher war der Bau dieser Modelle wie der Versuch, ein komplexes Möbelstück ohne Anleitung oder die richtigen Werkzeuge zusammenzubauen; es war möglich, aber frustrierend und auf Experten beschränkt. Die Autoren haben ein „Schweizer Taschenmesser“ für diese Modelle geschaffen, das es Benutzern ermöglicht, verschiedene Arten von „Feature-Maps“ (die Art und Weise, wie der Computer die Daten sieht) mit verschiedenen „Tensor-Netzwerken“ (die Art und Weise, wie der Computer die Regeln speichert) und „Optimierungsmethoden“ (die Art und Weise, wie der Computer lernt) zu kombinieren und zu mischen.

Die Arbeit behauptet nicht nur, dass dieses Tool funktioniert; sie stellt es auf die Probe. Die Autoren haben diese Modelle auf mehreren berühmten „Benchmark“-Problemen trainiert, die wie standardisierte Mathe-Rätsel sind, um zu sehen, wie gut ein Computer lernen kann. In einem Test, der die Turbulenzen eines Flugzeugflügels betraf, fanden sie heraus, dass ihre Methode das Muster genauso gut erlernen konnte wie die schweren, langsamen Methoden, aber die Aufgabe in etwa 1 Sekunde statt in Minuten erledigte. In anderen Tests, die Flüssigkeitstanks und Elektromotoren betrafen, erreichte das neue Tool die Genauigkeit komplexer Black-Box-Modelle, tat dies jedoch mit einem Bruchteil der Rechenleistung. Die Autoren zeigen, dass man durch die Verwendung dieser kompakten, gefalteten mathematischen Strukturen hochgenaue Vorhersagen treffen kann, ohne einen Supercomputer zu benötigen. Sie verglichen auch zwei Wege, das Modell zu lehren: einen, der die Mathematik Schritt für Schritt löst (genannt Alternating Least Squares), und einen, der einen allgemeineren Trial-and-Error-Ansatz verwendet (gradientenbasierte Optimierung). Sie fanden heraus, dass die Schritt-für-Schritt-Methode oft viel schneller und stabiler für diese spezifischen Arten von Problemen war, obwohl die Trial-and-Error-Methode mehr Flexibilität für unterschiedliche Arten von Aufgaben bietet.

Letztendlich legt die Arbeit nahe, dass dieser neue Rahmen es ermöglicht, leistungsstarke, effiziente Modelle für Dinge wie Robotik und Prozesssteuerung zu bauen, ohne in der Rechenkomplexität stecken zu bleiben. Es ist ein Schritt dahin, fortgeschrittenes maschinelles Lernen zugänglich, reproduzierbar und praktisch für die Lösung realer Probleme zu machen, die unordentliche, nichtlineare Daten beinhalten.

Technisches Resümee: Tensor Network Kernel Machines: Ein JAX-Framework für maschinelles Lernen und nichtlineare Systemidentifikation

Problemstellung

Die Entwicklung nichtlinearer Modelle, die ein Gleichgewicht zwischen hoher Ausdrucksstärke und Recheneffizienz bieten, bleibt eine bedeutende Herausforderung im maschinellen Lernen und in der nichtlinearen Systemidentifikation. Traditionelle Ansätze, wie etwa Kernel-Methoden, Gauß-Prozesse und tiefe neuronale Netze, stehen oft vor Skalierbarkeitsproblemen, bei denen die Modellkomplexität oder die Rechenkosten mit der Anzahl der Parameter oder Trainingsbeispiele prohibitiv ansteigen. Insbesondere die Darstellung nichtlinearer Abbildungen über explizite Feature-Maps in hochdimensionalen Räumen führt typischerweise zu einer exponentiellen Explosion der Anzahl der Parameter, was eine direkte Optimierung für hochdimensionale Probleme unmöglich macht.

Methodik

Das Paper stellt Tensor Network Kernel Machines (TNKM) vor, ein Framework, das die Skalierbarkeit durch die Kombination von expliziten nichtlinearen Feature-Repräsentationen mit kompakten, niedrigrangigen Tensor-Netzwerk-Parametrisierungen adressiert. Die zentrale mathematische Formulierung stellt eine nichtlineare Funktion $f(x)$ als lineares Modell in einem hochdimensionalen Feature-Raum dar:
$f(x) = \phi(x)^\top w$
wobei $\phi(x)$ eine nichtlineare Feature-Map und $w$ der Parametervektor ist. Um den Fluch der Dimensionalität zu überwinden, die in $w$ inhärent ist, nutzt der TNKM-Ansatz zwei Schlüsselstrategien:

Tensorprodukt-Feature-Maps: Die Feature-Map $\phi(x)$ wird als Tensorprodukt von eindimensionalen Maps konstruiert, die auf einzelnen Eingangsvariablen operieren, was natürlich aus Produkt-Kerneln resultiert.
Niedrigrangige Tensorzerlegung: Anstatt den vollständigen Parametervektor $w$ zu speichern, werden die Parameter mittels niedrigrangiger Tensorzerlegungen, spezifisch im Canonical Polyadic (CP)- und Tensor-Train (TT)-Format, dargestellt. Dies reduziert die Parameterkomplexität von exponentiell auf linear (oder nahezu linear) in Bezug auf die Eingangsdimension.

Die Autoren entwickelten tnkm, eine Open-Source-Python-Bibliothek auf Basis von JAX, um dieses Framework zu implementieren. Die Bibliothek verwendet eine modulare Architektur, die drei primäre Komponenten trennt:

Feature Maps: Unterstützt polynomielle, Fourier- und Volterra-Features (gedächtnisbasierte Features).
Tensor-Netzwerk-Parametrisierungen: Implementiert CP- und TT-Zerlegungen über dedizierte Modellklassen (z. B. CPKM, TTKM).
Optimierungsalgorithmen: Bietet zwei komplementäre Strategien:
- Alternating Least Squares (ALS): Nutzt die multilineare Struktur für eine schnelle, deterministische Konvergenz bei Least-Squares-Problemen.
- Gradientenbasierte Optimierung: Nutzt JAXs automatische Differenzierung und die Optax-Bibliothek (z. B. Adam, SGD) für die Flexibilität bei beliebigen differenzierbaren Verlustfunktionen.

Hauptbeiträge

Das Paper skizziert vier Hauptbeiträge:

Unified JAX Framework: Eine minimal-abhängige Open-Source-Bibliothek (tnkm), die verschiedene Feature-Maps, Tensor-Netzwerk-Backbones (CP und TT) und Optimierungsstrategien unter einer einzigen Schnittstelle vereint.
Skalierbare Trainingsimplementierungen: Integration von struktur-bewusster ALS-Optimierung neben allgemeinen gradientenbasierten Methoden, was die Anwendung auf sowohl Regressions- als auch auf breitere Lernaufgaben ermöglicht.
Modulare Softwarearchitektur: Ein Design, das das systematische Austauschen von Komponenten (Feature-Maps, Modellklassen, Optimierer) ermöglicht und Utilities für Datenvorverarbeitung, Simulation und Evaluierung spezifisch für die nichtlineare Systemidentifikation bereitstellt.
4.gel umfassende experimentelle Evaluierung:** Ein strenges Benchmarking des Frameworks bei nichtlinearen Regressions- und Systemidentifikationsaufgaben, das eine konkurrenzfähige Genauigkeit bei effizienten Trainingszeiten demonstriert.

Experimentelle Ergebnisse

Die Autoren evaluierten tnkm in zwei Bereichen:

1. Vergleich der Optimierungsmethoden (Airfoil Self-Noise Datensatz):

ALS vs. Adam: ALS konvergierte schnell zu einem Validierungs-MSE von 0,102, was dem Kernel Ridge Regression (KRR) Baseline-Wert (0,15) sehr nahe kommt, und das in nur 1,16 Sekunden. Im Gegensatz dazu benötigte Adam signifikant mehr Zeit (3,25s für Mini-Batch) und Epochen, um einen höheren Fehler (0,145) zu erreichen.
Fazit: ALS bietet eine überlegene Effizienz für Least-Squares-TNKM-Probleme, während gradientenbasierte Methoden die notwendige Flexibilität für Nicht-Least-Squares-Zielsetzungen bieten.

2. Benchmarks zur nichtlinearen Systemidentifikation:
Das Framework wurde auf drei Standard-Benchmarks getestet: Coupled Electric Drives, Cascaded Tanks und Silverbox.

Coupled Electric Drives: TNKM erreichte eine RMSE vergleichbar mit den am besten abschneidenden Methoden (GPNARX und dynoNet), jedoch mit einer Trainingszeit von < 0,1 Sekunden, während Wettbewerber Sekunden bis Minuten benötigten.
Cascaded Tanks: TNKM lieferte eine konkurrenzfähige Genauigkeit (RMSE 0,347) unter den Black-Box-Ansätzen und übertraf Methoden wie SUBNET und PNARX signifikant in Bezug auf die Trainingsgeschwindigkeit (< 0,1s gegenüber 1–60 min).
Silverbox: TNKM erreichte eine Leistung, die mit führenden Black-Box-Methoden (GPNARX, SUBNET) vergleichbar ist, bei Trainingszeiten von 1–60 Sekunden. Obwohl es die Genauigkeit von physik-informierten Ansätzen (NL-LFR) nicht ganz erreichte, zeigte es eine effektive Stabilität bei der Langzeitprognose.

Bedeutung und Behauptungen

Das Paper behauptet, dass tnkm die reproduzierbare Entwicklung und Anwendung von Tensor-Netzwerk-basierten Lernmethoden erleichtert. Durch die Entkopplung von Feature-Maps, Tensor-Parametrisierungen und Optimierungsalgorithmen ermöglicht die Bibliothek die systematische Exploration von TNKM-Konfigurationen, ohne den zugrunde liegenden Workflow zu ändern.

Die Autoren positionieren TNKM als einen Zwischenansatz zwischen klassischen Kernel-Methoden und tiefen neuronalen Netzen. Wie Kernel-Methoden nutzt TNKM explizite Feature-Repräsentationen, was eine größere Kontrolle und die Möglichkeit zur Einbindung von Vorwissen bietet, ersetzt jedoch den vollständigen Parametervektor durch ein kompaktes Tensor-Netzwerk, um die Skalierbarkeit zu gewährleisten. Im Gegensatz zu neuronalen Netzen lernt es Features nicht direkt aus den Daten, was die Autoren als Limitation anerkennen, die eine manuelle Feature-Selektion erfordert.

Die Bedeutung der Arbeit liegt darin, eine praktische, erweiterbare Softwarebasis bereitzustellen, die die Lücke zwischen theoretischen Tensor-Netzwerk-Methoden und realen Anwendungen der nichtlinearen Systemidentifikation schließt, indem sie zeigt, dass diese Modelle eine hohe Vorhersagegenauigkeit bei gleichzeitig geringen Rechenkosten erreichen können.