⚡ electrical engineering

Tensor Network Kernel Machines: A JAX Framework for Machine Learning and Nonlinear System Identification

Questo articolo introduce "tnkm", una libreria Python open-source basata su JAX che consente la costruzione e l'addestramento di macchine a kernel di reti tensoriali espressive ma computazionalmente efficienti per l'identificazione di sistemi non lineari attraverso un'interfaccia unificata che supporta diversi feature map, architetture e strategie di ottimizzazione.

Autori originali: Albert Saiapin, Kim Batselier

Pubblicato 2026-08-10

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Albert Saiapin, Kim Batselier

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un computer come prevedere il futuro, che si tratti di indovinare la nota successiva in una canzone, di prevedere il tempo o di controllare il braccio di un robot. Per farlo, il computer deve capire come diversi input (come la velocità del vento o il movimento di un joystick) si trasformino in output (come la formazione di una nuvola o la rotazione di una ruota). La parte difficile è che il mondo reale raramente è una linea retta; è pieno di curve, loop e salti improvvisi. Questo è il mondo dei "sistemi non lineari".

Per decenni, gli scienziati hanno cercato di costruire modelli in grado di gestire queste curve. Alcuni modelli sono come enormi e disordinate biblioteche che possono ricordare tutto ma impiegano un'eternità per trovare un libro (sono accurati ma lenti). Altri sono come piccole e veloci tessere con flashcard che sono rapide da leggere ma potrebbero perdere di vista il quadro generale (sono veloci ma non molto intelligenti). La grande sfida nel machine learning è trovare un modo per avere il meglio di entrambi i mondi: un modello che sia abbastanza intelligente da comprendere curve complesse, ma abbastanza piccolo e veloce da poter girare su un normale laptop senza farlo fondere. È qui che entra in gioco un'idea astuta chiamata "tensor networks" (reti tensoriali). Pensa a una rete tensoriale come a un modo per ripiegare una mappa massiccia e ingombrante in una piccola e compatta gru di origami che conserva ancora tutte le direzioni importanti.

In questo articolo, gli autori Albert Saiapin e Kim Batselier introducono un nuovo strumento software open-source chiamato tnkm (Tensor Network Kernel Machines). Hanno costruito questo strumento per rendere molto più facile per chiunque costruire e addestrare questi modelli "origami" utilizzando un potente linguaggio di programmazione chiamato JAX. Prima di allora, costruire questi modelli era come cercare di montare un mobile complesso senza un manuale o gli strumenti giusti; era possibile, ma frustrante e limitato agli esperti. Gli autori hanno creato un "coltellino svizzero" per questi modelli, permettendo agli utenti di mescolare e abbinare diversi tipi di "feature maps" (il modo in cui il computer vede i dati) con diversi "tensor networks" (il modo in cui il computer memorizza le regole) e "metodi di ottimizzazione" (il modo in cui il computer impara).

L'articolo non si limita a sostenere che questo strumento funzioni; lo mette alla prova. Hanno addestrato questi modelli su diversi problemi "benchmark" famosi, che sono come puzzle matematici standardizzati usati per vedere quanto sia bravo un computer a imparare. In un test riguardante il rumore di un'ala di un aereo, hanno scoperto che il loro metodo poteva apprendere il pattern altrettanto bene dei metodi pesanti e lenti, ma ha completato il lavoro in circa 1 secondo invece di minuti. In altri test riguardanti serbatoi di fluidi e motori elettrici, il nuovo strumento ha eguagliato l'accuratezza di complessi modelli "black-box", ma con una frazione della potenza di calcolo. Gli autori dimostrano che, utilizzando queste strutture matematiche compatte e ripiegate, è possibile ottenere previsioni ad alta precisione senza la necessità di un supercomputer. Hanno anche confrontato due modi per insegnare al modello: uno che risolve la matematica passo dopo passo (chiamato Alternating Least Squares) e uno che utilizza un approccio più generale basato su tentativi ed errori (ottimizzazione basata sul gradiente). Hanno scoperto che il metodo passo dopo passo era spesso molto più veloce e stabile per questi specifici tipi di problemi, sebbene il metodo basato su tentativi ed errori offra maggiore flessibilità per diversi tipi di compiti.

In definitiva, l'articolo suggerisce che questo nuovo framework rende possibile la costruzione di modelli potenti ed efficienti per cose come la robotica e il controllo di processo senza restare intrappolati nella complessità computazionale. È un passo verso il rendere il machine learning avanzato accessibile, riproducibile e pratico per risolvere problemi del mondo reale che coinvolgono dati non lineari e disordinati.

Sintesi Tecnica: Tensor Network Kernel Machines: Un Framework JAX per il Machine Learning e l'Identificazione di Sistemi Non Lineari

Definizione del Problema

Lo sviluppo di modelli non lineari che bilancino un'elevata capacità espressiva con l'efficienza computazionale rimane una sfida significativa nel machine learning e nell'identificazione di sistemi non lineari. Gli approcci tradizionali, come i metodi kernel, i processi gaussiani e le reti neurali profonde, affrontano spesso problemi di scalabilità in cui la complessità del modello o i costi computazionali crescono in modo proibitivo all'aumentare del numero di parametri o di campioni di addestramento. Nello specifico, rappresentare mappature non lineari tramite mappe di caratteristiche esplicite in spazi ad alta dimensionalità porta tipicamente a un'esplosione esponenziale del numero di parametri, rendendo l'ottimizzazione diretta impraticabile per problemi ad alta dimensionalità.

Metodologia

Il documento introduce i Tensor Network Kernel Machines (TNKM), un framework che affronta la scalabilità combinando rappresentazioni di caratteristiche non lineari esplicite con parametrizzazioni di reti tensoriali compatte e a basso rango. La formulazione matematica centrale rappresenta una funzione non lineare $f(x)$ come un modello lineare in uno spazio di caratteristiche ad alta dimensionalità:
$f(x) = \phi(x)^\top w$
dove $\phi(x)$ è una mappa di caratteristiche non lineare e $w$ è il vettore dei parametri. Per superare la maledizione della dimensionalità inerente a $w$ , l'approccio TNKM impiega due strategie chiave:

Mappe di Caratteristiche Prodotto Tensoriale: La mappa di caratteristiche $\phi(x)$ è costruita come un prodotto tensoriale di mappe monodimensionali che agiscono su singole variabili di input, derivanti naturalmente da kernel prodotto.
Decomposizione Tensoriale a Basso Rango: Invece di memorizzare l'intero vettore di parametri $w$ , i parametri sono rappresentati utilizzando decomposizioni tensoriali a basso rango, specificamente i formati Canonical Polyadic (CP) e Tensor-Train (TT). Ciò riduce la complessità dei parametri da esponenziale a lineare (o quasi lineare) rispetto alla dimensione dell'input.

Gli autori hanno sviluppato tnkm, una libreria Python open-source basata su JAX, per implementare questo framework. La libreria adotta un'architettura modulare che separa tre componenti primari:

Mappe di Caratteristiche (Feature Maps): Supporta caratteristiche polinomiali, Fourier e di Volterra (basate sulla memoria).
Parametrizzazioni di Reti Tensoriali: Implementa le decomposizioni CP e TT tramite classi di modello dedicate (ad es., CPKM, TTKM).
Algoritmi di Ottimizzazione: Fornisce due strategie complementari:
- Alternating Least Squares (ALS): Sfrutta la struttura multilineare per una convergenza rapida e deterministica su problemi di minimi quadrati.
- Ottimizzazione Basata sul Gradiente: Utilizza la differenziazione automatica di JAX e la libreria Optax (ad es., Adam, SGD) per la massima flessibilità con funzioni di perdita differenziabili arbitrarie.

Contributi Principali

Il documento delinea quattro contributi principali:

Framework JAX Unificato: Una libreria open-source con dipendenze minime (tnkm) che unifica diverse mappe di caratteristiche, backbone di reti tensoriali (CP e TT) e strategie di ottimizzazione sotto un'unica interfaccia.
Implementazioni di Addestramento Scalabili: Integrazione dell'ottimizzazione ALS consapevole della struttura insieme a metodi basati sul gradiente generali, consentendo l'applicazione sia alla regressione che ad ambiti di apprendimento più ampi.
Architettura Software Modulare: Un design che consente lo scambio sistematico di componenti (mappe di caratteristiche, classi di modello, ottimizzatori) e fornisce utility per il pre-processing dei dati, la simulazione e la valutazione specifica per l'identificazione di sistemi non lineari.
Valutazione Sperimentale Completa: Un benchmarking rigoroso del framework su compiti di regressione non lineare e identificazione di sistemi, dimostrando un'accuratezza competitiva con tempi di addestramento efficienti.

Risultati Sperimentali

Gli autori hanno valutato tnkm su due fronti:

1. Confronto tra Metodi di Ottimizzazione (Dataset Airfoil Self-Noise):

ALS vs. Adam: ALS è convergito rapidamente a un errore quadratico medio (MSE) di validazione di 0,102, eguagliando quasi il baseline di Kernel Ridge Regression (KRR) (0,15), in soli 1,16 secondi. Al contrario, Adam ha richiesto significativamente più tempo (3,25s per mini-batch) ed epoche per raggiungere un errore più elevato (0,145).
Conclusione: ALS offre un'efficienza superiore per i problemi TNKM di minimi quadrati, mentre i metodi basati sul gradiente forniscono la necessaria flessibilità per obiettivi non legati ai minimi quadrati.

2. Benchmark di Identificazione di Sistemi Non Lineari:
Il framework è stato testato su tre benchmark standard: Coupled Electric Drives, Cascaded Tanks e Silverbox.

Coupled Electric Drives: TNKM ha raggiunto un RMSE comparabile ai migliori metodi (GPNARX e dynoNet), ma con un tempo di addestramento di < 0,1 secondi, mentre i competitor richiedevano secondi o minuti.
Cascaded Tanks: TNKM ha fornito un'accuratezza competitiva (RMSE 0,347) tra gli approcci black-box, superando significativamente metodi come SUBNET e PNARX in termini di velocità di addestramento (< 0,1s rispetto a 1-60 min).
Silverbox: TNKM ha ottenuto prestazioni comparabili ai principali metodi black-box (GPNARX, SUBNET) con tempi di addestramento di 1–60 secondi. Sebbene non abbia eguagliato l'accuratezza degli approcci basati sulla fisica (NL-LFR), ha dimostrato una stabilità efficace nella predizione a lungo termine.

Significato e Rivendicazioni

Il documento afferma che tnkm facilita lo sviluppo e l'applicazione riproducibili dei metodi di apprendimento basati su reti tensoriali. Decoppiando le mappe di caratteristiche, le parametrizzazioni tensoriali e gli algoritmi di ottimizzazione, la libreria consente l'esplorazione sistematica delle configurazioni TNKM senza alterare il workflow sottostante.

Gli autori posizionano TNKM come un approccio intermedio tra i metodi kernel classici e le reti neurali profonde. Come i metodi kernel, TNKM utilizza rappresentazioni di caratteristiche esplicite, offrendo maggiore controllo e la possibilità di incorporare conoscenze pregresse, ma sostituisce il vettore di parametri completo con una rete tensoriale compatta per garantire la scalabilità. A differenza delle reti neurali, non apprende le caratteristiche direttamente dai dati, un limite che gli autori riconoscono come richiedente una selezione manuale delle caratteristiche.

Il significato del lavoro risiede nel fornire una base software pratica ed estensibile che colma il divario tra i metodi teorici delle reti tensoriali e l'identificazione di sistemi non lineari reali, dimostrando che questi modelli possono raggiungere un'elevata accuratezza predittiva mantenendo bassi costi computazionali.