🤖 machine learning

An Embedded RISC-V Evaluation of Kolmogorov--Arnold Networks in Hard-Constrained Recurrent Physics-Informed Models

Questo articolo dimostra che, sebbene le reti Kolmogorov–Arnold (KAN) offrano efficienza dei parametri come rami residui in modelli di fisica informata ricorrenti a vincoli rigidi, esse si comportano significativamente peggio dei multi-layer perceptrons (MLP) su core RISC-V embedded in termini di latenza di esecuzione, consumo energetico e robustezza alla quantizzazione, rendendo gli MLP l'opzione predefinita più affidabile per tali implementazioni.

Autori originali: Enzo Nicolas Spotorno, Josafat Leal Filho

Pubblicato 2026-08-04

📖 3 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Enzo Nicolas Spotorno, Josafat Leal Filho

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di stare costruendo un robot che ha bisogno di comprendere le leggi della fisica per muoversi correttamente. Se insegnassi al robot solo a indovinare come si muovono le cose guardando milioni di immagini, potrebbe confondersi quando vede qualcosa di nuovo o, peggio ancora, potrebbe commettere un errore pericoloso perché ha "allucinato" una legge della fisica che non esiste. Per risolvere questo problema, gli scienziati usano un trucco astuto chiamato modello "Physics-Informed" (informato sulla fisica). Immaginalo come se dessi al robot un libro di testo con le leggi note (come la gravità o l'attrito) e gli dicessi: "Tu conosci queste regole perfettamente. Ora, usa solo il tuo cervello per capire i piccoli dettagli disordinati che il libro di testo ha tralasciato". Questo "cervello" è solitamente un programma informatico semplice e veloce chiamato rete neurale.

Recentemente, un nuovo tipo di rete neurale chiamato Kolmogorov–Arnold Network (o KAN per brevità) è diventato molto popolare. Veniva pubblicizzato come una versione super efficiente e leggera della vecchia "mente", che prometteva di fare lo stesso lavoro con meno numeri memorizzati. Questo è un grande passo avanti per i piccoli dispositivi alimentati a batteria, come droni o sensori medici, dove ogni bit di memoria e ogni goccia di energia conta. Ma c'è un trucco: sebbene le KAN siano ottime per risparmiare spazio sulla carta, potrebbero essere goffe e lente quando vengono effettivamente eseguite su un vero e proprio microchip minuscolo. La grande domanda è: questo nuovo "cervello efficiente" risparmia davvero energia e tempo quando viene distribuito nel mondo reale, o la sua matematica sofisticata lo rende troppo lento per essere utile?

Questo articolo mette alla prova questa domanda, mettendo a confronto la vecchia "mente" (chiamata MLP) con la nuova KAN su un piccolo processore reale (un processore RISC-V). I ricercatori non si sono limitati a osservare quanto bene imparassero; hanno misurato esattamente quanto tempo occorreva per prendere una decisione e quanta energia consumava ciascuna di esse. Hanno scoperto che, sebbene la KAN sia effettivamente più piccola nelle dimensioni, è sorprendentemente lenta e vorace di energia. Eseguendo lo stesso compito, la KAN è risultata essere da 8,0 a 13,5 volte più lenta rispetto alla tradizionale MLP. Ancora peggio, ha consumato da 5,6 a 11,3 volte più energia per ogni singolo passaggio del suo calcolo.

I ricercatori hanno anche testato cosa succede quando si prova a rendere questi modelli ancora più piccoli arrotondando i loro numeri (un processo chiamato quantizzazione), una pratica comune per risparmiare spazio sui piccoli dispositivi. In questo caso, le KAN sono crollate molto più velocemente. In un test, le previsioni della KAN sono diventate pazzescamente errate dopo soli 6,5 passaggi, mentre la tradizionale MLP ha continuato a funzionare correttamente per 282 passaggi — una differenza di 43 volte nella affidabilità. Lo studio conclude che, su questi piccoli chip standard, la promessa di efficienza della KAN non regge. A meno che gli ingegneri non progettino hardware speciale specificamente per le KAN, la vecchia e tradizionale MLP rimane la scelta più affidabile, veloce ed efficiente dal punto di vista energetico per eseguire modelli basati sulla fisica su dispositivi embedded.

Sintesi Tecnica: Valutazione su RISC-V Embedded di Reti Kolmogorov–Arnold in Modelli Fisici-Informati Ricorrenti con Vincoli Rigidi

Problema
Le reti neurali fisiche-informate ricorrenti con vincoli rigidi (HRPINN) integrano la dinamica fisica nota in un integratore numerico ricorrente, limitando la componente neurale a apprendere solo la dinamica residua. Sebbene le reti Kolmogorov–Arnold (KAN) siano state proposte come alternative efficienti nei parametri rispetto ai Multilayer Perceptrons (MLP) per questi rami residui, il loro profilo di esecuzione differisce significativamente a causa delle attivazioni B-spline apprendibili. Lavori precedenti hanno stabilito che le KAN possono eguagliare o sottoperformare gli MLP in termini di accuratezza della scoperta, ma non hanno valutato la loro efficienza computazionale o l'affidabilità in fase di deployment. Questo articolo investiga se l'efficienza dei parametri delle KAN si traduca in costi di deployment su core embedded scalari, affrontando specificamente tre ipotesi: (H1) le KAN comportano una latenza di esecuzione per step superiore rispetto agli MLP con accuratezza comparabile; (H2) questa differenza di latenza risulta in un maggiore consumo energetico per step di integrazione; e (H3) le KAN perdono fedeltà della traiettoria prima degli MLP sotto quantizzazione post-training all'interno di un loop ricorrente chiuso.

Metodologia
Lo studio valuta pesi identici di rami residui MLP e KAN distribuiti su una piattaforma StarFive VisionFive 2 (SiFive U74, RV64GC), un core RISC-V privo di estensioni vettoriali. Questa scelta hardware assicura che entrambe le architetture compilino in sequenze di istruzioni scalari, isolando la differenza di prestazione al mix di operazioni e ai pattern di accesso alla memoria delle topologie stesse.

Modelli e Benchmark: La valutazione utilizza due sistemi di benchmark: l'oscillatore di Duffing (residuo additivamente separabile) e l'oscillatore di Van der Pol (residuo multiplamente accoppiato). L'architettura HRPINN utilizza un integratore di Eulero esplicito.
Implementazione: È stato sviluppato un motore di inferenza scalare senza allocazione in C++17. Il motore supporta FP32 e quantizzazione statica post-training (INT16, INT8, INT6, INT4). Sono state testate due varianti KAN: un'implementazione predefinita che ricalca la numerica di PyTorch e una variante ottimizzata che precalcola i reciproci delle differenze tra i nodi (knot-difference reciprocals).
Metriche:
- Latenza: Misurata come tempo mediano per chiamata per il ramo residuo e per lo step completo dell'HRPINN.
- Energia: Misurata tramite un contatore di Coulomb USB inline su una finestra di esecuzione di 120 secondi, calcolando la differenza di energia per step ( $E_{step} = (P_{load} - P_{idle}) / \text{steps/s}$ ).
- Affidabilità: Valutata eseguendo 2.000 step di rollout in loop chiuso da 20 condizioni iniziali. La divergenza è definita come lo step in cui la distanza euclidea tra il rollout quantizzato e il baseline FP32 supera 0,1.
- Attribuzione: L'impatto della quantizzazione è stato isolato quantizzando singolarmente componenti specifiche (pesi, attivazioni, stato o input).

Risultati Chiave
Gli esperimenti hanno confermato tutte e tre le ipotesi:

Latenza (H1): Le KAN sono significativamente più lente degli MLP. Per coppie con accuratezza comparabile, il ramo residuo KAN ha eseguito con una latenza 13,5× e 8,0× superiore rispetto ai rispettivi MLP. Per tutti e quattro i livelli di dimensione con parametri corrispondenti, il rapporto di latenza è variato da 4,7× a 14,5×. Normalizzato per parametro, le KAN hanno impiegato 41–93 ns per parametro rispetto ai 6,2–8,0 ns degli MLP. La variante ottimizzata con i reciproci ha recuperato solo il 6–18% di questa latenza, lasciando un divario sostanziale.
Energia (H2): Il consumo energetico scala direttamente con la latenza. Le coppie KAN hanno consumato 11,3× e 5,6× più energia per step di integrazione rispetto agli MLP (ad esempio, 3,7 µJ contro 0,33 µJ per la coppia più piccola). La differenza di potenza attiva incrementale tra le architetture era indistinguibile da zero, confermando che la penalità energetica è guidata interamente dal tempo di esecuzione piuttosto che da un maggiore assorbimento di potenza per ciclo.
Affidabilità sotto Quantizzazione (H3): Le KAN divergono molto prima degli MLP sotto quantizzazione. In modalità di quantizzazione completa INT8, la KAN Duffing "Very Small" è divergente a una mediana di 6,5 step, mentre l'MLP "Tiny" corrispondente è divergente a 282 step (una differenza di 43×).
- Analisi di Attribuzione: La divergenza è causata principalmente dalla quantizzazione dei pesi, non dal disallineamento degli intervalli dei nodi lato input. Quantizzare solo gli input ha avuto un effetto trascurabile. Tuttavia, la quantizzazione dei pesi ha causato un drastico calo nell'accuratezza della scoperta delle KAN (ad esempio, l' $R^2$ di Duffing scende da 0,90 a -0,10 in INT8), mentre gli MLP sono rimasti stabili. La distribuzione eterogenea dei coefficienti spline delle KAN le rende altamente sensibili alla scalatura per tensore, che comprime in modo sproporzionato i coefficienti piccoli.

Significatività e Conclusioni
L'articolo conclude che l'efficienza dei parametri riportata per le KAN sui residui separabili non si trasferisce al costo di deployment su core embedded scalari. La formulazione B-spline introduce costi di esecuzione e di precisione che compensano il risparmio di parametri.

Guida al Deployment: Per il deployment di HRPINN embedded, il ramo residuo MLP è il default più affidabile, a meno che non venga impiegata una quantizzazione co-progettata.
Limiti dell'Ottimizzazione: L'ingegneria dei kernel classica (ad esempio, lookup table per funzioni trascendenti o reciproci precalcolati) può solo colmare una frazione del divario di latenza. Un kernel scalare completamente ottimizzato rimarrebbe comunque di un ordine di grandezza dietro agli MLP.
Direzioni Future: Gli autori suggeriscono che il lavoro futuro dovrebbe concentrarsi su schemi di quantizzazione co-progettati (ad esempio, scalatura per edge o per canale dei pesi spline) e valutare queste architetture su core capaci di operazioni vettoriali, sebbene la ricorsione "gather-heavy" e ramificata delle KAN sia intrinsecamente più difficile da vettorizzare rispetto ai prodotti tra matrici dense.

Lo studio sottolinea che, sebbene le KAN possano essere difendibili laddove l'impronta di memoria sia il vincolo principale e l'esecuzione rimanga in FP32 o INT16, esse attualmente mancano della robustezza e dell'efficienza necessarie per un deployment generale in sistemi cyber-fisici (CPS) embedded sotto quantizzazione post-training standard.

Articoli simili