⚡ electrical engineering

Ultrafast On-Chip Online Learning via Spline Locality in Kolmogorov-Arnold Networks

Dit artikel으로 toont aan dat Kolmogorov-Arnold Networks (KANs) ultrasnelle, modelvrije online leerprocessen op FPGA's mogelijk maken met latency-tijden van minder dan een microseconde door gebruik te maken van B-spline-lokaliteit voor ijle updates en een inherente robuustheid tegen fixed-point kwantisatie, waarmee zij conventionele MLP's in hulpbron-beperkte, hoogfrequente controlesystemen overtreffen.

Oorspronkelijke auteurs: Duc Hoang, Aarush Gupta, Philip Harris

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Duc Hoang, Aarush Gupta, Philip Harris

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Leren met de Snelheid van het Licht

Stel je voor dat je een ruimteschip probeert te besturen dat zo snel beweegt dat als je zelfs maar een fractie van een seconde wacht om je instrumenten te controleren, je al gecrasht bent. Dit is de realiteit voor systemen zoals kwantumcomputers en kernfusiereactoren. Ze veranderen zo snel (in microseconden) dat traditionele computers te traag zijn.

Normaal gesproken, wanneer een computer leert, stuurt hij gegevens naar een groot "brein" (zoals een server of een computer in de cloud), wacht op de berekeningen van het brein, en stuurt dan het antwoord terug. Tegen de tijd dat het antwoord arriveert, is de situatie alwevend veranderd.

Het Doel: De onderzoekers wilden een "brein" bouwen dat volledig ín de machine leeft (op een chip) en dat direct kan leren en zich kan aanpassen, zonder het apparaat ooit te verlaten.

De Oude Manier vs. De Nieuwe Manier

Om dit op te lossen, vergeleken het team twee soorten leermodellen:

De Oude Manier (MLP's - Multi-Layer Perceptrons): Denk hierbij aan een gigantisch, dicht web. Om iets nieuws te leren, moet het hele web trillen en zichzelf opnieuw rangschikken. Elke enkele draad in het web is verbonden met elke andere draad.
- Het Probleem: Op een kleine chip met beperkte ruimte en vermogen is het proberen te laten trillen van dit hele web te traag en verbruikt het te veel energie. Het is alsof je probek een enkele losse draad in een enorm wandtapijt te repareren door het hele tapijt te herbedraden. Ook wanneer je de berekeningen uitvoert met beperkte precisie (zoals het gebruik van een liniaal met alleen maar grote streepjes), wordt dit web wankel en breekt het af.
De Nieuwe Manier (KAN's - Kolmogorov-Arnold Networks): Denk hierbij aan een modulaire Lego-muur gemaakt van flexibele, rekbare rubberen banden (genaamd B-splines).
- De Magische Truk: Wanneer de muur iets nieuws moet leren, hoef je niet de hele muur aan te raken. Je raakt alleen de enkele specifieke rubberen banden aan precies daar waar de verandering plaatsvindt.
- De Claim van het Papier: Omdat de rubberen banden alleen hun directe buren beïnvloeden (een eigenschap genaamd "lokaliteit"), hoeft de computer slechts een piepkleine hoeveelheid wiskunde uit te voeren voor elke update. Dit maakt het ongelooflijk snel en efficiënt.

Waarom KAN's Beter zijn voor Kleine Chips

Het papier benadrukt drie hoofdredenen waarom deze "Lego-muur"-aanpak wint op hardwarechips:

De "Sparse" Update: Stel je voor dat je een muurschildering aan het schilderen bent.
- MLP: Om een vlekje te herstellen, moet je de hele muur opnieuw schilderen.
  - KAN: Je schildert alleen het kleine vierkantje waar de vlek zit.
- Resultaat: De KAN gebruikt veel minder rekenkracht en geheugen, waardoor het op kleine chips (FPGA's) past die de zware belasting van de MLP niet aankunnen.
De "Stabiele" Wiskunde:
- MLP: Als je probeert te rekenen met een liniaal met lage precisie (fixed-point getallen), kunnen de berekeningen van de MLP uit de hand lopen, zoals een microfoon die gaat piepen als hij te dicht bij een luidspreker komt.
- KAN: De rubberen banden houden de wiskunde van nature binnen veilige, voorspelbare grenzen. Zelfs met een liniaal met lage precisie blijft de KAN stabiel en crasht hij niet.
Groeien Zonder Breken:
- MLP: Om de MLP slimmer te maken, moet je meer draden aan het hele web toevoegen, wat het langzamer en zwaarder maakt.
- KAN: Om de KAN slimmer te maken, voeg je gewoon meer "gridpunten" toe aan de rubberen banden. De hoeveelheid wiskunde die nodig is voor elke update blijft gelijk, maar het model wordt veel beter in het raden. Het is alsof je meer sporten aan een ladder toevoegt zonder de ladder zwaarder te maken om te beklimmen.

Het Experiment: De Test

De onderzoekers bouwden deze modellen op een FPGA (een type chip dat je on-the-fly kunt herprogrammeren) en testten ze in drie scenario's met hoge snelheid:

Driftende Sensoren: Stel je een sensor voor die langzaam van kalibratie verandert in de loop van de tijd. De KAN volgde de veranderingen direct, terwijl de MLP in de war raakte en de controle verloor.
Kwantumlezing: Ze probeerden de staat van een kwantumbit (qubit) te lezen, die erg ruisig is en van vorm verandert. De KAN leerde dit correct en in real-time te lezen, terwijl de MLP faalde of enorme hoeveelheden stroom nodig had.
3.Robotbesturing: Ze probeerden een dubbele pendel-robot (Acrobot) te besturen waarbij de gewichten willekeurig veranderden. De KAN leerde deze snel in balans te houden, terwijl de MLP moeite had om zich aan te passen.

De Kernboodschap

Het papier claimt de eerste te zijn die laat zien dat een machine kan leren en zich kan aanpassen in minder dan een microseconde (een miljoenste van een seconde) volledig op een chip, zonder een supercomputer nodig te hebben.

Door de "Lego-muur"-aanpak (KAN's) te gebruiken in plaats van de "dichte web"-aanpak (MLP's), bereikten ze:

Snelheid: Updates vinden plaats in minder dan 100 nanoseconden.
Efficiëntie: Ze gebruikten 3 tot 4 keer minder hardwarebronnen.
Stabiliteit: Het systeem crashte niet, zelfs niet bij het gebruik van vereenvoudigde wiskunde.

Kortom, ze hebben een manier gevonden om AI "on the fly" te laten leren, zo snel dat het kan bijhouden met de snelste fysieke systemen in het universum, iets wat voorheen onmogelijk was met standaard AI-modellen.

Technische Samenvatting: Ultrasnelle On-Chip Online Learning via Spline-lokaliteit in Kolmogorov–Arnold Networks

1. Probleemstelling

Het artikel behandelt de kritieke uitdaging van ultrasnelle model-vrije online learning in hoogfrequente systemen waar adaptatie moet plaatsvinden op sub-microseconde tijdschalen. Dergelijke vereisten zijn essentieel voor domeinen zoals quantum computing controle, nucleaire fusie plasma-diagnostiek en hoogwaardige communicatie.

Huidige benaderingen kampen met significante knelpunten:

Host-Accelerator Latentie: Traditionele trainingsloops die gebruikmaken van off-chip gradiëntberekening en parameterupdates (bijv. via PCIe) zijn te traag; tegen de tijd dat parameters terugkeren, kunnen de operationele condities van het systeem alweer gewijzigd zijn.
MLP Beperkingen: Conventionele Multi-Layer Perceptrons (MLPs) zijn inefficiënt en numeriek instabiel onder de strikte beperkingen van on-chip training:
- Resource Schaling: MLPs vereisen dichte gradiëntupdates over alle parameters, wat leidt tot een lineaire groei in on-chip resources (DSP, LUT, FF) en latentie naarmate de modelcapaciteit toeneemt.
- Fixed-Point Instabiliteit: Verminderde precisie (fixed-point rekenkunde) destabiliseert vaak gradiëntgebaseerde optimalisatie in MLPs door ongecontroleerde activatie en gradiëntschaling.
- Geheugenbeperkingen: Het opslaan van dichte activaties en gewichten voor backpropagation overschrijdt het beperkte on-chip geheugen van FPGA's.

2. Methodologie

De auteurs stellen voor om gebruik te maken van Kolmogorov–Arnold Networks (KANs) als een hardware-native alternatief voor MLPs, specifal door de exploitatie van de lokaliteit van B-spline basisfuncties.

Theoretische Motivatie:
- Sparse Updates: In tegenstelling tot MLPs die alle gewichten updaten, maken KANs gebruik van B-splines met lokale ondersteuning. Voor een spline-orde $S$ zijn slechts $S+1$ coëfficiënten actief per inputmonster, ongeacht de totale gridgrootte $G$ . Dit resulteert in een per-monster updatecomplexiteit van $O(S+1)$ in plaats van $O(N)$ , waarbij $N$ het totale aantal parameters is.
- Capaciteit Schaling: Het verhogen van de gridresolutie $G$ verbetert de benaderingskwaliteit zonder de actieve berekening per monster te verhogen. Dit ontkoppelt capaciteit van computationele kosten.
- Quantization Robuustheid: KAN-activaties zijn convexe combinaties van geleerde coëfficiënten, begrensd door $\min(W_i) \leq \phi(x) \leq \max(W_i)$ . Vergelijkbaar hiermee zijn gradiënten begrensd door de B-spline envelop $[0, 1]$ . Deze inherente begrenzing voorkomt de numerieke instabiliteit die gebruikelijk is bij MLPs onder agressieve fixed-point quantisatie.
Hardware Implementatie:
- Platform: Het systeem is geïmplementeerd op een AMD Virtex UltraScale+ XCVU13P FPGA.
- Architectuur: Custom kernels zijn gesynthetiseerd met behulp van Vitis HLS met een doelklok van 200 MHz.
- KAN Kernel:
  - Inputs worden gemapt naar grid cel-indices ( $k$ ) en LUT-indices ( $u$ ).
  - Pre-gecomputeerde B-spline waarden en afgeleiden worden opgeslagen in kleine ROM LUTs.
  - Forward en backward passes updaten alleen de actieve coëfficiënten ( $S+1$ ) per edge, waardoor globale geheugentoegang wordt vermeden.
  - Alle status (parameters, context) bevindt zich on-chip (LUT/FF/BRAM); er wordt geen extern DRAM gebruikt.
- MLP Baseline: Implementeert dichte matrixvermenigvuldigingen en globale gewichtupdates met dezelfde streaming interface en fixed-point restricties voor een eerlijke vergelijking.

3. Belangrijkste Bijdragen

Eerste Sub-Microseconde Model-Vrije Online Learning: Dit werk demonstreert de eerste implementatie van model-vrije online learning met deterministische latenties onder de 100 ns (sub-microseconde) on-chip.
Hardware-Bewuste KAN Analyse: Het identificeert en exploiteert de B-spline lokaliteit om sparse updates te bereiken, waarmee het de perceptie uitdaagt dat KANs hardware-inefficiënt zijn vanwege recursieve evaluatie.
Fixed-Point Stabiliteit: Het biedt theoretische bewijzen en empirisch bewijs dat KANs inherent robuust zijn tegen fixed-point quantisatie, wat stabiele training mogelijk maakt waar MLPs divergeren.
Custom FPGA Implementatie: Een volledig on-chip trainingspipeline (forward, backward, en parameter update) is gerealiseerd, waardoor de host-accelerator communicatie-bottlenecks worden geëlimineerd.

4. Experimentele Resultaten

De auteurs evalueren het systeem op drie volledig online benchmarks met behulp van fixed-point rekenkunde:

Adaptieve Functiebenadering (Drifting Regression):
- KANs volgen regimeveranderingen (concept drift) met aanzienlijk lager cumulatief regret dan parameter-gematchte MLPs.
- Onder fixed-point quantisatie (2 integer bits) blijven KANs stabiel, terwijl MLPs een "precision cliff" vertonen, waarbij veel hogere bitbreedtes nodig zijn om te stabiliseren.
Adaptieve Single-Shot Qubit Readout:
- In een niet-lineair scheidbare, drifting IQ classificatie taak, behouden KANs een hoge lopende nauwkeurigheid (>90%) door schaling van de gridgrootte.
- MLPs falen in convergentie of divergeren onder vergelijkbare fixed-point restricties, zelfs met verhoogde parameter aantallen.
Niet-Stationaire Acrobot Controle:
- In een reinforcement learning setting met gerandomiseerde dynamica per episode, bereikt een fixed-point KAN Actor-Critic agent het opgeloste regime in ~300 episodes.
- MLP-gebaseerde Actor-Critics falen in adaptatie, zelfs met 10x het parameter budget, tenzij ze een stabielere (maar tragere) DQN-stijl update regel gebruiken.
Scalability:
- KANs bereiken sub-100 ns forward en backward latenties over verschillende taken.
- Resourcegebruik (DSP/LUT/FF) schaalt met de actieve set grootte ( $S+1$ ) in plaats van het totaal aantal parameters, wat het mogelijk maakt om capaciteit te verhogen via de gridgrootte $G$ met bijna constante latentie.
- Post-route validatie bevestigt dat ontwerpen voldoen aan de timing restricties met positieve slack, waarbij end-to-end latenties ruim onder 1 µs worden bereikt.

5. Betekenis en Claims

Het artikel claimt dat Kolmogorov–Arnold Networks uniek geschikt zijn voor ultrasnelle on-chip online learning, een regime waarin MLPs fundamenteel worstelen.

Architecturaal Voordeel: Door dichte, interferentie-gevoelige gradiëntupdates te vervangen door sparse, gerichte coëfficiënt aanpassingen, maken KANs gunstige resource schaling mogelijk.
Hardware-Native Efficiëntie: Het werk betoogt dat moderne ML stacks geoptimaliseerd zijn voor dichte lineaire algebra (GPU's), waarbij de voordelen van gelokaliseerde basis-functie learning over het hoofd worden gezien. Custom hardware die spline evaluatie ondersteunt, maakt KAN inferentie en sparse updates "hardware-native".
Impact: Deze aanpak maakt betrouwbare, model-vrije adaptatie mogelijk voor opkomende toepassingen die sub-microseconde responstijden vereisen, zoals quantum controle, plasmasystemen en hoogwaardige netwerken, zonder de latentie-penalties van host-accelerator loops.

De auteurs blijven bescheiden over optimalisatie en merken op dat hoewel High-Level Synthesis (HLS) werd gebruikt voor snelle prototyping, handmatige RTL verfijning de efficiëntie verder zou kunnen verbeteren, en dat de huidige focus ligt op architecturale verdiensten en orde van grootte vergelijkingen in plaats van extreme low-level hardware tuning.