⚡ electrical engineering

Ultrafast On-Chip Online Learning via Spline Locality in Kolmogorov-Arnold Networks

Diese Arbeit zeigt auf, dass Kolmogorov-Arnold-Netzwerke (KANs) durch die Nutzung der B-Spline-Lokalität für dünnbesetzte Updates und der inhärenten Robustheit gegenüber Festkommaquantisierung ultraschnelles, modellfreies Online-Lernen auf FPGAs mit Latenzen im Submikrosekundenbereich ermöglichen und dabei konventionelle MLPs in ressourcenbeschränkten Hochfrequenz-Regelsystemen übertreffen.

Ursprüngliche Autoren: Duc Hoang, Aarush Gupta, Philip Harris

Veröffentlicht 2026-06-23

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Duc Hoang, Aarush Gupta, Philip Harris

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Lernen mit Lichtgeschwindigkeit

Stellen Sie sich vor, Sie versuchen, ein Raumschiff zu steuern, das sich so schnell bewegt, dass Sie bereits abgestürzt sind, wenn Sie auch nur einen Bruchteil einer Sekunde warten, um Ihre Instrumente zu überprüfen. Dies ist die Realität für Systeme wie Quantencomputer und Kernfusionsreaktoren. Sie verändern sich so schnell (in Mikrosekunden), dass herkömmliche Computer zu langsam sind.

Normalerweise, wenn ein Computer lernt, sendet er Daten an ein großes „Gehirn“ (wie einen Server oder einen Cloud-Computer), wartet, bis das Gehirn die Mathematik erledigt hat, und schickt dann die Antwort zurück. Bis die Antwort ankommt, hat sich die Situation bereits geändert.

Das Ziel: Die Forscher wollten ein „Gehirn“ bauen, das vollständig im Inneren der Maschine lebt (auf einem Chip) und das in der Lage ist, sofort zu lernen und sich anzupassen, ohne jemals das Gerät zu verlassen.

Der alte Weg vs. der neue Weg

Um dies zu lösen, verglich das Team zwei Arten von Lernmodellen:

Der alte Weg (MLPs – Multi-Layer Perceptrons): Denken Sie an dies wie ein riesiges, dichtes Netz. Um etwas Neues zu lernen, muss das gesamte Netz erschüttert werden und sich neu anordnen. Jeder einzelne Faden im Netz ist mit jedem anderen verbunden.
- Das Problem: Auf einem winzigen Chip mit begrenztem Platz und begrenzter Energie ist der Versuch, dieses ganze Netz zu erschüttern, zu langsam und verbraucht zu viel Energie. Es ist, als würde man versuchen, einen einzelnen losen Faden in einem massiven Wandteppich zu reparieren, indem man das gesamte Geflecht neu verdrahtet. Außerdem wird dieses Netz wackelig und bricht zusammen, wenn man versucht, die Mathematik mit geringer Präzision durchzuführen (so als ob man ein Lineal mit nur großen Markierungen verwendet).
Der neue Weg (KANs – Kolmogorov-Arnold-Networks): Denken Sie an dies wie eine modulare Lego-Wand, die aus flexiblen, dehnbaren Gummibändern (genannt B-Splines) besteht.
- Der magische Trick: Wenn die Wand lernen muss, etwas Neues zu wissen, müssen Sie nicht die ganze Wand berühren. Sie berühren nur die wenigen spezifischen Gummibänder genau dort, wo die Veränderung stattfindet.
- Der Anspruch des Papers: Da die Gummibänder nur ihre unmittelbaren Nachbarn beeinflussen (eine Eigenschaft namens „Lokalität“), muss der Computer nur eine winzige Menge an Mathematik für jede Aktualisierung durchführen. Dies macht ihn unglaublich schnell und effizient.

Warum KANs besser für winzige Chips sind

Das Paper hebt drei Hauptgründe hervor, warum dieser „Lego-Wand“-Ansatz auf Hardware-Chips gewinnt:

Das „spärliche“ Update: Stellen Sie sich vor, Sie malen ein Wandgemälde.
- MLP: Um einen Fleck zu korrigieren, müssen Sie die gesamte Wand neu streichen.
- KAN: Sie streichen nur das winzige Quadrat, an dem der Fleck ist.
- Ergebnis: Das KAN benötigt weit weniger Rechenleistung und Speicher, wodurch es auf kleine Chips (FPGAs) passt, die die schwere Last eines MLPs nicht bewältigen könnten.
Die „stabile“ Mathematik:
- MLP: Wenn Sie versuchen, Mathematik mit einem unpräzisen Lineal (Festkommazahlen) durchzuführen, können die Berechnungen des MLP außer Kontrolle geraten, wie ein Mikrofon, das kreischt, wenn es zu nah an einem Lautsprecher ist.
- KAN: Die Gummibänder halten die Mathematik von Natur aus innerhalb sicherer, vorhersehbarer Grenzen. Selbst mit einem unpräzisen Lineal bleibt das KAN stabil und stürzt nicht ab.
Wachsen, ohne zu brechen:
- MLP: Um das MLP intelligenter zu machen, müssen Sie mehr Fäden in das gesamte Netz einbauen, was es langsamer und schwerer macht.
- KAN: Um das KAN intelligenter zu machen, fügen Sie einfach mehr „Gitterpunkte“ zu den Gummibändern hinzu. Die Menge der benötigten Mathematik pro Update bleibt gleich, aber das Modell wird viel besser im Raten. Es ist, als würde man mehr Sprossen zu einer Leiter hinzufügen, ohne die Leiter schwerer zu machen.

Das Experiment: Die Prüfung bestehen lassen

Die Forscher bauten diese Modelle auf einem FPGA (einer Art Chip, den man jederzeit umprogrammieren kann) und testeten sie in drei Hochgeschwindigkeitsszenarien:

Driftende Sensoren: Stellen Sie sich einen Sensor vor, der seine Kalibrierung im Laufe der Zeit langsam ändert. Das KAN verfolgte die Änderungen sofort, während das MLP verwirrt wurde und den Anschluss verlor.
Quanten-Auslesung: Sie versuchten, den Zustand eines Quantenbits (Qubit) zu lesen, das sehr verrauscht ist und seine Form verändert. Das KAN lernte, es in Echtzeit korrekt zu lesen, während das MLP scheiterte oder enorme Mengen an Energie benötigte.
Robotersteuerung: Sie versuchten, einen Doppelpendel-Roboter (Acrobot) zu steuern, bei dem sich die Gewichte zufällig änderten. Das KAN lernte schnell, ihn im Gleichgewicht zu halten, während das MLP damit zu kämpfen hatte.

Das Fazit

Das Paper behaupten, die Ersten zu sein, die zeigen, dass eine Maschine lernen und sich in weniger als einer Mikrosekunde (einer Millionstel Sekunde) vollständig auf einem Chip anpassen kann, ohne einen Supercomputer zu benötigen.

Durch die Verwendung des „Lego-Wand“-Ansatzes (KANs) anstelle des „dichten Netzes“ (MLPs) erreichten sie:

Geschwindigkeit: Updates erfolgen in unter 100 Nanosekunden.
Effizienz: Sie verwendeten 3- bis 4-mal weniger Hardware-Ressourcen.
Stabilität: Das System stürzte selbst bei der Verwendung vereinfachter Mathematik nicht ab.

Kurz gesagt: Sie haben einen Weg gefunden, KI „on the fly“ lernen zu lassen, also so schnell, dass sie mit den schnellsten physikalischen Systemen im Universum mithalten kann – etwas, das mit Standard-KI-Modellen bisher unmöglich war.

Technische Zusammenfassung: Ultraschnelles On-Chip Online-Lernen mittels Spline-Lokalität in Kolmogorov–Arnold-Netzwerken

1. Problemstellung

Die Arbeit adressiert die kritische Herausforderung des ultraschnellen modellfreien Online-Lernens in Hochfrequenzsystemen, in denen eine Anpassung auf Sub-Mikrosekunden-Ebene erfolgen muss. Solche Anforderungen sind essenziell für Bereiche wie die Steuerung von Quantencomputern, die Diagnostik von Kernfusionsplasmen und die Hochgeschwindigkeitskommunikation.

Aktuelle Ansätze stehen vor erheblichen Engpässen:

Host-Beschleuniger-Latenz: Traditionelle Trainingsschleifen, die Off-Chip-Gradientenberechnung und Parameteraktualisierungen (z. B. via PCIe) beinhalten, sind zu langsam; bis die Parameter zurückkehren, können sich die Betriebsbedingungen des Systems bereits geändert haben.
MLP-Limitierungen: Konventionelle Multi-Layer-Perzeptrone (MLPs) sind ineffizient und numerisch instabil unter den strengen Bedingungen des On-Chip-Trainings:
- Ressourcen-Skalierung: MLPs erfordern dichte Gradienten-Updates über alle Parameter, was zu einem linearen Wachstum der On-Chip-Ressourcen (DSP, LUT, FF) und der Latenz führt, wenn die Modellkapazität steigt.
- Fixed-Point-Instabilität: Reduzierte Präzision (Festkomma-Arithmetik) destabilisiert oft die gradientenbasierte Optimierung in MLPs aufgrund unbegrenzter Aktivierungs- und Gradientenskalierung.
- Speicherbeschränkungen: Das Speichern dichter Aktivierungen und Gewichte für die Backpropagation überschreitet den begrenzten On-Chip-Speicher von FPGAs.

2. Methodik

Die Autoren schlagen vor, Kolmogorov–Arnold-Netzwerke (KANs) als hardware-native Alternative zu MLPs zu nutzen, wobei insbesondere die Lokalität von B-Spline-Basisfunktionen ausgenutzt wird.

Theoretische Motivation:
- Spärliche Updates (Sparse Updates): Im Gegensatz zu MLPs, die alle Gewichte aktualisieren, nutzen KANs B-Splines mit lokaler Unterstützung. Für eine Spline-Ordnung $S$ sind pro Input-Sample nur $S+1$ Koeffizienten aktiv, unabhängig von der gesamten Gittergröße $G$ . Dies führt zu einer Komplexität der pro-Sample-Aktualisierung von $O(S+1)$ statt $O(N)$ , wobei $N$ die Gesamtzahl der Parameter ist.
- Kapazitäts-Skalierung: Eine Erhöhung der Gitterauflösung $G$ verbessert die Approximationsqualität, ohne die aktive Berechnung pro Sample zu erhöhen. Dies entkoppelt die Kapazität von den Rechenkosten.
- Quantisierungs-Robustheit: KAN-Aktivierungen sind konvexe Kombinationen gelernter Koeffizienten, begrenzt durch $\min(W_i) \leq \phi(x) \leq \max(W_i)$ . Analog dazu sind die Gradienten durch die B-Spline-Hülle $[0, 1]$ beschränkt. Diese inhärente Begrenzung verhindert die numerische Instabilität, die bei MLPs durch aggressive Festkomma-Quantisierung häufig auftritt.
Hardware-Implementierung:
- Plattform: Das System wird auf einem AMD Virtex UltraScale+ XCVU13P FPGA implementiert.
- Architektur: Die benutzerdefinierten Kernel werden mittels Vitis HLS mit einer Zieltaktung von 200 MHz synthetisiert.
- KAN-Kernel:
  - Inputs werden auf Gitterzellen-Indizes ( $k$ ) und LUT-Indizes ( $u$ ) abgebildet.
  - Vorberechnete B-Spline-Werte und Ableitungen werden in kleinen ROM-LUTs gespeichert.
  - Forward- und Backward-Passes aktualisieren nur die aktiven Koeffizienten ( $S+1$ ) pro Edge, wodurch globaler Speicherzugriff vermieden wird.
  - Der gesamte Zustand (Parameter, Kontext) befindet sich auf dem Chip (LUT/FF/BRAM); es wird kein externer DRAM verwendet.
- MLP-Baseline: Implementiert dichte Matrixmultiplikationen und globale Gewichts-Updates mit derselben Streaming-Schnittstelle und denselben Festkomma-Beschränkungen für einen fairen Vergleich.

3. Kernbeiträge

Erstes Sub-Mikrosekunden-Modellfreies Online-Lernen: Die Arbeit demonstriert die erste Implementierung von modellfreiem Online-Lernen mit deterministischen Latenzen unter 100 ns (Sub-Mikrosekunde) direkt auf dem Chip.
Hardware-bewusste KAN-Analyse: Sie identifiziert und nutzt die B-Spline-Lokalität, um spärliche Updates zu erreichen, und stellt damit die Wahrnehmung infrage, dass KANs aufgrund rekursiver Evaluation hardware-ineffizient seien.
Fixed-Point-Stabilität: Sie liefert theoretische Beweise und empirische Belege dafür, dass KANs inhärent robust gegenüber Festkomma-Quantisierung sind, was ein stabiles Training ermöglicht, wo MLPs divergieren.
Benutzerdefinierte FPGA-Implementierung: Eine vollständig On-Chip-Trainings-Pipeline (Forward, Backward und Parameter-Update) wird realisiert, wodurch die Engpässe der Host-Beschleuniger-Kommunikation eliminiert werden.

4. Experimentelle Ergebnisse

Die Autoren evaluieren das System anhand von drei vollumfänglichen Online-Benchmarks unter Verwendung von Festkomma-Arithmetik:

Adaptive Funktionsapproximation (Driftende Regression):
- KANs verfolgen Regimewechsel (Concept Drift) mit signifikant geringerem kumulativem Regret als parameter-entsprechende MLPs.
- Unter Festkomma-Quantisierung (2 Integer-Bits) bleiben KANs stabil, während MLPs einen „Präzisionsabgrund“ (Precision Cliff) zeigen und eine viel höhere Bitbreite benötigen, um zu stabilisieren.
Adaptive Single-Shot Qubit-Auslesung:
- In einer nicht-linear separierten, driftenden IQ-Klassifikationsaufgabe halten KANs eine hohe laufende Genauigkeit (>90 %) durch Skalierung der Gittergröße aufrecht.
- MLPs konvergieren nicht oder divergieren unter ähnlichen Festkomma-Beschränkungen, selbst bei erhöhten Parameterzahlen.
Nicht-stationäre Acrobot-Steuerung:
- In einem Reinforcement-Learning-Setting mit randomisierten Dynamiken pro Episode erreicht ein Festkomma-KAN Actor-Critic-Agent das gelöste Regime in ~300 Episoden.
- MLP-basierte Actor-Critic-Agenten können sich nicht anpassen, selbst mit dem 10-fachen Parameterbudget, es sei denn, sie verwenden eine stabilere (aber langsamere) DQN-ähnliche Update-Regel.
Skalierbarkeit:
- KANs erreichen Sub-100-ns Forward- und Backward-Latenzen über verschiedene Aufgaben hinweg.
- Die Ressourcenbelegung (DSP/LUT/FF) skaliert mit der Größe des aktiven Satzes ( $S+1$ ) statt mit der Gesamtzahl der Parameter, was eine Erhöhung der Kapazität über die Gittergröße $G$ bei nahezu konstanter Latenz ermöglicht.
- Die Post-Route-Validierung bestätigt, dass die Designs die Timing-Constraints mit positivem Slack erfüllen und End-to-End-Latenzen weit unter 1 µs erreichen.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass Kolmogorov–Arnold-Netzwerke einzigartig für ultraschnelles On-Chip Online-Lernen geeignet sind, ein Regime, in dem MLPs fundamental Schwierigkeiten haben.

Architektonischer Vorteil: Durch den Ersatz von dichten, interferenzanfälligen Gradienten-Updates durch spärliche, gezielte Koeffizienten-Anpassungen ermöglichen KANs eine vorteilhafte Ressourcen-Skalierung.
Hardware-native Effizienz: Die Arbeit argumentt, dass moderne ML-Stacks für dichte lineare Algebra (GPUs) optimiert sind und dabei die Vorteile des Lernens lokalisierter Basisfunktionen übersehen. Maßgeschneiderte Hardware zur Unterstützung der Spline-Evaluation macht KAN-Inferenz und spärliche Updates „hardware-nativ“.
Auswirkung: Dieser Ansatz ermöglicht eine zuverlässige, modellfreie Anpassung für aufkommende Anwendungen, die Reaktionszeiten im Sub-Mikrosekundenbereich erfordern, wie etwa Quantensteuerung, Plasmasysteme und Hochgeschwindigkeitsnetzwerke, ohne die Latenzstrafen von Host-Beschleuniger-Schleifen.

Die Autoren bleiben bescheiden hinsichtlich der Optimierung und merken an, dass zwar HLS für das Rapid Prototyping verwendet wurde, eine manuelle RTL-Verfeinerung die Effizienz weiter steigern könnte; der Fokus liegt derzeit auf den architektonischen Vorzügen und dem Größenordnen-Vergleich statt auf extrem niedriger, hardware-naher Feinabstimmung.