🌀 nonlinear sciences

Physical Analogue Kolmogorov-Arnold Networks based on Reconfigurable Nonlinear-Processing Units

Diese Arbeit präsentiert eine skalierbare, hardware-native physikalische analoge Kolmogorov-Arnold-Netzwerk-Architektur (aKAN), die rekonfigurierbare nichtlineare Verarbeitungseinheiten (RNPUs) nutzt und im Vergleich zu digitalen Multilayer-Perzeptronen signifikante Reduktionen bei Energie, Latenz und Fläche erreicht, während sie eine präzise Funktionsapproximation für die Edge-Inferenz aufrechterhält.

Ursprüngliche Autoren: Manuel Escudero, Mohamadreza Zolfagharinejad, Sjoerd van den Belt, Nikolaos Alachiotis, Wilfred G. van der Wiel

Veröffentlicht 2026-06-30

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Manuel Escudero, Mohamadreza Zolfagharinejad, Sjoerd van den Belt, Nikolaos Alachiotis, Wilfred G. van der Wiel

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Computer beizubringen, Muster zu erkennen, wie etwa die Unterscheidung zwischen einer Katze und einem Hund oder die Vorhersage des Wetters. Jahrzehntelang war der Standardweg, dies mit „Multilayer Perceptrons“ (MLPs) zu tun. Denken Sie bei einem MLP an eine riesige Fließbandstraße in einer Fabrik. Zuerst erledigt ein riesiges Team von Arbeitern (lineare Schichten) einfache Mathematik – das Addieren und Multiplizieren von Zahlen. Dann schaut ein separater, starrer Aufseher (eine feste Aktivierungsfunktion) auf das Ergebnis und entscheidet: „Okay, das ist ein ‚Ja‘ oder ein ‚Nein‘.“ Das Problem ist, dass diese Fließbandstraße riesig, energiefressend und der Aufseher unfähig ist, etwas anderes zu tun, als jedes Mal exakt dasselbe zu machen, egal welche Aufgabe ansteht.

Das von Ihnen geteilte Paper stellt eine neue, intelligentere Art vor, diese Computer aufzubauen, nämlich Physical Analogue Kolmogorov-Arnold Networks (aKANs). Hier ist die Funktionsweise, einfach erklärt:

1. Die „Intelligente Farbe“ statt der Fließbandstraße

Anstatt einer langen Fließbandstraße, in der zuerst Mathematik stattfindet und dann eine Entscheidung getroffen wird, haben die Autoren ein System entwickelt, bei dem die Mathematik und die Entscheidung gleichzeitig innerhalb des Materials stattfinden.

Sie verwenden winzige Siliziumchips namens Reconfigurable Nonlinear-Processing Units (RNPUs).

Die Analogie: Stellen Sie sich einen Standard-Lichtschalter vor. Er ist entweder AN oder AUS. Stellen Sie sich nun einen „intelligenten Dimmer“ vor, der nicht nur an- oder ausgeht, sondern seine Helligkeit und Farbe ändert, je nachdem, wie fest man den Knopf drückt und wie man einen separaten Regler dreht.
Die Realität: Eine RNPU ist ein mikroskopisch kleiner Siliziumbaustein. Man speist eine Eingangsspannung ein (den „Knopfdruck“), und man kann das Verhalten des Geräts anpassen, indem man die Steuerspannungen (die „Regler“) verändert. Das Gerät transformiert den Strom physisch in eine komplexe, gekrümmte Form direkt im Silizium. Es berechnet die Kurve nicht; es ist die Kurve.

2. Die „Chamäleon“-Kante

In traditionellen Netzwerken sind die „Kanten“ (die Verbindungen zwischen Neuronen) lediglich Träger von Zahlen. In diesem neuen System sind die Kanten Chamäleons.

Die Autoren verbinden mehrere dieser „intelligenten Dimmer“ (RNPUs) zu einem Edge Processor (Kantenprozessor).
Durch das Mischen und Kombinieren dieser Einheiten können sie fast jede mathematische Funktion erzeugen, die sie benötigen. Wenn die Aufgabe eine Wellenlinie erfordert, biegt sich das Silizium zu einer Welle. Wenn sie einen spitzen Peak benötigt, biegt sich das Silizium zu einem Peak.
Dies ist vergleichbar mit einem Bildhauer, der Ton sofort in jede beliebige Form bringen kann, anstatt einer Fabrik, die nur vorgefertigte Ziegel produziert.

3. Warum es eine große Sache ist (Die Energie- und Platzersparnis)

Das Paper hat dieses neue System gegen den alten „Fließbandstraßen“-Stil verglichen.

Das Ergebnis: Um dieselbe Aufgabe zu erledigen (wie das Vorhersagen einer Kurve oder das Sortieren von Daten), verbrauchte das neue System 100-mal weniger Energie und nahm auf einem Computerchip 10-mal weniger Platz ein.
Die Metapher: Wenn der alte Computer ein massiver, benzinverschlingender LKW war, der ein einzelnes Paket liefert, dann ist dieses neue System ein leichtes, elektrisches Fahrrad, das dasselbe Paket liefert. Es erledigt die Aufgabe mit einem Bruchteil des Treibstoffs und des Straßenplatzes.

4. Wie sie es getestet haben

Die Forscher haben dies nicht nur in einer Simulation auf einem Computer durchgeführt; sie haben es tatsächlich mit echten Silizium-Bauteilen gebaut.

Sie trainierten das System mit Software, um die perfekten Einstellungen für die „Regler“ (Steuerspannungen) auf den Siliziumchips zu finden.
Dann testeten sie es auf echter Hardware. Sie nutzten es, um komplexe Kurven (wie Sinuswellen und Bessel-Funktionen) anzupassen und um Daten zu sortieren (wie etwa zu erkennen, ob ein Spiralmuster nach links oder rechts dreht).
Wichtigste Erkenntnis: Obwohl die Siliziumchips leicht unterschiedlich waren (so wie jede Hand ein wenig anders ist), war das System robust. Es konnte immer noch lernen und sich anpassen, was bewies, dass dieser Ansatz des „physischen Computings“ zuverlässig ist.

5. Der „Pruning“-Trick (Beschneidung)

Ein kluges Merkmal, das sie demonstriert haben, ist das Pruning.

Stellen Sie sich vor, Sie haben ein Team von 100 Bildhauern, aber Sie brauchen nur 5, um eine Statue zu fertigen. Das System kann automatisch identifizieren, welche Bildhauer kaum arbeiten, und sie „abschalten“.
Dies macht das Endgerät noch kleiner und effizienter, indem unnötige Teile entfernt werden, ohne die Fähigkeit zur Problemlösung zu verlieren.

Zusammenfassung

Das Paper behauptet, dass wir, indem wir uns von starrer, digitaler Mathematik entfernen und statstattdessen die natürlichen, physikalischen Eigenschaften von Silizium nutzen, um die Hauptarbeit zu leisten, neuronale Netze bauen können, die:

Winzig sind: Viel kleiner als aktuelle Chips.
Effizient sind: Mit einem Bruchteil der Batterieleistung.
Flexibel sind: Die „Kanten“ des Netzwerks können ihre Form ändern, um sich an das spezifische Problem anzupassen, anstatt an einen „Einheitsansatz“ gebunden zu sein.

Dies öffnet die Tür, leistungsstarke KI direkt in kleine, batteriebetriebene Geräte (wie Sensoren oder Wearables) zu integrieren, ohne dass ein riesiges Rechenzentrum für das Denken benötigt wird.

Technisches Resümee: Physikalische analoge Kolmogorov-Arnold-Netzwerke basierend auf rekonfigurierbaren nichtlinearen Verarbeitungseinheiten

Problemstellung
Das moderne Deep Learning stützt sich stark auf Multilayer-Perzeptronen (MLPs), die lineare Matrix-Vektor-Multiplikationen gefolgt von festen nichtlinearen Aktivierungsfunktionen durchführen. Während lineare Operationen in aktueller digitaler und gemischt-signalgestützter Hardware (z. B. GPUs, memristive Crossbars) effizient beschleunigt werden können, stellen die nichtlinearen Aktivierungsfunktionen weiterhin einen Flaschenhals für die hardware-native Implementierung dar. Darüber hinaus steigen die Rechenkosten des Deep Learningings auf einem nicht nachhaltigen Niveau an, und die „Black-Box“-Natur von MLPs begrenzt die Interpretierbarkeit. Kolmogorov-Arnold-Netzwerke (KANs) bieten eine theoretische Alternative, indem sie die Rechenlast von festen Knoten-Aktivierungen hin zu lernbaren nichtlinearen Funktionen auf den Kanten des Netzwerks verlagern. Die effiziente Implementierung dieser lernbaren Nichtlinearitäten in Hardware, ohne auf digitale Approximationen (wie Look-Up-Tables) oder komplexe Schaltungsemulationen zurückzugreifen, bleibt jedoch eine offene Herausforderung.

Methodik
Die Autoren schlagen eine physikalische analoge KAN-Architektur (aKAN) vor, die lernbare Kantenfunktionen direkt in Materie mittels rekonfigurierbarer nichtlinearer Verarbeitungseinheiten (RNPUs) realisiert.

RNPU-Device: Das zentrale Primitiv ist ein mehrpoliges nanoskaliges Silizium-Bauelement (borondotiertes Silizium-Substrat mit acht Elektroden). Durch das Anlegen spezifischer Steuer-Spannungen an seine Elektroden kann die stationäre Ein-Ausgangs-Übertragungskennlinie des Bauteils kontinuierlich angepasst werden, um verschiedene nichtlineare Funktionen zu approximieren.
Edge Processor (EP): Um die Ausdrucksstärke und Präzision zu erhöhen, werden mehrere RNPUs parallel innerhalb eines Edge Processors kombiniert. Der EP summiert die skalierten Ausgänge einzelner RNPUs, um eine komplexe, gelernte univariate Kantenfunktion zu bilden.
Architektur: Das aKAN besteht aus einem rekonfigurierbaren Array von EPs, die über programmierbare Switch-Matrizen miteinander verbunden sind. Eingabelvariablen werden als Spannungen linear kodiert, durch EPs (die als nichtlineare Abbildungen fungieren) verarbeitet und für nachfolgende Schichten reskaliert. Das System umfasst Mixed-Signal-Schnittstellen (DACs, ADCs, Transimpedanzverstärker), um die Steuer-Spannungen und Ausleseströme zu verwalten.
Training und Validierung: Die Autoren verwenden einen hybriden Workflow. Zuerst trainieren sie das Netzwerk in Software unter Verwendung von Surrogatmodellen (datengetriebene MLPs, die auf die experimentellen RNPU-Charakteristika kalibriert sind), um optimale Steuer-Spannungen und Koeffizienten der linearen Kombination zu identifizieren. Diese Parameter werden dann auf die physische Hardware übertragen, um die experimentelle Verifizierung durchzuführen. Aufgrund von Einschränkungen bei der Strommessung (Single-Device-Setup) werden Multi-RNPU-Netzwerke mittels Zeitmultiplexing evaluiert, wobei ein einzelnes physisches Bauteil die trainierten RNPUs sequenziell emuliert.

Wesentliche Beiträge

Hardware-native Nichtlinearität: Die Arbeit demonstriert ein skalierbares physikalisches Rechenprimitiv, bei dem nichtlineare Kantenfunktionen intrinsisch durch abstimmbare Bauteilphysik statt durch digitale Emulation realisiert werden.
Rekonfigurierbare Edge Processor: Die Einführung des EP, der mehrere RNPUs aggregiert, ermöglicht die Approximation komplexer Funktionen (z. B. Bessel-Funktionen), die ein einzelnes Bauteil allein nicht erreichen könnte.
Systemanalysen: Die Autoren liefern einen umfassenden systemseitigen Vergleich zwischen aKANs und digitalen Fixed-Point-MLPs, einschließlich Schätzungen für Energie, Siliziumfläche und Latenz, unter Berücksichtigung des Mixed-Signal-Peripherie-Overheads.
Pruning und Robustheit: Die Studie zeigt, dass aKANs strukturell gepruned werden können (mittels L1-Regularisierung auf die EP-Gains), um die Hardware-Auslastung zu reduzieren, während die Leistung beibehalten wird. Sie zeigt zudem, dass die Architektur robust gegenüber Device-zu-Device-Variabilität ist, da heterogene Kombinationen verschiedener physischer RNPUs die Approximationsgenauigkeit nicht verschlechtern.

Ergebnisse

Funktionsapproximation: Unter Verwendung experimentell kalibrierter Modelle und Hardware-Messungen approximiert das aKAN komplexe Funktionen (Sinuswellen, Bessel-Funktionen $J_0(20x)$ ) mit mittleren quadratischen Fehlerwerten (MSE) von $\sim 10^{-2}$ oder niedriger. Die Leistung skaliert mit der Anzahl der RNPUs pro EP.
Regression und Klassifikation: In Regressionsaufgaben erreichen aKANs eine Leistung, die mit Software-MLP-Baselines (mit ReLU- oder Tanh-Aktivierungen) vergleichbar ist, benötigen jedoch oft weniger trainierbare Parameter. In binären Klassifikationsaufgaben (Moons, Spirals, MAGIC, COD-RNA, Skin Segmentation) erzielen aKANs eine wettbewerbsfähige Genauigkeit, teilweise mit bis zu $\sim 5\times$ weniger Parametern als ReLU-MLPs.
Hardware-Effizienz: Systemseitige Schätzungen für eine repräsentative Arbeitslast ( $e^{\sin(\pi x_1) + x_2^2}$ $e^{s i n (π x_{1}) + x_{2}^{2}}$ ) zeigen:
- Energie: Ungefähr 200 pJ pro Inferenz, was eine Reduktion um >100 $\times$ im Vergleich zu einem digitalen Fixed-Point-MLP bei ähnlichem Fehlerniveau darstellt.
- Fläche: Eine geschätzte Reduktion der Siliziumfläche um >10 $\times$ im Vergleich zur digitalen Baseline.
- Latenz: Eine End-to-End-Inferenzlatenz von etwa 0,6 $\mu$ s.
- Hinweis: Die Autoren geben explizit an, dass der aktuelle Energieverbrauch primär durch die Mixed-Signal-Peripherie (DACs, ADCs, TIAs) und nicht durch den RNPU-Kern selbst dominiert wird.

Bedeutung
Die Arbeit etabliert RNPUs als skalierbare, hardware-native nichtlineare Rechenprimitive. Sie identifiziert analoge KAN-Architekturen als einen realistischen Pfad zu energie-, latenz- und flächeneffizienter Hardware für neuronale Netze, insbesondere für die Edge-Inferenz. Durch die Verlagerung des Design-Paradigmas von der Beschleunigung linearer Algebra hin zur Einbettung expressiver nichtlinearer Abbildungen direkt in das physische Substrat, weist diese Arbeit auf einen Weg zu kompakten, leistungsfähigen Inferenzsystemen hin, bei denen die nichtlineare Berechnung nativ und programmierbar ist. Die Autoren betonen, dass während das aktuelle System durch den Overhead der Peripherie begrenzt ist, ein zukünftiges Co-Design von Bauteilen, Schaltkreisen und Architekturen das Potenzial von „intelligentem Material“ für das neuronale Computing weiter erschließen könnte.