🌀 nonlinear sciences

Physical Analogue Kolmogorov-Arnold Networks based on Reconfigurable Nonlinear-Processing Units

Dit artikel presenteert een schaalbare, hardware-native fysieke analoge Kolmogorov-Arnold Network (aKAN) architectuur die gebruikmaakt van herconfigureerbare niet-lineaire verwerkingseenheden (RNPUs) en die significante reducties realiseert in energie, latentie en oppervlakte vergeleken met digitale multilayer perceptrons, terwijl de nauwkeurige functiebenadering voor edge-inferentie behouden blijft.

Oorspronkelijke auteurs: Manuel Escudero, Mohamadreza Zolfagharinejad, Sjoerd van den Belt, Nikolaos Alachiotis, Wilfred G. van der Wiel

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Manuel Escudero, Mohamadreza Zolfagharinejad, Sjoerd van den Belt, Nikolaos Alachiotis, Wilfred G. van der Wiel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een computer probeert te leren om patronen te herkennen, zoals het onderscheiden van een kat van een hond of het voorspellen van het weer. Decennialang was de standaardmanier om dit te doen het gebruik van "Multilayer Perceptrons" (MLP's). Denk aan een MLP als een enorme lopende band in een fabriek. Eerst voert een enorm team van arbeiders (lineaire lagen) eenvoudige wiskunde uit—het optellen en vermenigvuldigen van getallen. Vervolgens kijkt een aparte, rigide supervisor (een vaste activatiefunctie) naar het resultaat en beslist: "Oké, dit is een 'ja' of een 'nee'." Het probleem is dat deze lopende band enorm, energieverslindend en de supervisor is vastgelopen in het doen van precies hetzelfde elke keer, ongeacht de klus.

Het papier dat je deelde, introduceert een nieuwe, slimmere manier om deze computers te bouwen met behulp van Physical Analogue Kolmogorov-Arnold Networks (aKANs). Hier is hoe ze werken, eenvoudig uitgelegd:

1. De "Slimme Verf" in plaats van de Lopende Band

In plaats van een lange lopende band waar eerst wiskunde plaatsvindt en daarna een beslissing wordt genomen, hebben de auteurs een systeem gebouwd waarbij de wiskunde en de beslissing tegelijkertijd plaatsvinden, binnen het materiaal zelf.

Ze gebruiken piepkleine silicon chips die Reconfigurable Nonlinear-Processing Units (RNPUs) worden genoemd.

De Analogie: Stel je een standaard lichtschakelaar voor. Die staat ofwel AAN of UIT. Stel je nu een "slimme dimmer" voor die niet alleen aan of uit gaat, maar ook van helderheid en kleur verandert op basis van hoe hard je de knop indrukt en hoe je een aparte draaiknop draait.
De Realiteit: Een RNPU is een microscopisch klein silicon apparaat. Je voert het een invoerspanning (de "knopdruk") en je kunt het gedrag afstemmen door controle-spanningen (de "draaiknop") aan te passen. Het apparaat transformeert de elektriciteit fysiek in een complexe, gebogen vorm direct binnen het silicium. Het berekent de curve niet; het is de curve.

2. De "Kameleon"-rand

In traditionele netwerken dragen de "edges" (de verbindingen tussen neuronen) simpelweg getallen. In dit nieuwe systeem zijn de randen kameleons.

De auteurs verbinden verschillende van deze "slimme dimmers" (RNPUs) om een Edge Processor te vormen.
Door deze eenheden te mengen en te combineren, kunnen ze bijna elke wiskundige functie maken die ze nodig hebben. Als de taak een golvende lijn vereist, buigt het silicium om een golf te maken. Als het een scherpe piek nodig heeft, buigt het silicium om een piek te maken.
Dit is als het hebben van een beeldhouwer die klei direct in elke gewenste vorm kan boetseren, in plaats van een fabriek die alleen vooraf gemaakte bakstenen produceert.

3. Waarom het een Groot Ding is (De Energie- en Ruimtebesparing)

Het papier testte dit nieuwe systeem tegen de oude "lopende band"-stijl computers.

Het Resultaat: Om hetzelfde werk te doen (zoals het voorspellen van een curve of het sorteren van gegevens), gebruikte het nieuwe systeem 100 keer minder energie en nam het 10 keer minder ruimte in beslag op een computerchip.
De Metafoor: Als de oude computer een enorme, brandstofslurpende vrachtwagen was die een enkel pakketje bezorgde, dan is dit nieuwe systeem een lichte, elektrische fiets die hetzelfde pakketje bezorgt. Het krijgt de klus geklaard met een fractie van de brandstof en de wegruimte.

4. Hoe ze het Testten

De onderzoekers hebben dit niet alleen gesimuleerd op een computer; ze hebben het daadwerkelijk gebouwd met echte silicon apparaten.

Ze trainden het systeem met software om de perfecte instellingen te bepalen voor de "draaiknoppen" (controle-spanningen) op de silicon chips.
Daarna testten ze het op echte hardware. Ze gebruikten het om complexe curves aan te passen (zoals sinusgolven en Bessel-functies) en om gegevens te sorteren (zoals te bepalen of een spiraalvormig patroon naar links of rechts draait).
Belangrijkste bevinding: Hoewel de silicon chips iets van elkaar verschilden (zoals hoe elke hand net even anders is), was het systeem robuust. Het kon nog steeds leren en zich aanpassen, wat bewees dat deze aanpak van "fysiek computeren" betrouwbaar is.

5. De "Pruning"-truc

Een slim kenmerk dat ze hebben gedemonstreerd is pruning (snoeien).

Stel je voor dat je een team van 100 beeldhouwers hebt, maar je hebt er slechts 5 nodig om een standbeeld te maken. Het systeem kan automatisch identificeren welke beeldhouwers weinig werk verrichten en hen "uitschakelen".
Dit maakt het uiteindelijke apparaat zelfs kleiner en efficiënter, door de onnodige onderdelen te verwijderen zonder het vermogen te verliezen om het probleem op te lossen.

Samenvatting

Het papier beweert dat door af te stappen van rigide digitale wiskunde en in plaats daarvan de natuurlijke, fysieke eigenschappen van silicium te gebruiken om het zware werk te doen, we neurale netwerken kunnen bouien die:

Klein zijn: Veel kleiner dan huidige chips.
Efficiënt zijn: Gebruikmaken van een fractie van de batterijkracht.
Flexibel zijn: De "edges" van het netwerk kunnen van vorm veranderen om bij het specifieke probleem te passen, in plaats van vast te zitten aan een eenheidsworst-aanpak.

Dit opent de deur naar het direct plaatsen van krachtige AI in kleine, op batterijen werkende apparaten (zoals sensoren of wearables) zonder dat daar een enorm datacenter voor nodig is om het denkwerk te doen.

Technische Samenvatting: Fysieke Analoge Kolmogorov-Arnold-netwerken gebaseerd op Herconfigureerbare Nietlineaire Verwerkingsunits

Probleemstelling
Moderne deep learning leunt zwaar op Multilayer Perceptrons (MLP's), die lineaire matrix-vectorvermenigvuldigingen uitvoeren gevolgd door vaste nietlineaire activatiefuncties. Hoewel lineaire operaties efficiënt versneld kunnen worden in huidige digitale en mixed-signal hardware (bijv. GPU's, memristieve crossbars), blijven de nietlineaire activatiefuncties een bottleneck voor hardware-native implementatie. Bovendien stijgen de computationele kosten van deep learning op een onhoudbare wijze, en beperkt het "black box"-karakter van MLP's de interpreteerbaarheid. Kolmogorov-Arnold-netwerken (KAN's) bieden een theoretisch alternatief door de computationele last te verschuiven van vaste knoopactivaties naar leerbare nietlineaire functies op de netwerkranden (edges). Het efficiënt implementeren van deze leerbare nietlineairiteiten in hardware zonder terug te vallen op digitale benaderingen (zoals Look-Up Tables) of complexe circuit-niveau emulaties, blijft echter een openstaande uitdaging.

Methodologie
De auteurs stellen een fysieke analoge KAN-architectuur (aKAN) voor die leerbare randfuncties direct in materie realiseert met behulp van Herconfigureerbare Nietlineaire Verwerkingsunits (RNPUs).

RNPU-apparaat: De kern-primitive is een multi-terminal nanoschaal silicium apparaat (borium-gedoteerd silicium blok met acht elektroden). Door specifieke besturingsspanningen op de elektroden toe te passen, kan de stationaire input-output overdrachtsfunctie van het apparaat continu worden afgestemd om diverse nietlineaire functies te benaderen.
Edge Processor (EP): Om de expressiviteit en precisie te vergroten, worden meerdere RNPUs parallel gecombineerd binnen een Edge Processor. De EP sommeert de geschaalde outputs van individuele RNPUs om een complexe, geleerde univariate randfunctie te vormen.
Architectuur: De aKAN bestaat uit een herconfigureerbare array van EP's die verbonden zijn via programmeerbare schakelmatrices. Inputvariabelen worden lineair gecodeerd als spanningen, verwerkt door EP's (die fungeren als nietlineaire mappen), en opnieuw geschaald voor opeenvolgende lagen. Het systeem bevat mixed-signal interfacing (DAC's, ADC's, transimpedantieversterkers) om de besturingsspanningen en uitleerstromen te beheren.
Training en Validatie: De auteurs hanteren een hybride workflow. Eerst trainen ze het netwerk in software met behulp van surrogaatmodellen (data-gestuurde MLP's gekalibreerd op experimentele RNPU-karakteristieken) om optimale besturingsspanningen en lineaire combinatiecoëfficiënten te identificeren. Deze parameters worden vervolgens overgedragen naar de fysieke hardware voor experimentele verificatie. Vanwege beperkingen in de stroommeting (single-device setup), worden multi-RNPU netwerken geëvalueerd via tijd-multiplexing, waarbij een enkel fysiek apparaat sequentieel de getrainde RNPUs emuleert.

Belangrijkste Bijdragen

Hardware-Native Nietlineariteit: Het artikel demonstreert een schaalbare fysieke computationele primitive waarbij nietlineaire randfuncties intrinsiek worden gerealiseerd door afstembare device-fysica in plaats van digitale emulatie.
Herconfigureerbare Edge Processors: De introductie van de EP, die meerdere RNPUs aggregeert, maakt het mogelijk om complexe functies (bijv. Bessel-functies) te benaderen die een enkel apparaat alleen niet kan bereiken.
Systeem-niveau Analyse: De auteurs bieden een uitgebreide systeem-niveau vergelijking tussen aKAN's en digitale fixed-point MLP's, inclussief schattingen voor energie, siliciumoppervlakte en latentie, rekening houdend met de mixed-signal periferie overhead.
Pruning en Robuustheid: De studie toont aan dat aKAN's structureel gepruned kunnen worden (via L1-regularisatie op EP-gains) om het hardwaregebruik te verminderen terwijl de prestaties behouden blijven. Het toont ook aan dat de architectuur robuust is tegen device-to-device variabiliteit, aangezien heterogene combinaties van verschillende fysieke RNPUs de benaderingsnauwkeurigheid niet verslechteren.

Resultaten

Functiebenadering: Met behulp van experimenteel gekalibreerde modellen en hardwaremetingen benadert de aKAN succesvol complexe functies (sinusgolven, Bessel-functies $J_0(20x)$ ) met MSE-waarden die $\sim 10^{-2}$ of lager bereiken. Prestaties schalen met het aantal RNPUs per EP.
Regressie en Classificatie: In regressietaken bereiken aKAN's een prestatie die vergelijkbaar is met software MLP-baselines (met ReLU of tanh activaties), terwijl ze vaak minder leerbare parameters vereisen. In binaire classificatietaken (Moons, Spirals, MAGIC, COD-RNA, Skin Segmentation) behalen aKAN's een concurrerende nauwkeurigheid, soms met tot wel $\sim 5\times$ minder parameters dan ReLU-MLP's.
Hardware-efficiëntie: Systeem-niveau schattingen voor een representatieve workload ( $e^{\sin(\pi x_1) + x_2^2}$ $e^{s i n (π x_{1}) + x_{2}^{2}}$ ) geven aan:
- Energie: Ongeveer 200 pJ per inferentie, wat een reductie van >100 $\times$ betekent vergeleken met een digitale fixed-point MLP bij een vergelijkbaar foutniveau.
- Oppervlakte: Een reductie van >10 $\times$ in de geschatte siliciumoppervlakte vergeleken met de digitale baseline.
- Latentie: Een end-to-end inferentie-latentie van ongeveer 0,6 $\mu$ s.
- Noot: De auteurs stellen expliciet dat het huidige energieverbruik wordt gedomineerd door de mixed-signal perifere circuits (DAC's, ADC's, TIA's) in plaats van de RNPU-kern zelf.

Betekenis
Dit artikel vestigt RNPUs als schaalbare, hardware-native nietlineaire computationele primitives. Het identificeert analoge KAN-architecturen als een realistisch pad naar energie-, latentie- en footprint-efficiënte neurale netwerkhardware, met name voor edge-inferentie. Door het ontwerpparadigma te verschuiven van het versnellen van lineaire algebra naar het inbedden van expressieve nietlineaire mappen direct in het fysieke substraat, suggereert dit werk een route naar compacte, laagvermogen inferentie waarbij nietlineaire computatie inherent en programmeerbaar is. De auteurs benadrukken dat hoewel het huidige systeem beperkt wordt door de perifere overhead, toekomstige co-design van apparaten, circuits en architecturen het potentieel van "intelligente materie" voor neurale computing verder kan ontsluiten.