⚡ elektrotechniek

Physical neural networks with trainable nonlinear connections for continuous control

Dit artikel introduceert een fysieke neurale netwerkarchitectuur die via analoge banddoorlaatfilters trainbare niet-lineaire functies op elke verbinding plaatst, waarbij wordt aangetoond dat deze aanpak met aanzienlijk minder parameters en verbindingen dan traditionele meerlaagse perceptrons taken met hoogwaardige continue controle bereikt, terwijl het tegelijkertijd implementaties in hardware met een ultra-laag vermogen mogelijk maakt.

Oorspronkelijke auteurs: Ian Vidamour, Fernando Aguirre, Thomas Hayward, Matthew Ellis, Charles Swindells, Alexander McDonnell, Martin Trefzer, Finley Robins, Luca Manneschi, Susan Stepney, Anthony Kenyon, Oliver Sutton, Jack

Gepubliceerd 2026-10-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ian Vidamour, Fernando Aguirre, Thomas Hayward, Matthew Ellis, Charles Swindells, Alexander McDonnell, Martin Trefzer, Finley Robins, Luca Manneschi, Susan Stepney, Anthony Kenyon, Oliver Sutton, Jack Gartside, Ivan Tyukin, Adnan Mehonic, Eleni Vasilaki

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van de moderne informatica zijn machines ongelooflijk goed geworden in het herkennen van patronen, van het identificeren van gezichten op foto's tot het vertalen van talen. Deze systemen, bekend als neurale netwerken, worden meestal gebouwd op digitale processors die getallen één voor één verwerken. Echter, een groeiend onderzoeksveld stelt de vraag of we deze denkende machines kunnen bouwen met behulp van de ruwe fysica van elektronische componenten zelf. In plaats van een brein te simuleren op een standaardcomputer, proberen onderzoekers "fysieke neurale netwerken" te creëren waarbij de hardware direct het denken doet. De uitdaging is geweest dat de meeste van deze fysieke systemen gedwongen werden om als hun digitale neven te fungeren, door gebruik te maken van eenvoudige, vaste regels om informatie te verwerken. Dit verspilt vaak de unieke, complexe gedragingen die echte elektronische apparaten van nature bezitten, zoals de manier waarop een specifiek type schakelaar anders reageert afhankelijk van hoe snel een signaal arriveert of hoe sterk het is. De vraag waar wetenschappers voor staan, is of ze kunnen stoppen met het bevechten van deze natuurlijke eigenaardigheden en ze in plaats daarvan kunnen gebruiken als de bouwstenen van intelligentie zelf.

Een team van onderzoekers van universiteiten uit het Verenigd Koninkrijk heeft een gedurfde stap gezet om deze vraag te beantwoorden. Ze ontwikkelden een nieuw type fysiek netwerk waarbij elke enkele verbinding tussen twee punten niet alleen een eenvoudig getal is, maar een trainbare, flexibele functie. Stel je een standaard netwerk voor waarbij de draden tussen knooppunten slechts buizen zijn die geopend of gesloten kunnen worden om meer of minder water door te laten. In dit nieuwe systeem kunnen de buizen zelf van vorm en gedrag veranderen, waarbij ze het water filteren en hervormen terwijl het stroomt. De onderzoekers bouwden deze verbindingen met behulp van analoge elektronische filters, wat circuits zijn die anders reageren op verschillende frequenties van geluid of elektriciteit. Door deze filters te trainen om als het "brein" van de verbinding te fungeren, creëerden ze een systeem waarbij het fysieke apparaat het zware rekenwerk doet, in plaats van alleen een signaal door te geven.

Het team testte deze aanpak op verschillende real-world taken die een vloeiende, continue aanpassing vereisen, zoals het aansturen van de beweging van een robotarm, het balanceren van een paal op een bewegende kar, en het vinden van de meest efficiënte energieopbrengst van een zonnepaneel. In elk geval vergeleken ze hun nieuwe fysieke netwerk met standaard digitale netwerken. De resultaten waren opmerkelijk. Voor taken die te maken hebben met vloeiende, continue bewegingen, bereikte het fysieke netwerk hetzelfde niveau van nauwkeurigheid als het digitale netwerk, maar met veel minder onderdelen. In sommige gevallen gebruikte het fysieke netwerk slechts een fractie van de verbindingen en parameters die het standaard digitale model vereiste. Deze efficiëntie is cruciaal omdat minder verbindingen betekenen dat er minder hardware gebouwd, geprogrammeerd en van stroom voorzien hoeft te worden. Wanneer de onderzoekers projecteerden hoeveel energie een specifieke chip gebouwd met deze technologie zou verbruiken voor een zonnepaneelregelaar, schatten ze dat deze ongeveer 35 microwatt zou gebruiken. Dit is ongeveer twee grootheden minder dan de kleine microcontrollers die momenteel worden gebruikt voor soortgelijke edge-computing taken, wat wijst op een pad naar extreem energiezuinige intelligente apparaten.

Om te waarborgen dat hun bevindingen niet slechts een toevalstreffer waren van één specifiek type circuit, simuleerden de onderzoekers hetzelfde netwerk ook met een ander type elektronisch component genaamd een memristor, die zijn weerstand verandert op basis van zijn geschiedenis. Zelfs met dit totaal andere fysieke materiaal behield het netwerk zijn voordeel ten opzichte van standaard digitale modellen. Dit suggereert dat het voordeel voortkomt uit de architectuur zelf — het gebruik van trainbare, niet-lineaire verbindingen — en niet uit een specifiek type hardware. De onderzoekers demonstreerden ook dat ze het wiskundige model van hun netwerk konden nemen, de instellingen direct naar de fysieke hardware konden vertalen, en dat het direct zou werken zonder dat het systeem op het apparaat zelf opnieuw getraind hoefde te worden. Ze testten deze transfer op meer dan 35.000 individuele verbindingen, en de fysieke hardware kwam met hoge precisie overeen met de gesimuleerde voorspellingen.

Het onderzoek verduidelijkte echter ook waar deze nieuwe aanpak geen goede match voor is. Wanneer de onderzoekers het netwerk testten op taken die betrokken zijn bij het maken van scherpe, binaire beslissingen, zoals het classificeren van afbeeldingen van kleding of het kiezen tussen twee duidelijke acties, vertoonde het fysieke netwerk geen duidelijk voordeel ten opzichte van standaard digitale netwerken. De onderzoekers leggen uit dat dit komt doordat hun systeem is ontworkt om uit te blinken in vloeiende, continue veranderingen, terwijl binaire beslissingen vaak vertrouwen op scherpe grenzen die gemakkelijker door traditionele netwerken kunnen worden gecreëerd. Dit onderscheid is belangrijk: de nieuwe technologie is geen wondermiddel voor elk computervraagstuk, maar eerder een gespecialiseerd hulpmiddel dat uitblinkt wanneer de taak het navigeren door een vloeiend landschap van mogelijkheden inhoudt.

Het werk vertegenwoordigt een significante verschuiving in hoe we denken over het bouwen van intelligente machines. In plaats van te proberen fysieke apparaten te dwingen zich te gedragen als eenvoudige, voorspelbare digitale schakelaars, hebben de onderzoekers aangetoond dat we de complexe, natuurlijke gedragingen van die apparaten kunnen aanwenden om het werk voor ons te doen. Door een leerbare, niet-lineaire functie op elke verbinding te plaatsen, hebben ze de fysieke beperkingen van hardware omgezet in een computationele kracht. Deze aanpak biedt een veelbelovende route naar compacte, energiezuinige netwerken die in staat zijn om de continue, real-world controletaken te beheren die essentieel zijn voor robotica, energiemanagement en autonome systemen. De resultaten suggereren dat de toekomst van efficiënt machine learning wellicht niet ligt in het maken van onze hardware meer zoals onze software, maar in het laten zijn van de hardware zoals die precies is.

Technische Samenvatting: Fysieke Neurale Netwerken met Trainbare Nietlineaire Verbindingen voor Continue Controle

Probleemstelling
Fysieke neurale netwerken (PNN's) beogen machine learning-inferentie direct in hardware uit te voeren met behulp van de intrinsieke fysica van analoge componenten, wat potentieel biedt voor ultra-laag vermogen rekenkracht. Echter, de meeste bestaande PNN-architecturen houden vast aan de conventionele softwarematige aanname dat verbindingen tussen knooppunten worden gerepresenteerd als scalaire gewichten. In dit standaardmodel worden componenten met rijke, intrinsieke nietlineaire respons (bijv. de stroom-spanning-curven van memristoren of de frequentierespons van filters) vaak beperkt tot het louter fungeren als programmeerbare lineaire gewichten of vaste, identieke activatiefuncties. Deze benadering verspilt het computationele potentieel dat inherent is aan de nietlineariteit van de component en vereist vaak een groot aantal fysieke verbindingen en knooppunten om expressiviteit te bereiken, wat de hardwarecomplexiteit en het stroomverbruik verhoogt.

Methodologie
De auteurs stellen een Physical Kolmogorov–Arnold-inspired Network (PhyKAN) voor en implementeren deze, een architectuur die de standaardveronderstelling omdraait door een trainbare nietlineaire functie op elke verbinding (edge) te plaatsen in plaats van een scalaire gewicht.

Architectuur: Geïnspireerd door de Kolmogorov–Arnold-representatiestelling, berekent elke verbinding een leerbare univariate functie. In de primaire implementatie worden deze verbindingen gerealiseerd als banken van instelbare analoge banddoorlaatfilters op Field-Programmable Analogue Arrays (FPAA's).
Codering en Computatie: De input van het netwerk wordt gecodeerd als signaalfrequenties. Elke verbinding bestaat uit een som van parallelle banddoorlaatfiltereenheden (high-pass en low-pass stadia met versterking). De trainbare parameters zijn de hoekfrequenties en de versterkingsfactoren (gains) van deze filters.
Training en Hardwareoverdracht: De netwerken worden getraind met behulp van gradiëntafdaling via een analytisch transferfunctie-model van de analoge filters. Om de kloof tussen simulatie en hardware te overbruggen, maken de auteurs gebruik van een straight-through estimator (STE). Dit maakt optimalisatie mogelijk over continue latente parameters, terwijl tijdens de forward pass wordt afgedwongen dat de waarden discreet en hardwarematig haalbaar zijn (gekwantiseerde hoekfrequenties en versterkingen).
Sparsity (IJlheid): Een regularisatieterm stimuleert sparsity, waardoor filtereenheden die weinig bijdragen aan de respons van de verbinding kunnen worden weggesneden (pruning), wat het effectieve aantal verbindingen vermindert.
Alternatief Substraat: Om te verifiëren dat de architecturale voordelen niet specifiek zijn voor analoge filters, simuleerden de auteurs ook een MemKAN-variant, waarbij de verbindingen worden gerealiseerd met gesimuleerde memristorcircuits met programmeerbare nietlineaire stroom-spanning-karakteristieken.

Belangrijkste Resultaten
De studie evalueert PhyKAN's tegenover standaard Multilayer Perceptrons (MLP's) over verschillende taken, waarbij de focus ligt op parameter-efficiëntie en hardwaregetrouwheid.

Hardwaregetrouwheid: De auteurs hebben de getrainde netwerken succesvol overgezet naar FPAA-hardware. Over ongeveer 35.000 experimenteel gerealiseerde verbindingen kwam 90% overeen met hun gesimuleerde doelwaarden binnen een gemiddde kwadratische fout (MSE) van $7,92 \times 10^{-5}$ .
Continue Controle Taken (Parameter-efficiëntie):
- Zesassige Robotkinematica: Voor zowel voorwaartse als inverse kinematica-controle (geleerd van door actuatoren gecorrumpeerde observaties), bereikten PhyKAN's een lagere MSE dan MLP's met aanzienlijk minder trainbare parameters en fysieke verbindingen, met name in netwerken met twee verborgen lagen.
- Continue Actie Reinforcement Learning (CartPole): In een aangepaste CartPole-taak met continue krachtoutputs losten PhyKAN's de taak op met minder parameters dan MLP's. De PhyKAN's vertoonden stabiele controle, terwijl MLP's vaak hoogfrequente oscillerende gedragingen vertoonden of er niet in slaagden de staaf te stabiliseren onder bepaalde begincondities.
- Fotovoltaïsche Maximum Power Point Tracking (MPPT): PhyKAN's presteerden beter dan MLP's bij het volgen van het punt met maximaal vermogen onder omstandigheden van gedeeltelijke schaduwvorming over alle geteste netwerkformaten (behalve de kleinste). De netwerken toonden een superieur vermogen om lokale maxima in de spanning-vermogenscurve te navigeren met behulp van omgevingsfeedback.
Discrete/Beslissingstaken: Op taken die scherpe beslissingsgrenzen vereisen, zoals Fashion-MNIST classificatie en binaire-actie CartPole, vertoonden PhyKAN's geen consistent voordeel in parameter-efficiëntie ten opzichte van MLP's. De auteurs merken op dat het voordeel van trainbare nietlineaire verbindingen het meest uitgesproken is voor gladde, continu gevormde mappingen.
Memristor Validatie: Gesimuleerde MemKAN's repliceerden de voordelen in parameter-efficiëntie van de filter-gebaseerde PhyKAN's op de drie continue taken, wat de hypothese ondersteunt dat het voordeel voortkomt uit de architectuur (trainbare nietlineaire verbindingen) en niet uit een specifieke fysieke component.
Vermogensprojectie: Gebaseerd op een CMOS-compatibel transconductance-ontwerp, projecteren de auteurs dat een toegewijde hardware-implementatie van de fotovoltaïsche controller ongeveer 35 µW zal verbruiken. Dit is twee orde van grootte lager dan de 0,33–22 mW die typisch wordt verbruikt door microcontrollers die vergelijkbare neurale netwerken draaien.

Betekenis en Claims
Het artikel beweert dat het trainbaar maken van de nietlineariteit van componenten, in plaats van het onderdrukken ervan, een levensvatbare route biedt voor compacte, laagvermogen analoge netwerken voor gladde, continue inferentie- en controletaken.

Architecturale Verschuiving: Het werk demonstreert dat fysieke systemen niet gedwongen moeten worden om softwarematige scalaire gewichten te benaderen. In plaats daarvan kunnen de natuurlijke nietlineaire responsen van componenten dienen als de primaire computationele primitieven.
Taakgeschiktheid: De auteurs identificeren een duidelijke voorwaarde voor het succes van deze architectuur: taken die gladde, continu gevormde mappingen vereisen (bijv. kinematica, continue controle, regressie) profiteren aanzienlijk van de expressieve kracht van individuele verbindingen, wat minder knooppunten en verbindingen mogelijk maakt.
Hardware Levensvatbaarheid: De resultaten tonen aan dat de architecturale voordelen kunnen overleven bij de overdracht van model naar fysieke hardware zonder dat uitgebreide post-deployment finetuning (zoals hardware-in-the-loop reinforcement learning) nodig is, mits de training rekening houdt met de hardware-discretisering.
Laag Vermogen Potentieel: Door het aantal vereiste fysieke verbindingen en knooppunten te verminderen en door gebruik te maken van het natuurlijke laag-stroom analoge regime van componenten (in tegenstelling tot de hoog-stroom lineaire regimes die vaak in memristieve crossbars worden gebruikt), bieden PhyKAN's een veelbelovende strategie voor edge computing-toepassingen waar vermogen een kritieke beperking is.

De auteurs nemen een bescheiden standpunt in door te merken dat hoewel hun aanpak uitblinkt in continue controle, het niet universeel superieur is aan MLP's in discrete classificatie of binaire beslissingstaken, en dat opschaling naar grotere netwerken een meer volledige modellering van parasitaire effecten of post-transfer kalibratie kan vereisen.

Meer zoals dit