💻 computer science

Hardware-Software Co-Design of Scalable, Energy-Efficient Analog Recurrent Computations

Dit artikel presenteert een hardware-software co-design-aanpak met behulp van Bistable Memory Recurrent Units (BMRU's) om barrières bij de accumulatie van ruis te overwinnen, waardoor schaalbare analoge recurrente neurale netwerken met extreem laag stroomverbruik mogelijk worden voor altijd-aan AI-toepassingen die inferentie onder het microwatt-niveau realiseren met een hoge-fideliteit overeenkomst tussen schakeling en software.

Oorspronkelijke auteurs: Arthur Fyon, Julien Brandoit, Loris Mendolia, Damien Ernst, Jean-Michel Redouté, Guillaume Drion

Gepubliceerd 2026-05-18

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Arthur Fyon, Julien Brandoit, Loris Mendolia, Damien Ernst, Jean-Michel Redouté, Guillaume Drion

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een klein, op batterijen werkend apparaat hebt dat 24/7 naar de wereld moet luisteren – zoals een slimme sensor in een bos of een medisch implantaat in je lichaam. Het probleem is dat batterijen zwaar zijn en vaak vervangen moeten worden. Om deze apparaten jarenlang te laten meegaan, moeten ze bijna geen elektriciteit verbruiken.

Lange tijd dachten ingenieurs dat er een harde limiet was: je kon een apparaat maken dat luistert en reageert (zoals het zeggen van "Ja!") met zeer weinig stroom, maar je kon het niet onthouden over tijd (zoals het begrijpen van een zin) zonder veel energie te gebruiken. Het was alsof je probeerde een huis van zand te bouwen; op het moment dat je probeerde een tweede verdieping toe te voegen (geheugen), zou het hele gebouw instorten onder het gewicht van "ruis" (statische storing en fouten).

Dit artikel presenteert een nieuwe manier om deze apparaten te bouwen met een combinatie van slimme wiskunde en op maat gemaakte elektronica. Hier is hoe ze het deden, eenvoudig uitgelegd:

1. Het Probleem: Het "Zandkasteel" van Geheugen

Stel je een standaard digitale computer voor als een zeer nauwkeurige boekhouder. Hij telt alles perfect, maar het kost veel energie om de getallen te verplaatsen.
Stel je een analoge schakeling voor (het type dat dit artikel gebruikt) als een stromende rivier. Het is ongelooflijk energie-efficiënt, maar als je probeert een bericht stroomafwaarts te sturen en het vervolgens weer stroomopwaarts terug te laten lopen (recurrentie), wordt het water modderig. Het signaal wordt elke keer dat het rondloopt vervormd door "ruis" (zoals een fluistering die verloren gaat in een storm). Uiteindelijk wordt het bericht onbegrijpelijk. Dit is waarom wetenschappers dachten dat je geen geheugengebaseerde AI kon bouwen met ultralage-stroom analoge schakelingen.

2. De Oplossing: De "Bistabiele Schakelaar"

De auteurs vonden een speciaal type wiskundig bouwblok genaamd een Bistabiele Geheugen Recurrente Eenheid (BMRU).

De Analogie: Stel je een lichtschakelaar voor die niet gewoon aan of uit gaat, maar een "plakkerig" midden heeft.
- Als je de schakelaar een beetje duwt, springt hij terug naar waar hij was (en negeert kleine stootjes).
- Alleen als je hem hard duwt, springt hij naar de andere kant en blijft daar staan.
Waarom het helpt: Omdat de schakelaar slechts twee stabiele posities heeft (Aan of Uit), negeert hij het "modderige water" (ruis). Zelfs als het signaal een beetje vervormd raakt op de terugweg, springt de schakelaar gewoon terug naar zijn duidelijke "Aan"- of "Uit"-toestand. Dit voorkomt dat de ruis zich ophoopt.

3. De Magische Truc: Hardware-Software Co-Design

Meestal schrijven software-engineers code, en hardware-engineers bouwen chips om die code te draaien. Ze passen vaak niet perfect bij elkaar.
In dit artikel deed het team Co-Design. Ze schreven niet alleen code en probeerden toen een chip daarvoor te bouwen. In plaats daarvan ontwierpen ze de wiskunde specifiek om te matchen met de fysica van een tiny elektronische schakelaar die ze van scratch bouwden.

Het Resultaat: Elk enkel getal in hun softwaremodel (zoals een gewicht of een drempelwaarde) correspondeert direct met één specifiek fysiek onderdeel van de chip (zoals de breedte van een transistor of een specifieke stroom). Het is alsof je een blauwdruk hebt waarbij elke lijn op papier exact overeenkomt met een baksteen in de muur.

4. De "Eerste Kwart" Oplossing

De wiskunde die ze oorspronkelijk gebruikten, vereiste dat signalen zowel positief als negatief konden gaan (zoals een thermometer die boven en onder nul gaat). Maar hun kleine, lage-stroom chips kunnen alleen positieve signalen verwerken (zoals een waterstroom die alleen vooruit kan gaan).
Ze bedachten een nieuwe versie genaamd de Eerste-Kwart BMRU.

De Analogie: In plaats van een wipplank die op en neer gaat, bouwden ze een systeem dat alleen vooruit beweegt of stil blijft staan. Ze bewezen wiskundig dat dit "eenrichtings" systeem exact dezelfde geheugentaken kan uitvoeren als het "op-en-neer" systeem, gewoon door de wiskunde iets te herschikken. Dit stelde hen in staat om de schakeling te bouwen met alleen eenvoudige, energie-efficiënte onderdelen.

5. Het Bewijs: De "Ja"-Detector

Om te bewijzen dat het werkte, bouwden ze een kleine chip (in een simulatie) die ontworpen was om te luisteren naar het woord "Ja" in een luidruchtige ruimte.

De Chip: Hij bestond uit 768 kleine transistors, allemaal werkend op een stroomniveau dat zo laag is dat het wordt gemeten in nanowatts (miljardsten van een watt).
De Test: Ze voerden de chip door duizenden audiofragmenten.
Het Resultaat: Het gedrag van de chip kwam bijna perfect overeen met de voorspelling van de computertoftware. Het identificeerde het woord "Ja" correct terwijl het minder dan 100 nanowatt stroom gebruikte.
Ruisbestendigheid: Toen ze kunstmatige ruis toevoegden aan de simulatie (het simuleren van een slechte verbinding of een productiefout), bleef de chip werken. Het "plakkerige schakelaar"-ontwerp blokkeerde de ruis succesvol, wat bewijst dat geheugen kan bestaan in ultralage-stroom analoge schakelingen zonder in te storten.

Samenvatting

Het artikel laat zien dat door de wiskunde en de fysieke chip samen te ontwerpen, en door een "plakkerige schakelaar"-mechanisme te gebruiken dat kleine fouten negeert, ze de eerste analoge hersenen hebben gebouwd die dingen over tijd kan onthouden terwijl het bijna geen energie gebruikt. Ze hebben dit aangetoond door een chip te maken die kan luisteren naar een specifiek woord, wat bewijst dat "altijd-aan" AI-apparaten op een dag jarenlang kunnen draaien op een kleine batterij.

Technische Samenvatting: Hardware-Software Co-Design van Schaalbare, Energie-efficiënte Analoge Recurrente Berekeningen

Probleemstelling

Altijd-aan Artificial Intelligence (AI)-toepassingen, zoals omgevings sensoren en biomedische implantaten, vragen om extreem laag stroomverbruik, vaak in het sub-microwatt-bereik. Hoewel analoge schakelingen een weg bieden om deze efficiëntie te bereiken, zijn bestaande analoge implementaties grotendeels beperkt tot feedforward-architecturen. Het uitbreiden hiervan naar recurrente dynamiek is historisch gezien als onpraktisch beschouwd vanwege de accumulatie van analoge ruis door temporale feedbacklussen. Bovendien werken huidige digitale edge AI-oplossingen (bijv. TinyML op microcontrollers) op milliwatt-niveau, wat meerdere ordes van grootte hoger ligt dan wat subdrempel analoge schakelingen theoretisch kunnen bereiken. Er ontbreekt een architectuur die gelijktijdig parallelleerbaarheid, multistabiel geheugen, analoge berekening en sub-microwatt stroomverbruik ondersteunt.

Methodologie

De auteurs stellen een hardware-software co-design-aanpak voor die centraal staat rond Bistabiele Geheugen Recurrente Eenheden (BMRU's), een klasse van Recurrente Neuronale Netwerken (RNN's) gekenmerkt door discreet-waardige uitgangen en hysteretische dynamiek. De methodologie verloopt in drie kernstappen:

Algoritmische Herformulering (Eerste-Kwadrant BMRU):
De standaard BMRU-formulering, die steunt op bipolaire uitgangen en invoer-afhankelijke drempels, is incompatibel met eenvoudige, unipolaire stroom-gestuurde analoge schakelingen. De auteurs herformuleren de BMRU tot een Eerste-Kwadrant (FQ) BMRU. Deze variant werkt uitsluitend met niet-negatieve waarden, waarbij gebruik wordt gemaakt van vaste drempels ( $\beta_{lo}, \beta_{hi}$ ) die tijdens het trainen worden geleerd maar constant blijven tijdens de inferentie. Deze herformulering maakt een directe mapping mogelijk naar single-ended stroom-gestuurde schakelingen zonder de noodzaak van differentieelparen of negatieve voedingsspanningen, terwijl de expressiviteit en trainbaarheid van het oorspronkelijke model behouden blijven.
Schakelimplementatie:
Een op maat gemaakt ultra-low power stroom-gestuurd analoge schakeling is ontworpen vanuit eerste principes om de FQ BMRU te implementeren.
- Stroom-gestuurde Werking: Alle signalen worden weergegeven als stromen, waarbij gebruik wordt gemaakt van de exponentiële I-V-relatie van subdrempel MOS-transistors voor natuurlijke dynamische bereikcompressie en werking op picoampère-niveau.
- Transistor-Alleen Ontwerp: De schakeling elimineert weerstanden, condensatoren en spoelen, waardoor echte monolithische integratie wordt bereikt. De instantane convergentie van de BMRU elimineert de behoefte aan on-chip condensatoren die nodig zijn door traditionele RNN's of State-Space Modellen (SSM's).
- Een-op-Een Mapping: Elke geleerde parameter komt direct overeen met een specifiek schakel-element. Gewichten corresponderen met transistor-breedteverhoudingen in stroom spiegels, terwijl drempels en versterkingen overeenkomen met bias-stromen.
- Bistabiele Cel: De kerncel is een 9-transistor stroom-gestuurde Schmitt-trigger die hysterese implementeert. Deze beschikt over onafhankelijke programmeerbaarheid van het hoge schakelpunt ( $I_{thresh}$ ), de uitgangsamplitude ( $I_{gain}$ ) en de hysterese-breedte ( $I_{width}$ ).
Validatiepijplijn:
Het netwerk wordt volledig in software getraind met behulp van JAX/Flax. De geleerde parameters worden vervolgens gemapt naar transistordimensies en bias-stromen voor inferentie in Cadence Spectre-transistor-niveau simulaties met X-FAB 180 nm CMOS-technologie. Dit hoog-trouw software-model dient als proxy voor de fysieke hardware, waardoor grootschalige ruis- en stroomanalyses mogelijk worden die op transistor-niveau computatief onhaalbaar zouden zijn.

Belangrijkste Bijdragen

Het artikel claimt vier primaire bijdragen:

Een-op-Een Hardware-Software Correspondentie: De FQ BMRU-formulering zorgt ervoor dat elke geleerde parameter correspondeert met één enkel, programmeerbaar schakel-element. Transistor-niveau simulaties bevestigen een bijna perfecte overeenkomst tussen softwarevoorspellingen en schakeldynamiek op elk tussenliggend signaalstadium.
Structurele Ruisimmuniteit: De discreet-waardige uitgangen van de BMRU fungeren als een structurele barrière tegen analoge ruis. Bij elke celgrens onderdrukt de hysteretische drempelstelling de geaccumuleerde analoge ruis met ten minste een factor 20, waardoor de ruisaccumulatiebarrière wordt doorbroken die historisch analoog recurrente werking heeft verhinderd.
Recurrente Werking tegen Lage Marginale Kosten: Stroom-schaalingsanalyse toont aan dat terwijl feedforward-lagen (volledig verbonden) kwadratisch schalen met de statedimensie, de BMRU recurrente lagen lineair schalen. Bijgevolg brengt het toevoegen van temporale verwerkingscapaciteiten aan een analoge feedforward-ruggengraat slechts een kleine, lineair schalende marginale stroomkost met zich mee.
Sub-Microwatt Werking: De RNN-kern van een minimaal proof-of-concept netwerk bereikt ongeveer 100 nW stroomverbruik tijdens continue inferentie, volledig werkend in het subdrempel-regime met klokvrije, continue-tijd dynamiek.

Resultaten

De auteurs valideren hun aanpak via verschillende benchmarks en simulaties:

Sleutelwoorddetectie (KWS): Op de Google Speech Commands dataset (specifiek de taak "yes" versus anderen) bereikt de analoge implementatie 98,08% nauwkeurigheid in software en 96,98% in transistor-niveau simulatie voor een statedimensie van $d=16$ . Voor de minimale $d=4$ configuratie gebruikt voor hardware-validatie, kwamen hardwarevoorspellingen overeen met softwarevoorspellingen in 49 van de 50 testcases, waarbij de enige afwijking optrad bij een beslissingsgrens-gelijkspel.
Ruisrobustheid: Grootschalige ruisanalyse over sMNIST, pMNIST en dKWS-benchmarks toont aan dat de FQ BMRU volledige nauwkeurigheid behoudt bij gemeten analoge ruisniveaus, terwijl lineaire recurrente eenheden (LRU) catastrofaal falen. De FQ BMRU blijft robuust tot ongeveer 2 $\times$ de gemeten analoge ruisgrootte.
Stroomefficiëntie: Bij $d=4$ verbruikt de RNN-kern ~100 nW. Stroomontledingsanalyse toont aan dat naarmate de statedimensie toeneemt, het relatieve stroomaandeel van de recurrente cellen afneemt ten opzichte van de feedforward-lagen, wat de lineaire marginale kost van recurrentie bevestigt.
Generalisatie: De aanpak generaliseert naar meer-klasse cijferherkenning (11 klassen) met concurrerende nauwkeurigheid en verbeterde uitgangs-marge-scheiding, blijvend binnen sub-microwatt schattingen.

Betekenis en Claims

Het artikel claimt de eerste volledig analoge RNN-implementatie te presenteren die structurele ruisimmuniteit combineert met parallelleerbaarheid. Door aan te tonen dat discreet-waardige, hysteretische dynamiek kan worden gemapt naar ultra-low power stroom-gestuurde schakelingen, betogen de auteurs dat de barrière voor analoge recurrentie is overwonnen.

De betekenis van dit werk ligt in het potentieel om altijd-aan edge AI mogelijk te maken met temporale verwerkingscapaciteiten op stroomniveaus die voorheen onbereikbaar waren voor recurrente architecturen. De auteurs stellen dat elk bestaand of toekomstig analoog feedforward-platform, in principe, temporale intelligentie kan verwerven door BMRU-cellen te integreren tegen een minimale extra stroomkost. Deze co-design-aanpak overbrugt de kloof tussen algoritmische eisen voor persistent geheugen en de fysieke beperkingen van subdrempel analoge hardware, en biedt een weg naar energie-efficiënte, continue-tijd inferentie voor toepassingen zoals omgevingsmonitoring en biomedische implantaten.

De auteurs blijven bescheiden wat betreft beperkingen: de resultaten worden momenteel gevalideerd via transistor-niveau simulatie in 180 nm CMOS en wachten op fysieke fabricage. Bovendien, hoewel meer-klasse en complexe benchmarks in software worden geëvalueerd met realistische ruismodellen, is hardware-validatie momenteel gericht op binaire sleutelwoorddetectie.