A 1.6-fJ/Spike Subthreshold Analog Spiking Neuron in 28 nm CMOS

Dit artikel presenteert een energiezuinige analoge spiking-neuron in 28 nm CMOS-technologie die slechts 1,61 fJ per spike verbruikt en, gecombineerd met een gekwantiseerd spiking-neuraal netwerk, een nauwkeurigheid van 82,5% bereikt op de MNIST-dataset, wat de potentie aantoont voor hoogpresterende embedded machine learning-toepassingen.

De kern

Stel je voor dat je hersenen een enorm drukke stad zijn. In deze stad zijn er miljarden kleine boodschappers (neuronen) die boodschappen rondbrengen. Maar in plaats van dat ze de hele dag praten, fluisteren ze alleen als er echt iets belangrijks te melden is. Dit "fluisteren" noemen we een spike (een piek of impuls).

Deze wetenschappelijke paper vertelt het verhaal van een team dat een mini-meesterwerkje heeft gebouwd: een kunstmatige versie van zo'n hersencel, gemaakt in een computerchip, die net zo slim en zuinig is als de echte dingetjes.

Hier is hoe ze dat hebben gedaan, vertaald naar alledaagse taal:

1. Het Probleem: De Energie-dorst van Computers

Vandaag de dag zijn onze smartphones en computers erg goed in het leren van dingen (zoals herkennen van gezichten of tekst), maar ze zijn ook hongerig. Ze verbruiken enorm veel stroom, net als een auto die constant op de toeren blijft staan terwijl hij stilstaat. Voor kleine apparaten (zoals een horloge of een medisch implantaat) is dit een probleem; de batterij zou direct leeg zijn.

De natuur heeft een oplossing: biologische neuronen werken op een manier dat ze alleen energie verbruiken op het moment dat ze een boodschap sturen. De onderzoekers wilden dit principe nabootsen in een computerchip.

2. De Oplossing: Een "Leaky Integrate-and-Fire" Neuron

De onderzoekers hebben een chip ontworpen die een LIF-neuron (Leaky Integrate-and-Fire) noemen. Laten we dit uitleggen met een emmer:

• De Emmer (Membrane): Stel je een emmer voor die een klein gaatje heeft (dat is de "leaky" of lek).
• Het Water (De Boodschappen): Andere neuronen sturen waterdruppels (elektrische stroom) in deze emmer.
• Het Lek: Omdat er een gat in zit, loopt de emmer langzaam leeg als er geen nieuwe druppels komen.
• De Piep (De Spike): Zodra de emmer vol is (een bepaalde drempel bereikt), gebeurt er iets: de emmer tikt een belletje (een "spike" of piek) en wordt direct leeggemaakt om opnieuw te beginnen.

Dit is precies hoe hun chip werkt. Hij wacht tot er genoeg informatie is, geeft dan een kort signaal af, en wast zichzelf schoon voor de volgende boodschap.

3. De Magie: Hoe klein en zuinig is het?

Dit is waar het echt indrukwekkend wordt. De onderzoekers hebben deze emmer gebouwd in de 28 nm-technologie.

• De Maat: 28 nanometer is ongelofelijk klein. Als je een menselijke haar zou leggen naast deze chip, zou die haar uit miljoenen van deze neuronen bestaan. Het is zo klein dat je er 34 vierkante micrometer voor nodig hebt (dat is kleiner dan een stofje dat je met het blote oog ziet).
• De Energie: Normaal gesproken kost het veel energie om zo'n emmer te vullen en te legen. Maar deze chip werkt op een extreem lage spanning (250 millivolt).
  • Vergelijking: Stel je voor dat je een auto moet starten. Normaal heb je een krachtige accu nodig. Deze chip start met een energie die zo klein is dat het lijkt alsof je een muntje laat vallen.
  • Het resultaat: Ze verbruiken slechts 1,61 femtojoule per piek. Dat is een getal met zoveel nullen dat het bijna niet te geloven is. Het is zo zuinig dat het een wereldrecord is voor deze grootte.

4. De Test: Kan het echt leren?

Het bouwen van de chip is één ding, maar kan het ook leren?

• De onderzoekers hebben de chip getest en gemeten hoe snel hij kon "tikken" (tot wel 300.000 keer per seconde!).
• Vervolgens hebben ze een virtuele versie van deze chip gemaakt in software (op een computer) en die gebruikt om een SNN (Spiking Neural Network) te trainen.
• Ze gaven de computer de opdracht om de beroemde MNIST-dataset te herkennen (een lijst met handgeschreven cijfers van 0 tot 9).
• Het resultaat: De computer kon 82,5% van de cijfers correct herkennen, zelfs met een heel lage precisie (4-bit). Dit bewijst dat het ontwerp werkt en dat je er echte AI-taken mee kunt doen.

5. Waarom is dit belangrijk voor de toekomst?

Stel je voor dat je een slim horloge hebt dat 24/7 je gezondheid monitort, of een camera op een drone die jarenlang kan vliegen zonder op te laden.

• Huidige computers: Zouden de batterij in een paar uur leegtrekken.
• Deze nieuwe chip: Kan dagen, weken of zelfs maanden meegaan omdat hij zo zuinig is.

De onderzoekers zeggen: "We hebben de eerste stap gezet." Ze hebben de basissteen (de neuron) gemaakt. In de toekomst willen ze deze stenen gebruiken om hele gebouwen (grote neurale netwerken) te bouwen die perfect werken in kleine, energie-arme apparaten.

Samenvattend

Deze paper gaat over het bouwen van een ultra-kleine, ultra-zuinige kunstmatige hersencel in een computerchip. Ze hebben het zo klein en efficiënt gemaakt dat het net zo werkt als de natuur, maar dan in silicium. Het is een enorme stap richting slimme apparaten die nooit meer een oplader nodig hebben.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "A 1.6-fJ/Spike Subthreshold Analog Spiking Neuron in 28 nm CMOS", geschreven in het Nederlands.

Probleemstelling

De toenemende rekencomplexiteit van deep learning-algoritmen vormt een grote uitdaging voor hardware, met name wat betreft snelheid en geheugenvereisten. Voor energie-beperkte draagbare apparaten en implantaten is het essentieel om zeer efficiënte verwerkingsplatforms te ontwikkelen die de efficiëntie van grotere systemen kunnen nabootsen. Bestaande analoge Leaky Integrate-and-Fire (LIF) neuron-implementaties kampen vaak met een compromis tussen energie-efficiëntie (energie per spike) en het benodigde siliciumoppervlak. Veel bestaande ontwerpen verbruiken te veel energie (in de orde van pJ of enkele fJ) of nemen te veel ruimte in beslag wanneer ze worden geschaald naar geavanceerde technologieknopen, wat hun toepasbaarheid beperkt voor grootschalige Spiking Neural Networks (SNNs) in Edge-AI en biomedische toepassingen. Er is een dringende behoefte aan ultra-lage stroomverbruikende, hoge dichtheid analoge neuron-bouwstenen die kunnen werken bij sub-drempelspanningen (<300 mV).

Methodologie

De auteurs hebben een nieuwe analoge LIF-neuron-architectuur ontworpen, gefabriceerd en gevalideerd met de volgende aanpak:

1. Circuitontwerp (28 nm CMOS):

   • Het ontwerp is gebaseerd op een Leaky Integrate-and-Fire (LIF) model, geïmplementeerd in TSMC 28 nm CMOS-technologie.
   • Sub-drempelbedrijf: De transistoren werken in de sub-drempelregio (weak inversion) bij een voedingsspanning van slechts 250 mV. Dit minimaliseert de stroomverbruik en dynamisch vermogen.
   • Architectuur: Het circuit bestaat uit drie hoofdmodules:
     • Integratieblok: Een stroomspiegel (M1-M2) en een membraancapacitor ($C_{mem}$) die de synaptische stroom integreert.
     • Resetblok: Transistoren (M3-M4) en een capacitor ($C_{res}$) die de membraanspanning resetten na een spike.
     • Spike-generatieblok: Twee achter elkaar geschakelde CMOS-inverters (M5-M8) die een digitale puls genereren wanneer de drempel wordt overschreden.
   • Leakage: De "leaky" eigenschap wordt impliciet gerealiseerd door de sub-drempelbedrijf van de reset-transistoren, wat een dedicated weerstand overbodig maakt en het oppervlak verkleint.
   • Capacitansie: Er wordt gebruik gemaakt van een zeer kleine membraancapaciteit van 3.47 fF om de lading per spike te minimaliseren.

2. Validatie en Karakterisering:

   • Er werden 20 gefabriceerde ASIC-chips getest.
   • De testopstelling gebruikte een Keithley picoammeter voor het genereren van ingangsstromen (picoampère-niveau) en een oscilloscoop voor het meten van de uitgangssignalen.
   • Er werd een co-simulatie-aanpak gebruikt waarbij post-layout simulaties werden vergeleken met gemeten data om de input-stroom nauwkeurig te bepalen.

3. Software Emulatie en Training:

   • Een software-model werd ontwikkeld in PyTorch op basis van de gemeten f-I-krommen (frequentiestroomkarakteristieken) van de hardware.
   • Een Spiking Neural Network (SNN) werd getraind op het MNIST-dataset met behulp van surrogate gradient-technieken (nodig voor backpropagation door niet-differentieerbare spike-functies).
   • Post-Training Quantization (PTQ): Het model werd gekwantiseerd naar 4-bit precisie om de efficiëntie voor embedded toepassingen te evalueren.

Belangrijkste Bijdragen

• Record-efficiëntie: De realisatie van een analoge LIF-neuron met een energieverbruik van slechts 1.61 fJ per spike bij een voedingsspanning van 250 mV.
• Compact ontwerp: Een actief oppervlak van slechts 34 µm², wat aanzienlijk kleiner is dan veel bestaande implementaties in oudere technologieknopen.
• Hoge snelheid: Het vermogen om spiking-frequenties tot 300 kHz te bereiken.
• Eerste 28 nm Analog LIF: Dit is de eerste analoge LIF-neuron in 28 nm CMOS die gelijktijdig ultra-lage energie, klein oppervlak en lage spanning combineert.
• End-to-end validatie: De koppeling van fysieke chip-metingen met een software-model dat succesvol een SNN op MNIST heeft getraind en getest, bewijst de bruikbaarheid voor Edge-AI.

Resultaten

• Energieverbruik: De gemeten energie per spike varieert van ongeveer 3.3 fJ bij lage stromen naar een plateau van gemiddeld 2 fJ/spike, met een minimum van 1.61 fJ/spike bij een input van 1500 pA.
• Frequentie: De spiking-frequentie loopt lineair op van 10 kHz tot 300 kHz naarmate de synaptische input-stroom toeneemt (van 10 pA tot 10.000 pA).
• Oppervlak: Het totale oppervlak per neuron is 34 µm² (layout 5µm x 6µm).
• Software Performance: De gesimuleerde SNN bereikte een testnauwkeurigheid van 82.5% op het MNIST-dataset na 4-bit kwantisatie. Hoewel dit lager is dan state-of-the-art digitale netwerken, demonstreert het dat het hardware-model functioneel is voor real-world taken.
• Vergelijking: In vergelijking met eerdere werken (zoals Indiveri et al. 2006 of Ferreira 2019) toont dit ontwerp een drastische verbetering in energie-dichtheid (fJ vs pJ) en oppervlakte-efficiëntie, zoals zichtbaar in de scatter-plot van energie versus oppervlak (Fig. 14).

Betekenis en Toekomstperspectief

Dit werk markeert een belangrijke stap in de ontwikkeling van Neuromorphic Systems-on-Chip (NeuroSoC). Door de combinatie van geavanceerde technologie (28 nm), sub-drempelbedrijf en een compact ontwerp, biedt het een haalbare oplossing voor energie-beperkte Edge-AI-toepassingen en biomedische implantaten.

De studie benadrukt dat:

1. Het mogelijk is om biologisch plausibele neuronmodellen extreem energie-efficiënt te maken in CMOS.
2. Hardware-aware software-modellen (gebaseerd op gemeten data) essentieel zijn voor het valideren van schaalbaarheid voordat massaproductie plaatsvindt.
3. Er nog ruimte is voor verbetering, met name in de integratie van synapsen (die vaak meer stroom verbruiken dan de neuron zelf) en het gebruik van efficiëntere coderingstechnieken zoals spike-latency of event-based coding in plaats van de gebruikte rate-coding voor de MNIST-experimenten.

Kortom, dit paper levert een nieuw benchmark voor ultra-lage stroomverbruikende, hoge dichtheid analoge neuronen en opent de weg voor grootschalige, energie-efficiënte neuromorfe systemen.