Programmable superconducting neuron with intrinsic in-memory computation and dual-timescale plasticity for ultra-efficient neuromorphic computing

Dit artikel introduceert een programmeerbare Josephson-junctie-neuron die computation, geheugen en plasticiteit in één supergeleidende eenheid verenigt, waardoor ultra-snelle en energie-efficiënte neuromorfe computing met dubbele tijdschaal-plasticiteit mogelijk wordt.

De kern

Stel je voor dat je een computer bouwt die niet werkt zoals een traditionele laptop of smartphone, maar meer lijkt op een menselijk brein. Dat is wat neuromorfische computing doet: het nabootsen van neuronen en synapsen om slimme taken veel efficiënter uit te voeren.

Maar er is een groot probleem: onze huidige computers (die op silicium zijn gebaseerd) verbruiken enorm veel energie en worden erg heet. Ze zijn als een oude, traag lopende olifant die probeert te rennen.

De onderzoekers in dit paper hebben een oplossing bedacht die als een supersnelle, koude bliksemschicht werkt. Ze hebben een nieuw type "supergeleidende" computerchip gemaakt die niet alleen razendsnel is, maar ook slim genoeg om te leren, zonder dat er veel energie voor nodig is.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Probleem: De Energie-olifant

Huidige computers moeten gegevens heen en weer slepen tussen het geheugen (waar de data staat) en de processor (waar de rekenwerk gebeurt). Dit is alsof je een kok bent die elke keer dat hij een snufje peper nodig heeft, de hele keuken uit moet rennen naar de voorraadkast, terugloopt, en dan weer gaat koken. Dat kost tijd en energie.

Daarnaast worden deze computers langzaam heet. Ze kunnen niet oneindig snel worden, want dan smelten ze.

2. De Oplossing: De "Supergeleidende" Bliksem

De onderzoekers gebruiken supergeleidende materialen (materialen die geen weerstand bieden als ze superkoud zijn, net als ijskoud water dat geen wrijving heeft). Hierdoor kunnen elektrische impulsen (de "gedachten" van de computer) zich verplaatsen met de snelheid van licht, zonder warmte te verliezen.

Ze hebben een nieuw chipontwerp gemaakt, genaamd SPINIC. Dit is een soort "superbrein" dat werkt op basis van kleine magnetische vlekjes (fluxen) in plaats van gewone stroompjes.

3. De Magische Neuron: Een Slimme Deur

In een normaal computerchip is een "neuron" (een rekenunit) vaak statisch. Maar in dit nieuwe ontwerp is het neuron als een slimme, zelflerende deur:

• Het is een deur die zelf kan beslissen: De deur (het neuron) luistert naar klopjes (signalen). Als er genoeg klopjes zijn, opent hij en stuurt een signaal door.
• De "Deur" onthoudt zijn eigen instellingen: In oude computers moet je een programmeur zijn om te zeggen hoe zwaar een deur moet zijn. Hier is de deur "programmeerbaar" door simpelweg de stroomsterkte iets aan te passen. Het is alsof je de deur kunt verstellen van "alleen openen voor vrienden" naar "openen voor iedereen", zonder de deur zelf te vervangen.
• Geheugen in de deur: De deur onthoudt zijn eigen instellingen zolang de stroom aan staat. Je hoeft geen aparte geheugenbank te bouwen. De deur is het geheugen.

4. Twee Soorten Leren: Snelle Reflexen en Langdurige Herinneringen

Een echt brein kan twee dingen tegelijk: snel reageren en dingen onthouden. Dit nieuwe chip doet dat ook, met een unieke truc:

• Korte termijn (De snelle reflex): Stel je voor dat je een deur hebt die reageert op hoe snel iemand klopt. Als iemand heel snel klopt (zoals 45 miljard keer per seconde!), reageert de deur anders dan bij langzaam kloppen. Dit helpt het systeem om snel te leren van nieuwe situaties, net als wanneer je even snel moet schrikken.
• Lange termijn (De stevige herinnering): De deur kan ook zijn instellingen voor een lange tijd onthouden (meer dan 10.000 seconden, ofwel dagenlang). Dit zorgt ervoor dat het systeem dingen kan leren die het niet snel vergeet.

5. Waarom is dit zo speciaal?

• Snelheid: Het werkt tot 45 Gigahertz. Dat is alsof je een deur 45 miljard keer per seconde open en dicht kunt doen. Ter vergelijking: je telefoon werkt misschien op 3 of 4 Gigahertz. Dit is dus 10 keer sneller dan de snelste smartphones.
• Energie: Het verbruikt zo weinig energie dat het bijna onvoelbaar is. Terwijl een gewone computer een hele batterij nodig heeft voor een taak, doet dit chipje het met de energie van een muggenstek.
• Efficiëntie: Omdat het geen warmte produceert en geen energie verliest bij het verplaatsen van data, is het de toekomst voor kunstmatige intelligentie die niet de hele wereld moet opwarmen.

Conclusie: De Toekomst van Slimme Computers

Dit onderzoek is als het vinden van de heilige graal voor computers. Ze hebben een manier gevonden om een computer te bouwen die:

1. Bliksemsnel is (zoals een supergeleider).
2. Slim leert (zoals een brein).
3. Zeer zuinig is (zoals een muggenstek).

Het is alsof ze een auto hebben gebouwd die niet op benzine rijdt, maar op de energie van de wind, en die tegelijkertijd sneller is dan een raket. Dit opent de deur voor een nieuwe generatie kunstmatige intelligentie die niet alleen slimmer is, maar ook veel vriendelijker voor ons milieu en onze energievoorziening.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Programmable superconducting neuron with intrinsic in-memory computation and dual-timescale plasticity for ultra-efficient neuromorphic computing", vertaald en samengevat in het Nederlands.

Probleemstelling

De groei van kunstmatige intelligentie (AI) stelt enorme eisen aan de energie-efficiëntie en snelheid van bestaande computerarchitecturen. Traditionele CMOS-chips (op silicium gebaseerd) stuiten op fundamentele beperkingen:

1. Energieverbruik: Zelfs bij event-driven neuromorfe processoren ligt het energieverbruik per synaptische bewerking rond de $10^{-12}$tot$10^{-10}$ Joule, wat tien ordes van grootte hoger is dan het theoretische minimum (Landauer-grens).
2. Snelheid: CMOS-circuits zijn beperkt tot enkele GHz vanwege warmteproblemen en capacitive schakelverliezen.
3. Von Neumann-architectuur: De scheiding tussen geheugen en rekenen veroorzaakt data-overdrachtsverliezen en latentie.
   Er is behoefte aan een nieuwe hardware-generatie die ultra-lage energieverbruik, ultra-snelle dynamiek en leercapaciteit combineert. Supergeleidende circuits (op Josephson-juncties gebaseerd) bieden de potentie voor dit doel, maar ontberen tot nu toe een fundamentele eenheid die programmeerbaarheid, lokaal geheugen en multi-schaal plasticiteit verenigt.

Methodologie

De auteurs introduceren SPINIC (Superconducting Programmable spIking Neuromorphic Integrated Circuit), een nieuw architectonisch concept dat de volgende kerncomponenten combineert:

1. Programmeerbare Leaky Integrate-and-Fire (LIF) Neuron:

   • In plaats van complexe digitale besturing, worden neuronparameters (drukgrens en synaptische gewichten) direct gecodeerd in instelbare bias-stromen (voorstroom) door de Josephson-juncties.
   • De soma (cellichaam) gebruikt een supergeleidende inductor (L) om kwantumflux op te slaan (als membraanpotentiaal) en een weerstand (R) voor lekkage. De tijdsconstante ($\tau \approx L/R$) is instelbaar, wat snelheden tot 45 GHz mogelijk maakt.
   • De drempel voor het afvuren van een impuls is continu instelbaar via externe bias-stromen.

2. Synapsen met Pulse-Count Modulation:

   • Omdat amplitude-modulatie niet werkt in SFQ-circuits (Single Flux Quantum), worden synaptische gewichten gerealiseerd door het aantal pulsen te tellen dat door een enkele input-puls wordt gegenereerd.
   • De synaps bevat een ingebouwde LIF-circuitleg die fungeert als een niet-destructieve lees-unit (NDRO). Een input-puls triggert een feedback-lus die een specifiek aantal output-pulsen genereert, afhankelijk van de ingestelde drempel (het gewicht).

3. In-Memory Computing (CIM):

   • De DC-bias-stromen dienen zowel als besturingsparameters als als persistent geheugen. Omdat de stromen in de supergeleidende toestand niet verdwijnen, hoeven parameters niet te worden opgeslagen in apart geheugen of ververst te worden. Dit elimineert data-movementskosten.

4. Dual-Timescale Plasticiteit:

   • Kortetermijnplasticiteit (STP): Werkt op picoseconde-schaal ($10^{-12}$ s). De frequentie van de input-pulsen beïnvloedt direct de afbraak van de stroom in de lus, waardoor de synaptische respons snel aanpast (bijv. voor temporale adaptatie).
   • Langetermijnplasticiteit (LTP): Werkt op seconden- tot uur-schaal. Door de bias-stromen permanent aan te passen, worden synaptische gewichten stabiel bewaard (testen tonen stabiliteit > $10^4$ seconden).

Belangrijkste Bijdragen

• Eerste geïntegreerde supergeleidende eenheid: Het paper presenteert de eerste supergeleidende neuron die programmeerbaarheid, intrinsiek geheugen en dual-timescale plasticiteit in één circuit verenigt.
• Bias-current programmering: Een innovatieve methode om neurale parameters analoge te programmeren zonder extra digitale controle-circuits, wat de complexiteit en het oppervlak verkleint.
• 4x4 SPINIC Core: De fabricatie en validatie van een 4x4 array van deze neuronen, bewijzend dat schaalbaarheid mogelijk is.
• Dual-plasticiteit implementatie: Het succesvol demonstreren van zowel ultra-snelle (picoseconde) aanpassing als stabiele langetermijnopslag in hetzelfde supergeleidende systeem.

Resultaten

• Snelheid en Energie:
  • De neuronen kunnen werken tot 45 GHz.
  • Het energieverbruik per synaptische bewerking (SOP) is slechts 3,21 fJ (femtojoule). Dit is ongeveer 1000 keer efficiënter dan de beste CMOS-neuromorfe chips.
• Programmeerbaarheid:
  • Het systeem ondersteunt 10 verschillende somatische drempelniveaus en 20 synaptische staten (gewichten).
  • De reconfiguratietijd van het netwerk is in de orde van microseconden (beperkt door de externe stroombronnen, niet door de chip zelf).
• Stabiliteit en Plasticiteit:
  • LTP: Experimentele tests over 20 uur tonen een verwaarloosbare drift ($|DR| < 2\%$) en een variatiecoëfficiënt (CV) die binnen de tolerantie van neuromorfe systemen blijft voor gewichten tot 6.
  • STP: De synaptische gewichten reageren direct op frequentieveranderingen van 35 tot 45 GHz, met een gemiddelde gewichtsreductie van 0,22 per GHz.
• Netwerkprestaties:
  • Testen op datasets (MNIST, Fashion-MNIST, Iris) tonen aan dat het systeem met hoge nauwkeurigheid klasificeert, zelfs met beperkte precisie (4-5 bit).
  • De geschatte piekdoorvoer voor een 32x32 kern is 2.306 GSOPS (Giga Synaptic Operations Per Second).
  • De energie-efficiëntie wordt geschat op 93.184 GSOPS/W (exclusief koeling), wat 144 keer beter is dan CMOS. Zelfs met een extreme koelingsstraf (factor 300) blijft het systeem 311 GSOPS/W halen.

Betekenis en Impact

Dit werk markeert een doorbraak in neuromorfe computing door de kloof tussen de theoretische voordelen van supergeleidende technologie en praktische toepasbaarheid te overbruggen.

• Oplossing voor de "Power Wall": SPINIC biedt een haalbaar pad naar AI-infrastructuur die de energielimieten van CMOS overstijgt, met een energie-efficiëntie die dichter bij de fysieke grenzen ligt.
• Bio-imitatie: Het systeem imiteert niet alleen de snelheid van biologische neuronen, maar ook hun complexe leergedrag (kort- en langetermijngeheugen) op een fysiek elegant en energiezuinig platform.
• Toekomstperspectief: Door de integratie van berekening, geheugen en plasticiteit in één supergeleidende eenheid, opent dit onderzoek de weg voor de volgende generatie ultra-snelle, energie-efficiënte cognitieve hardware, essentieel voor de groeiende vraag naar AI.