Analog Weight Update Rule in Ferroelectric Hafnia, using pico-Joule Programming Pulses

Dit artikel beschrijft de fabricage van CMOS-geïntegreerde ferro-elektrische hafnia/zirconia synapsen met een oppervlakte onder de 100 $\mu$m$^2$, die door hun korte zelfladingstijd energiezuinige 20 ns-programmepulsen (tot 3 pJ) mogelijk maken waarbij de gewichtswaarde uitsluitend door de pulsamplitude wordt bepaald en onafhankelijk is van de initiële geleidbaarheid.

De kern

De "Snelheidsduivel" van de Computer: Hoe een nieuw geheugen de hersenen nabootst

Stel je voor dat je probeert een computer te bouwen die net zo slim en energiezuinig is als een mensenbrein. Het brein is een wonder: het kan enorme hoeveelheden informatie verwerken terwijl het slechts zo'n beetje energie verbruikt als een zwak gloeilampje. Computers daarentegen verbruiken veel stroom en worden heet.

Wetenschappers van de ETH Zürich en IBM hebben een nieuwe manier gevonden om dit probleem op te lossen. Ze hebben een soort "synaps" (de verbinding tussen neuronen) gemaakt die niet alleen onthoudt wat er is gebeurd, maar dat ook doet met een snelheid en energiezuinigheid die voorheen onmogelijk leek.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het probleem: De "Ladingstijd" van de batterij

Stel je voor dat je een emmer water (je computergeheugen) moet vullen met een slang.

• De oude manier: Je gebruikt een dikke slang, maar de emmer is zo groot dat het water er langzaam in stroomt. Het duurt lang voordat de emmer vol is.
• Het nieuwe idee: Ze hebben de emmer heel klein gemaakt (verkleind tot microscopisch formaat). Nu stroomt het water er razendsnel in.

In de wereld van computerspraken gebruiken ze een speciaal materiaal genaamd Hafnia (een soort keramiek). Dit materiaal kan zijn elektrische eigenschappen veranderen als je er een spanningspuls op geeft. Dit is hoe ze informatie opslaan.

Het probleem was echter: als je te snel probeert te schrijven, "stikt" de stroom. De elektronen hebben tijd nodig om de kleine schakelaars te bereiken. Dit noemen ze de zelf-ladingstijd. Als je sneller probeert te schrijven dan deze tijd, werkt het niet meer goed.

2. De oplossing: Kleinere emmers, snellere lading

De onderzoekers hebben hun "emmers" (de elektronische schakelaars) zo klein gemaakt dat ze kleiner zijn dan een menselijk haar (minder dan 100 vierkante micrometer).

Door ze zo klein te maken, verdwijnt de vertraging bijna volledig.

• Het resultaat: Ze kunnen nu een puls sturen die slechts 20 nanoseconden duurt. Dat is 20 miljardste van een seconde.
• De energie: Dit kost zo weinig energie dat het maar 3 picoJoule is. Om dat te vergelijken: dat is ongeveer de energie die een muggenpootje nodig heeft om één keer te trillen.

Het is alsof ze een auto hebben gebouwd die niet alleen 300 km/u rijdt, maar ook nog eens draait op een batterij die net groot genoeg is voor een horloge.

3. De magische regel: "Het doel is wat telt"

Bij het leren van een kunstmatige intelligentie (zoals een robot die leert rijden), moet de computer de "sterkte" van de verbindingen tussen zijn neuronen aanpassen. Dit heet het bijwerken van de "gewicht" (weight).

Vroeger was dit lastig:

• Vraag: "Hoe zwaar is de verbinding nu?"
• Actie: "Oké, hij is 50% zwaar. Ik moet hem naar 55% brengen."
• Probleem: Je moet eerst meten, dan berekenen, dan aanpassen. Dat kost tijd en energie.

De nieuwe ontdekking:
De onderzoekers hebben ontdekt dat bij hun nieuwe, superkleine schakelaars, de beginstand er niet toe doet.

• Het maakt niet uit of de verbinding nu 10% of 90% zwaar is.
• Als je een puls van een bepaalde sterkte (bijvoorbeeld een "rode" puls) geeft, gaat de verbinding altijd naar precies dezelfde nieuwe sterkte.
• Als je een "blauwe" puls geeft, gaat hij naar een andere, vaste plek.

De analogie:
Stel je voor dat je een thermostaat hebt.

• Oude manier: Je kijkt eerst of het 18 of 22 graden is, en draait dan voorzichtig aan de knop tot het 20 graden is.
• Nieuwe manier: Je drukt gewoon op de knop "20 graden". Het maakt niet uit of het nu koud of warm is; de thermostaat springt direct naar 20 graden.

Dit maakt het leren van de computer veel eenvoudiger en sneller. De computer hoeft niet te "nadenken" over de huidige toestand; hij geeft gewoon de opdracht, en het gebeurt.

4. Waarom is dit belangrijk?

Dit is een enorme stap voor de toekomst van technologie:

1. Snelheid: Computers kunnen nu leren in een fractie van de tijd die ze nu nodig hebben.
2. Energie: Omdat het zo weinig energie kost, kunnen we in de toekomst computers maken die op batterijen werken die jaren meegaan, of zelfs op de energie van je lichaam.
3. Compatibiliteit: Ze hebben dit gemaakt met materialen die al gebruikt worden in de chipindustrie (CMOS). Dat betekent dat fabrieken deze nieuwe chips kunnen maken zonder alles van grond af te moeten herbouwen.

Kortom:
De onderzoekers hebben een nieuwe manier gevonden om computers te laten "leren" door ze zo klein te maken dat ze razendsnel kunnen schakelen, en door een slimme regel te vinden waarbij de computer niet hoeft te rekenen, maar gewoon de knop kan indrukken. Het is een stap in de richting van computers die net zo slim en zuinig zijn als onze eigen hersenen.

Technische samenvatting

Probleemstelling

Neuromorfe hardware streeft naar energie-efficiëntie die vergelijkbaar is met het menselijk brein. Ferroelectrische materialen, zoals Hafnia (HfO2), zijn veelbelovende kandidaten voor synaptische gewichten in neurale netwerken vanwege hun niet-vluchtige aard, hoge uithoudingsvermogen en lage energieverbruik. Echter, er zijn twee belangrijke uitdagingen bij het gebruik van ferroelectrische weerstanden voor snelle training:

1. Energieverbruik en Snelheid: Om de trainingskosten te verlagen, moeten programmeerpulsen zo kort mogelijk zijn. Echter, de duur van deze pulsen wordt beperkt door de zelfladingstijd (self-loading time) van de weerstand, veroorzaakt door intrinsieke RC-vertragingen in de schakeling en het apparaat. Als de puls korter is dan deze ladingstijd, kan het ferroelectrische domein niet volledig schakelen, wat leidt tot een instorting van de On/Off-ratio.
2. Gewichtsupdate-regels: Bestaande regels voor het bijwerken van synaptische gewichten zijn vaak ontworpen voor andere technologieën (zoals ReRAM of PCM) of gebruiken trage pulsen. Er ontbreekt een gedetailleerde, experimenteel onderbouwde regel voor ferroelectrische gewichten die werkt met ultra-korte pulsen (nanoseconden) en rekening houdt met de initiële geleidbaarheidstoestand.

Methodologie

De auteurs hebben een nieuwe aanpak ontwikkeld door de fysieke schaal van de apparaten te verkleinen en de materialen te optimaliseren:

• Apparaatfabricage: Er werden ferroelectrische weerstandige gewichten vervaardigd met een Hafnia/Zirconia (HfO2/ZrO2) nanolamelaat structuur. Deze structuur is compatibel met de CMOS Back-End-Of-Line (BEOL) integratie.
• Laterale schaling: De oppervlakte van de apparaten werd lateraal verkleind tot onder de 100 µm² (variërend van 1,4 µm² tot 94 µm²). Dit is cruciaal omdat de zelfladingstijd ($\tau$) afhangt van de apparaatoppervlakte ($A$) en de elektrode-weerstand ($R_{el}$). Door $A$ te verkleinen, daalt de capaciteit en wordt de RC-tijdconstante korter.
• Elektrische Karakterisering:
  • Er werden metingen gedaan bij verschillende temperaturen om de geleidingsmechanismen te bepalen (Ohmisch, Trap-filled limit, Schottky-emissie).
  • Puls-experimenten: Er werden programmeerpulsen van 20 ns toegepast met verschillende amplitude (tot ±3,75 V) op apparaten met verschillende oppervlakten.
  • Gewichtsupdate-analyse: Er werden 300 onafhankelijke "write-read" metingen uitgevoerd met willekeurige pulsamplitudes om het gedrag van het gewicht te modelleren, ongeacht de initiële toestand.
  • Simulatie: De experimentele data werd gebruikt in een Spiking Neural Network (SNN) simulatie voor de MNIST-classificatietaak, gebaseerd op Voltage-Dependent Synaptic Plasticity (VDSP).

Belangrijkste Bijdragen

1. Ultra-snelle programmering door schaling: Het aantonen dat door de laterale schaling van de apparaten onder 100 µm², de zelfladingstijd onder de 20 ns komt. Dit maakt het mogelijk om pulsen van 20 ns te gebruiken zonder verlies van de On/Off-ratio.
2. PicoJoule-efficiëntie: De korte pulsduur resulteert in een extreem laag energieverbruik per puls, met een maximum van 3 picoJoule (pJ).
3. Deterministische Update-regel: De ontdekking dat de uiteindelijke geleidbaarheid (gewicht) uitsluitend wordt bepaald door de amplitude van de puls en onafhankelijk is van de initiële gewichtswaarde. Dit is een fundamenteel verschil met veel andere memristieve systemen waar de verandering vaak afhangt van de huidige toestand.
4. Formulering van een wiskundig model: Het afleiden van een specifieke gewichtsupdate-regel (gebaseerd op een hyperbolische tangens-functie) die de overgang tussen hoge en lage weerstandstoestanden nauwkeurig beschrijft voor deze korte pulsen.

Resultaten

• Snelheid en Energie: Apparaten met een oppervlak van 4 µm² en 94 µm² konden succesvol worden geprogrammeerd met 20 ns-pulsen. De On/Off-ratio bleef stabiel, in tegenstelling tot grotere apparaten (10.000 µm²) waar de ratio met 76% daalde bij 20 ns-pulsen.
• Geleidingsmechanismen: De geleiding in de read-modus is thermisch geactiveerd (Ohmisch), terwijl de programmering wordt gedomineerd door ferroelectrische domeinschakeling. De asymmetrie in de schakeling (LTP vs. LTD) wordt toegeschreven aan de asymmetrische elektroden (TiN boven, WOx onder) en mogelijke ionenbeweging bij hoge spanningen.
• Gewichtsupdate-gedrag:
  • De data toont een S-vormige enveloppe.
  • Binnen deze enveloppe is de geleidbaarheid "agnostic" ten opzichte van de initiële staat: als er voldoende veld wordt aangelegd, bereikt het apparaat altijd dezelfde eindtoestand voor een gegeven spanning.
  • Dit vereenvoudigt de hardware-implementatie: het systeem hoeft de exacte huidige gewichtswaarde niet te meten om een nieuw gewicht te programmeren; alleen de richting (hoger of lager) en de juiste pulsamplitude zijn nodig.
• SNN Prestaties: In simulaties voor de MNIST-taak behaalde het netwerk met deze 20 ns-pulsen een classificatie-accuraatheid van 87,88% (voor 200 output-neuronen). Dit is vergelijkbaar met resultaten verkregen met veel langzamere pulsen, maar met een energiebesparing van drie ordes van grootte tijdens de trainingsfase.

Betekenis en Impact

Dit werk biedt een duidelijk ontwerppad voor hoge-snelheid, energie-efficiënte neuromorfe hardware die volledig compatibel is met CMOS-technologie.

• Schaalbaarheid: Het bewijst dat ferroelectrische materialen niet alleen geschikt zijn voor geheugen, maar ook voor snelle, analoge berekeningen in neurale netwerken.
• Hardware-vereenvoudiging: De ontdekking dat de eindwaarde onafhankelijk is van de startwaarde, elimineert de noodzaak voor complexe circuits die de huidige toestand van het gewicht moeten lezen en compenseren tijdens het trainingsproces. Dit maakt on-chip learning (online learning) veel efficiënter en eenvoudiger te implementeren.
• Energie-efficiëntie: Met een verbruik van slechts enkele picoJoule per update, opent dit de deur voor grootschalige neuromorfe acceleratoren die dicht bij de efficiëntie van biologische systemen komen, wat essentieel is voor de volgende generatie AI-toepassingen.