General aspects of internal noise in spiking neural networks

Deze studie toont aan dat multiplicatieve ruis op het membraanpotentiaal de prestaties van spiking neurale netwerken het meest schaadt door neuronale activiteit te onderdrukken, en dat het toepassen van een sigmoidale filter op de input de robuustheid aanzienlijk verbetert.

De kern

De Stille Oorlog in de Digitale Hersenen: Hoe Ruis Spiking Neural Networks Beïnvloedt

Stel je voor dat je een enorm complex computerspel speelt, maar dan niet op een scherm, maar in een fysiek apparaat gemaakt van licht, memristors of andere speciale materialen. Dit is de toekomst van kunstmatige intelligentie: Hardware Neural Networks. In plaats van software die op een processor draait, zijn deze netwerken echte fysieke systemen.

Het probleem? Net als in het echte leven is er in deze fysieke systemen altijd wat "ruis" of "storing". Denk aan trillingen, temperatuurschommelingen of onvolkomenheden in de materialen. In dit onderzoek kijken de auteurs naar hoe deze interne ruis invloed heeft op Spiking Neural Networks (SNN's).

Wat zijn SNN's?
Stel je een gewone computer voor als een machine die constant praat met een stroom van getallen. Een SNN werkt meer als een menselijk brein: het "praat" met piepjes (spikes). Een neuron (een hersencel) is stil, en als het genoeg input krijgt, schiet het een piepje af. De timing en het aantal piepjes bevatten de informatie.

Hieronder leg ik uit wat de onderzoekers hebben ontdekt, met een paar creatieve vergelijkingen.

1. De twee soorten ruis: De Vriend en de Vijand

De onderzoekers keken naar twee soorten ruis die in het systeem kunnen sluipen:

• Additieve ruis: Dit is als een constante achtergrondgeluidje. Het voegt een beetje extra geluid toe aan het signaal, ongeacht hoe hard of zacht het originele geluid is.
• Multiplicatieve ruis: Dit is als een vervormende versterker. Als het signaal hard is, wordt de ruis ook hard. Als het signaal zacht is, is de ruis zacht. Het vermenigvuldigt zich met het signaal.

2. Het gevaar van de "Negatieve Afgrond"

De onderzoekers keken eerst naar één enkele neuron. Ze ontdekten iets verrassends:

• Als je ruis toevoegt aan het signaal (de input), is het niet zo erg. Het is alsof je een beetje roet in je eten doet; het smaakt nog steeds naar eten.
• Maar als je multiplicatieve ruis toevoegt aan de membrane potentiaal (de spanning binnen de cel zelf), is dat rampzalig.

De Analogie:
Stel je een neuron voor als een emmer die water (informatie) moet verzamelen om over te lopen (een piepje te maken).

• Additieve ruis is als een klein lekje in de emmer. Je moet iets meer water toevoegen, maar de emmer vult zich nog steeds.
• Multiplicatieve ruis werkt als een magische kracht die de emmer verkleint of zelfs leegmaakt. Als de spanning in de cel al laag is (bijvoorbeeld door negatieve input), zorgt deze ruis ervoor dat de spanning nog lager wordt, richting een "negatieve afgrond". De cel raakt dan in een staat van "dood": hij kan geen piepjes meer maken, ongeacht hoeveel input hij krijgt.

Dit bleek de grootste vijand voor de prestaties van het netwerk te zijn.

3. De Oplossing: De "Sigmoid-Filter" als Scherm

Hoe los je dit op? De onderzoekers probeerden verschillende manieren om de input te filteren voordat deze de neuronen bereikt.
Ze ontdekten dat een Sigmoid-filter de beste oplossing was.

De Analogie:
Stel je voor dat de input een stroom van auto's is die een tunnel (het neuron) inrijdt. Sommige auto's rijden achteruit (negatieve input), wat de tunnel blokkeert en de "dood" van de tunnel veroorzaakt.
De Sigmoid-filter werkt als een slimme verkeersregelaar die alle auto's die achteruit rijden, omdraait en in de juiste richting stuurt. Hij zorgt ervoor dat alle input positief is.
Door de input strikt positief te houden, kan de "dodelijke" multiplicatieve ruis de cel niet meer naar de negatieve afgrond duwen. Het netwerk wordt hierdoor veel sterker.

4. Wat gebeurt er als de filter er is?

Zodra ze deze filter gebruikten, veranderde het spel:

• De dodelijke multiplicatieve ruis werd onschadelijk.
• De enige echte bedreiging die overbleef, was de additieve ruis in de inputstroom. Maar zelfs deze was niet zo erg: de nauwkeurigheid van het netwerk daalde met minder dan 1%, zelfs bij veel ruis.

Het netwerk bleek dus extreem robuust, zolang je maar zorgde dat de input niet negatief werd.

5. Gemeenschappelijke vs. Individuele Ruis

Tot slot keken ze naar hoe de ruis zich verspreidt over een groep neuronen (een verborgen laag in het netwerk).

• Individuele ruis: Elke neuron krijgt zijn eigen, willekeurige ruis. Dit is als een klaslokaal waar elke leerling een ander geluidje hoort. Dit verstoort de communicatie.
• Gemeenschappelijke ruis: Alle neuronen krijgen exact hetzelfde ruisje. Dit is als een klaslokaal waar iedereen tegelijkertijd een luid geluid hoort (bijvoorbeeld een klap).

De Verrassing:
Het netwerk was veel sterker tegen gemeenschappelijke ruis. Omdat alle neuronen op dezelfde manier worden verstoord, "wissen" ze elkaar uit of blijven ze in harmonie. Het netwerk kan de echte informatie nog steeds onderscheiden van de gemeenschappelijke storing. Het is alsof je in een drukke zaal staat waar iedereen tegelijk praat; je kunt nog steeds je gesprekspartner verstaan omdat hun stem ook even hard is als de achtergrondruis.

Conclusie in het Kort

Dit onderzoek leert ons drie belangrijke dingen voor de toekomst van fysieke AI-chips:

1. Pas op voor negatieve spanningen: Multiplicatieve ruis is het gevaarlijkst omdat het neuronen kan "doden" door ze naar negatieve waarden te duwen.
2. Gebruik een filter: Door de input te filteren zodat deze altijd positief is (met een Sigmoid-functie), maak je het netwerk bijna onkwetsbaar voor de ergste vormen van ruis.
3. SNN's zijn sterk: Zelfs als er veel ruis in het systeem zit, blijven deze netwerken goed werken, vooral als de ruis voor alle neuronen gelijk is.

Kortom: Als we AI-chips in de echte wereld willen bouwen, hoeven we niet bang te zijn voor elke kleine storing, zolang we maar zorgen dat het systeem niet in de "negatieve afgrond" belandt.

Technische samenvatting

Titel: Interne ruis in spikende neurale netwerken (SNN's)

Auteurs: I.D. Kolesnikov, D.A. Maksimov, V.M. Moskvitin, en N. Semenova (Saratov State University, Rusland)

---

1. Probleemstelling

Naarmate kunstmatige neurale netwerken (ANN's) complexer worden, bereiken ze de limieten van bestaande hardware. Een veelbelovende oplossing is de implementatie van neurale netwerken als fysieke systemen (bijv. op basis van lasers, memristoren of spintronische oscillatoren). Deze "hardware-neurale netwerken" bieden enorme snelheids- en energie-efficiëntievoordelen, maar introduceren een nieuw probleem: interne ruis.

In tegenstelling tot digitale systemen, waar ruis voornamelijk via de input binnenkomt, worden fysieke neurale netwerken beïnvloed door diverse interne ruisbronnen met verschillende eigenschappen. Het is cruciaal om te begrijpen welke soorten ruis (additief versus multiplicatief) en op welk stadium van de neurale verwerking (inputstroom, membraanpotentiaal of spike-generatie) de prestaties van Spikende Neurale Netwerken (SNN's) het meest schaden. Dit onderzoek richt zich specifiek op de impact van deze ruis op de nauwkeurigheid en robuustheid van SNN's.

2. Methodologie

De auteurs hebben een tweeledige aanpak gebruikt om de effecten van interne ruis te analyseren:

• Model: Er werd gebruikgemaakt van het Leaky Integrate-and-Fire (LIF) neuronmodel, een standaardmodel voor SNN's vanwege zijn balans tussen biologische relevantie en rekenefficiëntie.
• Ruisconfiguraties: Er werden twee soorten ruis geïntroduceerd:
  • Additieve ruis: Een constante verstoring die wordt opgeteld bij het signaal.
  • Multiplicatieve ruis: Een ruis die het signaal schaalt (vermenigvuldigt).
  • Toepassingspunten: Ruis werd geïntroduceerd op drie niveaus:
    1. De inputstroom ($I_{in}$).
    2. De membraanpotentiaal ($U_{mem}$).
    3. De output-spike ($S$).
• Netwerkopzet: Een getraind SNN werd getest op de MNIST-dataset (handgeschreven cijfers). Het netwerk bestond uit een ingangslaag (784 neuronen), één verborgen laag (20 spikende neuronen) en een uitgangslaag (10 neuronen).
• Variabelen:
  • Unieke (uncommon) ruis: Ruis die per neuron en per tijdstip varieert.
  • Gedeelde (common) ruis: Ruis die identiek is voor alle neuronen in de verborgen laag.
  • Pre-filtering: Er werden strategieën getest om de input te filteren voordat deze de neuronen bereikt, specifiek met een sigmoid (maakt input strikt positief) en een tanh-functie.

3. Belangrijkste Resultaten

A. Gedrag van een enkel neuron

• Positieve input: Bij een puur positieve inputsignaal heeft multiplicatieve ruis op de membraanpotentiaal een significant effect, maar het is minder kritiek dan bij negatieve input.
• Negatieve input: Dit is het kritieke scenario. Multiplicatieve ruis op de membraanpotentiaal ($U_{mem}$) is het meest schadelijk. Omdat de input ook negatief kan zijn, kan deze ruis de membraanpotentiaal naar zeer grote negatieve waarden duwen. Dit leidt tot het "sterven" van het neuron (het neuron stopt met spiken), wat de prestaties drastisch verlaagt.
• Additieve ruis in de inputstroom is bij lage intensiteit minder schadelijk, maar wordt bij hoge intensiteit dominant.

B. Gedrag van het getrainde netwerk (SNN)

• Zonder pre-filtering: Netwerken zonder inputfiltering zijn gevoelig voor multiplicatieve ruis op de membraanpotentiaal, vooral door het risico op negatieve drift en neuronsterven. De nauwkeurigheid daalt aanzienlijk bij hoge ruisintensiteiten.
• Met pre-filtering (Sigmoid): Het toepassen van een sigmoid-pre-filter (die de input naar het strikt positieve domein $[0, 1]$ verschuift) verbetert de robuustheid drastisch.
  • Onder deze omstandigheden wordt additieve ruis in de inputstroom de dominante bron van fouten.
  • Alle andere ruisconfiguraties (inclusief multiplicatieve ruis op de membraanpotentiaal) verminderen de nauwkeurigheid met maximaal 1%, zelfs bij hoge ruisintensiteiten ($D=1$).
• Uniek vs. Gedeelde ruis:
  • SNN's zijn veel robuuster tegen gedeelde (common) ruis dan tegen unieke (uncommon) ruis.
  • Gedeelde ruis veroorzaakt een veel kleinere daling in nauwkeurigheid. Dit suggereert dat SNN's inherent bestand zijn tegen ruis die over het hele netwerk coherent optreedt, waarschijnlijk omdat de relatieve verschillen in spike-aantallen (die de classificatie bepalen) behouden blijven.

4. Kernbijdragen

1. Identificatie van kritieke ruis: Het onderzoek toont aan dat multiplicatieve ruis op de membraanpotentiaal de grootste bedreiging vormt voor SNN-prestaties, voornamelijk vanwege het risico op het "doden" van neuronen door negatieve drift.
2. Effectieve mitigatiestrategie: Het introduceren van een sigmoid-pre-filter op de input van neuronen is een zeer effectieve methode om deze kwetsbaarheid te elimineren. Dit zorgt ervoor dat de membraanpotentiaal niet naar onbeperkt negatieve waarden kan dalen.
3. Robuustheid tegen gedeelde ruis: Het artikel demonstreert dat SNN's van nature goed omgaan met gedeelde ruis, wat een belangrijk inzicht is voor het ontwerp van fysieke hardware-implementaties waar gedeelde ruisbronnen (zoals voedingsspanningsfluctuaties) vaak voorkomen.
4. Praktische richtlijnen: De studie biedt concrete richtlijnen voor het ontwerpen van robuuste hardware-neurale netwerken, waarbij de focus ligt op het beheersen van de inputdynamica en het kiezen van de juiste ruisconfiguraties.

5. Betekenis en Conclusie

Deze studie is van groot belang voor de ontwikkeling van neuromorfe hardware en fysieke neurale netwerken. Het laat zien dat hoewel interne ruis onvermijdelijk is in fysieke systemen, de impact ervan beheersbaar is door slimme architecturale keuzes (zoals pre-filtering).

De conclusie is dat SNN's, mits correct ontworpen (bijvoorbeeld met een positieve inputrange), uitzonderlijk robuust kunnen zijn tegen interne ruis. Dit opent de deur voor de realisatie van energie-efficiënte, snelle en betrouwbare neurale verwerkingssystemen in de echte wereld, zelfs in omstandigheden met significante fysieke ruis.