Guiding Sparse Neural Networks with Neurobiological Principles to Elicit Biologically Plausible Representations

Dit onderzoek introduceert een biologisch geïnspireerde leerregel die principes zoals sparsiteit, lognormale gewichtsverdelingen en Dale's wet integreert om neurale netwerken robuuster en beter in staat te maken tot generalisatie en few-shot learning te maken.

De kern

Hoe we computers leren denken zoals een menselijk brein

Stel je voor dat je een computer wilt leren een foto van een kat herkennen. De huidige manier waarop we dit doen (diep neurale netwerken) is als een student die een examen haalt door het hele boek uit zijn hoofd te leren, letterlijk woord voor woord. Hij kan de foto van de kat perfect reproduceren, maar als je de foto een beetje verwart, of als je hem slechts één keer een foto van een hond laat zien, raakt hij in paniek. Hij begrijpt niet wat een kat is, hij heeft alleen de details van die ene foto onthouden.

De auteurs van dit paper, Patrick Inoue en zijn collega's, zeggen: "Laten we dat niet doen. Laten we de computer leren zoals ons eigen brein werkt."

Hier is hoe hun nieuwe methode werkt, vertaald naar alledaagse taal:

1. Het probleem: De "Grote Telefoongids"

De huidige computers gebruiken een methode genaamd "Backpropagation". Dit is als een leraar die een leerling corrigeert door van achteren naar voren te kijken en te zeggen: "Je hebt hier een fout gemaakt, pas die ene schakelaar in je hoofd aan."

• Het probleem: In een echt brein gebeurt dit niet. Neuronen (hersencellen) weten niet precies wat er in de volgende laag gebeurt. Ze werken lokaal. Ook is het huidige systeem niet zuinig; het onthoudt alles, wat veel energie kost en niet flexibel maakt.

2. De oplossing: Een "Spaarsame" Brein-Imitatie

De auteurs hebben een nieuwe leerregel bedacht die drie belangrijke regels uit de biologie volgt, zonder dat ze deze handmatig hoeven in te stellen. Het gebeurt vanzelf, net als in een echt brein.

Analogie 1: De Drukte in een Concertzaal (Sparsiteit)

Stel je een concertzaal voor waar duizenden mensen zitten. In een gewone computer zit iedereen te juichen, zelfs als het niet nodig is. Dat is inefficiënt.
In hun nieuwe model geldt de regel: "Alleen wie echt nodig is, mag spreken."

• Hoe het werkt: Als een signaal binnenkomt, worden de meeste neuronen stil. Alleen een klein groepje (ongeveer 10%) wordt actief. Dit is als een concert waar slechts een paar musici spelen in plaats van een heel orkest dat tegelijkertijd luidruchtig is.
• Het voordeel: Omdat er minder "ruis" is, kan de computer beter focussen op de echte kenmerken van een object. Het wordt ook veel moeilijker om de computer te misleiden (zoals bij hackers die een foto manipuleren).

Analogie 2: De Logaritmische Schaal (De Gewichtsdistributie)

In ons brein zijn sommige verbindingen heel sterk, maar de meeste zijn heel zwak. Het is niet zo dat alles even sterk is.

• De analogie: Denk aan een bibliotheek. De meeste boeken zijn zeldzaam en worden zelden geleend (zwakke verbindingen), maar een paar boeken zijn superpopulaire bestsellers (sterke verbindingen).
• Het resultaat: De computer leert automatisch deze verdeling aan. Hij maakt geen "gemiddelde" verbindingen, maar een verdeling die lijkt op een echte berg: veel kleine piekjes en een paar hoge toppen. Dit helpt hem om patronen beter te onthouden zonder alles te vergeten.

Analogie 3: De "Dale's Wet" (Alleen Positieve Signalen)

In de biologie geldt een regel: een neuron is ofwel een "aanmoediger" (excitatorisch) of een "remmer" (inhibitorisch). Het kan niet beide tegelijk zijn.

• De analogie: Stel je een team voor. Iedereen in dit team mag alleen maar "Goed gedaan!" roepen of "Stop!" zeggen. Niemand mag een gemengd signaal geven.
• Het resultaat: De computer gebruikt alleen positieve signalen. Dit maakt het systeem stabieler en voorspelbaarder, net als een goed georganiseerd team.

3. Wat levert dit op? (De Superkrachten)

Door deze biologische regels te volgen, krijgt de computer twee superkrachten die huidige AI mist:

• Minder is meer (Few-Shot Learning):
  Als je een baby een foto van een hond laat zien, kan hij na een paar keer al een hond herkennen, zelfs als het een heel andere hond is. De huidige AI heeft duizenden foto's nodig.
  De nieuwe computer werkt als die baby. Omdat hij niet de exacte foto onthoudt, maar alleen de essentiële kenmerken (de "kern"), kan hij met heel weinig voorbeelden leren. In tests kon hij met slechts één voorbeeld (1-shot) al veel beter presteren dan de traditionele methoden.

• Onwrikbaar tegen hackers (Adversarial Robustness):
  hackers kunnen een foto van een panda manipuleren zodat een computer denkt dat het een gibbon is. Traditionele AI's vallen hier makkelijk voor.
  Omdat de nieuwe computer "spaarsam" is en zich richt op de echte structuur (de "smaak" van het beeld in plaats van de "pixel-perfect" details), is hij veel moeilijker te misleiden. Hij ziet door de truc heen.

4. De Conclusie: Een Natuurlijke Weg

De auteurs zeggen eigenlijk: "We hoeven niet te forceren dat de computer slim wordt door hem duizenden regels op te leggen. Als we hem gewoon laten werken zoals een biologisch brein (met ruimtebesparing, natuurlijke verdelingen en lokale regels), wordt hij vanzelf slimmer, robuuster en energiezuiniger."

Het is alsof je een auto bouwt. De huidige methode is als een auto met een enorme motor die brandstof verbrandt om snel te gaan, maar die vastloopt in de sneeuw. De nieuwe methode is als een hybride auto die slim schakelt, minder brandstof verbruikt en juist in de sneeuw (bij moeilijke, nieuwe situaties) beter blijft rijden.

Kort samengevat: Door computers te laten werken volgens de regels van de natuur, maken we ze niet alleen slimmer, maar ook veerkrachtiger en menselijker in hun manier van leren.

Technische samenvatting

Probleemstelling

Diepe neurale netwerken (DNN's) presteren uitstekend in specifieke taken zoals beeldherkenning, maar missen vaak de vermogens van biologische neurale systemen, zoals:

• Generalisatie: Het vermogen om goed te presteren met weinig voorbeelden (few-shot learning).
• Continu leren: Adaptatie zonder catastrofale vergetelheid.
• Robuustheid: Weerstand tegen adversariale aanvallen.

Deze beperkingen worden vaak toegeschreven aan de standaard trainingsmethode, Backpropagation (BP). BP vereist onbiologische aannames, zoals:

1. Symmetrische gewichten: De "weight transport problem", waarbij de terugwaartse signaaloverdracht exact dezelfde gewichten moet gebruiken als de voorwaartse.
2. Globale foutsignalen: Fouten worden direct doorgegeven aan alle neuronen, wat niet overeenkomt met de lokale plasticiteit in het brein.
3. Moeilijk schalen: BP heeft moeite met het behouden van stabiliteit en efficiëntie in zeer diepe netwerken, vooral onder biologische beperkingen (zoals niet-negativiteit).

Bestaande biologisch geïnspireerde alternatieven (zoals Hebbiaanse plasticiteit) missen vaak discriminatieve leerkracht voor de laatste classificatielaag, of vereisen nog steeds onbiologische terugkoppeling (bijv. via "teacher neurons" of willekeurige feedbackpaden).

Methodologie

De auteurs stellen een nieuwe, geïntegreerde leerregel voor die biologische principes inherent inbouwt zonder deze expliciet te forceren. De methode combineert elementen uit eerdere werk (WP en Hebbiaanse plasticiteit) met nieuwe verfijningen voor schaalbaarheid.

Kerncomponenten van de leerregel:

1. Verborgen lagen (Hidden Layers):

   • Gebruik van competitieve Hebbiaanse plasticiteit met een niet-negativiteitsbeperking (alle synaptische gewichten zijn $\ge 0$).
   • De update-regel (Vergelijking 1) bevordert decorrelatie en drijft het netwerk naar een PCA-achtige (Principal Component Analysis) representatie.
   • Normalisatie: Een magnitude-behoudende Z-score normalisatie wordt toegepast om stabiliteit in diepe netwerken te garanderen zonder de activatiesterkte te verliezen.

2. Classificatielaag (Output Layer):

   • Een hybride aanpak die Hebbiaanse plasticiteit combineert met Weight Perturbation (WP).
   • Hebbiaanse component: Bevordert stabiele convergentie.
   • WP-component: Benadert de gradiëntrichting door willekeurige verstoringen in de gewichten te gebruiken en de verandering in de fout (beloning) te meten. Dit omzeilt de noodzaak voor een terugwaartse pad of symmetrische gewichten.
   • De totale update is een gewogen som van beide componenten (Vergelijking 4).
   • Bias-updates: Een homeostatische regel zorgt voor een evenwichtige activatie over de batch.

3. Biologische principes:

   • Dale's Law: Door het gebruik van uitsluitend excitatoire (niet-negatieve) netwerken wordt Dale's wet (neuronen zijn ofwel excitatoir of inhibitoir) automatisch gerespecteerd.
   • Sparsiteit: De leerregel induceert van nature een hoge mate van sparsiteit (veel gewichten worden 0).
   • Gewichtsverdeling: De verdeling van de gewichten volgt van nature een log-normale verdeling, wat overeenkomt met waarnemingen in biologische cortex.

Belangrijkste Bijdragen

1. Inherent Biologische Eigenschappen: Het model bereikt sparsiteit, log-normale gewichtsverdelingen en naleving van Dale's wet zonder expliciete regularisatie of handmatige constraints, maar puur door het ontwerp van de leerregel.
2. Oplossing voor het Credit Assignment Probleem: Door WP alleen toe te passen op de classificatielaag en Hebbiaanse plasticiteit op de verborgen lagen, wordt het "credit assignment problem" (het toewijzen van fouten aan specifieke synapsen in diepe netwerken) aanzienlijk verminderd.
3. Superieure Robuustheid: Het model toont een aanzienlijk hogere weerstand tegen adversariale aanvallen (FGSM en PGD) dan zowel standaard BP als andere biologisch geïnspireerde methoden.
4. Few-Shot Learning: Het model generaliseert beter dan concurrenten in scenario's met zeer weinig trainingsdata (1-shot, 10-shot).

Resultaten

De methoden werden getest op MNIST en CIFAR-10 en vergeleken met Backpropagation (BP) en de leidende Hebbiaanse feedforward methode van Krotov & Hopfield [23].

• Prestatie op MNIST:
  • De voorgestelde regel presteert iets lager dan BP en de methode van [23] op standaard 1-laags netwerken (ongeveer 94-95% vs 98% voor BP), voornamelijk omdat de WP-component langzamer convergeert dan exacte gradiënten.
  • Echter, bij het toepassen van niet-negativiteit en diepere netwerken (tot 10 lagen), breekt de methode van [23] en BP volledig samen (bijv. BP daalt naar 11% op 10 lagen met niet-negativiteit). De voorgestelde regel behoudt stabiliteit en presteert consistent, met slechts een marginale daling.
• Adversariale Robuustheid:
  • Onder PGD-aanvallen (sterke, iteratieve aanvallen) daalt de nauwkeurigheid van BP en [23] drastisch.
  • Het voorgestelde model behoudt stabiele prestaties tot een verstoring van $\epsilon = 0.1$, wat wijst op een meer gedistribueerde en robuuste codering.
• Few-Shot Learning:
  • In 1-shot scenario's presteert het model aanzienlijk beter dan BP en [23] (45-55% nauwkeurigheid vs 10-20% voor [23]). Dit suggereert dat het model fundamentele structuren leert in plaats van patronen uit het hoofd te leren.
• Gewichtsverdeling:
  • De verdeling van de gewichten in het voorgestelde model past perfect bij een log-normale verdeling en toont ~90% sparsiteit, wat biologisch plausibel is. De methode van [23] toont een bimodale verdeling die minder biologisch plausibel is.

Significantie en Conclusie

Dit onderzoek toont aan dat het integreren van neurobiologische principes (sparsiteit, Dale's wet, log-normale verdelingen) niet ten koste hoeft te gaan van de functionaliteit van neurale netwerken, maar juist leidt tot superieure generalisatie en robuustheid.

• Biologische Plausibiliteit: De methode biedt een brug tussen de wiskundige optimalisatie van DNN's en de werking van het biologische brein, zonder de "weight transport problem" op te lossen via onbiologische mechanismen.
• Toekomstperspectief: Hoewel de huidige implementatie nog langzamer convergeert dan BP (vooral door de WP-component), biedt het een fundamenteel nieuw perspectief op hoe neurale netwerken kunnen leren via lokale regels en beloning. De auteurs wijzen op de noodzaak om deze methode te schalen naar Convolutional Neural Networks (CNNs) en neuromorfe hardware om de computationele efficiëntie verder te verbeteren.

Kortom, de studie bewijst dat het volgen van biologische principes leidt tot netwerken die niet alleen "biologisch plausibel" zijn, maar ook praktischer zijn in uitdagende scenario's zoals weinig data en vijandige omgevingen.