🤖 AI

Learning in Deep Networks under Dale's Constraint

Dit artikel introduceert een biologisch plausibele neurale architectuur die voldoet aan de beperking van Dale door gebruik te maken van duale niet-negatieve kanalen om gemengde tekens bij te dragen, waardoor lokaal Hebbiaans leren prestaties op het niveau van backpropagation kan bereiken op benchmarks zoals Tiny ImageNet zonder dat daar gemengde signalen voor nodig zijn.

Oorspronkelijke auteurs: Roy Abel, Shimon Ullman

Gepubliceerd 2026-08-10

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Roy Abel, Shimon Ullman

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het brein voor als een bruisende, razendsnelle stad waar miljarden boodschappers (neuronen) constant berichten naar elkaar schreeuwen om problemen op te lossen, gezichten te herkennen en je favoriete liedje te onthouden. Decennialang hebben computerwetenschappers geprobeerd kunstmatige breinen te bouwen die zo werken, met behulp van een krachtig hulpmiddel genaamd "backpropagation" om ze te onderwijzen. Denk aan backpropagation als een meesterleraar die door een klas loopt en precies fluistert hoeveel elke leerling een fout heeft gemaakt en hoe die te herstellen. Maar hier is de crux: echte biologische neuronen zijn veel strenger dan onze digitale simulaties. In het echte brein is een neuron ofwel een "aanmoediger" (excitatoir) die "Ga!" roept, of een "stopper" (inhibitoir) die "Stop!" roept. Het kan nooit beide tegelijk zijn, en het kan nooit een negatief getal roepen. Dit is een regel die bekend staat als Dale's Law. Bovoltrecht kunnen neuronen alleen vuren met positieve snelheden; ze kunnen geen "negatief vuur" uitzenden.

Dit creëert een enorm puzzelstuk voor wetenschappers: hoe kan het brein effectief leren als zijn boodschappers alleen maar "Ga" of "Stop" kunnen roepen en nooit een negatief getal kunnen dragen? Standaard computerleren vertrouwt op negatieve getallen om een neuron te vertellen: "Je ging de verkeerde kant op, draai om!" Als je probeert een brein te onderwijzen dat alleen positief geschreeuw begrijpt, met een methode die negatieve fluisteringen vereist, stort het hele systeem in. Dit artikel pakt exact dat hoofdpijndossier aan, met de vraag of we een leersysteem kunnen bouwen dat de strikte regels van het brein respecteert, maar nog steeds even snel leert als onze beste computers.

De auteurs, Roy Abel en Shimon Ullman, stellen een slimme oplossing voor die geïnspireerd is op hoe onze ogen daadwerkelijk werken. Ze introduceren een nieuw soort neurale architectuur genaamd het "On-Off"-model. In plaats van te proberen een neuron een negatief getal te laten roepen (wat biologisch onmogelijk is), gebruiken ze een team van twee neuronen om een enkel idee te vertegenwoordigen. Stel je een paar tweelingen voor: de een is de "On"-tweeling, die enthousiast wordt als iets meer is dan verwacht, en de ander is de "Off"-tweeling, die enthousiast wordt als iets minder is dan verwacht. Als de "On"-tweeling hard roept, is het idee positief. Als de "Off"-tweeling roept, is het idee negatief. Als beiden stil zijn, is het idee nul. Door deze paren te gebruiken, kan het netwerk positieve en negatieve waarden vertegenwoordigen zonder ooit de regel te breken dat neuronen alleen positief kunnen vuren.

Het artikel laat zien dat dit "On-Off"-systeem net zo goed kan leren als standaard computermodellen. De onderzoekers hebben wiskundig bewezen dat als het netwerk correct is ingesteld, deze paren van schreeuwende tweelingen foutberichten net zo nauwkeurig terug door het netwerk kunnen sturen als de traditionele methode met "negatieve getallen". Het is als een estafette waarbij de stok niet wordt doorgegeven door één enkele loper, maar door twee lopers die in tegenovergestelde banen rennen; het verschil in hun snelheid vertelt de volgende loper precies wat hij moet doen.

Wanneer ze dit idee testten op realistische beeldherkenningsopdrachten, waren de resultaten verrassend goed. Op een standaardtest genaamd Tiny ImageNet, die het sorteren van 200 verschillende categorieën afbeeldingen omvat, behaalde hun "On-Off"-model een nauwkeurigheid van 42,31%. Dit was een significante sprong vergeleken met andere biologisch geïnspireerde methoden die moeite hadden om dit niveau te bereiken. Nog interessanter is dat hun model standaard computernetwerken versloeg die evenveel neuronen hadden, wat suggereert dat deze "On-Off"-manier van denken niet alleen biologisch vriendelijk is, maar misschien zelfs een slimmere, efficiëntere manier om informatie te verwerken.

De studie suggereert dat het brein niet zijn eigen regels hoeft te breken om complexe taken uit te voeren. In plaats daarvan zou het deze complementaire paren van excitatieve en inhibitoire signalen kunnen gebruiken om het zware werk te doen. Hoewel het model nog steeds veel neuronen vereist (ongeveer twee keer zoveel als een standaard netwerk om dezelfde informatie te vertegenwoordigen), wijzen de auteurs erop dat het brein feitelijk ongeveer twee keer zoveel feedbackverbindingen heeft als voorwaartse verbindingen, dus deze "extra kosten" zijn misschien precies wat de natuur al betaalt. Uiteindelijk suggereert dit werk dat effectief leren kan voortkomen uit mechanismen die heel erg lijken op het echte brein, wat bewijst dat je geen magische negatieve getallen nodig hebt om een machine te leren hoe hij moet zien.

Technische Samenvatting: Leren in Diepe Netwerken onder de Dale-restrictie

Probleemstelling
Deep learning is een primair raamwerk geworden voor de systeemneurowetenschap, maar het standaard backpropagation-algoritme staat voor aanzienlijke hindernissen wat betreft biologische plausibiliteit. Een centrale belemmering is de Dale-restrictie: biologische neuronen zijn ofwel puur exciterend (prikkelend) ofwel puur inhiberend (remmend), en synapsen kunnen niet van teken veranderen. Bovendien is neuronale activiteit (vurendheid) inherent niet-negatief. Standaard backpropagation vertrouwt op getekende activaties, getekende foutsignalen en synaptische gewichten zonder tekenbeperking om gradiënten te propageren. Bestaande biologisch plausibele leermodellen (bijv. predictive coding, feedback alignment) falen vaak in het gelijktijdig voldoen aan de Dale-wet en de niet-negativiteit van activiteit terwijl ze exacte gradiëntupdates herstellen. Specifiek maken veel modellen gemengde tekenwaarden toe of vertrouwen ze op globale foutsignalen die lokale synaptische beperkingen schenden.

Methodologie
De auteurs stellen een nieuwe neurale architectuur en leerregel voor die strikt voldoet aan de Dale-restrictie en niet-negatieve activiteit, terwijl het backpropagation-achtig leren ondersteunt.

On-Off Neuraal Circuit Motief:
- De kernbouwsteen is een klein circuitmotief bestaande uit exciterende en inhiberende neuronen.
- Dit motief brengt twee niet-negatieve inputs ( $x_1, x_2 \ge 0$ ) in naar twee niet-negatieve outputkanalen, aangeduid als $y^+$ (On) en $y^-$ (Off).
- Het circuit implementeert een "zachte" differentie-operatie. Als $x_1 > x_2$ , wordt het On-kanaal geactiveerd; als $x_2 > x_1$ , wordt het Off-kanaal geactiveerd.
- Een getekende grootheid $d = x_1 - x_2$ wordt niet gerepresenteerd door een enkel neuron met gemengde tekens, maar door het paar niet-negatieve kanalen: een positief verschil wordt gecodeerd in $y^+$ , en een negatief verschil in $y^-$ met dezelfde magnitude. Maximaal één kanaal is tegelijkertijd actief (of beide zijn nul als het verschil onder een drempelwaarde ligt).
Netwerkarchitectuur:
- Standaard diepe netwerken worden geconstrueerd door elk verborgen neuron met gemengde tekens te vervangen door een on-off motief.
- Het netwerk werkt via twee stromen:
  - Bottom-Up (BU): Berekent feedforward-activaties met behulp van de on-off motieven.
  - Top-Down (TD): Propageert feedbacksignalen voor het leren. Voor elk BU-motief zijn er twee corresponderende TD-motieven (één voor het BU On-kanaal, één voor het BU Off-kanaal).
- De TD-stroom gebruikt eveneals gepaarde niet-negatieve kanalen om positieve en negatieve synaptische updates te representeren.
Lokale Hebbiaanse Leerregel:
- Leren wordt gedreven door een lokale Hebbiaanse update die presynaptische BU-activiteit combineert met gepaarde TD-feedbacksignalen.
- Voor een synaps met presynaptische activiteit $x_j$ $x_{j}$ , wordt de update bepaald door twee TD-kanalen:
  - Activiteit in het positieve TD-kanaal ( $\bar{\partial}_i$ ) drijft een Hebbiaanse toename in het synaptische gewicht aan.
  - Activiteit in het negatieve TD-kanaal ( $\partial_i$ ) drijft een Hebbiaanse afname aan.
- De effectieve update is $\Delta W_{ij} = \eta x_j (\bar{\partial}_i - \partial_i)$ .
- Cruciaal is dat het synaptische gewicht $W_{ij}$ zelf een vast teken heeft (exciterend of inhiberend), maar dat de magnitude ervan wordt bijgewerkt op basis van het verschil tussen de twee niet-negatieve TD-signalen.

Theoretische Analyse
De auteurs leveren een theoretisch bewijs dat onder specifieke condities dit lokale leerschema exact de backpropagation-update herstelt:

Aannames: Het BU-netwerk bestaat uit lineaire operaties gevolgd door ReLU-nietlineariteiten, en de BU- en TD-gewichten zijn uitgelijnd (symmetrisch).
Mechanisme: De TD-propagatie voldoet aan dezelfde recursie als backpropagation-foutsignalen ( $\delta_l$ ). Specifiek het verschil tussen de twee niet-negatieve TD-kanalen ( $\bar{\partial}_l - \partial_l$ ) propageert exact zoals de getekende foutsignalen $\delta_l$ dat doen in standaard backpropagation, gegateerd door de ReLU-afgeleide (die overeenkomt met het actieve BU-kanaal).
Resultaat: Bijgevolg is de lokale Hebbiaanse update $\eta (\bar{\partial}_l - \partial_l) h_{l-1}^T$ wiskundig equivalent aan de gradiëntafdaling-update $-\eta \frac{\partial L}{\partial W_l}$ .

Experimentele Resultaten
Het model werd geëvalueerd op beeldclassificatie-benchmarks:

Gecontroleerde Experimenten (MNIST, Fashion-MNIST, CIFAR-10):
- Het symmetrische Hebbiaanse model (waar BU- en TD-gewichten uitgelijnd zijn) bereikte een testnauwkeurigheid die vergelijkbaar is met standaard backpropagation-getrainde netwerken van dezelfde effectieve breedte.
- Varianten met "zwakke symmetrie" (ruisige uitlijning) en "geleerde motief"-gewichten presteerden ook goed, wat suggereert dat de architectuur robuust is tegen imperfecte uitlijning en geen vaste eenheidsmagnitude interne gewichten vereist.
- Het on-off model presteerde beter dan standaard ReLU MLP's van vergelijkbare grootte, wat suggereert dat de gepaarde-kanaal representatie computationele voordelen biedt die verder gaan dan louter het verdubbelen van het aantal neuronen.
Schaalbaarheid (Tiny ImageNet):
- Op de meer uitdagende Tiny ImageNet benchmark (200 klassen) bereikte het on-off model met lokaal Hebbiaans leren een top-1 nauwkeurigheid van 42,31%.
- Dit presteerde aanzienlijk beter dan recente biologisch geïnspireerde baselines zoals Self-Contrastive Forward-Forward (SCFF, 35,7%) en standaard convolutionele baselines van gelijke breedte (35,58%).
- De resultaten geven aan dat de architectuur effectief schaalt naar diepere, convolutionele netwerken.

Betekenis en Claims
Het artikel claimt een langdurig bestaand discrepantie in biologisch plausibel leren op te lossen: hoe effectieve credit assignment te implementeren in netwerken die beperkt zijn door de Dale-wet en niet-negatieve activiteit.

Biologische Plausibiliteit: Het model demonstreert dat getekende leersignalen kunnen voortkomen uit gestructureerde interacties tussen niet-negatieve neuronale populaties (On/Off-kanalen) zonder dat hiervoor neuronen negatief hoeven te vuren of synapsen van teken moeten veranderen. Dit komt overeen met biologisch bewijs van on-off paden in het retina en de visuele cortex, evenals recente bevindingen van gevectoriseerde dendritische feedback.
Computationele Effectiviteit: In tegen tegenstelling tot de aanname dat biologische beperkingen de prestaties noodzakelijkerwijs verslechteren, biedt de on-off architectuur niet alleen prestaties die gelijk zijn aan, maar vaak zelfs superieur zijn aan die van standaard "vanilla" netwerken van vergelijkbare grootte. De auteurs suggereren dat de gepaarde-kanaal representatie een efficiënte manier biedt om visuele kenmerken te coderen (bijv. complementaire randpolariteiten of object-achtergrond contrasten), wat een computationeel voordeel biedt naast biologisch realisme.
Beperkingen: De auteurs erkennen dat het model geen volledig biologisch model van cortical leren is. Het vereist een verdubbeling van neuronen (of kanalen) vergeleken met standaard netwerken en vertrouwt op de uitlijning van BU- en TD-paden, hoewel zij laten zien dat deze uitlijning niet exact hoeft te zijn.

Samenvattend biedt dit werk een concreet mechanisme voor backpropagation-achtig leren in Dale-geconstraineerde netwerken, waarmee de kloof wordt overbrugd tussen de computationele kracht van gradiëntgebaseerd leren en de fysieke beperkingen van biologische neurale circuits.

Technische Samenvatting: Leren in Diepe Netwerken onder de Dale-restrictie

Meer zoals dit