Inhibitory budget matching constrains homeostatic plasticity in competitive spiking networks
Dit artikel toont aan dat in competitieve spikende netwerken het vervangen van vaste laterale inhibitie door plastische homeostatische regels een "inhibitory budget matching"-beperking vereist om de totale inhibitoire drive te conserveren, een principe dat de netwerkstabiliteit waarborgt en de leerprestaties behoudt terwijl het lokale inhibitoire gewichten toestaat te adapteren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
In de hersenen werken neuronen niet in isolatie; ze vormen uitgestrekte, dynamische netwerken waar excitatie en inhibitie in een delicaat evenwicht moeten blijven. Excitatoire neuronen vuren om informatie te dragen, terwijl inhibitoire neuronen fungeren als remmen die voorkomen dat het systeem in chaos vervalt. Decennialang hebben computerwetenschappers die kunstmatige neurale netwerken bouwden om deze biologische intelligentie na te bootsen, vertrouwd op een vereenvoudigd model: ze lieten de excitatoire neuronen leren en zich aanpassen, maar hielden de inhibitoire verbindingen vast en onveranderlijk. Deze aanpak werkt goed bij het aanleren van patronen aan machines, zoals handgeschreven cijfers, maar negeert een fundamentele waarheid van de biologie. In echte hersenen zijn inhibitoire verbindingen even plastisch als excitatoire verbindingen; ze versterken en verzwakken in de loop van de tijd om stabiliteit te handhaven. De vraag waar onderzoekers lang voor gestreden hebben, is of een kunstmatig netwerk kan overleven als we die vaste, onveranderlijke remmen vervangen door levende, lerende remmen. Als de remmen zichzelf aanpassen, blijft de auto dan op de weg, of stort hij neer?
Een team onderzoekers van het Duitse Centrum voor Neurodegeneratieve Ziekten zette zich in om dit te beantwoorden door een competitief spikend netwerk te bouwen, een type kunstmatig brein dat ontworpen is om zonder toezicht te leren. Ze trainden dit netwerk op een standaard set van 28-bij-28 pixels afbeeldingen van handgeschreven cijfers, een taak die bekend staat als MNIST. In hun opstelling ontving het netwerk deze afbeeldingen als stromen elektrische spikes, vergelijkbaar met hoe de hersenen visuele gegevens verwerken. De excitatoire neuronen concurreerden om te reageren op specifieke patronen, waarbij ze hun verbindingen met de input versterkten wanneer ze als eerste vuurden. Om deze competitie eerlijk te houden en te voorkomen dat een paar neuronen het hele netwerk zouden domineren, introduceerden de onderzoekers een inhibitoire populatie. In de traditionele versie van dit model waren de verbindingen van de inhibitoire neuronen naar de excitatoire neuronen hard-coded en veranderden ze nooit. De onderzoekers wilden zien wat er zou gebeuren als ze die inhibitoire verbindingen lieten veranderen op basis van de activiteit van het netwerk, het nabootsen van de plasticiteit die in de menselijke cortex wordt gevonden.
Het team testte verschillende regels voor hoe deze inhibitoire verbindingen zouden moeten veranderen. Eén regel was gebaseerd op de precieze timing van de spikes, een methode die eerder is aangetoond de activiteit in andere soorten netwerken te balanceren. Een andere regel was trager en paste de inhibitie aan op basis van de gemiddelde vuursnelheid over een langere periode. Ze testten ook een nieuwe aanpak die een strikte beperking toevoegde: een "budget" dat de totale hoeveelheid inhibitoire kracht beperkte die een enkel excitatoir neuron kon ontvangen. De resultaten toonden aan dat het simpelweg plastisch maken van de inhibitie niet genoeg was om stabiliteit te garanderen. Wanneer de onderzoekers de timing-gebaseerde regel gebruikten, bleef het netwerk vaak stabiel, maar het was fragiel; kleine veranderingen in de begincondities of de leersnelheid zorgden ervoor dat het systeem faalde, waarbij neuronen ongecontroleerd vuurden en het netwerk instortte. De tragere, op de vuursnelheid gebaseerde regel presteerde beter en voltooide de training in de meeste van hun testruns, maar had nog steeds moeite wanneer de totale hoeveelheid inhibitie te ver afdrift van het ideale niveau.
De doorbraak kwam toen de onderzoekers de budgetbeperking afdwongen. Ze ontdekten dat voor het netwerk om stabiel te blijven tijdens het leren, de totale inhibitoire kracht die aan elk neuron werd geleverd binnen een specifieke reeks moest blijven, passend bij de sterkte van de vaste verbindingen die in de succesvolle baseline-modellen werden gebruikt. Wanneer ze dit budget op de juiste waarde instelden, leerde het netwerk net zo goed als de vaste versie, met een nauwkeurigheid van ongeveer 83,5 procent op de taak van cijferherkenning. De neuronen ontwikkelden duidelijke voorkeuren voor verschillende cijfers en het netwerk bleef kalm en georganiseerd tijdens de training. Echter, wanneer ze het budget verdubbelden, waardoor er twee keer zoveel inhibitoire kracht beschikbaar kwam, faalde het netwerk in elke enkele poging. De neuronen vuurden zo snel dat het systeem bijna onmiddellijk crashte. Dit toonde aan dat de stabiliteit van het netwerk niet alleen afhing van de lokale leerregel, maar van een globale beperking die de totale competitieve druk constant hield.
De studie suggereert dat je in competitieve leersystemen niet simpelweg vaste verbindingen kunt vervangen door plastische verbindingen zonder de algehele sterkte van de competitie te beheren. De onderzoekers hebben aangetoond dat inhibitoire plasticiteit de vaste inhibitie kan vervangen, maar alleen als het systeem wordt gestuurd door een regel die de totale inhibitoire drive conserveert. Deze bevinding biedt een praktisch ontwerpprincipe voor het bouwen van meer biologisch realistische kunstmatige breinen. Het impliceert dat voor een netwerk om effectief te leren zonder uit elkaar te vallen, een mechanisme nodig is dat de individuele verbindingen toestaat zich aan te passen terwijl de totale kracht van de inhibitie stabiel blijft. Zonder deze conservering verliest het netwerk zijn balans, wat bewijst dat in de complexe dans van neurale competitie de totale sterkte van de remmen net zo belangrijk is als hoe ze worden toegepast.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.