Inhibitory budget matching constrains homeostatic plasticity in competitive spiking networks
Diese Arbeit zeigt, dass in kompetitiven Spiking-Netzwerken der Ersatz von fester lateraler Inhibition durch plastische homöostatische Regeln eine „Inhibitory Budget Matching“-Beschränkung erfordert, um den gesamten inhibitorischen Antrieb zu konservieren, ein Prinzip, das die Netzwerkstabilität und die Lernleistung sicherstellt, während es den lokalen inhibitorischen Gewichten erlaubt, sich anzupassen.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen
Im Gehirn arbeiten Neuronen nicht isoliert; sie bilden riesige, dynamische Netzwerke, in denen Erregung und Hemmung in einem empfindlichen Gleichgewicht bleiben müssen. Erregende Neuronen feuern, um Informationen zu übertragen, während hemmende Neuronen als Bremsen fungieren, die verhindern, dass das System in Chaos ausartet. Seit Jahrzehnten verlassen sich Informatiker, die künstliche neuronale Netze zur Nachahmung dieser biologischen Intelligenz bauen, auf ein vereinfachtes Modell: Sie lassen die erregenden Neuronen lernen und sich anpassen, halten aber die hemmenden Verbindungen fest und unveränderlich. Dieser Ansatz funktioniert gut beim Lehren von Maschinen zur Mustererkennung, wie etwa bei handgeschriebenen Ziffern, ignoriert jedoch eine fundamentale Wahrheit der Biologie. In echten Gehirnen sind hemmende Verbindungen genauso plastisch wie erregende; sie verstärken sich und schwächen sich im Laufe der Zeit ab, um Stabilität zu gewährleisten. Die Frage, mit der Forscher lange Zeit konfrontiert waren, lautete, ob ein künstliches Netzwerk überleben kann, wenn wir diese festen, unveränderlichen Bremsen durch lebendige, lernende ersetzen. Wenn die Bremsen sich selbst anpassen, bleibt das Auto dann auf der Straße oder stürzt es ab?
Ein Team von Forschern am Deutschen Zentrum für Neurodegenerative Erkrankungen machte sich daran, dies zu beantworten, indem sie ein kompetitives Spiking-Netzwerk entwickelten – eine Art künstliches Gehirn, das darauf ausgelegt ist, ohne Überwachung zu lernen. Sie trainierten dieses Netzwerk mit einem Standarddatensatz von 28-mal 28 Pixel großen Bildern handgeschriebener Ziffern, einer Aufgabe, die als MNIST bekannt ist. In ihrem Versuchsaufbau erhielt das Netzwerk diese Bilder als Ströme elektrischer Impulse (Spikes), ganz so, wie das Gehirn visuelle Daten verarbeitet. Die erregenden Neuronen konkurrierten darum, auf spezifische Muster zu reagieren, wobei sie ihre Verbindungen zum Input verstärkten, wenn sie zuerst feuerten. Um diesen Wettbewerb fair zu gestalten und zu verhindern, dass einige wenige Neuronen das gesamte Netzwerk dominieren, führten die Forscher eine hemmende Population ein. In der traditionellen Version dieses Modells waren die Verbindungen von den hemmenden Neuronen zu den erregenden Neuronen fest programmiert und änderten sich nie. Die Forscher wollten sehen, was passieren würde, wenn sie jene hemmenden Verbindungen basierend auf der Aktivität des Netzwerks verändern ließen, um die Plastizität nachzuahmen, die im menschlichen Kortex zu finden ist.
Das Team testete verschiedene Regeln dafür, wie sich diese hemmenden Verbindungen verändern sollten. Eine Regel basierte auf dem präzisen Timing der Spikes, einer Methode, die zuvor gezeigt hat, die Aktivität in anderen Arten von Netzwerken auszubalancieren. Eine andere Regel war langsamer und passte die Hemmung basierend auf der durchschnittlichen Feuerrate über einen längeren Zeitraum an. Sie testeten auch einen neuen Ansatz, der eine strikte Einschränkung hinzufügte: ein „Budget“, das die gesamte Menge an hemmender Kraft begrenzte, die ein einzelnes erregendes Neuron erhalten konnte. Die Ergebnisse zeigten, dass es nicht ausreichte, die Hemmung einfach nur plastisch zu machen, um Stabilität zu garantieren. Wenn die Forscher die zeitbasierte Regel verwendeten, blieb das Netzwerk oft stabil, war jedoch fragil; kleine Änderungen der Ausgangsbedingungen oder der Lerngeschwindigkeit führten dazu, dass das System versagte, die Neuronen unkontrolliert feuerten und das Netzwerk kollabierte. Die langsamere, ratenbasierte Regel schnitt besser ab und schloss das Training in den meisten ihrer Testläufe ab, kämpfte jedoch dennoch damit, wenn die Gesamtmenge der Hemmung zu weit vom Idealwert abwich.
Der Durchbruch gelang, als die Forscher die Budgetbeschränkung durchsetzten. Sie fanden heraus, dass für die Stabilität des Netzwerks während des Lernens die gesamte hemmende Kraft, die an jedes Neuron geliefert wurde, innerhalb eines bestimmten Bereichs liegen musste, der der Stärke der festen Verbindungen in den erfolgreichen Basismodellen entsprach. Als sie dieses Budget auf den korrekten Wert setzten, lernte das Netzwerk genauso gut wie die feste Version und erreichte eine Genauigkeit von etwa 83,5 Prozent bei der Ziffernerkennung. Die Neuronen entwickelten klare Vorlieben für verschiedene Ziffern, und das Netzwerk blieb während des gesamten Trainings ruhig und organisiert. Als sie jedoch das Budget verdoppelten und somit die doppelte Menge an hemmender Kraft erlaubten, scheiterte das Netzwerk in jedem einzelnen Versuch. Die Neuronen feuerten so schnell, dass das System fast sofort zusammenbrach. Dies zeigte, dass die Stabilität des Netzwerks nicht allein von der lokalen Lernregel abhing, sondern von einer globalen Beschränkung, die den gesamten kompetitiven Druck konstant hielt.
Die Studie legt nahe, dass man in kompetitiven Lernsystemen nicht einfach feste Verbindungen durch plastische ersetzen kann, ohne die Gesamtstärke des Wettbewerbs zu steuern. Die Forscher demonstrierten, dass hemmende Plastizität die feste Hemmung ersetzen kann, aber nur, wenn das System durch eine Regel geleitet wird, die die gesamte hemmende Wirkung bewahrt. Dieser Befund bietet ein praktisches Gestaltungsprinzip für den Bau biologisch realistischerer künstlicher Gehirne. Es impliziert, dass ein Netzwerk, um effektiv zu lernen, ohne auseinanderzufallen, einen Mechanismus benötigt, der es ermöglicht, dass einzelne Verbindungen sich anpassen, während die gesamte Kraft der Hemmung konstant bleibt. Ohne diese Bewahrung verliert das Netzwerk sein Gleichgewicht, was beweist, dass in dem komplexen Tanz des neuronalen Wettbewerbs die Gesamtstärke der Bremsen genauso wichtig ist wie die Art und Weise, wie sie angewendet werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.