🧬 biology

Quantifying information stored in synaptic connections rather than in firing activities of neural networks

Dieser Beitrag stellt einen theoretischen Rahmen vor, der die in Verteilungen synaptischer Verbindungen gespeicherte Information quantifiziert, anstatt neuronale Feuerraten zu betrachten, und analytische Näherungen für die gegenseitige Information ableitet, die synergistische Wechselwirkungen zwischen Synapsen sowie die Dualität zwischen Konnektivität und Populationsaktivität beim Lernen und Gedächtnis aufzeigen.

Ursprüngliche Autoren: Xinhao Fan, Shreesh P Mysore

Veröffentlicht 2026-04-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xinhao Fan, Shreesh P Mysore

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Die große Idee: Die Bibliothek vs. der Bibliothekar

Stellen Sie sich eine riesige Bibliothek vor. Lange Zeit haben Wissenschaftler, die untersuchen, wie Gehirne (und computergestützte Gehirne) funktionieren, sich auf den Bibliothekar konzentriert. Sie beobachteten, wie der Bibliothekar schrie, flüsterte oder sich bewegte (dies ist vergleichbar mit dem „Feuern" von Neuronen oder dem Senden von Signalen). Sie stellten fest, dass die Handlungen des Bibliothekars uns verraten, was die Bibliothek gerade tut.

Aber dieses Paper stellt eine andere Frage: Was ist mit den Büchern auf den Regalen?

Die Autoren argumentieren, dass das eigentliche „Gedächtnis" nicht im Schreien des Bibliothekars liegt, sondern in der Anordnung der Bücher (den synaptischen Verbindungen). Wenn Sie die Bücher neu anordnen, ändern Sie, was die Bibliothek weiß, selbst wenn gerade niemand sie liest.

Bisher hatten wir kein gutes mathematisches Werkzeug, um genau zu messen, wie viel Information in dieser Anordnung der Bücher gespeichert ist. Dieses Paper baut dieses Werkzeug.

Das Experiment: Das „Hebbische" Netzwerk

Um ihre Idee zu testen, schufen die Autoren ein vereinfachtes Modell eines Gehirns, das Hebbische Netzwerk genannt wird.

Die Analogie: Stellen Sie sich ein riesiges Netz aus Schnüren vor, das Tausende von Punkten (Neuronen) verbindet.
Die Regel: Wenn zwei Punkte gleichzeitig aktiv sind, wird die Schnur zwischen ihnen straffer oder lockerer. Dies ist die „Hebbische" Regel: „Zellen, die zusammen feuern, verdrahten sich zusammen."
Die Daten: Sie stellten sich vor, die Bibliothek empfängt verschiedene „Geschichten" (Datenmuster). Jede Geschichte verändert die Strammheit der Schnüre leicht.

Das Ziel war es zu berechnen: Wenn wir uns die Strammheit dieser Schnüre ansehen, wie viel der ursprünglichen Geschichte können wir wiederherstellen?

Wichtige Erkenntnisse

1. Der „Vollgepackter Raum"-Effekt (Verteilte Kodierung)

Die Erkenntnis: Wenn Sie immer mehr Geschichten in die Bibliothek hinzufügen, nimmt die Menge an Information, die jede einzelne Schnur über eine bestimmte Geschichte enthält, ab.
Die Analogie: Stellen Sie sich vor, Sie versuchen, das Gesicht eines bestimmten Freundes in einem vollen Raum zu erinnern.

Wenn nur 2 Personen im Raum sind, können Sie leicht sagen: „Diese Schnur verbindet sich mit deinem Gesicht."
Wenn es 100 Personen sind, ist diese gleiche Schnur nun Teil eines verworrenen Knotens, der alle verbindet. Sie kann kein klares Bild nur einer Person mehr halten.
Das Fazit: Das Gehirn verwendet kein System von „eine Schnur, ein Gedächtnis". Stattdessen hält jede einzelne Schnur ein winziges, verschwommenes Stück jedes Gedächtnisses. Die Information ist über das gesamte Netzwerk verteilt.

2. Die Kraft der Gruppe (Synergie)

Die Erkenntnis: Dies ist der überraschendste Teil. Wenn Sie eine Gruppe von Schnüren gemeinsam betrachten, verraten sie Ihnen mehr als nur die Summe ihrer einzelnen Teile.
Die Analogie: Stellen Sie sich eine Gruppe von Menschen vor, die versuchen, einen Film zu beschreiben.

Person A sagt: „Es war dunkel."
Person B sagt: „Es war laut."
Wenn Sie diese einfach addieren, erhalten Sie „Dunkel und Laut".
Aber wenn Sie sie zusammen anhören, erkennen Sie, dass sie einen Horrorfilm beschreiben. Die Kombination erzeugt eine neue Bedeutung, die keine der Personen allein hatte.
Das Fazit: Synapsen arbeiten als Team. Die „Synergie" bedeutet, dass das gesamte Netzwerk klüger ist als die Summe seiner einzelnen Drähte. Die Autoren fanden heraus, dass dieser Teamwork-Effekt auch dann gilt, wenn man große Gruppen von Verbindungen betrachtet (in ihrer Simulation bis zu 20).

3. Wie viel können wir speichern?

Die Erkenntnis: Das Paper berechnet, wie viele „Geschichten" (Gedächtnisse) ein Netzwerk basierend auf seiner Größe speichern kann.
Die Analogie: Wenn Sie die Größe Ihrer Bibliothek verdoppeln (mehr Regale hinzufügen), verdoppeln Sie nicht nur die Anzahl der Bücher, die Sie speichern können. Da die Bücher interagieren und Platz teilen, können Sie tatsächlich mehr als das Doppelte speichern.

Die Mathematik zeigt, dass wenn Sie das Netzwerk vergrößern, die Speicherkapazität etwas schneller wächst als die Größe des Netzwerks selbst.

Warum dies wichtig ist (laut dem Paper)

Es ist eine neue Linse: Es gibt Wissenschaftlern eine Möglichkeit, Gedächtnis basierend auf der Struktur (den Drähten) zu messen, nicht nur basierend auf der Aktivität (dem Feuern).
Es ist nicht nur „ein Draht": Es beweist, dass man nicht nur eine Verbindung betrachten kann, um ein Gedächtnis zu verstehen. Man muss das Ensemble (die Gruppe) betrachten.
Es erklärt „Synergie": Es liefert einen mathematischen Beweis, dass Gruppen von Verbindungen zusammenarbeiten, um Informationen zu erzeugen, die in keiner einzelnen Verbindung allein existieren.

Was sie nicht behauptet haben

Das Paper ist eine theoretische mathematische Studie.

Sie haben dies nicht an echten menschlichen Gehirnen oder Patienten getestet.
Sie haben nicht behauptet, dass dies sofort Alzheimer heilen oder heute einen besseren KI-Roboter bauen wird.
Sie haben nicht gesagt, dass dies auf jede einzelne Art von Gehirnnetzwerk zutrifft (sie verwendeten ein spezifisches, vereinfachtes Modell namens „dichtes Hebbisches Netzwerk").

Zusammenfassung

Stellen Sie sich das Gehirn nicht als Radio vor, das nur Musik abspielt, wenn der Schalter eingeschaltet ist (Feuern), sondern als eine riesige, komplexe Skulptur. Die Form der Skulptur (die Verbindungen) hält das Gedächtnis. Dieses Paper erfand ein neues Lineal, um zu messen, wie viel „Geschichte" in der Form dieser Skulptur verborgen ist, und entdeckte, dass die Skulptur viel kooperativer und effizienter ist als wir dachten.

1. Problemstellung

Während die Informationstheorie seit langem zur Quantifizierung von Informationen verwendet wird, die in den Aktivitätsmustern (Feuern) von Neuronen (sowohl biologischen als auch künstlichen) kodiert sind, besteht eine signifikante theoretische Lücke hinsichtlich der Quantifizierung von Informationen, die direkt in der Verteilung synaptischer Verbindungen (Gewichte) gespeichert sind.

Aktuelle Einschränkungen: Bestehende Ansätze liefern entweder lose obere Schranken (z. B. durch Rauscheinspeisung im maschinellen Lernen) oder stützen sich auf die indirekte Inferenz synaptischer Kodierung durch neuronale Feuermuster (z. B. durch Aufteilung der gesamten Speicherkapazität durch die Anzahl der Synapsen in Hopfield-Netzen).
Die Kernherausforderung: Im Gegensatz zum neuronalen Feuern, das eine explizite Abbildung auf Daten besitzt, entstehen synaptische Gewichte implizit aus dem Lernprozess. Dies macht die Herleitung eines geschlossenen Ausdrucks für die gegenseitige Information zwischen Datenmustern und Gewichtsverteilungen mathematisch undurchsichtig.
Ziel: Entwicklung eines theoretischen Rahmens, der die Shannon-gegenseitige Information (MI) zwischen Datenmustern und Ensembles synaptischer Verbindungen analytisch quantifiziert und dabei über die Perspektive der „Aktivität" hinausgeht hin zu einer Perspektive der „Konnektivität".

2. Methodik

Die Autoren schlagen einen Rahmen vor, der auf dicht verbundenen Hebbischen Netzen basiert, die Aufgaben der autoassoziativen Erinnerung durchführen.

Modellaufbau:
- Daten: $N$ unabhängige, $d$ -dimensionale Datenmuster $\{x_1, ..., x_N\}$ werden als multivariate log-normalverteilte Verteilungen modelliert. Diese Wahl spiegelt die schwerfälligen (heavy-tailed) Statistiken wider, die in biologischen Neuronpopulationen beobachtet werden.
- Netzwerk: Ein vollständig vernetztes Netzwerk, bei dem die synaptischen Gewichte $w_{ij}$ durch die Hebbische Lernregel bestimmt werden:
  $w_{ij} = \sum_{k=1}^{N} x_i^k x_j^k$
- Zielsetzung: Berechnung der gegenseitigen Information $MI(w; x_l)$ zwischen einem Satz synaptischer Gewichte $w$ und einem spezifischen Datenmuster $x_l$ .
Analytische Herleitung:
- Approximation: Da die Summe log-normalverteilter Variablen keine geschlossene Verteilung besitzt, wenden die Autoren die Fenton-Wilkinson-Näherung an. Diese Methode approximiert die Summe unabhängiger log-normalverteilter Variablen als eine einzelne log-normalverteilte Variable durch Anpassung der ersten beiden Momente (Mittelwert und Varianz).
- Einzelne Verbindung: Sie leiten die Wahrscheinlichkeitsverteilung $p(w_{ij})$ und die bedingte Verteilung $p(w_{ij}|x_l)$ her (welche eine verschobene Version der Summe darstellt, die das Muster $l$ ausschließt).
- Ensembles: Der Rahmen wird von einzelnen Verbindungen auf Paare und beliebige $n$ -Tupel von Verbindungen erweitert. Die gemeinsame Verteilung des Logarithmus der Gewichte wird als multivariate Gaußsche Verteilung approximiert.
- Formeln: Die Autoren leiten geschlossene analytische Ausdrücke für die gegenseitige Information her für:
  1. Einzelne Verbindungen ( $MI(w_{ij}; x_l)$ ).
  2. Paare von Verbindungen ( $MI((w_{ij}, w_{mn}); x_l)$ ).
  3. Beliebige Ensembles der Größe $n$ ( $MI(w; x_l)$ ).
- Kern-Erkenntnis: Die MI hängt ausschließlich von den statistischen Parametern (Mittelwerte und Kovarianzen) der an dem spezifischen synaptischen Ensemble beteiligten Datenmuster ab, wodurch das Ergebnis kontextinvariant bezüglich der gesamten Netzwerkgröße ist.

3. Hauptbeiträge

Erster analytischer Rahmen für synaptische Information: Das Paper liefert die ersten geschlossenen analytischen Näherungen für die Shannon-gegenseitige Information zwischen Daten und Ensembles synaptischer Gewichte und umgeht damit die Notwendigkeit, neuronale Dynamiken zu simulieren.
Validierung verteilter Kodierung: Die Ergebnisse bestätigen mathematisch, dass Informationen über das Netzwerk verteilt sind; mit zunehmender Anzahl gespeicherter Muster nimmt die Information, die in einer einzelnen Verbindung gespeichert ist, ab.
Entdeckung von Synergie: Der Rahmen offenbart, dass synaptische Verbindungen synergetische Interaktionen aufweisen. Die Information, die von einem Ensemble von Synapsen kodiert wird, ist größer als die Summe der Information, die von einzelnen Synapsen kodiert wird ( $E[MI_{ensemble}] > n \times E[MI_{single}]$ ).
Neue Skalierungsgesetze für die Kapazität: Durch Analyse der Beziehung zwischen Netzwerkgröße, Ensemblegröße und gespeicherten Mustern leiten die Autoren ein neues Skalierungsgesetz für die Kapazität Hebbischer Netze ab, das sich von den traditionellen Hopfield-Netzwerk-Grenzen unterscheidet.

4. Hauptergebnisse

Die Autoren validierten ihre Theorie durch drei Sätze von Simulationen mit variierenden Kovarianzstrukturen (austauschbar, stochastisch und zufällig).

Einfluss der Anzahl der Datenmuster ( $N$ ):
- Die Information, die von einer einzelnen Verbindung (oder einem Ensemble) über ein spezifisches Muster kodiert wird, nimmt ab, wenn die Gesamtzahl der gespeicherten Muster ( $N$ ) zunimmt.
- Skalierung: $MI \sim N^{-1.0 \text{ bis } -1.2}$ . Dies bestätigt, dass neue Muster die Informationskapazität bestehender Verbindungen verwässern und unterstützt das Prinzip der verteilten Kodierung.
Einfluss der Ensemblegröße ( $n$ ):
- Die gesamte Information, die von einem Ensemble von $n$ Verbindungen kodiert wird, nimmt zu, wenn $n$ zunimmt.
- Skalierung: $MI \sim n^{1.1}$ .
- Synergie: Entscheidend ist, dass die durchschnittliche Information pro Verbindung ($MI/n$) zunimmt, wenn die Ensemblegröße wächst. Dies deutet darauf hin, dass Verbindungen synergetisch zusammenarbeiten; das Ganze ist größer als die Summe seiner Teile. Diese Synergie wurde bis mindestens zur 20. Ordnung der Interaktion beobachtet.
Skalierung der Netzwerkkapazität:
- Durch die Beziehung der Ensemblegröße $n$ zur Netzwerkdimension $d$ (wobei $n \approx d^2/2$ ) und unter Annahme linearer Informationsanforderungen pro Datenkomponente leiteten die Autoren die gesamte Speicherkapazität $P$ (Anzahl der Muster) relativ zur Netzwerkgröße $d$ ab:
  $P \sim d^{1.2}$
- Dies deutet auf eine superlineare Speicherkapazität für dichte Hebbische Netze hin, die höher ist als die linearen ( $P \sim d$ ) oder sublinearen ( $P \sim 0.14d$ ) Grenzen, die oft für Hopfield-Netze basierend auf Abrufdynamiken zitiert werden. Die Autoren argumentieren, dass dies die Speicher-Kapazität (obere Schranke) darstellt, während die Abrufkapazität aufgrund von Informationsverlust während der Auslesephase niedriger ist.

5. Bedeutung und Implikationen

Theoretischer Wandel: Die Studie verschiebt das Paradigma von der Analyse neuronaler Kodierung über „Spikes" hin zur Analyse über „Gewichte" und bietet eine komplementäre Perspektive darauf, wie Lernen und Gedächtnis physikalisch realisiert werden.
Biologische Relevanz: Die Ergebnisse unterstützen das biologische Prinzip, dass Gedächtnis nicht in spezifischen „Großmutterzellen" oder Synapsen lokalisiert ist, sondern über neuronale Ensembles verteilt und synergetisch ist.
Anwendungen im maschinellen Lernen:
- Beschneiden (Pruning): Es wird nahegelegt, dass das Beschneiden neuronaler Netze basierend ausschließlich auf dem isolierten Informationsgehalt eines einzelnen Gewichts irreführend ist, da der Beitrag eines Gewichts kontextabhängig und synergetisch ist.
- Interpretierbarkeit: Der Rahmen bietet ein Werkzeug, um Informationsspeicherung in spezifischen Schaltkreismotiven zu quantifizieren und könnte „Black-Box"-Deep-Learning-Modelle potenziell interpretierbarer machen.
- Architektur-Design: Es impliziert, dass die strukturelle Anordnung von Verbindungen (Motiven) eine kritische Rolle für die Effizienz der Informationsspeicherung spielt.
Robustheit: Die Autoren zeigen, dass ihre Schlussfolgerungen (verteilte Kodierung, Synergie, Kapazitätskalierung) robust gegenüber den durch die Fenton-Wilkinson-Methode eingeführten Approximationsfehlern sind, da sie sich auf qualitative Trends und nicht auf präzise numerische Werte stützen.

Zusammenfassend etabliert dieses Paper eine rigorose mathematische Grundlage zum Verständnis der Informationsspeicherung in synaptischer Konnektivität und offenbart, dass neuronale Netze Informationen durch synergetische, verteilte Interaktionen effizienter speichern, als dies bisher allein durch die Linse der Feuerraten verstanden wurde.