⚡ electrical engineering

Ubiquity of Emergent Hebbian Dynamics in Regularized Learning

Diese Arbeit zeigt, dass L2-Gewichtsbeschränkung (Weight Decay) beim regularisierten Lernen generisch eine emergente Hebb’sche oder anti-Hebb’sche Ausrichtung bei synaptischen Aktualisierungen nahe der Stationarität induzieren kann, was eine Signatur erzeugt, die echte Hebb’sche Plastizität nachahmt und die Interpretation neuronaler Lernmechanismen erschwert.

Ursprüngliche Autoren: David Koplow, Tomaso Poggio, Liu Ziyin

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: David Koplow, Tomaso Poggio, Liu Ziyin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage: „Denkt“ das Gehirn wie ein Computer?

Seit Jahrzehnten debattieren Wissenschaftler darüber, wie das Gehirn lernt.

Die alte Sichtweise: Das Gehirn lernt nach einer einfachen, lokalen Regel namens Hebbschem Lernen. Der berühmte Leitsatz lautet: „Neurons that fire together, wire together“ (Neuronen, die gemeinsam feuern, verbinden sich). Wenn zwei Gehirnzellen gleichzeitig aktiv sind, wird die Verbindung zwischen ihnen stärker. Dies wird als rein biologischer, lokaler Prozess angesehen.
Die Computer-Sichtweise: Künstliche Intelligenz (KI) lernt mittels Gradientenabstieg (eine komplexe mathematische Methode, die Fehler aus dem gesamten System berechnet, um Korrekturen vorzunehmen). Dies erfordert eine „globale“ Sicht auf das Problem, von der viele Wissenschaftler glaubten, dass das Gehirn sie nicht besitzen könne, da es keinen zentralen „Fehlersignals“ gibt.

Da wir „Hebbsche“ Muster im Gehirn beobachten, gingen viele davon aus, dass das Gehirn zwangsläufig einfache lokale Regeln nutzt und nicht komplexe globale Optimierungsprozesse wie eine KI.

Diese Arbeit stellt eine knifflige Frage: Wenn wir ein Hebbsches Muster sehen (die Stärkung von Verbindungen, wenn Dinge gleichzeitig feuern), beweist das dann, dass das Gehirn eine einfache Hebbsche Regel verwendet? Oder könnte ein komplexes, globales Lernsystem (wie eine KI) versehentlich wie eine Hebbsche Regel aussehen?

Die Antwort: Es könnte ein Zufall sein. Die Arbeit zeigt, dass komplexe Lernsysteme oft Hebbsches Verhalten imitieren, ohne tatsächlich Hebbsche Regeln zu verwenden.

Die wichtigste Entdeckung: Die „Tauzieher“-Analogie

Die Autoren schlagen vor, dass das, was wie eine biologische Regel aussieht, in Wirklichkeit das Ergebnis eines Gleichgewichts zwischen zwei entgegengesetzten Kräften ist. Stellen Sie sich ein Tauziehen auf einem rutschigen Hang vor.

1. Die expansive Kraft (Das Lernsignal)

Sowohl in Gehirnen als auch in der KI gibt es eine Kraft, die versucht, Verbindungen zu verstärken oder basierend auf neuen Informationen zu verändern.

In der KI ist dies der Gradient (die Richtung, um den Fehler zu reduzieren).
Im Gehirn ist dies das Lernsignal (das Feuern der Neuronen).
Analogie: Stellen Sie sich einen Wanderer vor, der versucht, einen Hügel hinaufzuwandern. Er drückt sich vorwärts und versucht, seinen Pfad zu erweitern.

2. Die kontraktive Kraft (Gewichtsbeschränkung/Weight Decay)

In der KI verwenden wir eine Technik namens L2-Weight-Decay. Dies ist eine Strafe, die ständig versucht, die Zahlen (Gewichte) klein zu halten, um das Modell stabil zu halten und zu verhindern, dass sie zu extrem werden.

Analogie: Stellen Sie sich vor, der Wanderer ist zusätzlich an einen schweren Anker gebunden, der ständig versucht, ihn zurückzuziehen und seinen Pfad zu verkleinern.

Das Ergebnis: Das „emergente“ Hebbsche Muster

Die Arbeit beweist mathematisch, dass, wenn diese beiden Kräfte ein Gleichgewicht finden (wenn der Wanderer aufhört, auf oder ab zu steigen, und einfach stehen bleibt), der Vorwärtsdrang (das Lernen) sich zwangsläufig mit der Richtung der Verbindung selbst ausrichten muss.

Die Metapher: Stellen Sie sich vor, Sie schieben eine schwere Kiste (die Verbindung) über einen Boden. Gleichzeitig werden Sie von einem Seil zurückgezogen (Weight Decay). Um an einer Stelle zu bleiben, muss Ihr Schub perfekt in die Richtung ausgerichtet sein, in die die Kiste bereits zeigt.
Die Überraschung: Diese Ausrichtung sieht exakt wie die „Hebbsche“ Regel aus (die Stärkung der Verbindung). Aber das liegt nicht daran, dass das Gehirn beschlossen hat, eine Hebbsche Regel zu nutzen; es liegt daran, dass die Mathematik des Kraftausgleichs das System dazu zwingt, so auszusehen.

Wichtige Erkenntnis: Man kann „Hebbsche“ Muster in einem System beobachten, das eigentlich eine komplexe, globale Fehlerkorrektur durchführt. Das Muster ist eine emergente Signatur, nicht unbedingt der zugrunde liegende Mechanismus.

Der Twist: Rauschen erzeugt das Gegenteil (Anti-Hebbsch)

Die Arbeit betrachtet auch Rauschen (Zufälligkeit).

Im Gehirn gibt es immer elektrisches Rauschen. In der KI gibt es Zufälligkeit in der Art und Weise, wie Daten verarbeitet werden (wie bei der stochastischen Gradientenabstieg).
Die Analogie: Stellen Sie sich vor, der Wanderer befindet sich nun an einem sehr windigen, stürmischen Tag. Der Wind (Rauschen) bläst ihn wahllos umher.
Das Ergebnis: Wenn der Wind stark genug ist, drückt er den Wanderer in die entgegengesetzte Richtung der Verbindung. Dies erzeugt ein anti-hebbsches Muster (die Schwächung von Verbindungen, wenn sie gemeinsam feuern).

Der Kompromiss:
Die Arbeit findet einen einfachen „Kipppunkt“:

Starker Weight Decay + Wenig Rauschen = Sieht aus wie Hebbsch (Verstärkung).
Schwacher Weight Decay + Viel Rauschen = Sieht aus wie Anti-Hebbsch (Schwächung).

Dies erklärt, warum wir beide Arten der Plastizität im Gehirn sehen. Es muss sich nicht um zwei verschiedene biologische Regeln handeln; es könnte einfach dasselbe Lernsystem sein, das auf unterschiedliche Mengen an Rauschen und Stabilität reagiert.

Warum das wichtig ist (laut der Arbeit)

Keine voreiligen Schlüsse ziehen: Nur weil Wissenschaftler in einem Gehirnexperiment ein „Hebbsches“ Muster messen, beweist das nicht, dass das Gehirn eine einfache lokale Regel verwendet. Es könnte ein komplexes, globales Lernsystem (wie Backpropagation) sein, das lediglich seine Kräfte ausbalanciert.
Koexistenz: Das Gehirn könnte gleichzeitig komplexe globale Lernprozesse und einfache lokale Regeln nutzen. Die „emergente“ hebbsche Signatur macht es nur schwieriger, diese voneinander zu unterscheiden.
Neue Experimente nötig: Wir müssen Experimente entwerfen, die in der Lage sind, zwischen einer „echten“ Hebbschen Regel und dieser „scheinbaren“ (emergenten) Regel, die durch die Balance von Kräften entsteht, zu unterscheiden.

Zusammenfassung in einem Satz

Die Arbeit argumentiert, dass das Muster „Neuronen, die gemeinsam feuern, verbinden sich“ möglicherweise kein fundamentales biologisches Gesetz ist, sondern eine mathematische Nebenwirkung, die auftritt, sobald jedes Lernsystem (biologisch oder künstlich) versucht, seinen Lernantrieb gegen die Notwendigkeit der Stabilität und Begrenzung abzuwägen.

Technisches Resümee: Ubiquität emergenter Hebbian-Dynamiken in reguliertem Lernen

Problemstellung

Eine zentrale Frage der computergestützten Neurowissenschaft ist, ob die Beobachtung von Hebbian- oder Anti-Hebbian-Plastizität bei synaptischen Aktualisierungen zwingend auf eine zugrunde liegende Hebbian-Berechnung schließen lässt. Traditionell wird biologisches Lernen als durch lokale, korrelationsbasierte Regeln (z. B. Spike-Time-Dependent Plasticity) getrieben betrachtet, während künstliche Intelligenz auf globaler, gradientenbasierter Optimierung beruht (z. B. SGD). Es wird oft angenommen, dass das Vorhandensein von Hebbian-Signaturen im Gehirn ein Argument gegen eine globale, fehlergesteuerte Optimierung darstellt, da Gradientenabstieg als einen nicht-lokalen Fehlersignal-Prozess voraussetzt.

Dieses Paper adressen eine Identifizierbarkeitfrage: Bedeutet die Beobachtung von Hebbian-/Anti-Hebbian-Strukturen in synaptischen Aktualisierungen notwendigerweise eine mechanistische Hebbian-Lernregel? Die Autoren argumentieren, dass die Antwort nein lautet. Sie führen aus, dass Hebbian- und Anti-Hebbian-Signaturen als Nebenprodukte von reguliertem, gradientenbasiertem Lernen nahe der Stationarität entstehen können, ohne dass explizite Hebbian-Mechanismen erforderlich sind.

Methodik

Die Autoren verwenden eine Kombination aus theoretischer Analyse und empirischer Validierung, um zu demonstrieren, wie Regularisierung und Rauschen mit Lernsignalen interagieren, um Hebbian-ähnliche Dynamiken zu erzeugen.

Theoretischer Rahmen

Stationarität und Weight Decay: Die Autoren analysieren das Verhalten von Lernregeln nahe einem stationären Punkt (Konvergenz). Sie betrachten eine allgemeine Gewichtaktualisierungsregel $\Delta W = g(x, \theta) - \gamma W$ , wobei $g(x, \theta)$ ein beliebiges Lernsignal (z. B. ein Gradient) ist und $\gamma W$ eine L2-Gewichtsabklingung (Weight Decay) darstellt.
Ableitung der Ausrichtung (Alignment): Durch die Annahme, dass sich das System nahe der Stationarität befindet ( $E[\Delta W] \approx 0$ ), leiten die Autoren ab, dass das erwartete Lernsignal $E[g(x, \theta)]$ näherungsweise gleich $\gamma W$ sein muss. Da die Richtung der Hebbian-Aktualisierung proportional zu $W h_a h_a^\top$ ist (wobei $h_a$ die präsynaptische Aktivität ist) und $W$ unter Standardannahmen (z. B. Gleichverteilung der Normen der Repräsentationen) positiv mit dieser Richtung korreliert, wird das Lernsignal mathematisch gezwungen, mit der Hebbian-Richtung zu korrelieren.
Rauschen und Anti-Hebbian-Dynamik: Die Autoren erweitigen die Analyse durch Einbeziehung stochastischen Rauschens. Sie zeigen, dass starke stochastische Perturbationen (Rauschen) im Lernsignal eine Anti-Hebbian-Ausrichtung induzieren können. Sie leiten eine Phasengrenze her, bei der das Gleichgewicht zwischen der Rauschstärke ( $\sigma^2$ ) und dem Weight Decay ( $\gamma$ ) bestimmt, ob das System Hebbian- oder Anti-Hebbian-Signaturen aufweist. Konkret gilt: Wenn das Rauschen dominiert, wird die Ausrichtung negativ (Anti-Hebbian); wenn der Weight Decay dominiert, ist sie positiv (Hebbian).

Empirische Validierung

Die Autoren validieren diese theoretischen Behauptungen über verschiedene Aufgaben, Architekturen und Lernregeln hinweg:

Aufgaben: CIFAR-10 Klassifizierung und synthetische nichtlineare Regression (Student-Teacher-Modelle).
Architekturen: Multi-Layer Perceptrons (MLPs) mit verschiedenen Aktivierungsfunktionen (ReLU, Tanh, Sigmoid) und Transformer.
Lernregeln: Standard-SGD, Adam, Direct Feedback Alignment (DFA) und ein „RandomNN“-Konstrukt (ein nicht-lernendes, deterministisches, zufälliges Fehlersignal).
Metriken: Die primäre Metrik ist die Kosinusähnlichkeit (Frobenius-Skalarprodukt) zwischen dem Lernsignal (oder der vollständigen Aktualisierung) und der theoretischen Hebbian-Aktualisierungsrichtung ( $h_b h_a^\top$ ).

Zentrale Beiträge

Emergenter Hebbian-Mechanismus: Das Paper etabliert, dass L2-Weight-Decay generell dazu führt, dass die Lernsignal-Komponente vieler Aktualisierungsregeln nahe der Stationarität mit einer Hebbian-Richtung korreliert. Diese Ausrichtung steigt monoton mit der Stärke des Weight Decays an.
Emergenter Anti-Hebbian-Mechanismus: Die Autoren zeigen, dass ausreichend starkes stochastisches Rauschen diese Signatur umkehren und eine Anti-Hebbian-Ausrichtung induzieren kann. Dies erzeugt einen vorhersagbaren Trade-off und eine Phasengrenze zwischen Hebbian- und Anti-Hebbian-Regimen basierend auf dem Verhältnis von Rauschen zu Weight Decay.
Universalität über Regeln hinweg: Das Phänomen zeigt sich unabhängig vom spezifischen Lernalgorithmus. Es tritt in SGD, Adam, DFA und sogar in „RandomNN“ (einem Modell, das im traditionellen Sinne nicht lernt) auf, sofern Weight Decay vorhanden ist.
Transiente Dynamiken: Die Studie identifiziert, dass die Hebbian-Ausrichtung nicht auf den finalen stationären Zustand beschränkt ist. Ein „initialer Alignment-Bump“ tritt früh im Training auf (abhängig von Initialisierung und Lernrate), und einzelne Neuronen zeigen Oszillationen zwischen Hebbian- und Anti-Hebbian-Phasen während des Steady-State-Trainings.

Ergebnisse

Korrelation mit Weight Decay: In Klassifizierungs- und Regressionsaufgaben führt eine Erhöhung des Weight Decays konsistent zu einer höheren positiven Ausrichtung zwischen dem Lernsignal und der Hebbian-Aktualisierung. Dieser Trend bleibt über verschiedene Aktivierungsfunktionen und Netzwerk-Tiefen hinweg bestehen.
Rausch-Trade-off: In Regressionsaufgaben reduziert eine Erhöhung der Rauschstärke die Hebbian-Ausrichtung und induziert schließlich eine Anti-Hebbian-Ausrichtung. Die Phasengrenze zwischen diesen Regimen folgt einer quadratischen Beziehung ( $\gamma \propto \sigma^2$ ), was den theoretischen Vorhersagen entspricht.
Validierung durch RandomNN: Selbst ein Modell, das ein rein zufälliges, nicht-lernendes Aktualisierungssignal verwendet, zeigt eine Hebbian-Ausrichtung, wenn Weight Decay angewendet wird. Dies bestätigt, dass der Effekt eine Eigenschaft der Regularisierungskonstante und nicht des Lernalgorithmus selbst ist.
Generalisierung: Das Paper stellt fest, dass Lösungen mit der besten Generalisierungsleistung oft eine geringe durchschnittliche Hebbian- oder Anti-Hebbian-Ausrichtung aufweisen, was darauf hindeutet, dass das „optimale“ Regime zwischen diesen beiden Extremen liegt.

Bedeutung und Ansprüche

Die Autoren positionieren diese Arbeit eher als mahnenden Hinweis für die Interpretation neurophysiologischer Daten denn als Ersatz für die klassische Hebbian-Theorie.

Reinterpretation biologischer Daten: Das Vorhandensein von Hebbian- oder Anti-Hebbian-Signaturen in synaptischen Messungen beweist nicht zwingend, dass das Gehirn mechanistische Hebbian-Regeln verwendet. Diese Signaturen können emergente Eigenschaften eines globalen Optimierungsprozesses (wie dem Gradientenabstieg) sein, der durch homöostatische Mechanismen (wie Weight Decay) und Rauschen eingeschränkt wird.
Koexistenz: Die Autoren argumentieren, dass mechanistische Hebbian-Plastizität und emergente Hebian-Dynamiken koexistieren können. Die Ergebnisse erschweren die Interpretation synaptischer Messungen und motivieren zur Entwicklung von Experimenten, die echte Hebbian-Berechnungen von emergenten Signaturen unterscheiden können, die aus Regularisierung resultieren.
Theoretische Brücke: Die Arbeit liefert eine theoretische Verbindung zwischen den Dynamiken der Optimierung im maschinellen Lernen und biologischer Plastizität. Sie legt nahe, dass das „Gleichgewicht zwischen expansiven und kontraktilen Kräften“ (Hebbian Expansion vs. homöostatische Kontraktion) ein universelles Prinzip ist, das die Stabilität sowohl in biologischen als auch in künstlichen Systemen regelt.

Das Paper schließt mit dem Hinweis, dass zwar echte Hebbian-Prozesse wahrscheinlich im Gehirn stattfinden, die Ubiquität emergenter Hebbian-Dynamiken in reguliertem Lernen jedoch darauf hindeutet, dass die Beobachtung solcher Muster allein nicht ausreicht, um globale, fehlergetriebene Lernmechanismen in biologischen Systemen auszuschließen.