🧬 biology

Correlative Information Maximization: A Biologically Plausible Approach to Supervised Deep Neural Networks without Weight Symmetry

Die vorgestellte Arbeit schlägt ein biologisch plausibles Lernframework namens „Correlative Information Maximization" vor, das das Problem der Gewichtssymmetrie beim Backpropagation umgeht und durch die Maximierung korrelativer Information zwischen Schichtaktivitäten ein neuronales Netzwerk mit mehrkompartimentigen pyramidalen Neuronen und dendritischer Verarbeitung nachbildet.

Ursprüngliche Autoren: Bariscan Bozkurt, Cengiz Pehlevan, Alper T Erdogan

Veröffentlicht 2026-03-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Bariscan Bozkurt, Cengiz Pehlevan, Alper T Erdogan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Das große Problem: Der "Spiegel-Trick" im Gehirn

Stell dir vor, du möchtest einem Computer beibringen, Bilder zu erkennen (z. B. eine Katze von einem Hund zu unterscheiden). Die heutige Standardmethode dafür heißt "Backpropagation" (Rückwärtsausbreitung).

Das Problem dabei ist wie bei einem Spiegel: Damit der Computer lernt, muss er den Fehler, den er am Ende gemacht hat, genau den gleichen Weg zurückverfolgen, den das Signal genommen hat, um vorwärts zu kommen. Und das Wichtigste: Er muss dabei exakt dieselben Verbindungen (Gewichte) benutzen, nur in die entgegengesetzte Richtung.

Warum ist das ein Problem für die Biologie?
Unser Gehirn besteht aus Milliarden von Neuronen. In der Natur gibt es keine "Spiegel", die exakt dieselben Verbindungen in beide Richtungen haben. Ein Signal von Neuron A zu Neuron B zu schicken, ist physikalisch völlig anders als ein Signal von B zurück zu A zu schicken. Die Idee, dass das Gehirn diese perfekte Symmetrie nutzt, um zu lernen, wirkt für viele Biologen wie Magie – und ist höchst unwahrscheinlich.

Die neue Lösung: "Korrelative Informationsmaximierung" (CorInfoMax)

Die Autoren dieses Papers haben eine neue Methode entwickelt, die viel natürlicher wirkt. Sie nennen sie CorInfoMax.

Stell dir das Lernen nicht als "Fehlerkorrektur über einen Spiegel" vor, sondern als zwei separate Teams, die zusammenarbeiten.

1. Die zwei Teams (Vorwärts und Rückwärts)

Statt eines einzigen Spiegels haben wir zwei verschiedene Teams:

Team Vorwärts: Schaut nach unten (vom Input zum Output) und versucht, das Bild zu erkennen.
Team Rückwärts: Schaut nach oben (vom Output zum Input) und versucht, das Bild vorherzusagen.

In der neuen Methode müssen diese beiden Teams nicht die gleichen Verbindungen benutzen. Sie können völlig unterschiedliche Wege haben. Das ist wie bei einem echten Gespräch: Ich kann dir etwas erklären (Vorwärts), und du kannst mir etwas zurück erklären (Rückwärts), ohne dass wir exakt dieselben Wörter oder denselben Satzbau benutzen müssen.

2. Das Ziel: Maximale "Übereinstimmung"

Das Ziel ist es, dass die Informationen, die von unten nach oben fließen, und die Informationen, die von oben nach unten fließen, so gut wie möglich übereinstimmen.

Wenn das untere Team sagt: "Das sieht aus wie eine Katze", und das obere Team sagt: "Ja, das passt zu einer Katze", dann sind sie zufrieden.
Wenn sie sich streiten, lernen sie, ihre Verbindungen anzupassen, damit sie sich besser verstehen.

Das ist wie bei einem Orchester: Die Geigen (unten) und die Trompeten (oben) spielen nicht die exakt gleichen Noten, aber sie müssen harmonieren. Wenn sie nicht harmonieren, passen sie ihren Ton an, bis es klingt.

3. Der "Zell-Designer": Mehr als nur ein einfacher Schalter

Die alten Computer-Neuronen waren wie einfache Lichtschalter: An oder Aus. Das Gehirn ist aber viel komplexer. Es hat Neuronen mit vielen "Zweigen" (Dendriten), die wie kleine Antennen funktionieren.

Die neue Methode führt automatisch zu einem Netzwerk, das genau so aufgebaut ist:

Pyramidenzellen: Das sind die Hauptarbeiter mit einem Körper (Soma) und zwei Arten von Ästen:
- Basis-Äste (Basal Dendrites): Empfangen Signale von unten (die eigentliche Information).
- Spitzen-Äste (Apical Dendrites): Empfangen Signale von oben (die Vorhersage oder den Kontext).
Interneuronen: Das sind wie die "Polizisten" im Netzwerk. Sie sorgen dafür, dass nicht alle Neuronen gleichzeitig schreien. Sie dämpfen die Aktivität, damit das Netzwerk effizient und sparsam bleibt (wie ein guter Moderator in einer Diskussion).

Warum ist das genial?

Kein "Spiegel" nötig: Da Vorwärts- und Rückwärtswege völlig unterschiedlich sein können, ist das viel realistischer für ein echtes biologisches Gehirn.
Lokales Lernen: Die Neuronen müssen nicht das ganze Netzwerk kennen, um zu lernen. Sie schauen nur auf ihre direkten Nachbarn und ihre eigenen Äste. Das ist wie in einem Dorf, wo jeder nur mit seinen Nachbarn redet, um die Dorfgemeinschaft zu verbessern, statt einen zentralen Chef zu brauchen.
Gute Ergebnisse: Obwohl die Methode so "biologisch" ist, funktioniert sie in Tests (z. B. beim Erkennen von Handschriften oder Kleidung auf Bildern) fast genauso gut wie die modernen, aber "unmöglichen" Spiegel-Methoden.

Zusammenfassung in einer Metapher

Stell dir vor, du lernst eine neue Sprache:

Die alte Methode (Backpropagation): Du hast einen Lehrer, der dir sagt: "Du hast das Wort falsch geschrieben. Schreib es jetzt genau so rückwärts ab, wie du es geschrieben hast, aber mit demselben Stift." Das ist unnatürlich und schwer.
Die neue Methode (CorInfoMax): Du hast einen Freund, der die Sprache fließend spricht. Du sprichst zu ihm (Vorwärts), er hört zu und sagt: "Ich habe das so verstanden." Dann sprichst du zu ihm, und er sagt: "Wenn ich das so verstehe, dann müsste das Wort so klingen." Ihr passt euch gegenseitig an, ohne dass ihr exakt dieselben Regeln benutzt. Ihr lernt durch Verständnis und Anpassung, nicht durch exaktes Kopieren.

Die Autoren haben also einen Weg gefunden, wie künstliche Intelligenz lernen kann, so wie unser Gehirn es wahrscheinlich tut: durch komplexe, asymmetrische Verbindungen und lokale Anpassungen, statt durch einen perfekten mathematischen Spiegel.

1. Problemstellung

Das Backpropagation-Algorithmus (BP) ist der Standard für das Training künstlicher neuronaler Netze, stößt jedoch in der Neurowissenschaft auf starke Kritik hinsichtlich seiner biologischen Plausibilität. Zwei Hauptprobleme werden identifiziert:

Gewichtssymmetrie (Weight Symmetry): BP erfordert, dass die Rückwärtspfade für die Fehlerausbreitung exakt die transponierten Gewichte der Vorwärtspfade verwenden. Biologisch ist es unwahrscheinlich, dass das Gehirn solche symmetrischen Verbindungen („Weight Transport") zwischen getrennten feedforward- und feedback-Pfaden aufrechterhält.
Vereinfachte Neuronenmodelle: Herkömmliche künstliche Neuronen ignorieren oft die komplexe Struktur biologischer Neuronen, wie z. B. dendritische Kompartimente und die Rolle von Interneuronen bei der Kreditvergabe (Credit Assignment).

Ziel der Autoren ist es, einen normativen Rahmen zu schaffen, der supervised Learning ermöglicht, ohne auf Gewichtssymmetrie angewiesen zu sein und der biologisch realistischere Neuronenstrukturen (multi-compartment pyramidal neurons) ableitet.

2. Methodik: Correlative Information Maximization (CorInfoMax)

Die Autoren schlagen Correlative Information Maximization (CorInfoMax) als neues Optimierungsziel vor. Anstatt den Fehler direkt zu minimieren, wird die korrelative gegenseitige Information (Correlative Mutual Information, CMI) zwischen aufeinanderfolgenden Netzwerkschichten maximiert.

Kernkonzepte:

Zwei äquivalente CMI-Ausdrücke: Ein entscheidender Aspekt ist die Nutzung zweier alternativer, aber äquivalenter Formulierungen der CMI zwischen Schicht $k$ $k$ und $k+1$ $k + 1$ :
1. Eine Formulierung, die auf der Vorhersage von $r^{(k+1)}$ aus $r^{(k)}$ basiert (Vorwärtsvorhersage).
2. Eine Formulierung, die auf der Vorhersage von $r^{(k)}$ aus $r^{(k+1)}$ basiert (Rückwärtsvorhersage).
Asymmetrische Netzwerke: Durch die Optimierung dieser beiden Ausdrücke entstehen natürliche Vorwärts- ( $W_{ff}$ ) und Rückwärtsverbindungen ( $W_{fb}$ ), die nicht symmetrisch sein müssen ( $W_{ff} \neq W_{fb}^T$ ). Dies löst das Problem des Weight Transport.
Ziel-Funktion: Das Gesamtziel kombiniert die Summe der CMI über alle Schichten mit einem Mean-Square-Error (MSE) Verlust für die gelabelten Daten:
$J = \sum I(r^{(k)}, r^{(k+1)}) - \beta \cdot MSE(y, \hat{y})$
Polytope Constraints: Die Aktivierungen werden auf polytope Domänen beschränkt (z. B. nicht-negative Einheits-Hyperwürfel $B_{\infty,+}$ oder $\ell_1$ -Norm-Kugeln für Sparsity). Dies führt zu nichtlinearen Aktivierungsfunktionen (z. B. ReLU, Clipping).

Ableitung der Netzwerkdynamik:
Durch die Anwendung des projizierten Gradientenanstiegs auf die Aktivierungen $r^{(k)}$ ergibt sich eine Differentialgleichung, die als rekurrentes neuronales Netz interpretiert werden kann:

Multi-Compartment Neuronen: Die Dynamik entspricht einem dreikompartimentalen pyramidalen Neuron:
- Soma ( $u^{(k)}$ ): Zellkörperpotenzial.
- Basale Dendriten ( $v_B$ ): Empfangen feedforward-Input.
- Distale apikale Dendriten ( $v_A$ ): Empfangen top-down-Feedback und laterale Inputs.
Interneuronen: Laterale Verbindungen und Autapsen (Selbstverbindungen) werden durch interneuronale Aktivierungen modelliert (z. B. SST-Interneuronen), die laterale Inhibition erzeugen.
Lernregeln: Die Synapsen werden durch einen Equilibrium Propagation (EP)-ähnlichen Ansatz aktualisiert. Dies erfordert zwei Phasen:
1. Free Phase ( $\beta=0$ ): Das Netz läuft im Gleichgewicht.
2. Nudged Phase ( $\beta>0$ ): Ein schwacher Lehrsignal-Term wird hinzugefügt, um das Netz leicht zu stören.
  Die Gewichtsupdates basieren auf dem Unterschied der neuronalen Aktivitäten zwischen diesen beiden Phasen (Hebbian/anti-Hebbian Updates), was lokal und biologisch plausibel ist.

3. Wichtige Beiträge

Lösung des Gewichtssymmetrie-Problems: Das Framework bietet eine prinzipielle Lösung, indem es zwei alternative CMI-Ausdrücke nutzt, die natürlicherweise zu asymmetrischen Vorwärts- und Rückwärtsvorhersagen führen, ohne auf Whitening-Constraints oder zufällige Feedback-Gewichte angewiesen zu sein.
Normative Herleitung biologischer Strukturen: Die Optimierung der CMI führt nicht nur zu Lernalgorithmen, sondern leitet die Struktur des Netzwerks selbst ab. Das Ergebnis ist ein Netzwerk aus dreikompartimentalen pyramidalen Neuronen mit lateralen Verbindungen und Interneuronen, das experimentellen Befunden der Kortexarchitektur entspricht.
Bidirektionale Informationsfluss: Das Modell fördert den Informationsfluss sowohl in Vorwärts- als auch in Top-Down-Richtung durch die Minimierung von Vorhersagefehlern in beide Richtungen.
Sparsity und Entropie: Durch die Wahl der polytopischen Constraints (z. B. $\ell_1$ -Norm) wird Sparsity erzwungen, während die Maximierung der unbedingten Entropie (durch laterale Verbindungen) die Nutzung des gesamten Darstellungsrangs sicherstellt.

4. Ergebnisse

Die Autoren evaluierten das CorInfoMax-Verfahren auf Bildklassifizierungsaufgaben mit den Datensätzen MNIST, Fashion-MNIST und CIFAR10 (sowie CIFAR100 für tiefere Architekturen).

Leistung: CorInfoMax-Netze erreichen eine Genauigkeit, die mit dem State-of-the-Art bei biologisch plausiblen Methoden (wie Equilibrium Propagation, Contrastive Similarity Matching, Predictive Coding) vergleichbar oder sogar überlegen ist.
- Auf MNIST: ~97.6% - 97.7% (ähnlich wie Backpropagation mit ~98.3%).
- Auf CIFAR10: ~51.8% (im Vergleich zu ~53.9% bei Backpropagation, aber besser als viele andere biologisch plausible Ansätze).
Asymmetrie-Beweis: Die Autoren messen den Winkel zwischen den feedforward-Gewichten und der Transponierten der feedback-Gewichte. Die Ergebnisse zeigen, dass sich die Gewichte während des Trainings nicht symmetrisieren, sondern einen signifikanten Winkel (oft > 60-70 Grad) beibehalten, was die Asymmetrie und damit die biologische Plausibilität bestätigt.
Vergleich: Die Methode schneidet besser ab als Feedback Alignment und konkurriert stark mit Backpropagation, obwohl sie keine Gewichtssymmetrie erfordert.

5. Bedeutung und Fazit

Dieses Paper stellt einen bedeutenden Fortschritt im Bereich des biologisch plausiblen Deep Learning dar. Es verbindet informationstheoretische Prinzipien (Informationsmaximierung) mit der Struktur biologischer Neuronen.

Theoretische Implikation: Es zeigt, dass Backpropagation nicht zwingend für überwachtes Lernen in tiefen Netzen erforderlich ist und dass asymmetrische Verbindungen aus einem normativen Optimierungsziel (CMI) natürlich hervorgehen können.
Biologische Relevanz: Die abgeleitete Netzwerktopologie (pyramidale Neuronen mit apikalen/basalen Dendriten und Interneuronen) bietet eine plausible Erklärung dafür, wie das Gehirn Fehler rückwärts propagieren könnte, ohne physikalisch unmögliche Gewichtstransporte zu benötigen.
Zukunftsaussichten: Obwohl die Methode aktuell rechenintensiver ist als Standard-BP (aufgrund der rekurrenten Dynamik und der zwei Phasen), ist sie ideal für neuromorphe Hardware geeignet, da sie auf lokalen Lernregeln basiert und potenziell energieeffizient implementiert werden kann.

Zusammenfassend bietet CorInfoMax einen eleganten, mathematisch fundierten Rahmen, der die Lücke zwischen künstlicher Intelligenz und den Prinzipien biologischer neuronaler Netze schließt.