🤖 machine learning

Closed-form predictive coding via hierarchical Gaussian filters

Dieser Beitrag stellt ein geschlossenes, prädiktives Codierungsframework auf Basis hierarchischer Gaußscher Filter vor, das eine präzisionsgewichtete Nachrichtenweitergabe wiederherstellt und es tiefen Netzwerken ermöglicht, Aktivierungen, Gewichte und Unsicherheiten gleichzeitig ohne iterative Inferenz oder globale Fehlersignale zu erlernen, wodurch die Effizienz von Backpropagation erreicht und gleichzeitig eine Überlegenheit bei Online- und dateneffizienten Aufgaben erzielt wird.

Ursprüngliche Autoren: Aleksandrs Baskakovs, Sylvain Estebe, Kenneth Enevoldsen, Kristoffer Nielbo, Chris Mathys, Nicolas Legrand

Veröffentlicht 2026-05-21

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aleksandrs Baskakovs, Sylvain Estebe, Kenneth Enevoldsen, Kristoffer Nielbo, Chris Mathys, Nicolas Legrand

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „langsame und steife" Gehirn

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Bilder zu erkennen (etwa eine Katze gegen einen Hund). Die derzeitige Standardmethode, Backpropagation (Rückwärtsfortpflanzung), ist wie ein strenger Lehrer, der hinten im Klassenzimmer steht. Wenn ein Schüler eine Antwort falsch hat, schreit der Lehrer den Fehler bis nach vorne, und jeder Schüler muss anhalten, nachdenken und seine Antwort basierend auf diesem Schrei anpassen.

Das funktioniert gut, hat aber zwei große Mängel:

Es ist langsam: Der Roboter muss warten, bis der „Schrei" den ganzen Weg hinunter und wieder hinauf gereist ist, bevor er lernen kann.
Es ist unnatürlich: Echte menschliche Gehirne funktionieren nicht so. Unsere Gehirne lernen lokal, genau dort, wo die Neuronen sind, ohne einen zentralen „Schreier".

Wissenschaftler haben versucht, eine „hirnähnliche" Lernmethode namens Predictive Coding (PC) (Prädiktives Codieren) zu entwickeln. In diesem System errät jede Schicht des Gehirns, was als Nächstes kommt. Wenn die Vorhersage falsch ist, wird ein Signal für den „Vorhersagefehler" nach oben gesendet. Das Gehirn passt dann seine Vorhersage an, um den Fehler zu minimieren.

Allerdings hatte die alte Version von Predictive Coding einen gravierenden Fehler: Sie war unglaublich langsam und brach zusammen, wenn das Netzwerk tief wurde (wie ein sehr hohes Gebäude). Warum? Weil sie jeden Fehler als gleich wichtig behandelte, unabhängig davon, wie sicher sich das Gehirn bei seiner Vorhersage war. Es war wie ein Schüler, der wegen eines winzigen Tippfehlers genauso in Panik geriet wie wegen eines schwerwiegenden faktischen Fehlers.

Die Lösung: Der „smarte Filter"

Die Autoren dieses Papers haben diesen Fehler behoben, indem sie den Lernprozess des Gehirns wie einen Hierarchical Gaussian Filter (HGF) (Hierarchischer Gaußscher Filter) behandelten.

Stellen Sie sich den HGF nicht nur als einen Rater vor, sondern als einen smarten Detektiv mit einem Vertrauensmesser.

Der alte Weg (Einheitsmatrix): Stellen Sie sich einen Detektiv vor, der jeden Hinweis als gleich wichtig behandelt. Wenn er zu 99 % sicher über einen Hinweis ist, behandelt er einen winzigen Tipp genauso wie ein riesiges, unwiderlegbares Faktum. Dies führt zu Verwirrung und verlangsamt ihn.
Der neue Weg (Präzisionsgewichtet): Das neue System gibt dem Detektiv einen Vertrauensmesser (genannt „Präzision").
- Wenn der Detektiv sehr zuversichtlich ist (hohe Präzision), ignoriert er kleine, verrauschte Fehler.
- Wenn der Detektiv unsicher ist (niedrige Präzision), achtet er genau auf die Fehler, um die Dinge herauszufinden.

Durch das Hinzufügen dieses „Vertrauensmessers" hört das System auf, wegen kleinen Rauschens in Panik zu geraten, und konzentriert sich auf das, was wirklich wichtig ist.

Wie es funktioniert (Die Analogie)

Stellen Sie sich ein mehrstöckiges Bürogebäude vor, in dem jede Etage versucht vorherzusagen, was die Etage darunter tut.

Die alte PC-Methode: Die Etagen würden stundenlang hin und her streiten (iterative Schritte), um sich auf eine einzige Antwort zu einigen. Sie würden ihre Vorhersagen immer wieder anpassen, bis sie sich schließlich einigten. Das dauerte lange.
Die neue HGF-Methode: Die Autoren erkannten, dass man, wenn man genau weiß, wie „zuversichtlich" jede Etage ist, das Streiten überspringen kann. Man kann die perfekte Antwort in einem einzigen Schritt berechnen (ein „geschlossener" Update-Schritt).

Es ist wie der Unterschied zwischen:

Alter Weg: „Ich denke, es regnet. Nein, warte, vielleicht ist es nur ein Sprinkler. Lass mich nochmal nachschauen. Okay, ich bin zu 50 % sicher. Lass mich nochmal nachschauen..." (Langsam, wiederholend).
Neuer Weg: „Ich sehe, dass der Sprinkler aus ist, aber der Boden ist nass. Mein Vertrauensmesser sagt, ich bin zu 90 % sicher, dass es regnet. Daher werde ich sofort meinen Regenschirm greifen." (Schnell, einmalige Entscheidung).

Was sie erreicht haben

Die Forscher testeten dieses neue „smarte Detektiv"-System an einer Standardaufgabe zur Bilderkennung (FashionMNIST, bei der es darum geht, Bilder von Kleidung zu sortieren).

Geschwindigkeit: Es lernte fast so schnell wie die Standardmethode „Backpropagation", aber ohne das langsame, wiederholende Streiten zu benötigen.
Besser im Anpassen: Wenn sich die Regeln des Spiels plötzlich änderten (als würde der Computer plötzlich entscheiden, dass „Hemden" jetzt „Hosen" heißen), passte sich das neue System viel schneller an als die alten.
Weniger Daten: Es lernte gut, selbst wenn nur sehr wenige Beispiele gezeigt wurden, während die alten Methoden riesige Datenmengen benötigten.
Kein globaler Schreier: Es lernte vollständig lokal. Kein zentraler Computer sagte den Schichten, was zu tun war; sie passten sich einfach basierend auf ihrem eigenen lokalen „Vertrauen" und ihren Fehlern an.

Der Haken (Einschränkungen)

Das Paper ist ehrlich darüber, was es noch nicht geschafft hat:

Es ist auf Computern immer noch etwas langsam: Der aktuelle Code verarbeitet Bilder einzeln, wie ein einzelner Kassierer in einem Lebensmittelgeschäft. Die Standardmethode verarbeitet sie in großen Chargen (wie ein Förderband). Die Autoren sagen, ihre Methode könnte durch bessere Programmierung schneller gemacht werden, aber das haben sie noch nicht getan.
Es ist noch nicht auf „echten" Fotos getestet: Sie haben es an einfachen Bildern von Kleidung getestet. Sie haben es noch nicht an komplexen, realen Fotos getestet (wie Katzen in Wäldern), obwohl sie dies planen.
Das „Vertrauen" ist knifflig: In sehr tiefen Netzwerken gerät der „Vertrauensmesser" manchmal aus dem Gleichgewicht, was das System instabil macht. Sie haben einen Weg gefunden, dies teilweise zu beheben, aber es ist immer noch ein Bereich zur Verbesserung.

Zusammenfassung

Das Paper stellt eine neue Art vor, KI zu trainieren, die biologisch realistisch ist (sie funktioniert wie ein Gehirn, nicht wie eine Tabelle), schnell ist (sie löst Probleme in einem Schritt statt in vielen) und smart ist (sie weiß, wann sie ihren eigenen Vorhersagen vertrauen und wann sie auf neue Daten hören soll). Es schließt die Lücke zwischen dem Lernen von Gehirnen und dem Lernen von Computern und macht KI effizienter und anpassungsfähiger.

Technisches Fazit: Geschlossene Predictive Coding durch hierarchische Gaußsche Filter

Problemstellung

Predictive Coding (PC) bietet eine biologisch fundierte Alternative zum Backpropagation (BP) für das Training künstlicher neuronaler Netze, die sich durch lokale Berechnung, hebbian-ähnliche Aktualisierungen und das Fehlen eines globalen Fehlersignals auszeichnet. Die Skalierung von PC auf moderne tiefe Architekturen wurde jedoch durch zwei kritische Einschränkungen behindert:

Rechenineffizienz: Aktuelle PC-Netze verlassen sich auf iterative Gradientenabstiege, um Aktivierungen in Richtung Gleichgewicht zu entspannen (typischerweise erforderlich $T \approx 32\text{--}128$ Schritte pro Stichprobe), was sie auf sequenzieller Hardware erheblich langsamer als BP macht.
Leistungsverschlechterung: Mit zunehmender Netzwerktiefe verschlechtert sich die Leistung drastisch.

Die Autoren führen beide Probleme auf eine spezifische Vereinfachung in bestehenden tiefen PC-Implementierungen zurück: die Fixierung der Präzisionsmatrix auf die Identität. Diese Vereinfachung verwirft die präzisionsgewichteten Vorhersagefehler, die für die variationelle Herleitung von PC erforderlich sind. Folglich verlieren diese Netze die Eigenschaft, die PC im linearen Fall auszeichnet – die formale Äquivalenz zum natürlichen Gradientenabstieg – und versagen darin, Fehlersignale adaptiv zu skalieren oder Unsicherheit über die Schichten hinweg zu managen.

Methodik

Der Artikel schlägt vor, Predict-Coding-Netze als generalisierte hierarchische Gaußsche Filter (gHGF) neu zu formulieren. Dieser Ansatz ersetzt die iterative Zustandsinferenz durch geschlossene, einmalige variationelle Aktualisierungen.

Kernarchitektonische Verschiebungen:

Von fester zu dynamischer Präzision: Im Gegensatz zu Standard-PC-Netzen, die Präzision als festen Hyperparameter (Identitätsmatrix) behandeln, betrachtet das gHGF Präzision ( $\pi$ ) als einen belief-Zustand ersten Ranges. Das Modell leitet sowohl den Posterior-Mittelwert ( $\mu$ ) als auch die Präzision ( $\pi$ ) für jeden Knoten in jedem Schritt ab.
Volatilitätskopplung: Das Framework führt eine „Volatilitätskopplung" ein, bei der ein übergeordneter Knoten die Änderungsrate (Log-Varianz) seines untergeordneten Knotens moduliert. Dies ermöglicht es, dass Vorhersagefehler die Präzisionsaktualisierungen explizit über Volatilitäts-Vorhersagefehler (VOPE) modulieren, ein Mechanismus, der in Standard-Wert-gekoppeltem PC fehlt.
Generatives Modell: Das Netzwerk wird als Hierarchie von belief-Knoten modelliert. Kontinuierliche Zustandsknoten werden als Gaußsche Verteilungen generiert, deren Mittelwerte durch nicht-lineare Wertekopplungen (z. B. ReLU) und deren Varianzen durch Volatilitäts-Eltern bestimmt werden. Binäre Ausgabeknoten generieren Vorhersagen über eine logistische Sigmoid-Funktion, wobei der Überraschungsgrad als binäre Kreuzentropie gemessen wird.
Inferenz und Lernen:
- Inferenz: Anstelle einer iterativen Entspannung ermöglicht die quadratische Expansion der variationellen Energie einen analytischen stationären Punkt, wodurch die Inferenz auf einen einzigen Aktualisierungsdurchlauf reduziert wird.
- Gewichtsaktualisierungen: Synaptische Gewichte (Stärken der Wertekopplung) werden über lokale hebbian-Regeln aktualisiert. Die Autoren schlagen drei Varianten vor, wobei der primäre Benchmark eine präzisionsgewichtete Regel verwendet: $\alpha^* = \alpha + \eta \delta_\ell g(\mu_{\ell+1}) \cdot \pi_\ell$ . Dies integriert die abgeleitete Präzision als Gewicht des natürlichen Gradienten.

Hauptbeiträge

Neuformulierung von PC: Die Autoren liefern eine Neuformulierung tiefer PC-Netze als hierarchische Gaußsche Filter und ersetzen die iterative Inferenz durch geschlossene variationelle Aktualisierungen.
Präzisionslernen: Sie zeigen, dass Präzision online als posterior belief-Zustände, die an die Hierarchie gekoppelt sind, endogen abgeleitet werden kann, anstatt als feste Hyperparameter behandelt zu werden.
Hebbian-kompatible Aktualisierungen: Die Methode liefert Gewichtsaktualisierungsregeln, die Präzision als Gewicht des natürlichen Gradienten integrieren und damit die biologische Plausibilität wahren.
Leistungsbenchmarks: Der Ansatz erreicht State-of-the-Art-Konvergenz auf FashionMNIST, nähert sich Backpropagation in Bezug auf die Wanduhrzeit an und konvergiert dabei in weniger Epochen.

Experimentelle Ergebnisse

Die Autoren bewerteten ihre Methode (HGF) im Vergleich zu Multilayer Perceptrons (MLP), die mit Backpropagation trainiert wurden, und zu einfachen Predictive Coding Networks (PCN) auf dem FashionMNIST-Datensatz.

Direkter Vergleich (FashionMNIST): Über verschiedene Tiefen ( $d \in \{2, 8\}$ ) und Breitenkonfigurationen hinweg konvergierte das HGF schneller und erreichte eine höhere Testgenauigkeit als das einfache PCN. Während BP wettbewerbsfähig blieb, näherte sich das HGF der Leistung von BP mit deutlich weniger Epochen an.
Online-Lernen: In einem strikten Online-Regime (Batch-Größe 1) konvergierte das HGF zu einem niedrigeren stationären Fehler als sowohl BP- als auch PCN-Baselines.
Dateneffizienz: Auf kleinen Datensubsets ( $n \in \{60, 3000\}$ ) übertraf das HGF beide Baselines und zeigte eine überlegene Dateneffizienz.
Konzeptdrift: In einer nicht-stationären Umgebung, in der Klassenlabels periodisch permutiert wurden, behielt das HGF einen niedrigeren stationären Fehler bei und erholte sich schneller von Drift-Ereignissen als die Baselines, indem es seine akkumulierten belief-Zustände nutzte, ohne die Präzision zurückzusetzen.
Dynamik des Präzisionslernens: Bei einer synthetischen Spiral-Klassifizierungsaufgabe zeigten Netze mit Volatilitätskopplung (Präzisionslernen) eine hierarchische Zunahme der erwarteten Präzision, die Lernen und Inferenz effektiv gate-te. Die Autoren stellen jedoch fest, dass bei extremen Tiefen (Tiefe 16) die Basislinie mit fester Präzision immer noch die Variante mit Volatilitätskopplung übertraf, was darauf hindeutet, dass das Präzisionslernen zwar Fehlersignale stabilisiert, die daraus resultierenden Ungleichgewichte der Präzision zwischen den Schichten jedoch weiterer kontrollierter Untersuchung bedürfen.

Bedeutung und Behauptungen

Der Artikel stellt fest, dass geschlossene variationelle Inferenz mit Online-Präzisionslernen eine handhabbare Grundlage für tiefe Predictive-Coding-Netze bietet. Durch die Beseitigung des Bedarfs an iterativer Entspannung und globalen Fehlersignalen behält die Methode die biologischen und interpretativen Vorteile von PC bei, adressiert gleichzeitig jedoch ihre primären Skalierungsengpässe.

Die Autoren formulieren ihren Beitrag bescheiden als einen Schritt zur Überbrückung der Lücke zwischen theoretischem PC und praktischem Deep Learning. Sie räumen ein, dass:

Die aktuelle Implementierung Stichproben sequenziell statt in Batches verarbeitet, was den größten Teil der verbleibenden Wanduhrzeit-Lücke zu BP ausmacht.
Das Framework noch nicht auf konvolutionale Architekturen oder großskalige natürliche Bilddatensätze (z. B. CIFAR, ImageNet) erweitert wurde.
Der Kompromiss zwischen der Genauigkeit der variationellen Herleitung (dynamische Präzision) und technischen Entscheidungen zur Skalierung (z. B. ePC, $\mu$ PC) weiteren kontrollierten Vergleichen bedarf.

Letztlich argumentiert die Arbeit, dass dynamisches Präzisionslernen für tiefes PC unerlässlich ist, da es einen prinzipiellen Umgang mit Unsicherheit bietet und hebbian-kompatible Plastizität ohne den rechenintensiven Aufwand iterativer Inferenz ermöglicht.