🧬 biology

Online Generalised Predictive Coding

Dieser Beitrag stellt Online Generalised Predictive Coding (ODEM) vor, eine Erweiterung der Dynamic Expectation Maximisation, die durch eine Trennung zeitlicher Skalen eine simultane Online-Inferenz latenter Zustände, das Lernen von Modellparametern und die Schätzung von Unsicherheiten in dynamischen Umgebungen ermöglicht und dabei ihre Robustheit selbst bei nicht übereinstimmenden oder chaotischen generativen Modellen unter Beweis stellt.

Ursprüngliche Autoren: Mehran H. Z. Bazargani, Szymon Urbas, Adeel Razi, Thomas Brendan Murphy, Karl Friston

Veröffentlicht 2026-05-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mehran H. Z. Bazargani, Szymon Urbas, Adeel Razi, Thomas Brendan Murphy, Karl Friston

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dies ist eine KI-generierte Erklärung eines Preprints, das nicht peer-reviewed wurde. Dies ist kein medizinischer Rat. Treffen Sie keine Gesundheitsentscheidungen auf Grundlage dieses Inhalts. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Ihr Gehirn ist ein Detektiv, der versucht, ein Rätsel in Echtzeit zu lösen. Jede Sekunde treffen neue Hinweise (sensorische Daten) ein, und der Detektiv muss sofort seine Theorie darüber aktualisieren, was vor sich geht, die Regeln des Spiels lernen und herausfinden, wie sehr er seinen eigenen Sinnen vertrauen kann.

Dieser Artikel stellt ein neues mathematisches Werkzeug namens ODEM (Online Dynamic Expectation Maximisation) vor, das einem Computer hilft, genau das zu tun, was dieser Detektiv tut. Es ist eine Methode für eine Maschine, die verborgenen Ursachen der Welt um sie herum zu „raten", aus Fehlern zu lernen und ihr Vertrauen anzupassen, und zwar alles in dem Moment, in dem sich die Welt weiterbewegt.

Hier ist eine Aufschlüsselung der Funktionsweise, unter Verwendung einfacher Analogien:

1. Die drei Aufgaben des Detektivs (Triple Estimation)

Die meisten Computerprogramme versuchen, eine Sache nach der anderen zu erledigen. ODEM versucht hingegen, drei Dinge gleichzeitig zu tun, was die Autoren als „Online-Triple-Estimation" bezeichnen:

Verfolgung des verborgenen Zustands: Herausfinden, wo sich Dinge gerade befinden (z. B. „Fliegt dieser Vogel nach links oder rechts?").
Lernen der Regeln: Herausfinden, wie die Welt funktioniert (z. B. „Vögel fliegen normalerweise in einer Kurve, nicht in einer geraden Linie").
Schätzung der Unsicherheit: Entscheiden, wie sehr den Daten vertraut werden soll (z. B. „Es ist neblig, also ist mein Sehsinn unzuverlässig; ich sollte eher meinem Gedächtnis an Flugmuster von Vögeln vertrauen").

Der Artikel argumentiert, dass ein System, um wirklich „online" zu sein, nicht warten kann, bis alle Daten vorliegen, bevor es eine Entscheidung trifft. Es muss eine Vermutung anstellen, diese sofort aktualisieren und zur nächsten Sekunde von Daten übergehen, ohne zurückzublicken.

2. Der „glatte" Trick (Generalisierte Koordinaten)

Stellen Sie sich vor, Sie versuchen vorherzusagen, wo sich ein Auto in einer Sekunde befinden wird.

Der alte Weg: Sie schauen nur darauf, wo sich das Auto gerade befindet. Wenn das Auto plötzlich abbiegt, sind Sie mit Ihrer Vorhersage möglicherweise zu spät.
Die ODEM-Methode: Sie betrachtet die Position des Autos, seine Geschwindigkeit, seine Beschleunigung und sogar, wie schnell sich die Beschleunigung ändert (Ruck).

Der Artikel nennt dies die Verwendung von „Generalisierten Koordinaten der Bewegung". Denken Sie daran wie an eine Filmkamera, die nicht nur ein Foto des Standorts des Autos macht, sondern auch seine Geschwindigkeit und wie fest der Fahrer auf das Gaspedal drückt, aufzeichnet. Durch das Wissen um die „Glattheit" der Bewegung kann das System die Zukunft viel besser vorhersagen, selbst wenn sich das Auto auf chaotische und unvorhersehbare Weise bewegt.

3. Die Geschwindigkeitsfalle (Trennung von Zeitskalen)

Eine der größten Herausforderungen bei dieser „Detektivarbeit" besteht darin, dass sich manche Dinge schnell und andere langsam ändern.

Schnell: Die Position eines sich bewegenden Objekts (ändert sich jede Millisekunde).
Langsam: Die Regeln des Spiels oder wie viel Rauschen in der Luft ist (ändert sich über Minuten oder Stunden).

ODEM verwendet einen cleveren Trick namens Trennung temporaler Skalen. Es behandelt die „schnellen" Updates (Verfolgung des Objekts) und die „langsamen" Updates (Lernen der Regeln) als zwei verschiedene Aufgaben, die mit unterschiedlichen Geschwindigkeiten ablaufen.

Der schnelle Job: Wird ständig aktualisiert, wie ein Reflex.
Der langsame Job: Wird nur gelegentlich aktualisiert, wie das Erlernen einer neuen Gewohnheit.

Dies verhindert, dass das System verwirrt wird. Es versucht nicht, die Gesetze der Physik jedes Mal neu zu schreiben, wenn ein Vogel mit den Flügeln schlägt; es aktualisiert die Gesetze nur, wenn sich das Muster über einen langen Zeitraum hinweg fortsetzt.

4. Der Test: Die „falsche" Karte

Um zu beweisen, dass ihr System funktioniert, haben die Forscher einen schwierigen Test aufgebaut.

Die Realität: Sie schufen eine komplexe, chaotische Welt mithilfe eines mathematischen Modells namens Generalisiertes Lotka-Volterra (denken Sie daran als eine Simulation von drei Tierarten, die interagieren und um Nahrung kämpfen).
Der Detektiv: Sie gaben dem ODEM-System eine „Karte", die auf einem völlig anderen mathematischen Modell basierte, dem Lorenz-System (oft verwendet, um Wetterphänomene zu simulieren).

Normalerweise verirrt man sich, wenn man versucht, einen Dschungel mit einer Stadtkarte zu navigieren. Da ODEM jedoch den Trick der „glatten Bewegung" (Generalisierte Koordinaten) und den Trick der „Geschwindigkeitsfalle" (Trennung von Zeitskalen) anwandte, gelang es ihm, die Bewegungen der Tiere überraschend gut zu verfolgen, obwohl seine interne Karte fundamental falsch war bezüglich der Art der Welt, in der es sich befand.

5. Das Ergebnis: Ein besserer Detektiv

Der Artikel zeigt, dass ODEM folgendes kann:

Verborgene Zustände genau verfolgen, selbst wenn die Welt chaotisch ist.
Im Laufe der Zeit die korrekten „Regeln" (Parameter) lernen, selbst wenn es mit falschen begann.
Sein Vertrauen (Unsicherheit) basierend darauf anpassen, wie verrauscht die Daten sind.

Die Autoren kommen zu dem Schluss, dass diese Methode einen biologisch inspirierten Weg für Maschinen bietet, in Echtzeit zu lernen und sich anzupassen, ähnlich wie ein menschliches Gehirn, ohne jedes Mal anhalten und die gesamte Historie der Ereignisse neu analysieren zu müssen, wenn ein neues Datenelement eintrifft.

Kurz gesagt: ODEM ist ein intelligentes, schnell lernendes System, das die Zukunft vorhersagt, indem es betrachtet, wie sich Dinge glatt bewegen, die Regeln langsam lernt und weiß, wann es seinen Augen oder seinem Gedächtnis vertrauen soll – und das alles, während sich die Welt weiterdreht.

Technische Zusammenfassung: Online Generalisierte Prädiktive Kodierung

Problemstellung

Die Arbeit adressiert die Herausforderung der Online-Dreifachschätzung in dynamischen Umgebungen. Im Kontext hirngestützter Berechnung umfasst dies die gleichzeitige Durchführung von drei Aufgaben in Echtzeit, sobald Sensordaten eintreffen:

Online-Inferenz des versteckten Zustands: Schätzung der latenten dynamischen Zustände der Welt.
Online-Parameterlernen: Inferenz der unbekannten Parameter des generativen Modells (GM).
Online-Schätzung der Unsicherheit: Schätzung der Präzision (inverser Varianz) von Zustands- und Beobachtungsrauschen.

Die primäre Schwierigkeit liegt im Online-Charakter des Problems: Im Gegensatz zu Offline-Verfahren, die die gesamte Zeitreihe erneut durchgehen können, um zu einer Lösung zu konvergieren, muss ein Online-System jeden Datenpunkt genau einmal verarbeiten. Es kann interne Zustände oder Parameter nicht iterativ verfeinern, bevor die nächste Beobachtung eintrifft. Dies erfordert Rechenverfahren, die schnelle und genaue Updates unter strengen zeitlichen Zwängen ermöglichen, insbesondere wenn die funktionale Form des wahren generativen Prozesses (GP) von dem für die Inferenz verwendeten Modell abweicht.

Methodik

Theoretischer Rahmen

Die vorgeschlagene Methode, Online Dynamic Expectation Maximisation (ODEM), basiert auf dem Prinzip der Freien Energie (FEP) und der Variationalen Inferenz (VI). Sie fasst Wahrnehmung als Minimierung der Variationalen Freien Energie (VFE) auf, die als obere Schranke für die negative Log-Modell-Evidenz dient. Die VFE wird in einen Genauigkeitsterm (Anpassung an die Daten) und einen Komplexitätsterm (Strafe für Abweichung von vorherigen Überzeugungen) zerlegt, was dem Ockhamschen Rasiermesser entspricht.

Um die VFE für kontinuierliche Zeitdynamiken handhabbar zu machen, verwenden die Autoren die Laplace-Näherung, indem sie die Posterior-Verteilung durch eine Gauß-Verteilung approximieren. Dies reduziert die VFE auf eine Summe von präzisionsgewichteten Vorhersagefehlern.

Generalisierte Koordinaten der Bewegung (GCM)

Ein Kernbestandteil von ODEM ist die Verwendung von Generalisierten Koordinaten der Bewegung (GCM). Anstatt nur die Position der versteckten Zustände ( $x_t$ ) zu modellieren, inferiert das Modell einen Vektor höherer zeitlicher Ableitungen (Geschwindigkeit, Beschleunigung, Ruck usw.): $\tilde{x}_t = \{x_t, x'_t, x''_t, \dots\}$ .

Dies ermöglicht es dem Modell, die glatte Dynamik des Systems zu erfassen, ohne geschlossene Übergangsdichten oder Monte-Carlo-Simulationen zu benötigen (im Gegensatz zu Kalman- oder Partikelfiltern).
Das Modell geht davon aus, dass zufällige Schwankungen im GP ein Maß an Glattheit aufweisen, wodurch die Standardannahme eines Wiener-Prozesses gelockert wird.
Generalisierte Beobachtungen ( $\tilde{y}_t$ ) werden konstruiert, indem höhere Ableitungen des sensorischen Eingangs über Finite-Differenzen approximiert werden.

Trennung zeitlicher Skalen

ODEM implementiert eine entscheidende Trennung zeitlicher Skalen, inspiriert von Hakens Synergetik, um die drei Schätzungsaufgaben zu bewältigen:

Schneller D-Schritt (Zustandsinferenz): Tritt bei jeder Beobachtung auf. Er aktualisiert kontinuierlich die versteckten Zustände mittels gradientenbasierter Minimierung der VFE, regularisiert durch die Krümmung der VFE-Oberfläche (Ozaki-Schema). Dies verfolgt sich schnell bewegende externe Zustände.
Langsamer E-Schritt (Parameterlernen): Tritt seltener auf (alle interEM Beobachtungen). Er aktualisiert Modellparameter ( $\theta$ ) unter Verwendung akkumulierter Gradienten über ein Datenfenster. Dies spiegelt die langsamere Zeitskala synaptischer Plastizität oder sich ändernder Kontexte wider.
Langsamer M-Schritt (Unsicherheits-/Präzisionsschätzung): Tritt im selben langsamen Zeittakt wie der E-Schritt auf. Er aktualisiert die Präzisions-Hyperparameter ( $\lambda$ ) für Zustands- und Beobachtungsrauschen. Dies wird als aufmerksamkeitsmechanismus interpretiert, der die Gewichtung der Vorhersagefehler moduliert.

Algorithmus

Der ODEM-Algorithmus iteriert durch Beobachtungen $y_t$ :

Generalisierung der Beobachtung zu $\tilde{y}_t$ .
Durchführung des D-Schritts: Aktualisierung des Mittelwerts der Zustands-Posterior-Verteilung ( $\tilde{\mu}_x$ ) unter Verwendung einer jacobian-basierten Aktualisierungsregel.
Akkumulation von Gradienten für Parameter und Präzisionen.
In Intervallen, die durch interEM definiert sind, Durchführung des E-Schritts und M-Schritts: Aktualisierung der Mittelwerte und Kovarianzen der Posterior-Verteilungen für Parameter ( $\theta$ ) und Präzision ( $\lambda$ ) unter Verwendung von Robbins-Monro-Lernraten, gefolgt vom Zurücksetzen der Gradientenakkumulatoren.

Hauptbeiträge

ODEM-Algorithmus: Die Einführung einer Online-Variante des Dynamic Expectation Maximisation (DEM)-Algorithmus, speziell entwickelt für die Dreifachschätzung in nichtlinearen, potenziell chaotischen Systemen.
Implementierung Generalisierter Prädiktiver Kodierung: Eine Python/PyTorch-Implementierung von ODEM, die GCM nutzt, um Dynamiken ohne geschlossene Übergangsdichten zu modellieren.
Robustheit gegenüber Modellfehlanpassung: Der Nachweis, dass ODEM latente Zustände erfolgreich verfolgen kann, selbst wenn die funktionale Form des GM fundamental vom GP abweicht (z. B. Verwendung eines Lorenz-Modells zur Inferenz eines Generalisierten Lotka-Volterra-Prozesses), sofern höhere Bewegungsordnungen verwendet werden.

Experimentelle Ergebnisse

Die Autoren validierten ODEM unter Verwendung eines Generalisierten Lotka-Volterra (GLV) generativen Prozesses (GP) mit glattem, korreliertem Rauschen. Sie testeten zwei GMs:

Szenario-Gleich: Ein GLV-GM (passend zum GP).
Szenario-Unterschiedlich: Ein Lorenz-GM (fehlanpassende funktionale Form).

Wichtige Erkenntnisse:

Einfluss der GCM-Ordnung: Die Erhöhung der Bewegungsordnung ( $k_x$ ) von 2 auf 3 verbesserte die Verfolgungsleistung erheblich, insbesondere im Szenario-Unterschiedlich. Mit $k_x=2$ hatte der Lorenz-GM Schwierigkeiten, den GLV-GP zu verfolgen; mit $k_x=3$ verbesserte sich die Verfolgung erheblich. Im Szenario-Gleich performte der GLV-GM bei beiden Ordnungen gut, was darauf hindeutet, dass GCM am kritischsten ist, wenn strukturelle Annahmen nicht übereinstimmen.
Konvergenz: Posterior-Schätzungen für Parameter ( $\mu_\theta$ ) und Präzisionen ( $\mu_\lambda$ ) stabilisierten sich im Laufe der Zeit. Die Unsicherheit (Glaubwürdigkeitsintervalle) um Parameterschätzungen reduzierte sich schneller mit höheren Bewegungsordnungen.
Freie Aktion (FA): FA-Werte (ein Proxy für die Modellevidenz) waren für das Szenario-Gleich (GLV-GM) niedriger als für das Szenario-Unterschiedlich (Lorenz-GM). Während höhere Bewegungsordnungen die Genauigkeit verbesserten, erhöhten sie auch die Komplexität, was zu ähnlichen GesamtfA-Werten über die Ordnungen hinweg führte.
Empfindlichkeit des Präzisionsverhältnisses: Die Leistung war hochgradig empfindlich gegenüber dem vorherigen Präzisionsverhältnis $C$ (das Verhältnis der erwarteten Beobachtungsrausch-Präzision zur Zustandsrausch-Präzision), was die Bedeutung der Abstimmung des relativen Vertrauens in Sensordaten versus interne Dynamiken unterstreicht.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass ODEM eine hirngestützte Lösung für Online-Inferenz, Lernen und Unsicherheitsschätzung bietet. Durch die Trennung zeitlicher Skalen imitiert es die Fähigkeit des Gehirns, schnelle Zustandsschätzungen (schnelle neuronale Dynamik) durchzuführen, während es gleichzeitig langsamere Parameter (synaptische Plastizität) und Aufmerksamkeit (neuromodulatorisch) anpasst.

Die Autoren behaupten, dass ODEM einen skalierbaren Rahmen für die Untersuchung adaptiver Inferenz in biologischen und künstlichen Agenten bietet. Entscheidend ist, dass sie nachweisen, dass Inferenz in Generalisierten Koordinaten der Bewegung einem Modell erlaubt, komplexe, nichtlineare Dynamiken zu verfolgen, selbst wenn die strukturellen Annahmen des Modells vom wahren generativen Prozess abweichen, sofern das Modell die Glattheit der Dynamik durch höhere Ableitungen erfassen kann. Die Arbeit verbindet prädiktive Kodierung, variationale Inferenz und die Modellierung online dynamischer Systeme und bietet eine Methode, die keine Batch-Optimierung oder retrospektive Glättung erfordert.