🧬 biology

Online Generalised Predictive Coding

Dit artikel introduceert Online Generalised Predictive Coding (ODEM), een uitbreiding van Dynamic Expectation Maximisation die gelijktijdige online inferentie van latente toestanden, leren van modelparameters en schatting van onzekerheid in dynamische omgevingen mogelijk maakt door een scheiding van tijdschalen, en dat de robuustheid ervan aantoont, zelfs bij niet-overeenkomende of chaotische generatieve modellen.

Oorspronkelijke auteurs: Mehran H. Z. Bazargani, Szymon Urbas, Adeel Razi, Thomas Brendan Murphy, Karl Friston

Gepubliceerd 2026-05-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mehran H. Z. Bazargani, Szymon Urbas, Adeel Razi, Thomas Brendan Murphy, Karl Friston

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ⚕️ Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Stel je voor dat je brein een detective is die probeert een mysterie in real-time op te lossen. Elke seconde arriveren er nieuwe aanwijzingen (zintuiglijke data), en de detective moet direct zijn theorie over wat er gebeurt bijwerken, de regels van het spel leren en uitzoeken hoe zeer hij zijn eigen zintuigen kan vertrouwen.

Dit artikel introduceert een nieuw wiskundig hulpmiddel genaamd ODEM (Online Dynamic Expectation Maximisation) dat een computer helpt precies te doen wat deze detective doet. Het is een manier voor een machine om de verborgen oorzaken van de wereld om haar heen te 'raden', te leren van fouten en haar vertrouwen aan te passen, terwijl de wereld blijft bewegen.

Hieronder volgt een uiteenzetting van hoe het werkt, met gebruikmaking van eenvoudige analogieën:

1. De Drie Taken van de Detective (Drievoudige Schatting)

De meeste computerprogramma's proberen één ding tegelijk te doen. ODEM probeert drie dingen gelijktijdig te doen, wat de auteurs 'online drievoudige schatting' noemen:

Het volgen van de verborgen toestand: Uitzoeken waar dingen zich nu bevinden (bijvoorbeeld: "Vliegt die vogel naar links of naar rechts?").
Het leren van de regels: Uitzoeken hoe de wereld werkt (bijvoorbeeld: "Vogels vliegen meestal in een boog, niet in een rechte lijn").
Het schatten van onzekerheid: Bepalen hoeveel vertrouwen je in de data kunt stellen (bijvoorbeeld: "Het is mistig, dus mijn zicht is onbetrouwbaar; ik zou meer vertrouwen moeten stellen in mijn herinnering aan vliegpatronen van vogels").

Het artikel betoogt dat om echt 'online' te zijn, het systeem niet kan wachten tot het alle data heeft gezien voordat het een beslissing neemt. Het moet een gok wagen, deze direct bijwerken en doorgaan naar de volgende seconde data zonder terug te kijken.

2. De 'Soepele' Truc (Gegeneraliseerde Coördinaten)

Stel je voor dat je probeert te voorspellen waar een auto over één seconde zal zijn.

Oude manier: Je kijkt alleen naar waar de auto zich nu bevindt. Als de auto plotseling slaat, ben je te laat met je voorspelling.
ODEM's manier: Het kijkt naar de positie van de auto, zijn snelheid, zijn versnelling en zelfs hoe snel de versnelling verandert (jerk).

Het artikel noemt dit het gebruik van 'Gegeneraliseerde Coördinaten van Beweging'. Denk hierbij aan een filmcamera die niet alleen een foto maakt van de locatie van de auto, maar ook zijn snelheid opneemt en hoe hard de bestuurder op het gaspedaal drukt. Door de 'gladheid' van de beweging te kennen, kan het systeem de toekomst veel beter voorspellen, zelfs als de auto zich op een chaotische, onvoorspelbare manier beweegt.

3. De Snelheidstrap (Scheiding van Tijdschalen)

Een van de grootste uitdagingen in dit 'detectivewerk' is dat sommige dingen snel veranderen en andere langzaam.

Snel: De positie van een bewegend object (verandert elke milliseconde).
Langzaam: De regels van het spel of hoeveel ruis er in de lucht zit (verandert over minuten of uren).

ODEM gebruikt een slimme truc genaamd scheiding van temporele schalen. Het behandelt de 'snelle' updates (het volgen van het object) en de 'langzame' updates (het leren van de regels) als twee verschillende taken die met verschillende snelheden plaatsvinden.

De snelle taak: Update constant, als een reflex.
De langzame taak: Update alleen af en toe, als het leren van een nieuwe gewoonte.

Dit voorkomt dat het systeem in de war raakt. Het probeert niet de wetten van de natuurkunde te herschrijven elke keer dat een vogel met zijn vleugels slaat; het werkt de wetten alleen bij als het patroon over een lange periode aanhoudt.

4. De Test: De 'Verkeerde' Kaart

Om te bewijzen dat hun systeem werkt, hebben de onderzoekers een moeilijke test opgezet.

De Realiteit: Ze creëerden een complexe, chaotische wereld met behulp van een wiskundig model genaamd de Generalised Lotka-Volterra (denk hierbij aan een simulatie van drie diersoorten die met elkaar interageren en vechten om voedsel).
De Detective: Ze gaven het ODEM-systeem een 'kaart' gebaseerd op een compleet ander wiskundig model genaamd het Lorenz-systeem (vaak gebruikt om weerspatronen te simuleren).

Normaal gesproken raak je verdwaald als je probeert een jungle te navigeren met een kaart van een stad. Omdat ODEM echter de 'gladde beweging'-truc (Gegeneraliseerde Coördinaten) en de 'snelheidstrap'-truc (scheiding van tijdschalen) gebruikte, slaagde het eropvallend goed in om de bewegingen van de dieren te volgen, zelfs al was zijn interne kaart fundamenteel verkeerd over het type wereld waarin het zich bevond.

5. Het Resultaat: Een Beter Detective

Het artikel toont aan dat ODEM kan:

Verborgen toestanden nauwkeurig volgen, zelfs als de wereld chaotisch is.
De juiste 'regels' (parameters) na verloop van tijd leren, zelfs als het begon met de verkeerde.
Zijn vertrouwen (onzekerheid) aanpassen op basis van hoe ruisachtig de data is.

De auteurs concluderen dat deze methode een biologisch geïnspireerde manier biedt voor machines om in real-time te leren en zich aan te passen, net zoals een menselijk brein dat doet, zonder dat ze hoeven te stoppen en de volledige geschiedenis van gebeurtenissen opnieuw hoeven te analyseren elke keer dat er een nieuw stukje data arriveert.

Kortom: ODEM is een slim, snellerend systeem dat de toekomst voorspelt door te kijken naar hoe dingen soepel bewegen, de regels langzaam leert en weet wanneer het zijn ogen moet vertrouwen versus zijn geheugen – allemaal terwijl de wereld blijft draaien.

Technische Samenvatting: Online Generalised Predictive Coding

Probleemstelling

Het artikel behandelt de uitdaging van online triple schatting in dynamische omgevingen. In de context van door het brein geïnspireerde berekening houdt dit in dat drie taken gelijktijdig in real-time worden uitgevoerd naarmate sensorische data binnenkomt:

Online inferentie van verborgen toestanden: Schatting van de latente dynamische toestanden van de wereld.
Online parameterleer: Inferentie van de onbekende parameters van het generatieve model (GM).
Online onzekerheidsschatting: Schatting van de precisie (inverse variantie) van toestand- en observatieruis.

De primaire moeilijkheid ligt in het online karakter van het probleem: in tegenstelling tot offline schema's die de volledige tijdreeks kunnen herzien om tot een oplossing te convergeren, moet een online systeem elk gegeven precies één keer verwerken. Het kan interne toestanden of parameters niet iteratief verfijnen voordat de volgende observatie arriveert. Dit vereist berekeningsschema's die snel, accurate updates mogelijk maken onder strikte temporele beperkingen, met name wanneer de functionele vorm van het ware generatieve proces (GP) verschilt van het model dat voor inferentie wordt gebruikt.

Methodologie

Theoretisch Kader

De voorgestelde methode, Online Dynamic Expectation Maximisation (ODEM), is geworteld in het Free Energy Principle (FEP) en Variational Inference (VI). Het stelt perceptie voor als de minimalisatie van Variational Free Energy (VFE), die dient als een bovengrens voor de negatieve log-modelbewijskracht. De VFE wordt ontbonden in een nauwkeurigheids-term (het aanpassen aan de data) en een complexiteits-term (het straffen van afwijkingen van eerdere overtuigingen), in overeenstemming met Ockhams scheermes.

Om de VFE hanteerbaar te maken voor dynamica in continue tijd, maken de auteurs gebruik van de Laplace-benadering, waarbij de posterior-verdeling wordt benaderd met een Gaussische verdeling. Dit reduceert de VFE tot een som van precisie-gewogen voorspellingsfouten.

Generalised Coordinates of Motion (GCM)

Een kerncomponent van ODEM is het gebruik van Generalised Coordinates of Motion (GCM). In plaats van alleen de positie van verborgen toestanden ( $x_t$ ) te modelleren, infereert het model een vector van hogere-orde temporele afgeleiden (snelheid, versnelling, jerk, enzovoort): $\tilde{x}_t = \{x_t, x'_t, x''_t, \dots\}$ .

Dit stelt het model in staat om de gladde dynamica van het systeem te vangen zonder gesloten-vorm overgangsdichtheden of Monte Carlo-simulaties te vereisen (in tegenstelling tot Kalman- of Partikelfilters).
Het model neemt aan dat willekeurige fluctuaties in het GP een zekere mate van gladheid bezitten, waardoor de standaard Wiener-procesaanname wordt versoepeld.
Generaliseerde observaties ( $\tilde{y}_t$ ) worden geconstrueerd door hogere-orde afgeleiden van de sensorische input te benaderen via eindige verschillen.

Scheiding van Temporele Schalen

ODEM implementeert een cruciale scheiding van temporele schalen, geïnspireerd door Haken's Synergetics, om de drie schattings taken te beheren:

Snelle D-stap (Toestandsinferentie): Vindt plaats bij elke observatie. Het werkt continu de verborgen toestanden bij via gradient-gebaseerde minimalisatie van de VFE, geregulariseerd door de kromming van het VFE-oppervlak (Ozaki-schema). Dit volgt snel bewegende externe toestanden.
Trage E-stap (Parameterleer): Vindt minder frequent plaats (elke interEM observaties). Het werkt modelparameters ( $\theta$ ) bij met behulp van geaccumuleerde gradiënten over een venster van data. Dit weerspiegelt het langzamere tijdsbestek van synaptische plasticiteit of veranderende contexten.
Trage M-stap (Onzekerheid/Precisie-schatting): Vindt plaats op hetzelfde trage tijdsbestek als de E-stap. Het werkt de precisie hyperparameters ( $\lambda$ ) voor toestand- en observatieruis bij. Dit wordt geïnterpreteerd als een attentiemechanisme, dat de weging van voorspellingsfouten moduleert.

Algorithmus

Het ODEM-algoritme iteratieert door observaties $y_t$ :

Generaliseer de observatie naar $\tilde{y}_t$ .
Voer de D-stap uit: Werk het gemiddelde van de toestandsposterior ( $\tilde{\mu}_x$ ) bij met behulp van een op Jacobiaan gebaseerde update-regel.
Accumuleer gradiënten voor parameters en precisies.
Op intervallen gedefinieerd door interEM, voer de E-stap en M-stap uit: Werk de gemiddelden en covarianties van de parameter ( $\theta$ ) en precisie ( $\lambda$ ) posteriors bij met behulp van Robbins-Monro leersnelheden, en reset vervolgens de gradiënt-accumulatoren.

Belangrijkste Bijdragen

ODEM-algoritme: De introductie van een online variant van het Dynamic Expectation Maximisation (DEM)-algoritme, specifiek ontworpen voor triple schatting in niet-lineaire, potentieel chaotische systemen.
Implementatie van Generalised Predictive Coding: Een Python/PyTorch-implementatie van ODEM die GCM gebruikt om dynamica te modelleren zonder gesloten-vorm overgangsdichtheden.
Robuustheid tegen Modelmismatch: Demonstratie dat ODEM succesvol latente toestanden kan volgen zelfs wanneer de functionele vorm van het GM fundamenteel verschilt van het GP (bijvoorbeeld het gebruik van een Lorenz-model om een Generalised Lotka-Volterra-proces te infereren), mits hogere orde bewegingen worden gebruikt.

Experimentele Resultaten

De auteurs hebben ODEM gevalideerd met behulp van een Generalised Lotka-Volterra (GLV) generatief proces (GP) met gladde, gecorreleerde ruis. Ze testten twee GM's:

Scenario-Same: Een GLV-GM (overeenkomend met het GP).
Scenario-Different: Een Lorenz-GM (niet-overeenkomende functionele vorm).

Belangrijkste Bevindingen:

Invloed van GCM-orde: Het verhogen van de orde van beweging ( $k_x$ ) van 2 naar 3 verbeterde de trackingprestaties aanzienlijk, met name in het Scenario-Different geval. Met $k_x=2$ had de Lorenz-GM moeite om de GLV-GP te volgen; met $k_x=3$ verbeterde de tracking aanzienlijk. In het Scenario-Same geval presteerde de GLV-GM goed met beide orden, wat suggereert dat GCM het meest kritiek is wanneer structurele aannames niet overeenkomen.
Convergentie: Posterior-schattingen voor parameters ( $\mu_\theta$ ) en precisies ( $\mu_\lambda$ ) stabiliseerden in de loop van de tijd. De onzekerheid (credibele intervallen) rond parameterschattingen nam sneller af bij hogere orden van beweging.
Free Action (FA): FA-waarden (een proxy voor modelbewijskracht) waren lager voor Scenario-Same (GLV-GM) dan voor Scenario-Different (Lorenz-GM). Hoewel hogere orden van beweging de nauwkeurigheid verbeterden, verhoogden ze ook de complexiteit, wat resulteerde in vergelijkbare algehele FA-waarden over de orden heen.
Sensitiviteit Precieverhouding: De prestaties waren zeer gevoelig voor de vooraf bepaalde precisieverhouding $C$ (de verhouding van de verwachte precisie van observatieruis tot de precisie van toestandruis), wat het belang benadrukt van het afstemmen van het relatieve vertrouwen in sensorische data versus interne dynamica.

Betekenis en Claims

Het artikel claimt dat ODEM een door het biologie geïnspireerde oplossing biedt voor online inferentie, leren en onzekerheidsschatting. Door temporele schalen te scheiden, nabootst het het vermogen van het brein om snelle toestandsinferentie uit te voeren (snelle neuronale dynamica) terwijl het gelijktijdig langzamere parameters aanpast (synaptische plasticiteit) en aandacht (neuromodulatie).

De auteurs stellen dat ODEM een schaalbaar kader biedt voor het bestuderen van adaptieve inferentie in zowel biologische als kunstmatige agenten. Cruciaal tonen ze aan dat inferentie in Generalised Coordinates of Motion het een model mogelijk maakt om complexe, niet-lineaire dynamica te volgen, zelfs wanneer de structurele aannames van het model verschillen van het ware generatieve proces, mits het model de gladheid van de dynamica kan vangen via hogere-orde afgeleiden. Het werk verbindt predictive coding, variational inference en modellering van online dynamische systemen, en biedt een methode die geen batch-optimisatie of retrospectieve smoothing vereist.