🤖 machine learning

From Gradients to Riccati Geometry: Kalman World Models for Single-Pass Learning

Dit paper introduceert Kalman World Models, een gradiëntvrij trainingsparadigma voor dynamische systemen en taalmodellen dat backpropagation vervangt door recursieve Bayesiaanse filtering en Kalman-winstaanpassing voor online leren en robuustheid.

Oorspronkelijke auteurs: Andrew Kiruluta

Gepubliceerd 2026-03-17

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Andrew Kiruluta

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, complexe machine bouwt die moet leren hoe de wereld werkt. Tot nu toe hebben we deze machines (zoals de AI die dit gesprek met je voert) op één specifieke manier getraind: door te kijken naar fouten, terug te lopen in de tijd en te zeggen: "Oh, hier ging het mis, ik moet die knop een beetje anders draaien." Dit heet backpropagation (terugwaartse voortplanting). Het werkt goed, maar het is alsof je een auto moet repareren door hem helemaal uit elkaar te halen, elke schroef te controleren en dan weer in elkaar te zetten, elke keer als je een klein stukje weg rijdt. Het kost veel tijd, geheugen en energie.

Dit nieuwe paper, getiteld "Van Gradiënten naar Riccati-Geometrie: Kalman Wereldmodellen voor Eén-Pass Leren", stelt een heel andere manier voor. Het zegt: "Laten we stoppen met terugkijken en teruglopen. Laten we in plaats daarvan kijken hoe een piloot of een raketbestuurder een systeem stuurt."

Hier is de uitleg in simpele taal, met een paar creatieve metaforen:

1. De Piloot vs. De Historicus

De oude manier (Backpropagation): Stel je voor dat je een historicus bent. Je rijdt een ritje, kijkt naar het pad, en als je een steen hebt gestruikeld, loop je terug naar het begin van de rit om te kijken waar je je voet had moeten zetten. Je doet dit keer op keer. Dit is traag en je moet je hele rit in je hoofd houden.
De nieuwe manier (Kalman Filter): Stel je voor dat je een piloot bent in een vliegtuig met een automatische piloot. Je kijkt niet naar het verleden. Je kijkt alleen naar nu. Je ziet dat je een beetje naar links afwijkt van de koers. Je maakt direct een kleine correctie. Je vertrouwt op je gevoel voor de lucht (onzekerheid) en past je koers aan op basis van wat je nu ziet.
- In dit paper noemen ze de fout die je maakt een "innovatie". Het is niet een zware straf, maar een signaal dat zegt: "Hé, de werkelijkheid is net iets anders dan wat ik dacht. Pas je verwachtingen aan."

2. Leren als "Gokken met een Geheugen"

In de oude manier zijn de "knoppen" van de AI (de parameters) statisch. Je probeert ze zo goed mogelijk in te stellen en dan te hopen dat het werkt.
In deze nieuwe manier (Kalman World Models) behandelen we die knoppen als levende, veranderende dingen.

De Metafoor: Stel je voor dat je een schatzoeker bent. Je hebt een kaart (je model).
- Bij de oude manier loop je de kaart af, meet je elke steen, en pas je de hele kaart pas aan als je de hele reis hebt gedaan.
- Bij de nieuwe manier heb je een kompas dat weet hoe onzeker het is. Als je komas zegt "Ik weet niet zeker of we naar het noorden gaan", pas je je koers snel aan als je een nieuwe berg ziet. Als het komas zegt "Ik weet het zeker", dan verander je je koers niet snel, zelfs niet als er een klein wolkje voor de zon komt.
- Dit betekent dat de AI leert hoe zeker ze is van haar eigen kennis. Ze wordt niet alleen slimmer, maar ook voorzichtig.

3. Het "Gedachtekracht"-Trucje (Activaties Correcteren)

Dit is misschien wel het coolste deel voor moderne AI (zoals Chatbots).

Oude manier: Als de AI een woord voorspelt en het is verkeerd, moet ze de hele machine (alle knoppen) aanpassen om het de volgende keer goed te doen.
Nieuwe manier: De AI kan haar eigen gedachten (de interne activaties) corrigeren terwijl ze nog aan het praten is!
- Metafoor: Stel je voor dat je een verhaal vertelt. Je zegt: "De man liep naar..." en dan bedenk je plotseling: "Wacht, hij had een paraplu, dus het regende." In de oude manier zou je het hele verhaal moeten herschrijven. In de nieuwe manier zeg je gewoon: "Oh, mijn gedachte over de man was net iets te optimistisch, ik pas mijn huidige gedachte direct aan."
- Dit maakt de AI veel robuuster. Als de wereld verandert (bijvoorbeeld: je praat over een ander onderwerp dan waarvoor de AI is getraind), kan ze zich direct aanpassen zonder de hele machine te herbouwen.

4. De "Koopman"-Truc (Het Moeilijke Makkelijk Maken)

De auteurs zeggen: "Waarom proberen we complexe, niet-lineaire wiskunde (zoals een bochtige weg) te lineair maken door steeds kleine rechte stukjes te tekenen?"

De Metafoor: Stel je voor dat je een danser op een ronde vloer hebt. Het is moeilijk om de beweging te voorspellen. Maar als je de danser zou filmen in een spiegelzaal (een hogere dimensie), zou de beweging plotseling een rechte lijn lijken.
Ze gebruiken een wiskundige truc (de Koopman-operator) om de complexe bewegingen van de AI te "lift" naar een ruimte waar ze lineair (rechtdoor) zijn. Dan kunnen ze de simpele, snelle Kalman-filter gebruiken zonder zich zorgen te maken over de bochten. Het is alsof je een ingewikkeld labyrint platlegt tot een rechte weg om erdoorheen te lopen.

5. Waarom is dit belangrijk?

Snelheid: Je hoeft niet meer terug te lopen in de tijd. Je leert in één pass, terwijl de data binnenkomt.
Veiligheid: Omdat de AI weet hoe onzeker ze is, maakt ze minder gekke fouten (hallucinaties) als ze in een situatie komt die ze niet kent.
Aanpasbaarheid: Ze kan blijven leren zonder haar oude kennis te vergeten (geen "catastrophic forgetting"). Het is alsof je een nieuwe taal leert zonder je moedertaal te vergeten, omdat je weet welke woorden al stevig in je hoofd zitten.

Samenvattend

Dit paper zegt: "Stop met het behandelen van AI als een statische machine die we met zware hamers (gradiënten) moeten kloppen om te leren. Behandel het als een levend, dynamisch systeem dat continu zijn koers bijstuurt op basis van wat het ziet en hoe zeker het zich voelt."

Het is een verschuiving van "Leren door fouten te analyseren" naar "Leren door continu te schatten en aan te passen", net zoals een piloot, een raket of een menselijk brein dat doet.

1. Het Probleem

De huidige machine learning-paradigma wordt gedomineerd door backpropagation en reverse-mode automatische differentiatie. Hoewel dit empirisch succesvol is, kent deze aanpak fundamentele beperkingen:

Geheugenoverhead: Reverse-mode vereist het opslaan van alle tussenliggende activaties tijdens de forward pass om de graadiënten te berekenen, wat de geheugenvraag lineair doet toenemen met de diepte van het netwerk en de sequentielengte.
Statische optimalisatie: Backpropagation behandelt parameters als statische onbekenden die worden geoptimaliseerd via deterministische afstijging op een statische objectieve functie. Dit is minder ideaal voor online learning of scenario's met niet-stationaire data-distributies.
Schaalbaarheid: In gedistribueerde omgevingen introduceert graadiënt-synchronisatie extra communicatiekosten en instabiliteit.
Gebrek aan onzekerheidskwantificering: Eerste-orde optimalisatiemethoden (zoals SGD, Adam) bieden geen expliciete maatstaf voor de onzekerheid van parameters of latent states.

Het paper stelt dat deze beperkingen architecturale keuzes zijn van het reverse-mode paradigma en niet inherent zijn aan leren zelf.

2. Methodologie: Kalman World Models (KWM)

De auteurs introduceren Kalman World Models (KWM), een raamwerk dat leren herformuleert als sequentiële Bayesiaanse state-estimation in plaats van deterministische optimalisatie.

Kernconcepten:

State-Space Formulering: Neuraal netwerken worden gemodelleerd als stochastische dynamische systemen. Parameters ( $\theta_t$ ) en interne latent states ( $x_t$ ) worden gecombineerd tot een uitgebreide state-vector $z_t = [x_t, \theta_t]^T$ .
Filtering als Training: In plaats van graadiënten te berekenen, worden parameters bijgewerkt via een Kalman-gain ( $K_t$ ) die voortkomt uit de propagatie van onzekerheid (covariantie). De update-regel is:
$\theta_{t+1} = \theta_t + K_t(y_t - \hat{y}_t)$
Waarbij $(y_t - \hat{y}_t)$ de innovatie (residu) is en $K_t$ wordt berekend via de Riccati-vergelijkingen die de covariantie van de parameters bijwerken.
Koopman Operator Lifting: Om het probleem van lokale linearisatie (zoals bij klassieke Extended Kalman Filters) te omzeilen in niet-lineaire systemen, gebruiken de auteurs Koopman operator theorie. Dit "liftt" de niet-lineaire dynamica naar een hogere dimensie van functieruimte waar de evolutie exact lineair is. Hierdoor kan exacte lineaire filtering worden toegepast zonder herhaalde Jacobiaan-berekeningen.
Innovatie-correctie op Activatieniveau: Voor Transformer-architecturen worden niet alleen de parameters, maar ook de interne hidden states (activaties) behandeld als latent states. Deze worden online gecorrigeerd op basis van de innovatie van de gegenereerde tokens, zonder backpropagation.

3. Belangrijkste Bijdragen

Equivalentie tussen Kalman en Natural Gradient:
De auteurs bewijzen dat onder Gaussische observatiemodellen de Kalman-gain update wiskundig equivalent is aan een Natural Gradient Descent stap met de Fisher-informatiematrix als preconditioner. De covariantiematrix $P_t$ fungeert hier als de inverse Fisher-metric. Dit verenigt control-theorie, informatie-geometrie en recursieve filtering in één raamwerk.
Filtering-as-Training Principe:
Leren wordt herdefinieerd als het bijwerken van een posterior-verdeling over parameters en states. Dit elimineert de noodzaak voor reverse-time traversals en maakt online, continue learning inherent.
Activatieniveau Innovatie Correctie:
Een innovatieve extensie voor LLM's waarbij de interne representaties (hidden states) worden bijgesteld als een "observer" in de controletheorie. Dit biedt een mechanisme om hallucinaties te verminderen en robuustheid te verhogen bij distributieveranderingen, zonder de globale gewichten te wijzigen.
Koopman-Lifted World Models:
Door niet-lineaire netwerken te embedden in een lineaire operatorruimte, wordt filtering exact in de lifted space. Dit vervangt de benadering door Taylor-reeksen (Jacobianen) door een benadering via representatielearning.
Gestructureerde Covariantie voor Schaalbaarheid:
Om de $O(p^2)$ geheugencomplexiteit van volledige covariantiematrices te overwinnen, worden gestructureerde benaderingen gebruikt (block-diagonaal, low-rank factorisatie, Kronecker-factoren). Dit reduceert de complexiteit naar $O(pr)$, vergelijkbaar met geavanceerde tweede-orde optimalisatoren zoals K-FAC, maar met een Bayesiaanse grondslag.

4. Resultaten

De auteurs evalueren KWM op drie gebieden:

Sequential MNIST: KWM convergeert met een vergelijkbare snelheid als Adam, maar toont een veel lagere gevoeligheid voor de initialisatie van de leer-snelheid en stabiliseert de covariantie sneller.
Taalkundige Modellering (WikiText-2): Een 6-laags transformer bereikt een perplexiteit die statistisch gelijk is aan Adam. Cruciaal is dat KWM met activatie-correctie superieure robuustheid toont onder synthetische distributieveranderingen (bijv. token-dropping).
Online Adaptatie & Continual Learning: Op benchmarks zoals permuted MNIST en streaming taalmodellen reduceert KWM catastrophic forgetting met ongeveer 30% ten opzichte van Adam en 18% ten opzichte van K-FAC. Dit komt doordat de covariantiematrix parameters met hoge zekerheid (lage onzekerheid) beschermt tegen grote updates.

Vergelijking (Tabel 1 samenvatting):
KWM presteert vergelijkbaar met geavanceerde optimalisatoren op stationaire taken, maar wint duidelijk op gebieden van robuustheid onder verschuivingen en het behoud van eerder geleerde kennis. Klassieke EKF-training (uit de jaren 90) presteert minder goed, wat de noodzaak van de moderne extensies (Koopman, activatie-correctie, gestructureerde covariantie) onderstreept.

5. Betekenis en Conclusie

Dit paper biedt een fundamentele verschuiving in hoe we diepe neurale netwerken conceptualiseren:

Van Optimalisatie naar Schatting: Netwerken worden niet langer gezien als statische functies die worden geminimaliseerd, maar als stochastische dynamische systemen die Bayesiaanse inferentie uitvoeren.
Riccati-Geometrie: In plaats van Euclidische afstijging, wordt het leerproces geleid door Riccati-dynamica (de evolutie van onzekerheid), wat een natuurlijke manier biedt om stabiliteit en plasticiteit in evenwicht te brengen.
Toekomstperspectief: Hoewel er nog uitdagingen zijn op het gebied van schaalbaarheid naar miljarden-parameter modellen (door de overhead van covariantie-updates), opent KWM een pad naar online, onzekerheidsbewust en continu leersystemen die beter bestand zijn tegen distributieveranderingen dan huidige backpropagation-gebaseerde systemen.

Samenvattend presenteert dit werk geen historische curiositeit, maar een moderne, schaalbare en theoretisch onderbouwde alternatieve grondslag voor machine learning, gebaseerd op controletheorie en informatie-geometrie.