📊 statistics

Robust Automatic Differentiation of Square-Root Kalman Filters via Gramian Differentials

Dit paper lost het probleem van ongedefinieerde gradienten bij het differentiëren door vierkantswortel-Kalmanfilters op door een gesloten kettingregel af te leiden die direct voortvloeit uit de differentiaal van de Gramiaan $MM^\top$ , waardoor exacte afgeleiden mogelijk worden zelfs bij rang-deficiënte invoer.

Oorspronkelijke auteurs: Adrien Corenflos

Gepubliceerd 2026-03-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Adrien Corenflos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: De Onbreekbare Rekenmachine voor Voorspellingen

Stel je voor dat je een super-slimme voorspeller hebt, een soort "kristallen bol" die probeert te raden waar een vliegtuig, een beurskoers of een ziekte zich morgen zal bevinden. In de wiskunde noemen we dit een Kalman-filter. Het is een algoritme dat voortdurend nieuwe informatie opneemt en zijn voorspelling bijwerkt.

Maar er is een probleem: deze kristallen bol is kwetsbaar. Als je hem te vaak gebruikt, of als de data wat rommelig is (bijvoorbeeld als een sensor uitvalt), beginnen kleine rekenfoutjes op te stapelen. Het is alsof je een toren van kaarten bouwt; na een tijdje begint hij te wiebelen en stort hij in. De berekeningen worden onstabiel en de voorspellingen worden onbetrouwbaar.

De Oplossing: De "Wortel" van het Probleem

Om dit op te lossen, gebruiken wetenschappers een slimme truc: in plaats van met de volledige "toren" (de covariantie) te rekenen, werken ze alleen met de wortel daarvan (de Cholesky-factor). Denk hierbij aan het verschil tussen het berekenen van de oppervlakte van een vierkant (100) en het berekenen van de lengte van één zijde (10). Door alleen met de zijde te werken, blijft de toren stevig staan en stort hij nooit in. Dit noemen we een Square-root Kalman filter.

Het Nieuwe Probleem: De Leerkracht die vastloopt

Nu willen we deze voorspeller nog slimmer maken. We willen dat hij leert uit zijn fouten. Om dat te doen, gebruiken we een techniek genaamd "automatische differentiatie". Dit is als een leerkracht die elke stap in het rekenproces terugkaatst om te zien: "Waar heb ik precies een foutje gemaakt, en hoe moet ik mijn instellingen aanpassen?"

Maar hier botst de leerkracht op een muur. De manier waarop de "wortel" wordt berekend (een wiskundige stap genaamd QR-decompositie) is niet altijd eenduidig.

De Verwarring: Soms zijn er meerdere manieren om die wortel te schrijven. De leerkracht weet niet welke route hij moet nemen om de fout te corrigeren.
De Deling door Nul: Soms is de data zo slecht (bijvoorbeeld als een sensor helemaal stuk is) dat de standaardformule probeert te delen door nul. De leerkracht schreeuwt dan: "Ik kan dit niet berekenen!" en stopt.

De Geniale Oplossing: Kijk naar de Schaduw, niet naar de Vorm

De auteur van dit paper, Adrien Corenflos, heeft een briljant inzicht gehad. Hij zegt: "Wacht even. Het maakt niet uit welke specifieke vorm de wortel heeft. Wat echt telt voor de voorspelling, is alleen het resultaat van de wortel vermenigvuldigd met zichzelf."

Hij gebruikt een mooie analogie:
Stel je voor dat je een object in de zon houdt. Je kunt het object draaien, kantelen of verdraaien (dat is de onduidelijke vorm van de wortel), maar de schaduw die het op de grond werpt, blijft precies hetzelfde zolang de afstand tot de zon gelijk blijft.

De voorspelling van de Kalman-filter hangt alleen af van die schaduw (in wiskundetaal: de Gramiaan). De schaduw is altijd glad en voorspelbaar, zelfs als het object zelf (de wortel) chaotisch wordt.

De Nieuwe Methode: De "Gramiaan-Route"

In plaats van de leerkracht te laten kijken naar de verwarrende vorm van het object, laten we hem kijken naar de schaduw.

De Nieuwe Regels: De auteur heeft een nieuwe formule bedacht die direct kijkt naar hoe de schaduw verandert als je de input aanpast.
De "Nul-Ruimte" Truc: Zelfs als de data heel slecht is (zoals een sensor die helemaal stilvalt), werkt deze nieuwe methode. Hij splitst het probleem in twee delen:
- Het deel dat wel werkt (de "kolomruimte").
- Het deel dat in de war is (de "nult-ruimte").
  Hij zorgt ervoor dat de leerkracht beide delen correct combineert, zodat hij nooit meer vastloopt, zelfs niet bij de slechtste data.

Waarom is dit geweldig?

Stabiel: De voorspeller crasht nooit meer door rekenfouten.
Leerzaam: De computer kan nu perfect leren van zijn fouten, zelfs in moeilijke situaties waar andere methoden het laten afweten.
Snel: Omdat de formule zo slim is opgebouwd, kunnen moderne computers (zoals die in je telefoon of in AI-systemen) dit direct gebruiken om complexe systemen te leren besturen.

Kortom: De auteur heeft een manier gevonden om de "kristallen bol" van de toekomst te maken die niet alleen stabiel blijft staan, maar ook nooit meer vastloopt als hij moet leren. Hij doet dit door te stoppen met kijken naar de verwarrende details en zich te richten op de essentie: de schaduw die het object werpt.

Titel

Robuuste Automatische Differentiatie van Vierkantswortel Kalman-filters via Gramian-differentiatie

1. Het Probleem

Vierkantswortel Kalman-filters (Square-Root Kalman Filters) worden veel gebruikt in lineaire Gaussische toestandsruimtemodellen (LGSSM) omdat ze numeriek stabiel zijn door covariantiematrices te propageren in de vorm van een Cholesky-factoren (onderste driehoeksmatrices) in plaats van de covariantiematrix zelf. Dit is cruciaal voor het voorkomen van afrondingsfouten die de positieve semi-definite eigenschap kunnen schenden.

De kernoperatie in deze filters is de triangularisatie van een matrix $M$ (vaak via een QR-decompositie) om een onderste driehoeksmatrix $L$ te verkrijgen waarvoor geldt $LL^\top = MM^\top$ . Bij het trainen van deze modellen met gradient-based learning (automatische differentiatie) ontstaan er echter twee fundamentele problemen bij het differentieren door de QR-decompositie:

Niet-uniekheid bij $m > n$ : Wanneer de invoermatrix $M$ breder is dan hoog ( $m > n$ ), is de orthogonale factor $Q$ in de QR-decompositie niet uniek. Dit leidt tot een continu familie van geldige keuzes, waardoor de gradient (JVP - Jacobian-Vector Product) niet eenduidig gedefinieerd is. Dit komt vaak voor in de voorspelfase (predict step) en update-fase van het filter.
Singulariteit bij rangtekort: De standaardformules voor het differentiëren door QR-bevatten de inverse van $R$ (of $L$ ). Als $M$ rangtekort heeft (bijvoorbeeld door singuliere covariantiematrices $U$ of $V$ , of gedegenereerde toestanden), is deze inverse niet gedefinieerd, wat leidt tot divergerende gradienten.

Bestaande methoden falen dus in deze veelvoorkomende scenario's, wat automatische differentiatie (AD) voor state-space modellen onbetrouwbaar maakt.

2. Methodologie

De auteur lost deze problemen op door in te zien dat de daadwerkelijke output van het filter (zoals de log-marginal likelihood, gefilterde gemiddelden en covarianties) niet afhangt van de specifieke keuze van de driehoeksmatrix $L$ , maar uitsluitend van de Gramiaan $\Sigma = LL^\top = MM^\top$ .

De kern van de methodologie is als volgt:

Smooth-Factorization Argument: Hoewel de triangularisatiemapping $T(M) = L$ niet overal differentieerbaar is, is de samengestelde functie (verliesfunctie $\circ$ $T$ ) wel glad (smooth) in $M$ , omdat deze alleen afhangt van de gladde mapping $M \mapsto MM^\top$ .
Gramian Differentiëren: In plaats van door de QR-decompositie te differentiëren, wordt de differentiaal direct afgeleid uit de identiteit $LL^\top = MM^\top$ . Dit leidt tot de volgende differentiaalvergelijking voor een tangent $dL$ in de richting $dM$:
$dL L^\top + L dL^\top = dM M^\top + M dM^\top$
Constructie van een Surrogaat-Tangent: De auteur levert een gesloten-formule oplossing voor $dL$ die deze vergelijking voldoet, zelfs bij rangtekort. De oplossing wordt opgebouwd uit twee componenten:
1. Kolomruimte-component: Gebaseerd op de Moore-Penrose pseudoinversie ( $L^\dagger$ ) en de projectie op de kolomruimte van $L$ . Dit behandelt perturbaties binnen de kolomruimte.
2. Nulruimte-component: Een correctieterm die perturbaties buiten de kolomruimte van $L$ accounteert.
Reverse-Mode Differentiatie: Omdat de mapping van $dM$ naar $dL$ lineair is, kan de Vector-Jacobian Product (VJP) voor reverse-mode AD (zoals backpropagation) automatisch worden afgeleid door de transpositie van de forward-mode operaties, zonder extra derivatie.

3. Belangrijkste Bijdragen

Gesloten-formule JVP: Een nieuwe, exacte formule voor het Jacobian-Vector Product van de triangularisatie-operator die werkt voor elke Gramian-afhankelijke verliesfunctie. Deze formule is geldig voor zowel vol-rang als rang-tekort invoer.
Rang-tekort Robuustheid: De methode lost het probleem van singuliere matrices op door gebruik te maken van de pseudoinversie en een expliciete nulruimte-correctie, waardoor divergentie wordt voorkomen.
Wiskundige Bewijslast: Een bewijs dat alle relevante output van het Kalman-filter (log-likelihood, gemiddelden, covarianties) puur afhankelijk is van de Gramiaan, en dus dat de afgeleide via deze route exact is.
Efficiënte Reverse-Mode: Een methode om de VJP "gratis" te verkrijgen via automatische transpositie, dankzij de lineariteit van de afgeleide mapping.
Open Source Implementatie: De auteur heeft een implementatie beschikbaar gemaakt (waarschijnlijk in JAX, gezien de context van AD-frameworks) die direct toepasbaar is.

4. Resultaten

Empirische Validatie: De methode is getest op een lineair Gaussisch state-space model met variërende covariantiematrices, inclusief scenario's met rangtekort (interpolatie tussen full-rank en rang-één ruis).
Vergelijking: De berekende gradienten kwamen perfect overeen met de numerieke tangents van de log-marginal likelihood-curve.
Falen van Bestaande Methoden: De "klassieke" QR-benadering leverde ongeldige waarden op en divergeerde volledig in de rang-tekort scenario's. De voorgestelde methode leverde consistente en correcte gradienten.
Visualisatie: Figuur 1 in het artikel toont aan dat de berekende tangents (pijlen) exact op de kromme van de log-likelihood liggen, wat de correctheid bevestigt.

5. Betekenis en Impact

Deze paper is van groot belang voor het veld van state-space model learning en time-series forecasting.

Stabiliteit: Het maakt gradient-based learning van complexe state-space modellen mogelijk zonder dat men bang hoeft te zijn voor numerieke instabiliteit of singulariteiten tijdens het trainen.
Generalisatie: Het maakt het gebruik van vierkantswortel-filters in moderne deep learning frameworks (zoals JAX en PyTorch) haalbaar, zelfs wanneer de data of ruisstructuren complexe rang-tekort eigenschappen hebben.
Efficiëntie: Door de reverse-mode differentiatie automatisch te laten voortvloeien uit de forward-mode, wordt de implementatie in AD-frameworks vereenvoudigd en geoptimaliseerd.

Kortom, de paper biedt een wiskundig onderbouwde en numeriek robuuste oplossing voor een langdurig probleem in de differentiatie van Kalman-filters, waardoor het trainen van deze modellen betrouwbaarder en breder toepasbaar wordt.