📊 statistics

Bayesian Inference and Learning in Gaussian Process State-Space Models with Particle MCMC

Dit artikel presenteert een volledig Bayesiaans raamwerk voor gezamenlijke toestandschatting en systeemidentificatie in nietlineaire non-parametrische toestandsruimtemodellen door Gaussische procesprioriteiten op de transitiedynamica te plaatsen en op maat gemaakte Particle Markov Chain Monte Carlo-samplers te gebruiken om efficiënt de gezamenlijke smoothing-distributie te infereren, terwijl de modelexpressiviteit behouden blijft en computationele schaalbaarheid wordt mogelijk gemaakt door middel van ijle benaderingen.

Oorspronkelijke auteurs: Roger Frigola, Fredrik Lindsten, Thomas B. Schön, Carl E. Rasmussen

Gepubliceerd 2026-06-04

📖 6 min leestijd🧠 Diepgaand

CC BY 3.0

Oorspronkelijke auteurs: Roger Frigola, Fredrik Lindsten, Thomas B. Schön, Carl E. Rasmussen

Oorspronkelijk artikel gelicentieerd onder CC BY 3.0 (http://creativecommons.org/licenses/by/3.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert uit te zoeken hoe een mysterieuze, onzichtbare machine werkt. Je kunt de tandwielen of hendels van de machine (de interne "toestand") niet zien en je weet niet precies welke regels hij volgt om van het ene moment naar het volgende te bewegen (de "dynamiek"). Alles wat je hebt, zijn wazige, ruisige snapshots van hoe de machine er op verschillende momenten uitziet (de "metingen").

Dit artikel presenteert een nieuwe, zeer flexibele manier om dit puzzelstuk op te lossen met behulp van Bayesiaanse inferentie en Gaussiaanse processen. Hier is de uitleg in alledaagse termen:

Het Probleem: De "Black Box"-machine

In veel reële systemen (zoals het weer, aandelenmarkten of robotbewegingen) veranderen dingen in de loop van de tijd op basis van verborgen regels.

De Verborgen Toestand: Denk aan de interne positie van de machine. Je kunt deze niet direct zien.
De Dynamiek: Dit is het regelboek dat zegt: "Als de machine hier is, zal hij daar het volgende moment zijn." Meestal proberen we dit regelboek te raden door ervan uit te gaan dat het een eenvoudige lijn of een specifieke curve is. Maar het echte leven is rommelig; de regels kunnen grillig, complex en onvoorspelbaar zijn.
De Ruis: Je snapshots zijn wazig. Je ziet misschien een schaduw die op een cirkel lijkt, maar het zou in werkelijkheid een vierkant kunnen zijn.

De Oplossing: Een "Vormveranderend" Regelboek

De auteurs stellen een methode voor die de machine niet dwingt om een eenvoudig, vooraf gedefinieerd regelboek te volgen. In plaats daarvan gebruiken ze een Gaussiaans Proces (GP).

De Analogie: Stel je voor dat je een lijn probeert te trekken die een reeks stippen op een vel papier verbindt.

De Oude Manier (Parametrisch): Je besluit vooraf: "Ik zal alleen een rechte liniaal gebruiken." Als de stippen een curve vormen, zal je tekening fout zijn.
De Manier van Dit Papier (Niet-parametrisch): Je gebruikt een stuk elastisch rubber. Je zet het rubber vast bij de stippen die je wel kent, en laat het rubber natuurlijk rekken en buigen om de gaten op te vullen. Het rubber is flexibel genoeg om elke vorm te leren die de data suggereert, zonder dat je vooraf de vorm hoeft te raden.

De Magische Truk: Het "Instorten" van het Mysterie

Het moeilijkste deel van dit probleem is dat je niet weet wat de vorm van het rubberen bandje is (het regelboek) én je weet niet waar de stippen zijn (de verborgen toestand). Ze zijn van elkaar afhankelijk.

De slimme truc van de auteurs is om het regelboek uit de vergelijking te marginaliseren (of te "collapsen").

De Metafoor: Stel je voor dat je een verdwaalde wandelaar in een bos probeert te vinden. Normaal gesproken heb je een kaart van het bos nodig om hem te vinden. Maar hier ontbreekt de kaart zelf.
De Truk: In plaats van te proberen eerst de kaart te tekenen en daarna de wandelaar te vinden, zeggen de auteurs: "Laten we doen alsof we even niet geven om de specifieke vorm van de kaart. Laten we alleen de waarschijnlijkheid berekenen waar de wandelaar zich zou kunnen bevinden, rekening houdend met elke mogelijke kaart tegelijkertijd."
Door dit wiskundig te doen, elimineren ze de noodzaak om eerst het complexe regelboek te raden. Dit geeft hen een helderder beeld van waar de verborgen toestand zich waarschijnlijk bevindt.

De Motor: Particle MCMC (De "Zwerm Ontdekkingsreizigers")

Om deze waarschijnlijkheden daadwerkelijk te berekenen, gebruiken ze een methode genaamd Particle Markov Chain Monte Carlo (PMCMC), specifiek een versie genaamd PGAS.

De Analogie:
Stel je voor dat je een zwerm van 20 ontdekkingsreizigers (particles) hebt die proberen het pad van de verborgen wandelaar door de tijd heen te traceren.

Het Probleem: Als de ontdekkingsreizigers maar willekeurig gokken, kunnen ze allemaal in dezelfde doodlopende straat terechtkomen, of ze kunnen vergeten waar ze begonnen zijn (een probleem genaamd "path degeneracy").
De Oplossing (PGAS): De ontdekkingsreizigers werken als een team. Ze houden een "leider"-pad aan (een specifiek traject waarvan ze weten dat het goed is). Terwijl ze vooruit bewegen, controleren ze constant: "Als ik mijn huidige pad zou verwisselen met dat van de leider, zou dat dan logisch zijn?"
Het Resultaat: Dit stelt hen in staat om gelijktijdig vele mogelijkheden voor de verborgen toestand en het complexe regelboek te verkennen, wat ervoor zorgt dat ze niet vastlopen in één slechte gok. Ze "samplen" effectief de meest waarschijnlijke geschiedenis van de machine.

De Beloning: De Regels Leren

Zodien de ontdekkingsreizigers het meest waarschijnlijke pad van de verborgen toestand hebben uitgezet (de "smoothing distribution"), kunnen de auteurs eindelijk het regelboek bepalen.

Omdat het rubberen bandje (Gaussiaans Proces) flexibel is, kunnen ze de exacte curve tekenen die de punten verbindt, zodra ze weten waar de punten daadwerkelijk waren.
Ze kunnen vervolgens voorspellen wat de machine de volgende stap zal doen, zelfs in situaties die ze nog niet eerder hebben gezien.

Waarom Dit Belangrijk Is (Volgens het Papier)

Flexibiliteit: In tegenكstelling tot oudere methoden die het systeem dwingen een eenvoudige lijn of curve te zijn, kan deze methode complexe, grillige, niet-lineaire gedragingen leren.
Robuustheid: Zelfs als de initiële gok over het systeem fout is (zoals het gebruiken van een "Model B" dat duidelijk verschilt van de werkelijkheid), corrigeert de methode zichzelf en vindt het de ware gedragingen.
Efficiëntie: Ze hebben een manier ontwikkeld om dit te doen zonder dat de computer onder de last van de wiskunde bezwijkt, zelfs voor lange reeksen gegevens, door gebruik te maken van "sparse" technieken (het focussen op kernpunten in plaats van op elk afzonderlijk punt).

Samenvatting

Het artikel introduceert een manier om te leren hoe een complex, verborgen systeem werkt door de regels van het systeem te behandelen als een flexibel, vormveranderend rubberen bandje. Door een slim team van digitale ontdekkingsreizigers (Particle MCMC) te gebruiken om eerst het verborgen pad te traceren, kunnen ze vervolgens de regels die het systeem beheersen perfect reconstrueren, zelfs wanneer de data ruisig is en de regels onbekend zijn.

Technische Samenvatting: Bayesiaanse Inferentie en Leren in Gaussian Process State-Space Modellen met Particle MCMC

Probleemstelling

State-space modellen (SSM's) worden breed toegepast voor het modelleren van tijdreeksen en dynamische systemen, die doorgaans worden gedefinieerd door een latente toestands-traject $x_{0:T}$ en een toestands-transitiefunctie $f$ . Een aanzienlijke uitdaging ontstaat wanneer de dynamica $f$ onbekend en sterk niet-lineair is. Traditionele benaderingen grijpen vaak terug op parametrische representaties van $f$ of gebruiken Expectation-Maximization (EM) algoritmen die kunnen leiden tot overfitting, met name in hoog-dimensionale toestandsruimten of wanneer de smoothing-distributie onzeker is.

Hoewel Gaussian Processes (GP's) een flexibele, niet-parametrische prior bieden voor $f$ , is het toepassen van GP's op SSM's moeilijk omdat de latente toestanden $x_{0:T}$ niet geobserveerd zijn. Bestaande methoden benaderen de GP vaak met een eindige set doelpunten, wat het model effectief parametrisch maakt, of vertrouwen op vaste modellen voor de transitiedynamica tijdens het smoothing-proces. Het kernprobleem dat dit artikel aanpakt, is hoe men volledige Bayesiaanse inferentie en leren kan uitvoeren in niet-lineaire, niet-parametrische SSM's zonder de expressiviteit van het model op te offeren of prohibitieve computationele kosten te veroorzaken.

Methodologie

De auteurs stellen een volledig Bayesiaans raamwerk voor waarbij een Gaussian Process prior direct wordt geplaatst over de onbekende toestands-transitiefunctie $f$ . Het observatiemodel $g$ wordt als bekend beschouwd (mogelijk geparametriseerd), terwijl de dynamica $f$ als een willekeurige functie wordt behandeld.

1. Marginalisering van de Transitiefunctie
In plaats van de gezamenlijke posterior over de toestanden, hyper-parameters en de functie $f$ simultaan te infereren, marginaliseren de auteurs de transitiefunctie $f$ uit. Deze "collapsing" benadering stelt de methode in staat om de niet-parametrische aard van het model te respecteren. Door te conditioneren op het toestands-traject $x_{0:T}$ , kan de marginale prior $p(x_{0:T} | \theta)$ worden uitgedrukt als een product van Gaussians. Hoewel deze distributie zelf niet-Gaussisch is (door de niet-lineaire afhankelijkheid van het gemiddelde en de covariantie van de toestanden), behoudt het een structuur die geschikt is voor sequentiële inferentie.

2. Particle Markov Chain Monte Carlo (PMCMC)
Om te samplen uit de resulterende gezamenlijke smoothing-distributie $p(x_{0:T}, \theta | y_{0:T})$ , gebruiken de auteurs een Particle Markov Chain Monte Carlo (PMCMC) sampler, specifiek Particle Gibbs with Ancestor Sampling (PGAS).

Sequential Monte Carlo (SMC): Het algoritme gebruikt SMC om de smoothing-distributie te benaderen. Echter, standaard SMC lijdt aan path-degeneratie, waarbij de diversiteit van particles verloren gaat voor tijdstappen die ver verwijderd zijn van de laatste observatie.
PGAS: Om path-degeneratie te mitigeren en inferentie over hyper-parameters $\theta$ mogelijk te maken, wordt PGAS gebruikt. Het combineert Gibbs sampling-stappen voor het toestands-traject en de hyper-parameters. Cruciaal is dat het een Conditional Particle Filter with Ancestor Sampling (CPF-AS) gebruikt om het toestands-traject te samplen. In CPF-AS wordt één particle-traject op elk stap vastgezet (geconditioneerd), terwijl de andere worden gesampled. De "ancestor sampling"-stap stelt het vaste traject in staat om zijn voorouders te her-samplen, wat ervoor zorgt dat de Markov-kernel de exacte smoothing-distributie invariant laat en de mixing-rates verbetert.

3. Sparse GP Constructie
Om de computationele complexiteit aan te pakken, die naïef schaalt als $O(T^4)$ of $O(T^3)$ , introduceren de auteurs een sparse GP-constructie met behulp van de Fully Independent Conditional (FIC) prior. Door een set inducerende variabelen te introduceren, wordt de computationele complexiteit verminderd naar $O(M^2T)$ , waarbij $M \ll T$ het aantal inducerende punten is. De implementatiedetails omvatten efficiënte updates van Cholesky-factorisaties om deze complexiteit te handhaven tijdens de forward recursie van de particle filter.

4. Leren van de Dynamica
Zodra de samples uit de smoothing-distributie $p(x_{0:T}, \theta | y_{0:T})$ zijn verkregen, is de posterior over de transitiefunctie $f$ beschikbaar in gesloten vorm. De predictieve distributie voor een nieuw testpunt wordt geformuleerd als een mengeling van Gaussians, waarbij elke component overeenkomt met een sample uit de smoothing-distributie. Deze mengeling vangt correct de multimodaliteit die voortvloeit uit ambiguïteit in de metingen.

Belangrijkste Bijdragen

Volledig Niet-parametrische Inferentie: Het artikel presenteert een methode die de volledige niet-parametrische expressiviteit van Gaussian Processes in SSM's behoudt, waardoor de noodzaak om de functieruimte te discretiseren of een specifieke parametrische vorm voor de dynamica aan te nemen, wordt vermeden.
Margaliseringsstrategie: Door de transitiefunctie $f$ te marginaliseren, ontkoppelen de auteurs het leren van de dynamica van de toestands-schatting, wat exacte inferentie van de smoothing-distributie mogelijk maakt gegeven het toestands-traject.
PGAS voor SSM's: De toepassing van Particle Gibbs with Ancestor Sampling op GP-SSM's maakt efficiënte sampling uit de gezamenlijke smoothing-distributie en de hyper-parameter posterior mogelijk, waarbij de problemen van path-degeneratie van standaard particle filters worden overwonnen.
Computationele Efficiëntie: De integratie van sparse GP-methoden (FIC prior) vermindert de computationele last, waardoor de aanpak schaalbaar is naar langere tijdreeksen.

Experimentele Resultaten

De auteurs evalueren hun aanpak op twee benchmarks:

Niet-lineaire Systeem Benchmark: Een systeem met bimodale smoothing-densiteiten (door teken-ambiguïteit in observaties). De GP-SSM slaagde erin de bimodale aard van het toestands-traject te vangen en de dynamica accuraat te leren, zelfs wanneer geïnitialiseerd met een zwakke parametrische gemiddelde functie. De Root Mean Square Error (RMSE) voor de geleerde dynamica was aanzienlijk lager dan bij parametrische baselines en vergelijkbaar met het grondwaarheidsmodel met bekende parameters.
Cart en Pole Systeem: Een reinforcement learning benchmark met een 4-dimensionale toestandsruimte. Met slechts 100 ruisige observaties leerde het model een dynamica-representatie die in staat is tot één-stap-vooruit voorspellingen. De resulterende predictieve distributie (een mengeling van Gaussians) reflecteerde correct hogere onzekerheid in regio's van de toestandsruimte die ver van de trainingsdata liggen, en lagere onzekerheid nabij de trainingsdata.

Betekenis en Claims

De auteurs beweren dat de primaire betekenis van hun werk ligt in het leveren van een essentieel onderdeel voor inferentie in GP-gebaseerde SSM's: de mogelijkheid om het GP-model zelf op een volledig Bayesiaanse wijze te leren. In tegenstelling tot eerdere werken die aannamen dat de GP-dynamica al geleerd was of parametrische benaderingen gebruikten, maakt deze aanpak adaptieve modelcomplexiteit mogelijk.

De auteurs benadrukken dat hun methode de niet-parametrische expressiviteit van het model behoudt, waardoor het complexe dynamische fenomenen kan vangen die parametrische modellen mogelijk missen. Ze merken op dat de aanpak bijzonder robuust is in scenario's met hoge onzekerheid in de smoothing-distributie, waar traditionele MAP- of EM-gebaseerde benaderingen de neiging hebben tot overfitting. Het gebruik van PGAS zorgt ervoor dat de inferentie niet beperkt wordt door de vaste modelveronderstellingen van conventionele smoothing-technieken, wat een flexibel raamwerk biedt voor systeemidentificatie in niet-lineaire, niet-parametrische settings.