📊 statistics

Identifiable Markov Switching Models with Instantaneous Effects and Exponential Families

Dit artikel stelt de identificeerbaarheid vast van latente regimes en regime-afhankelijke causale structuren in Markov Switching-modellen met instantane effecten en exponentiële familie-ruis, en stelt het FlowMSM-framework voor om deze regimes effectief te detecteren en causale structuren te ontdekken uit niet-stationaire tijdreeksen.

Oorspronkelijke auteurs: Roel Hulsman, Carles Balsells-Rodas, Sara Magliacane

Gepubliceerd 2026-06-02

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Roel Hulsman, Carles Balsells-Rodas, Sara Magliacane

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert de weerpatronen van een stad te begrijpen, maar die stad heeft een geheim: het heeft niet alleen "zonnige" of "regenachtige" dagen. In plaats daarvan werkt het onder verschillende verborgen "modi" of "regimes" die om en om wisselen. Soms bevindt de stad zich in de "Moesson-modus", soms in de "Droogte-modus", en soms in de "Orkaan-modus".

Het probleem is dat je deze modi niet direct kunt zien. Je ziet alleen de regen, de wind en de temperatuur (de data). Bovendien zijn de regels voor hoe het weer verandert niet hetzelfde in elke modus. In de "Moesson-modus" kan een daling in luchtdruk direct leiden tot een overstroming. In de "Droogte-modus" doet diezelfde daling misschien helemaal niets.

Dit is de uitdaging die dit artikel aanpakt: Hoe ontdekken we in welke verborgen modus het systeem zich bevindt en wat de specifieke regels voor die modus zijn, enkel door naar de rommelige data te kijken?

Hier is een uitsplitsing van hun oplossing, met behulp van eenvoudige analogieën.

1. Het Probleem: Het "Kameleon"-systeem

De meeste standaardinstrumenten voor het analyseren van tijdreeksgegevens (zoals aandelenkoersen of hartslag) gaan ervan uit dat de regels voor altijd hetzelfde blijven. Maar in de echte wereld veranderen systemen.

De "Instantane" Valstrik: Soms gebeuren veranderingen zo snel dat onze metingen de "tussenstappen" missen. Het is alsof je elke 5 seconden een foto maakt van een hardloper. Als ze van A naar B sprinten in 1 seconde, laten je foto's het lijken alsof ze geteleporteerd zijn. Het artikel noemt dit een "instantane effect" (een onmiddellijk effect).
De "Niet-Gaussische" Twist: Standaardinstrumenten gaan ervan uit dat data een perfecte "klokcurve" volgt (zoals de gemiddelde menselijke lengte). Maar echte data is vaak vreemd, scheef of heeft extreme uitschieters (zoals financiële crashes of plotselinge glucosepieken). De methode van de auteurs werkt zelfs wanneer de data "vreemd" is (wiskundig gezien, uit een "exponentiële familie").

2. De Grote Claim: "We Kunnen Dit Werkelijk Oplossen"

In de wiskunde en wetenschap betekent "identificeerbaarheid": Is er slechts één correct antwoord?
Stel je voor dat je een afgesloten doos hebt met een geheime combinatie. Als twee verschillende combinaties precies hetzelfde geluid bij het slot produceren, kun je de echte nooit weten. Dat is "onidentificeerbaar".

De auteurs bewijzen dat hun specifieke type systeem identificeerbaar is. Ze laten zien dat als je genoeg data hebt, er slechts één unieke manier is om de verborgen modi en de regels die hen beheersen te verklaren. Ze hebben niet alleen gegokt; ze hebben een wiskundig bewijs gebouwd dat aantoont dat de "klokcurves" en de "vreemde verdelingen" van de data verschillend genoeg zijn zodat de verborgen modi niet met elkaar verward kunnen worden.

3. De Oplossing: FlowMSM (De "Slimme Detective")

Om deze verborgen modi te vinden, hebben ze een instrument gebouwd genaamd FlowMSM. Zie dit als een tweetalig detectivebureau met twee stappen:

Stap 1: De Regime-detective (FlowMSM):
Dit deel kijkt naar de tijdreeksgegevens en vraagt: "Welke verborgen modus is er op dit moment actief?"
- Het gebruikt een techniek genaamd Normalizing Flows. Stel je een stuk klei voor. Je kunt het uitrekken, draaien en vervormen in complexe vormen. Dit instrument leert hoe je eenvoudige, voorspelbare ruis kunt "vervormen" tot de complexe, vreemde vormen van je werkelijke data. Door te volgen hoe de data wordt "vervormd", kan het zien welke "modus" (welke set regels) op dit moment de boventoon voert.
- Het groepeert de data in "vensters" waarin de regels stabiel lijken.
Stap 2: De Causale Detective (De Partner):
Zodra de data is gesorteerd in deze stabiele vensters, geeft het instrument de gesorteerde stukken door aan een partner voor "Causale Ontdekking" (Causal Discovery).
- Deze partner vraagt: "In deze specifieke modus, veroorzaakt A dan B, of veroorzaakt B dan A?"
- Omdat de data nu is gesorteerd op modus, kan de partner de ware oorzaak-gevolgregels vinden zonder in de war te raken door de wisselende modi.

4. Waarom dit een Groot Ding is

Eerdere instrumenten probeerden beide stappen tegelijk te doen of gingen ervan uit dat de data "netjes" (Gaussisch) was en dat de modi elkaar niet beïnvloedden.

Het Voordeel van het Papier: Hun methode gaat om met niet-lineaire regels (waarbij het effect geen rechte lijn is), instantane effecten (snelle veranderingen) en vreemde dataverdelingen.
De "Ontkoppeling"-truc: In tegenstelling tot andere methoden die proberen de modi en de regels simultaan te raden (wat in een lus kan vastlopen), scheidt FlowMSM de twee taken. Eerst vindt het de modi. Daarna vindt het de regels. Dit maakt het hele proces stabieler en nauwkeuriger.

5. Werkte het? (De Experimenten)

De auteurs hebben hun detective getest op twee soorten gevallen:

Synthetische Data: Ze creëerden computersimulaties waarin ze de "ware" verborgen modi en regels kenden. FlowMSM vond de verborgen modi en de regels succesvol, zelfs wanneer de data ruizig, niet-lineair was of "instantane" sprongen vertoonde. Het versloeg andere populaire methoden, vooral wanneer de data geen perfecte klokcurve volgde.
Echte Data (Finance): Ze pasten het toe op het Fama-French Five-Factor Model (een beroemde manier om aandelenrendementen te verklaren) en Apple-aandelengegevens.
- Het Resultaat: FlowMSM identificeerde duidelijke "regimes" die overeenkwamen met realtime gebeurtenissen. Zo vonden ze bijvoorbeeld een "Lage Volatiliteit"-modus en een "Hoge Volatiliteit"-modus die periodes zoals de financiële crisis van 2008 en de pandemie van 2020 duidelijk vastlegden. Andere methoden slaagden er niet in om deze gebeurtenissen logisch bij elkaar te groeperen.

Samenvatting

Beschouw de wereld als een kameleon die van kleur verandert. Oude instrumenten probeerden de kleur te raden door naar een wazige foto te kijken en ervan uit te gaan dat de kameleon altijd dezelfde soort was.
Dit artikel zegt: "Nee, de kameleon verandert ook van soort! Maar als we goed kijken naar de textuur van de huid (de wiskunde van exponentiële families) en hoe de kleuren direct verschuiven, kunnen we bewijzen welke soort er precies aanwezig is en hoe deze zich gedraagt."

Ze hebben een instrument gebouwd (FlowMSM) dat er succesvol in slaagt om de "soorten" (regimes) te scheiden van het "gedrag" (causale regels), zelfs wanneer de data rommelig is en de veranderingen in een oogwenk plaatsvinden.

Technische Samenvatting: Identificeerbare Markov-switching Modellen met Instantane Effecten en Exponentiële Families

Probleemstelling

Temporele systemen in real-world omgevingen, zoals klimaatdynamiek of glucosefluctuaties bij type 1 diabetes, vertonen frequent niet-stationair gedrag. Een veelgebruikte modelleringsstrategie representeert deze niet-stationariteit via discrete latente regimes, wat leidt tot Markov-switching Modellen (MSM's), een klasse van Hidden Markov Models (HMM's) met autoregressieve afhankelijkheden. Het identificeren van deze latente regimes en de onderliggende causale structuren is echter uitdagend wanneer:

Regime-wisselingen frequent voorkomen.
De dynamiek niet-lineair en niet-Gaussisch is.
Er instantane effecten bestaan tussen geobserveerde variabelen (bijv. door grove meetgranulariteit waarbij causale effecten sneller optreden dan de bemonsteringsfrequentie).

Bestaande identificeerbaarheidsresultaten voor eindige-toestand HMM's laten zich niet triviaal uitbreiden naar MSM's vanwege de autoregressieve afhankelijkheden tussen de geobserveerde variabelen. Bovendien gaat eerder werk op het gebied van regime-switching modellen vaak uit van Gaussische instellingen, deterministische regimefuncties, of sluit het instantane effecten en causale ontdekking uit.

Methodologie

Theoretisch Kader: Identificeerbaarheid

De auteurs vestigen de identificeerbaarheid van latente regimes en regime-afhankelijke causale structuren onder specifieke condities. Het datagenererende proces wordt gemodelleerd als een regime-switching Structureel Causaal Model (SCM) waarbij:

Regime-dynamiek: Regimes volgen een eerste-orde stationaire Markov-keten (afhankelijkheden tussen regimes zijn toegestaan).
Causale Mechanismen: Binnen elk regime volgt het systeem een structurele vergelijking met niet-lineaire vertraagde (lagged) en instantane effecten.
Ruis: Exogene ruis behoort tot een continue minimale reguliere exponentiële familie (bijv. Gaussisch, Gamma, Laplace).

Het papier bewijst dat de geïnduceerde MSM identificeerbaar is tot permutatie (d.w.z. de datalinkering bepaalt uniek de latente regimes en mengcomponenten, tot aan een herlabeling van de regimes) onder de volgende aannames:

Exponentiële Familie Ruis: De voldoende statistiek van de ruis is reëel-analytisch en heeft een rijke afbeelding (bevat een open verzameling).
Functionele Beperkingen: De mappingfuncties zijn uniek per regime, fungeren als pointwise diffeomorfismen en zijn gezamenlijk reëel-analytisch.
Ruis-automorfismen: De ruisdistributie heeft een triviale automorfisme-klasse, of de mappings worden beperkt via monotone canonicalisatie (bijv. geen rotaties).
Voldoende Variabiliteit: De regime-afhankelijke effecten kunnen worden gevangen door een eindige-orde polynoomfactorisatie van de voldoende statistiek, wat ervoor zorgt dat onderscheidende regimes naar onderscheidende natuurlijke parameters mappen.

Deze theorie omvat niet-temporele mengsels van causale modellen en breidt eerdere Gaussian-only resultaten uit naar bredere exponentiële families en instantane effecten.

Algoritme: FlowMSM

Om deze theorie te operationaliseren, introduceren de auteurs FlowMSM, een regime-detectiekader dat de detectie van regimes ontkoppelt van causale ontdekking.

Regime Detectie: FlowMSM maakt gebruik van een Generalised Expectation-Maximisation (GEM) algoritme. Het modelleert de initiële en transitie-distributies met behulp van Conditional Normalising Flows (CNF's), specifiek Neural Spline Flows (NSF). Dit stelt het model in staat om complexe, niet-Gaussische en niet-lineaire dichtheden te vangen. De flow-parameters worden gedeeld over de regimes, maar zijn geconditioneerd op regime-specifieke embeddings en vertraagde variabelen.
Causale Ontdekking: Zodra de regimes zijn geïdentificeerd (via Maximum a Posteriori toewijzing), wordt de tijdreeks gesplitst in clusters die overeenkomen met elk regime. Standaard stationaire causale ontdekkingsmethoden (bijv. VARLiNGAM, DYNOTEARS, Rhino) worden vervolgens onafhankelijk toegepast op elk cluster om de regime-afhankelijke window-grafen te herstellen.

Belangrijkste Bijdragen

Identificeerbaarheids Theorie: Het artikel biedt voldoende condities voor de identificeerbaarheid van regime-switching SCM's met afhankelijkheden tussen regimes, niet-lineaire vertraagde/instantane effecten en exponentiële familie ruis. Dit generaliseert de bestaande theorie buiten de Gaussische aannames.
FlowMSM Framework: Een nieuwe schattingsmethode die conditional normalising flows combineert met GEM voor robuuste regime-detectie in niet-Gaussische, niet-lineaire settings.
Ontkoppelde Aanpak: In tegen tegenovergaan met eerdere methoden die tussen regime-detectie en causale ontdekking itereren binnen restrictieve modelklassen (zoals Location Scale Noise Models), ontkoppelt FlowMSM deze fasen, waardoor een bredere klasse van causale modellen mogelijk is.
Empirische Validatie: Uitgebreide experimenten op synthetische benchmarks en een financiële economische dataset (Fama-French vijf-factor model) demonstreren de effectiviteit van de methode.

Experimentele Resultaten

Synthetische Benchmarks

Experimenten werden uitgevoerd op synthetische datasets met $N=100$ tijdreeksen, $T=100$ tijdstappen, $D=10$ dimensies en $K=3$ regimes. De datasets bevatten:

Lineaire SVAR met Gaussische en Exponentiële Familie (Gamma) ruis.
Niet-lineaire Additive Noise Models (ANM) met Exponentiële Familie ruis.
Location Scale Noise Models (LSNM) met Exponentiële Familie ruis (de meest uitdagende setting).

Bevindingen:

Regime Detectie: FlowMSM behaalde hoge Normalised Mutual Information (NMI) en Adjusted Rand Index (ARI) scores over alle settings, en presteerde aanzienlijk beter dan baselines (iMSM, R-PCMCI, CASTOR, FANTOM) in niet-lineaire en niet-Gaussische scenario's. Baselines die steunen op Gaussische aannames presteerden aanzienlijk slechter in niet-Gaussische settings.
Causale Ontdekking: Wanneer gekoppeld aan geschikte ontdekkingsmethoden (bijv. VARLiNGAM voor niet-Gaussisch, Rhino voor LSNM), herstelde FlowMSM causale structuren met een hoge nauwkeurigheid en een lage Structural Hamming Distance (SHD). Baselines faalden over het algemeen in het bereiken van competitieve prestaties, waarschijnlijk door problemen met het omgaan met frequente regime-wisselingen en niet-Gaussische dynamiek.
Robuustheid: FlowMSM bleef effectief, zelfs wanneer het aantal regimes of lags overgespecificeerd was.

Real-World Applicatie: Fama-French Model

De auteurs pasten FlowMSM toe op dagelijkse data van het Fama-French vijf-factor model en Apple (AAPL) aandelenrendementen.

Regime Detectie: FlowMSM identificeerde twee dominante regimes die overeenkwamen met perioden van lage en hoge marktvolatiliteit (inclusief de crisis van 2008 en de COVID-19 pandemie), welke correleerden met de VIX-index. Andere methoden produceerden regimes die niet duidelijk koppelden aan marktevenementen.
Causale Interpretatie: De geschatte causale grafen suggereerden dat tijdens stabiele markten (Regime 4), causale afhankelijkheden afwezig waren (consistent met de Efficiënte Markthypothese), terwijl tijdens marktdistress (Regime 5), causale verbindingen ontstonden. De auteurs merken echter op dat de causale interpretaties van de Fama-French factoren die AAPL-rendementen drijven, beperkt waren en niet volledig door de data werden ondersteund.

Betekenis en Claims

Het artikel claimt een geprincipleerd kader te bieden voor regime-identificatie in niet-stationaire tijdreeksen.

Theoretische Rigor: Door de identificeerbaarheid vast te stellen onder milde aannames (reëel-analyticiteit, exponentiële familie ruis), rechtvaardigt dit werk de recovery van latente structuren die voorheen als onidentificeerbaar werden beschouwd in de aanwezigheid van instantane effecten en regime-afhankelijkheden.
Praktisch Nut: Het FlowMSM-framework biedt een praktische oplossing voor het detecteren van latente regimes en het ontdekken van causale structuren in complexe, niet-Gaussische omgevingen waar traditionele Gaussische MSM's falen.
Bescheidenheid: De auteurs erkennen beperkingen, waarbij zij opmerken dat de aanname van regime-onafhankelijkheid van observaties ( $R_t \not\to X_{0:T}$ ) sterk is en dat de theorie steunt op reëel-analytische diffeomorfismen. Zij waarschuwen ook dat causale interpretaties in real-world financiële data beperkt kunnen zijn in reikwijdte en dat maandelijkse data (met minder samples) geen betekenisvolle resultaten opleverden, wat het belang van de datavereisten van de aanpak benadrukt.

Het werk claimt niet alle niet-stationaire causale ontdekkingsproblemen op te lossen, maar biedt een significante stap voorwaarts door Gaussische aannames te versoepelen en instantane effecten expliciet te behandelen binnen een theoretisch gefundeerd identificeerbaarheidskader.