🤖 machine learning

Causal Local States: Scalable Simultaneous Causal Network Inference and Forecasting for Dynamical Systems

Het artikel introduceert Causal Local States (CLS), een schaalbaar framework dat gelijktijdig heterogene causale interactienetwerken afleidt en dynamische systemen voorspelt door onafhankelijk optimale lokale buurten voor elke knoop te selecteren, waardoor het een hoge getrouwheid in netwerkreconstructie en een voorspellende nauwkeurigheid bereikt die vergelijkbaar is met modellen met bekende grondwaarheidstructuren.

Oorspronkelijke auteurs: Jonas Braun, Fabian Fischbach, Daniel Köglmayr, Sebastian Baur, Christoph Räth

Gepubliceerd 2026-08-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jonas Braun, Fabian Fischbach, Daniel Köglmayr, Sebastian Baur, Christoph Räth

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De wereld om ons heen wordt vaak beheerst door complexe systemen waarbij talloze onderdelen op manieren met elkaar interageren die moeilijk te voorspellen zijn. Elektriciteitsnetten, weerpatronen en ecosystemen zijn voorbeelden van hoogdimensionele dynamische systemen, wat betekent dat ze bestaan uit vele variabelen die op een niet-lineaire manier in de loop van de tijd veranderen. Decennialang hebben wetenschappers vertrouwd op machine learning om te voorspellen hoe deze systemen zullen evolueren. Hoewel deze modellen ongelooflijk nauwkeurig kunnen zijn, functioneren ze vaak als zwarte dozen: ze nemen ruwe data en spugen een voorspelling uit zonder te onthullen welke specifieke onderdelen van het systeem de verandering daadwerkelijk aansturen. Dit gebrek aan transparantie maakt het moeilijk om de onderliggende oorzaken te begrijpen of om het model te vertrouwen wanneer de omstandigheden veranderen. Tegelijkertijd bestaan er andere methoden die proberen de verbindingen tussen variabelen in kaart te brengen om de structuur van het systeem te begrijpen, maar deze benaderingen negeren vaak of de resulterende kaart daadwerkelijk nuttig is voor het doen van toekomstige voorspellingen. De uitdaging is geweest om een manier te vinden om beide tegelijkertijd te doen: het ontdekken van het verborgen netwerk van interacties, terwijl die kennis tegelijkertijd wordt gebruikt om de toekomst van het systeem met hoge nauwkeurigheid te voorspellen.

Een team van onderzoekers heeft een nieuw raamwerk ontwikkeld genaamd Causal Local States om dit probleem op te lossen. In plaats van het hele systeem te behandelen als één massief, ondeelbaar blok data, breekt deze benadering het probleem af in kleinere, beheersbare stukken. De kern van het idee is dat je, om het toekomstige gedrag van elk afzonderlijk deel van een complex systeem te voorspellen, niet de staat van elk ander deel hoeft te kennen. Je hoeft alleen de staat te kennen van de specifieke buren die het direct beïnvloeden. De onderzoekers ontwierpen een methode die onafhankelijk van elkaar deze kleine groepen invloedrijke buren bepaalt voor elke enkele variabele in het systeem. Het werkt door verschillende combinaties van variabelen te testen om te zien welke, wanneer deze in een voorspellingsmodel worden gevoed, de meest nauwkeurige voorspelling opleveren voor dat specifieke deel. Als het toevoegen van een variabele de voorspelling niet verbetert, wordt deze als irrelevant verworpen. Dit proces filtert effectief de ruis weg en identificeert de ware causale drijvers voor elke knoop.

Zodra de onderzoekers deze lokale buurten voor elk deel van het systeem hebben geïdentificeerd, combineren ze deze tot een volledige kaart van het interactienetwerk. Deze kaart is niet slechts een theoretische reconstructie; deze wordt onmiddellijk aan het werk gezet. Het systeem wordt vervolgens voorspeld door voor elke knoop een apart voorspellingsmodel te draaien, waarbij alleen de data van de eigen, geïdentificeerde buurt wordt gebruikt. Omdat elke voorspelling alleen afhangt van een paar nabijgelegen variabelen in plaats van het hele systeem, vermijdt de methode de computationele moeilijkheden die gewoonlijk optreden bij het werken met hoogdimensionele data. De onderzoekers testten deze benadering op drie verschillende soorten systemen, elk moeilijker dan de vorige. De eerste test betrof een verzameling onafhankelijke wiskundige systemen waarvan bekend was dat ze geen verbinding met elkaar hadden. De methode identificeerde succesvol dat deze systemen gescheiden waren, waarbij de variabelen van het ene systeem correct werden genegeerd bij het voorspellen van de andere, en bereikte dit zonder ongerelateerde variabelen als oorzaken te verwarren.

De tweede test gebruikte een bekend Lorenz96-model, dat atmosferische dynamica simuleert en beschikt over een specifiek patroon van verbindingen waarbij elk deel primair interageert met zijn directe buren. In dit scenario ontdekten de onderzoekers dat de methode de gebandeerde structuur van de verbindingen met hoge getrouwheid kon herstellen. Interessant genoeg behield de methode soms een paar extra verbindingen die niet deel uitmaakten van de oorspronkelijke wiskundige definitie van het systeem. Deze extra verbindingen schaadden de voorspelling echter niet; sterker nog, ze hielpen het model om net zo goed te presteren als een model dat de perfecte, ware netwerkstructuur van begin af aan kreeg. Dit suggereert dat het voor het doel van forecasting nuttig kan zijn om variabelen op te nemen die nauw verwant zijn, zelfs als ze geen directe oorzaken zijn. De laatste en meest uitdagende test betrof een dynamisch model van het elektriciteitsnet van het Verenigd Koninkrijk, een echt netwerk van 120 knopen. Hier koppelden de onderzoekers hun methode aan een gespecialiseerd voorspellingsmodel dat ontworpen is voor oscillerende systemen. Het resultaat was een reconstructie van het netwerk van het elektriciteitsnet die bijna perfect was en overeenkwam met de ware topologie van het net. De voorspellingen die werden gegenereerd door dit gereconstrueerde netwerk waren net zo nauwkeurig als die gegenereerd door een model dat de ware netwerkstructuur al kende.

De betekenis van dit werk ligt in het vermogen om complexe forecasting zowel schaalbaar als verklaarbaar te maken. Door het interactienetwerk direct uit de data af te leiden en dat netwerk te gebruiken om de voorspellingen aan te sturen, biedt de methode een duidelijk beeld van welke variabelen van belang zijn voor de toekomst van het systeem. Het vermijdt de noodzaak van een enkele, globale regel om te beslissen welke verbindingen belangrijk zijn, en erkent in plaats daarvan dat verschillende delen van een systeem verschillende behoeften kunnen hebben. Dit stelt de methode in staat om systemen te verwerken waarbij de regels van interactie variëren van het ene deel naar het andere. De onderzoekers hebben aangetoond dat deze benadering werkt, zelfs wanneer het onderliggende netwerk volledig onbekend is, en dat het efficiënt schaalt naar systemen met veel variabelen. Hoewel de huidige studie zich richtte op gesimuleerde data en wiskundige modellen, is het raamwerk ontworft om aanpasbaar te zijn aan praktische toepassingen in de echte wereld. Het vermogen om tegelijkertijd de structuur van een complex systeem te ontdekken en de toekomstige evolutie ervan te voorspellen, vertegenwoordigt een stap voorwaarts in het toegankelijker en betrouwbaarder maken van machine learning voor het begrijpen van de complexe dynamiek van de wereld om ons heen.

Technische Samenvatting: Causal Local States (CLS)

Probleemstelling

Machine learning-methoden, met name deep learning en reservoir computing, hebben een opmerkelijke nauwkeurigheid getoond bij het voorspellen van complexe, hoogdimensionele, nietlineaire dynamische systemen (bijv. elektriciteitsnetten, atmosferische modellen). Deze modellen fungeren echter meestal als "black boxes", waarbij geen inzicht wordt geboden in de specifieke interacties die de dynamiek van het systeem drijven. Daartegenover staan methoden voor causale ontdekking (causal discovery) die interactienetwerken kunnen reconstrueren uit observationele data, maar vaak negeren of de afgeleide structuur daadwerkelijk een nauwkeurige voorspelling ondersteunt.

Bestaande benaderingen die proberen netwerkinferentie te combineren met forecasting, vertrouwen op een enkele globale hyperparameter—zoals een vaste causale drempelwaarde of een uniforme omgevingsgrootte—om de interactiestructuur voor het gehele systeem te bepalen. Deze aanpak schiet tekort bij heterogene systemen waarbij verschillende subsystemen over verschillende dynamieken en schalen beschikken; een globale drempelwaarde kan niet tegelijkertijd de juiste structuur voor alle knopen herstellen. Bovendien verwerken standaard data-gedreven forecasting-methoden (zoals Next-Generation Reservoir Computing, NGRC) alle variabelen simultaan, wat leidt tot de "vloek van dimensionaliteit", waarbij de computationele kosten exploderen en de interpreteerbaarheid van het model verdwijnt in hoogdimensionele settings.

Methodologie: Causal Local States (CLS)

De auteurs introduceren Causal Local States (CLS), een verenigd framework dat simultaan een benaderend Granger-causaal interactienetwerk afleidt en de systeemdynamica voorspelt. De kernfilosofie is dat voor elke knoop in een systeem slechts een specifieke, kleine subset van andere variabelen (zijn "lokale buurt") noodzakelijk is om de toekomstige staat bijna optimaal te voorspellen.

Het CLS-framework werkt via een procedure van drie stappen die onafhankelijk en parallel wordt uitgevoerd voor elke kernknoop $X_i$ :

Causale Filtering:
Een gerichte, bivariante causale maatstaf (bijv. Transfer Entropy of Convergent Cross Mapping) wordt gebruikt om alle andere variabelen te rangschikken als kandidaat-buren voor de kernknoop. Dit creëert een geneste sequentie van kandidaat-buurten, geordend op causale sterkte. Deze stap reduceert de zoekruimte van een exponentiële $O(2^d)$ naar een lineaire $O(d_{max})$ set kandidaten, waarbij $d_{max}$ een hyperparameter is die de omvang van de buurt begrenst.
Wrapper Selectie:
Een black-box voorspellend model (specifiek NGRC in dit werk) fungeert als een "wrapper". Het wordt getraind en geëvalueerd op de kandidaat-buurten die in de filteringstap zijn gegenereerd. De wrapper selecteert de kleinste buurt die een bijna optimale voorspellende prestatie bereikt voor de kernknoop. Het selectiecriterium is gebaseerd op een relatieve verbetering in voorspellingsverlies (bijv. Mean Squared Error) vergeleken met de vorige kandidaat-omvang.
Backward Elimination:
De geselecteerde buurt kan nog steeds redundante of spureuze variabelen bevatten. Een stap van backward elimination verwijdert iteratief de minst informatieve buur. Een variabele wordt alleen verwijderd als de uitsluiting ervan de voorspellingsnauwkeurigheid niet significant verslechtert (binnen een gedefinieerde drempelwaarde). Deze stap verfijnt de buurt tot een benaderde causale set, waarbij gebruik wordt gemaakt van de causale Markov-conditie: gegeven een variabele en haar ware ouders, is zij conditioneel onafhankelijk van andere niet-afstammelingen.

Globale Voorspelling:
Zodra de lokale buurten voor alle $d$ knopen zijn afgeleid, worden deze gecombineerd in een globale buurtmatrix. Het systeem wordt vervolgens voorspeld met behulp van een local-states aanpak: een apart voorspellend model wordt voor elke knoop getraind met enkel de afgeleide lokale buurt. Eén-stap voorspellingen worden geconcateneerd en recursief teruggekoppeld om multi-stap trajecten voor het volledige systeem te genereren. Deze architectuur maakt het mogelijk dat het framework natuurlijk schaalt naar hoogdimensionele systemen en maakt parallelle verwerking mogelijk.

Belangrijkste Bijdragen

Verenigd Framework: CLS overbrugt causale ontdekking en voorspellende modellering, waarbij de interactienetwerk niet als een aparte inferentietaken wordt behandeld, maar als een middel om de voorspellende prestaties te optimaliseren.
Lokale Knoop-onafhankelijkheid: In tegen tegenstelling tot eerdere methoden die globale hyperparameters gebruiken, leidt CLS de buurt voor elke knoop onafhankelijk af op basis van lokale criteria. Dit stelt het framework in staat om heterogene systemen aan te pakken waarbij interactiekrachten en schalen aanzienlijk variëren over het netwerk.
Wrapper-gebaseerde Causaliteit: Het artikel operationaliseert Granger-causaliteit als een variabele-selectieprobleem. Door voorspellende prestaties als scoremetriek te gebruiken, selecteert de methode variabelen die daadwerkelijk de voorspellingen verbeteren, waardoor het effectief onderscheid maakt tussen ware causale drijvers en spureuze correlaties.
Schaalbaarheid: Door het globale voorspellingsprobleem te deconstrueren in $d$ kleine, lokale problemen, vermijdt CLS de computationele onhaalbaarheid van het trainen van monolithische modellen op hoogdimensionele staatvectoren.

Resultaten

De auteurs hebben CLS gevalideerd op drie benchmarks met toenemende moeilijkheidsgraad:

Composite Lorenz63–Rössler Systemen (tot 90 dimensies):
- Taak: Reconstructie van een systeem bestaande uit niet-interagerende attractorparen.
- Resultaat: CLS slaagde erin de onafhankelijke attractoren te scheiden en de blokdiagonaal gestructureerde interactienetwerken met hoge getrouwheid te reconstrueren (True Positive Rate > 0,8, False Positive Rate nabij nul na eliminatie).
- Forecasting: CLS bereikte geldige voorspellingsstappen (valid prediction steps, VPS) die vergelijkbaar zijn met een model dat de ware netwerkstructuur heeft gekregen. In contrast hiermee faalde een monolithische NGRC getraind op de volledige staatvector volledig in het voorspellen van het systeem vanwege geheugenbeperkingen en de vloek van dimensionaliteit.
Lorenz96 Systeem (40 dimensies):
- Taak: Voorspellen van een chaotisch systeem met een banded coupling-structuur.
- Resultaat: CLS herstelde het onderliggende koppelingspatroon. Hoewel de afgeleide buurten iets meer knopen bevatten dan de strikte regerende-vergelijking-ouders (waarschijnlijk door indirecte voorspellende informatie toegestaan door de Takens-embeddingstelling), waren de resulterende voorspellingen vergelijkbaar met een model dat getraind is op de ware adjacency matrix.
- Inzicht: De resultaten suggereren dat de structuur die de beste voorspellingen oplevert, niet noodzakelijkerwijs samenvalt met de strikte regerende-vergelijking-grafiek; het behouden van nabijgelegen, indirect verbonden knopen kan de voorspellingsvaardigheid verbeteren.
UK Power Grid (Hogere-orde Kuramoto Model, 120 knopen):
- Taak: Voorspellen van een real-world netwerktopologie met hogere-orde interacties.
- Resultaat: Standaard polynomiale NGRC faalde op dit oscillatornetwerk. Door CLS te koppelen aan domein-geïnformeerde wrappers (Sine-NGRC en Kuramoto-NGRC), reconstrueerde het framework de netwerktopologie met hoge nauwkeurigheid. Specifiek, bij gebruik van Kuramoto-NGRC, reduceerde de backward elimination stap de False Positive Rate van 10,62% naar 1,87%, terwijl een True Positive Rate van 96,1% werd behouden.
- Forecasting: Het CLS-framework met Kuramoto-NGRC bereikte een voorspellingsnauwkeurigheid die vergelijkbaar is met een model dat de ware netwerkstructuur heeft. In contrast hiermee stortte de Sine-NGRC wrapper in wanneer deze zijn eigen afgeleide adjacencies gebruikte (een daling van 601 naar 140 geldige voorspellingsstappen), wat benadrukt dat modelselectie cruciaal is voor de prestaties op dit specifieke systeem.

Betekenis en Claims

Het artikel claimt dat CLS een stap is richting verklaarbare en schaalbare forecasting van complexe systemen. Door naast de voorspelling ook het interactienetwerk expliciet af te leiden, biedt de methode een directe, inspecteerbare output: voor elke variabele rapporteert het de specifieke set van andere variabelen waarop de voorspelling steunt.

De auteurs benadrukken dat CLS geen voorkennis van het onderliggende netwerk vereist. Het vermogen om structuur direct uit ongestructureerde tijdreeksen af te leiden, terwijl het tegelijkertijd de voorspellingsnauwkeurigheid optimaliseert, adresseert de beperkingen van zowel pure causale ontdekking (die voorspellende bruikbaarheid negeert) als pure black-box forecasting (die een gebrek aan interpreteerbaarheid heeft). Het framework wordt gepresenteerd als een generaliseerbare tool waarbij de causale maatstaf en de voorspellende wrapper uitwisselbare componenten zijn, aanpasbaar aan diverse systeemkenmerken.

Het artikel concludeert dat hoewel CLS een sterk potentieel vertoont, het nog niet is toegepast op echte datasets (bijv. financiële tijdreeën of werkelijke weerdata), en dat er uitdagingen blijven bestaan met betrekking tot de hyperparameter-optimalisatie voor de vele lokale modellen die betrokken zijn.