Technische Samenvatting: SC3D – Stable Causal Dynamic Differentiable Discovery

1. Probleemformulering

Het artikel behandelt de uitdaging om causale structuren te ontdekken uit multivariate tijdsreeksdata, waarbij interacties optreden over meerdere tijdslagen en mogelijk instantane afhankelijkheden omvatten. Traditionele causale ontdekking in tijdsreeksen staat voor twee primaire hindernissen:

1. Combinatorische Zoekruimte: De zoekruimte voor dynamische grafen die zowel vertraagde (inter-slice) als instantane (intra-slice) randen omvatten, is combinatorisch, wat een exhaustieve zoektocht onhaalbaar maakt voor hoogdimensionale systemen.
2. Numerieke Instabiliteit: Methoden voor differentieerbare causale ontdekking (DCD), die structurele leerformuleren als continue optimalisatie, lijden vaak onder numerieke instabiliteit bij het afdwingen van acyclische constraints, vooral naarmate het aantal variabelen toeneemt. Bestaande gladde acyclische constraints (bijvoorbeeld op basis van de spoor) verslechteren snel bij meer dan tientallen variabelen.

De auteurs stellen SC3D (Stable Causal Dynamic Differentiable Discovery) voor, een kader dat is ontworpen om gezamenlijk lag-specifieke adjacentiematrices en een instantane Gerichte Acyclische Graaf (DAG) te leren binnen een niet-lineair dynamisch Structureel Equation Model (SEM).

2. Methodologie

SC3D maakt gebruik van een tweestaps differentieerbaar kader dat structurele vector autoregressieve (SVAR) modellen verbindt met stabiele differentieerbare causale ontdekking. De methode werkt op observationele multivariate tijdsreeksen $\{X_t\}_{t=1}^T$.

Stap 1: Node-wise Temporal Preselection

De eerste stap heeft tot doel de combinatorische zoekruimte te verkleinen door kandidaat-oorzakelijke ouders te identificeren zonder acyclische constraints af te dwingen.

• Proces: Voor elke doelvariabele $X_j^{t+1}$ wordt een conditioneel predictiemodel (geïmplementeerd als een Multilayer Perceptron, MLP) gefit met behulp van een tijdsvenster van kandidaat-ouders, inclusief vertraagde variabelen tot orde $L$ en contemporaine variabelen (exclusief self-loops).
• Doel: Het model maximaliseert een gepenaliseerde conditionele log-likelihood met een $L_1$ regularisatieterm om sparsiteit af te dwingen.
• Output: De geleerde invoergroepgroottes worden gethresholded om binaire maskers te genereren ($M_{A_\ell}$ voor vertraagde randen en $M_B$ voor instantane randen).
• Theoretische Garantie: Stelling 3.1 stelt vast dat, op populatieniveau, deze voorselectiestap alle ware dynamische ouders binnen het gekozen tijdsvenster behoudt, waardoor ervoor wordt gezorgd dat geen ware causale relaties worden verworpen voordat de verfijningsfase begint.

Stap 2: Constrained Structure Refinement

De tweede stap verfijnt de causale structuur met behulp van de maskers gegenereerd in Stap 1, met de nadruk op het afdwingen van de acyclische constraint specifiek op het instantane component.

• Optimalisatie: De modelparameters worden heroptimaliseerd om een geregulariseerde negatieve log-likelihood te minimaliseren, beperkt tot de randen die door de Stap 1-maskers worden toegestaan.
• Afdwingen van Acyclische Eigenschappen: In tegenstelling tot eerdere methoden die gladde op spoor gebaseerde constraints toepassen op de volledige graaf, dwingt SC3D acyclische eigenschappen alleen af op de instantane adjacentiematrix $B$. Dit wordt bereikt via een spectrale straal penalty $\rho(|B|)$, die gelijk is aan nul dan en slechts dan als de graaf acyclisch is.
• 2-Cyclus Penalty: Om potentiële instabiliteit door wederzijdse randen die een kleine spectrale straal kunnen bevredigen aan te pakken, wordt een extra $L_1$-penalty op het elementsgewijze product $B \odot B^\top$ geïntroduceerd om 2-cycli direct te bestraffen.
• Penalty Scheduling: De spectrale penalty-coëfficiënt $\gamma$ wordt tijdens het trainen geleidelijk verhoogd. Zodra het geëxtraheerde instantane netwerk voldoet aan de acyclische constraint en een voldoende aantal randen behoudt, wordt de penalty "bevroren" om oscillerend gedrag te voorkomen en convergentie te stabiliseren.
• Theoretisch Inzicht: Propositie 3.2 bewijst dat als het instantane blok $B$ acyclisch is, de volledige tijd-ontrollende causale graaf gegarandeerd acyclisch is, aangezien vertraagde randen inherent vooruit in de tijd bewegen en geen cycli kunnen vormen.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

1. Nieuwe Formulering: Het formuleert causale ontdekking voor dynamische systemen met behulp van lag-specifieke adjacentiematrices en instantane DAG-componenten, waardoor structurele VAR-modellen effectief worden verbonden met stabiele differentieerbare causale ontdekking.
2. Tweestapsbenadering: Het introduceert een screenings- en geforceerde verfijningsstrategie. Door kandidaat-ouders te screenen in een vertraagde predictor-venster voordat acyclische eigenschappen worden afgedwongen, vermijdt de methode de numerieke instabiliteit die gepaard gaat met het direct optimaliseren van hoogdimensionale acyclische grafen.
3. Theoretische Garanties: De auteurs bieden garanties op populatieniveau die bewijzen dat Stap 1 alle ware causale ouders behoudt en dat de acyclische eigenschappen van de instantane afhankelijkheden voldoende zijn om de acyclische eigenschappen van de tijd-ontrollende graaf te garanderen.
4. Empirische Validatie: Het kader wordt geëvalueerd op synthetische SVAR-systemen, niet-lineaire en chaotische benchmarks (Lorenz-96, NC8), niet-stationaire dynamiek (TVSEM) en real-world datasets (CausalRivers), waarbij verbeterde stabiliteit en nauwkeurigheid worden aangetoond ten opzichte van bestaande baselines.

4. Experimentele Resultaten

De auteurs hebben SC3D geëvalueerd tegen baselines waaronder DYNOTEARS, PCMCI+, NTS-NOTEARS, TECDI, VAR-LiNGAM en NeuralGC.

• Schaalbaarheid en Stabiliteit: In experimenten waarbij de dimensie $d$ varieerde van 10 tot 50, vertoonde SC3D de laagste totale Structurele Hamming-afstand (SHD). Terwijl de fouten van andere methoden snel groeiden met de dimensie, behield SC3D robuuste prestaties. Het bereikte lag-only fouten ($SHD_A$) die lager waren dan die van DYNOTEARS en TCDF, wat wijst op een superieur herstel van temporale afhankelijkheden.
• Ranking Prestaties: Met behulp van AUROC- en AUPRC-metrics bereikte SC3D top-tier prestaties bij het ranken van vertraagde causale relaties (AUROC $\approx$ 0,91) en concurrerende prestaties bij het ranken van instantane randen (AUPRC $\approx$ 0,715), en presteerde het beter dan gespecialiseerde baselines in settings met sparsenetwerken.
• Robuustheid tegen Lag Orde: Sensitiviteitsanalyse toonde aan dat naarmate de lag-orde $L$ toenam, het instantane component van de fout stabiel bleef, wat bevestigt dat het tweestapsontwerp de zoekruimte effectief controleert, zelfs bij diepere temporale afhankelijkheden.
• Dynamische Systemen:
  • Lorenz-96 (Chaos): SC3D behaalde de laagste top-$k$ structurele fout en de hoogste AUROC/AUPRC, en presteerde beter dan PCMCI+ en TECDI.
  • TVSEM (Niet-stationair): In een regime-switching omgeving produceerde SC3D soepelere en temporair consistenter scoretrajecten dan baselines, die scherpere maar minder stabiele overgangen vertoonden.
  • Real-World (CausalRivers): Op rivierafvoerdata bereikte SC3D concurrerende structurele nauwkeurigheid en ranking-metrics, met name door prestaties te handhaven bij hogere dimensies ($d=20$), waar andere methoden significant verslechterden.
• Ablatie Studie: Het verwijderen van Stap 1 voorselectie veroorzaakte een catastrofale toename in totale SHD (bijvoorbeeld van ~87 naar ~637 bij $d=20$), wat bevestigt dat de voorselectiestap cruciaal is voor het beheersen van de zoekruimte. De spectrale en 2-cyclus penalties bleken ook essentieel voor stabiel herstel in hoge dimensies.

5. Betekenis en Claims

Het artikel claimt dat SC3D een stabiele, schaalbare en differentieerbare oplossing biedt voor causale ontdekking in multivariate dynamische systemen. De betekenis hiervan ligt in:

• Overwinnen van Numerieke Instabiliteit: Door het verkleinen van de zoekruimte (Stap 1) te ontkoppelen van het afdwingen van acyclische eigenschappen (Stap 2) en spectrale constraints alleen toe te passen op het instantane blok, worden de numerieke valkuilen van gladde op spoor gebaseerde constraints in hoge dimensies vermeden.
• Gezamenlijk Herstel: Het is een van de weinige methoden die in staat is om zowel vertraagde als instantane causale structuren gezamenlijk te herstellen, terwijl het niet-lineaire afhankelijkheden ondersteunt.
• Theoretische Kwaliteit: Het kader biedt formele garanties met betrekking tot het behoud van ware ouders tijdens screening en de sufficientie van instantane acyclische eigenschappen voor globale acyclische eigenschappen.

De auteurs positioneren SC3D als een robuust alternatief voor bestaande methoden die ofwel vertraagde en instantane afhankelijkheden onafhankelijk modelleren, of worstelen met schaalbaarheid en stabiliteit bij het gelijktijdig leren ervan. Het werk wordt gepresenteerd als een stap naar betrouwbare mechanistische interventie en redenering onder distributieveranderingen in complexe dynamische systemen.