TTCD:Transformer Integrated Temporal Causal Discovery from Non-Stationary Time Series Data

Technische Samenvatting: TTCD – Temporele Causale Ontdekking Geïntegreerd met Transformer

Probleemstelling
Het artikel behandelt de uitdaging van causale ontdekking in niet-stationaire, niet-lineaire en ruisgevoelige tijdreeksdata, een veelvoorkomend scenario in domeinen zoals milieukunde, epidemiologie en economie. Bestaande methoden ondervinden aanzienlijke beperkingen: constraint-based benaderingen vertrouwen op conditionele onafhankelijkheidstests (CIT) die verslechteren bij beperkte steekproeven en complexe verdelingen, wat vaak leidt tot equivalentieklassen in plaats van precieze grafieken. Score-based methoden, hoewel ze foutpropagatie mitigeren, leggen vaak sterke statistische aannames op ten aanzien van ruisverdelingen of data-generatieprocessen en gaan vaak uit van stationariteit. Bovendien ontbreekt het recente methoden die specifieke niet-stationaire scenario's aanpakken (zoals detectie van verandepunten of verdelingsverschuivingen) aan een uniforme oplossing voor algemene niet-stationaire temporele data zonder dat voorafgaande kennis van ruis of parametrische informatie vereist is.

Methodologie
De auteurs stellen het Transformer Integrated Temporal Causal Discovery (TTCD)-kader voor, een end-to-end benadering die is ontworpen om zowel gelijktijdige als vertraagde causale relaties te leren uit niet-stationaire tijdreeksen zonder restrictieve aannames. Het kader bestaat uit twee primaire modules:

1. Niet-stationaire Feature Learner:

   • Deze module maakt gebruik van een op transformer gebaseerde encoder-decoder-architectuur, verrijkt met een gespecialiseerd attentiemechanisme.
   • Het integreert temporele en frequentiedomein-attenties om complexe patronen te vangen. Een Fourier-transformatie converteert signalen in het tijdsdomein naar frequentiespectra, waardoor het netwerk aandacht kan richten op distincte spectrale banden.
   • Om de verzwakking van niet-stationaire kenmerken tijdens normalisatie aan te pakken, introduceert de module een Non-Stationary Profiling Network en een De-Stationary Factor Learning Block (DSB). Het profileringennetwerk extraheren dynamische, gelokaliseerde statistieken (bijv. lokale variabiliteit) om meta-conditioneringssignalen ($\gamma_Q, \gamma_K$) te creëren die de attentieweights dynamisch aanpassen. De DSB leert schalingsfactoren ($\tau$) en verschuivingsvectoren ($\Delta$) om intrinsieke niet-stationaire kenmerken expliciet te herstellen, die vervolgens worden geïntegreerd in de attentieberekening.
   • De decoder reconstrueert het invoersignaal vanuit deze latente representaties. Cruciaal fungeert het reconstructieproces als een filter om essentiële causale signalen te distilleren, ruis en schijnbare correlaties te mitigeren en betekenisvolle afhankelijkheden te behouden. De output wordt in zijn ongenormaliseerde schaal aan de volgende module doorgegeven.

2. Causale Structuur Learner:

   • Deze module werkt op de gedistilleerde, gereconstrueerde signalen om de onderliggende causale graaf af te leiden.
   • Het maakt gebruik van N aangepaste niet-sequentiële Causal Conv2D-lagen, één voor elke doelvariabele. Elke laag leert de causale links van alle mogelijke ouders (zowel vertraagd als gelijktijdig) naar een specifieke doelvariabele.
   • De adjacentiematrix wordt afgeleid uit de geleerde gewichten van deze convolutielagen. Een drempeloperatie snoeit zwakke afhankelijkheden weg.
   • Het leerproces dwingt een acyclische constraint af, specifiek op het gelijktijdige deel van de adjacentiematrix (aangezien vertraagde randen inherent acyclisch zijn door temporele prioriteit), met behulp van een versterkte Lagrange-methode om de gelijkheidsconstraint om te zetten in een ongedwongen optimalisatieprobleem.

Optimalisatie
Het kader wordt getraind met een doelfunctie die vier termen minimaliseert:

• Reconstructieverlies ($L_r$): Gemiddelde Kwartafstand (MSE) tussen invoer en gereconstrueerde output.
• Doelvariabele Schattingsverlies ($L_{tve}$): MSE tussen werkelijke waarden en waarden geschat via de geleerde causale verbindingen.
• Acyclische Constraint: Afgedwongen via de spoor-exponentiële van de gelijktijdige adjacentiematrix, opgelost met de versterkte Lagrange-methode.
• Sparsiteitsverlies ($L_s$): Een $L_1$-normstraf om een schaarse graaf te bevorderen met minder, sterkere causale links.

Belangrijkste Bijdragen

1. Niet-stationaire Transformer: Een innovatieve architectuur die dominante kenmerken uit tijdreeksen leert met behulp van temporele en frequentiedomein-attenties, aangevuld met niet-stationaire profilering en de-stationaire feature learning om significante niet-stationaire kenmerken te behouden.
2. Op Convolutie Gebaseerde Causale Structuur Learner: Een aangepaste module die vertraagde en gelijktijdige causale links gelijktijdig identificeert met behulp van gedistilleerde signalen, waarbij acyclische constraints en sparsiteitsstraffen direct in de optimalisatie worden opgenomen.
3. Unificerend Kader: Een methode die in staat is causale structuren uit niet-stationaire data te vangen zonder aannames ten aanzien van ruisverdelingen, data-generatieprocessen of variabele onafhankelijkheid.

Resultaten
De auteurs hebben TTCD geëvalueerd op synthetische datasets (Dataset-1 met Gaussische ruis en Dataset-2 met Poisson-ruis) en real-world datasets (Turbulentie Kinetische Energie, Arctisch Zee-ijs en FMRI-benchmark). De methode werd vergeleken met acht state-of-the-art baselines, waaronder CD-NOD, LIN, PCMCI+ en DAG-GNN.

• Prestaties: TTCD presteerde consistent beter dan de baselines in Structurele Hamming-afstand (SHD), F1-score en False Discovery Rate (FDR) over de meeste datasets.
• Specifieke Bevindingen: TTCD behaalde de beste resultaten op Synthetische Dataset-1, TKE en Arctisch Zee-ijs datasets. Op de FMRI-dataset behaalde het de beste FDR-score met een SHD vergelijkbaar met de best presterende baseline (DAG-GNN).
• Ablatiestudies: Het verwijderen van de De-Stationary Factor Block (DSB), de frequentiedomein-attentie, of het vervangen van de niet-stationaire transformer door een standaard transformer resulteerde in verslechterde prestaties over alle datasets, wat de noodzaak van elk onderdeel bevestigt voor robuuste causale ontdekking in niet-stationaire omgevingen.

Betekenis
Het artikel stelt dat TTCD een robuuste oplossing biedt voor causale ontdekking in uitdagende real-world contexten waar data niet-stationair, niet-lineair en ruisgevoelig is. Door specifieke voorwaarden voor data-verdeling en generatiemechanismen te versoepelen, vermijdt het kader de noodzaak van voorafgaande kennis van ruis of parametrische informatie die door andere methoden wordt vereist. De integratie van reconstructie-gestuurde signaaldistillatie stelt het model in staat schijnbare correlaties effectief te filteren. De auteurs positioneren TTCD als een sterke kandidaat voor causale ontdekking in tijdreeksen, waarbij het superieure nauwkeurigheid en consistentie met domeinkennis demonstreert in vergelijking met bestaande state-of-the-art benaderingen.