Causal Discovery in Structural VAR Models Under Equal Noise Variance

Technische Samenvatting: Causale Ontdekking in Structurele VAR-modellen onder Gelijke Ruisvariantie

Probleemstelling
Causale ontdekking uit multivariate tijdsreeksen is bijzonder uitdagend wanneer causale effecten zowel over tijd (vertraagd) als binnen hetzelfde steekproefinterval (contemporaan) optreden. Deze kwestie is kritiek in domeinen zoals neurowetenschappen, waar steekproeffrequenties (bijv. fMRI) vaak grof zijn ten opzichte van onderliggende dynamieken, wat modellen vereist die interacties binnen een bin kunnen vastleggen. Hoewel lineaire Gaussische Structurele Vector Autoregressieve (SVAR) modellen krachtig zijn voor dit doel, falen standaard identificatietechnieken vaak in deze setting.

In tegenstelling tot cross-sectionele Structurele Equation Models (SEM's), waarbij een aanname van gelijke ruisvariantie gecombineerd met een aanname van een Gerichte Acyclische Graaf (DAG) leidt tot puntidentificatie van een unieke causale graaf, levert de tijdsreekssetting met contemporaine effecten doorgaans geen unieke graaf op. In SVAR-modellen kunnen contemporaine effecten gerichte cycli vormen, en meerdere verschillende structurele parametriseringen kunnen exact hetzelfde stationaire waargenomen proceswet veroorzaken. Derhalve verschuift het doel van causale ontdekking van het identificeren van een enkele graaf naar het identificeren van een observationele equivalentieklasse.

Methodologie
Het artikel stelt een kader voor causale ontdekking in lineaire Gaussische SVAR(1)-modellen voor onder de aanname van gelijke ruisvariantie (structurele ruis termen zijn onderling onafhankelijk met een gemeenschappelijke variantie $\sigma^2$).

1. Karakterisering van Observationele Equivalentie:
   De auteurs bewijzen dat twee toelaatbare SVAR-modellen $M = (A_0, A_1, \sigma)$ en $M' = (A'_0, A'_1, \sigma')$ observationeel equivalent zijn (hetzelfde stationaire Gaussische proces induceren) dan en slechts dan als hun structurele parameters gerelateerd zijn door een orthogonale transformatie en een globale positieve schaal. Specifiek bestaat er een orthogonale matrix $Q \in O(p)$ en een scalair $c > 0$ zodanig dat:
   $$B' = cQB, \quad A'_1 = cQA_1, \quad \sigma' = c\sigma$$
   waarbij $B = I - A_0$. Deze karakterisering impliceert dat de structurele graaf niet punt-geïdentificeerd is; eerder identificeert de data een klasse van modellen die door deze transformaties met elkaar verbonden zijn.

2. Observatie-uitlijningsdiscrepantie:
   Om modelherstel in deze setting te evalueren, introduceren de auteurs de observationele uitlijningsdiscrepantie ($\Delta^{\text{obs}}_{\text{align}}$). In tegenstelling tot standaard Frobenius-fouten, meet deze metriek de afstand tussen een kandidaat-model en de hele observationele equivalentieklasse van de grondwaarheid. Het wordt gedefinieerd als het infimum van de reconstructiefout over alle geldige orthogonale transformaties en globale schalingen. Een gesloten-form oplossing wordt afgeleid met behulp van Singular Value Decomposition (SVD), wat een efficiënte evaluatie van structureel herstel mogelijk maakt zonder dat een specifiek willekeurig representant hoeft te worden gematcht.

3. ENVAR-algoritme:
   De auteurs stellen ENVAR (Equal-Noise VAR causale ontdekking) voor, een op sparsiteit gebaseerde procedure om een voorkeursrepresentant uit de equivalentieklasse te selecteren. Het algoritme verloopt in drie stappen:

   • Reduced-Form Schatting: Schat de reduced-form overgangsmatrix $\Phi$ en de residu-covariantie $\Sigma_u$ via Ordinary Least Squares (OLS).
   • Constructie van Canonieke Representant: Construeer een basisstructurele representatie met behulp van de Cholesky-factor van de empirische precisiematrix.
   • Sparce Zoektocht: Zoek over de orthogonale variëteit en globale schaal naar een structurele representant die de $\ell_1$-norm van de niet-diagonale entries van $A_0$ (contemporaine effecten) en alle entries van $A_1$ (vertraagde effecten) minimaliseert, onderworpen aan de normalisatiebeperking $\text{diag}(I - A_0) = 1$. Dit wordt opgelost met niet-convexe optimalisatie op de orthogonale variëteit (via de orthogonale parametrisatie van PyTorch).

Belangrijkste Resultaten
De methodologie werd geëvalueerd op synthetische data en echte fMRI-data van het Human Connectome Project (HCP).

• Synthetische Data: ENVAR werd vergeleken met EqVarGDS, VARLiNGAM en DYNOTEARS. ENVAR behaalde de laagste schaalvrije observationele uitlijningsdiscrepantie over verschillende graafdimensies ($p$), wat aangeeft dat het modellen succesvol herstelt die het dichtst bij de ware equivalentieklasse liggen. Het vertoonde ook een hogere Pearson-correlatie met grondwaarheid reduced-parameters en structurele matrices in vergelijking met baselines. Opmerkelijk was dat ENVAR robuust bleek voor schendingen van de aanname van gelijke variantie, waarbij het superieure prestaties behield zelfs wanneer ruisvarianties matig varieerden over de knopen.
• Echte fMRI-data: Toegepast op HCP-motortask-data, herstelde ENVAR causale grafen waarbij knoopcentraliteiten (in-degree, out-degree, net flow) opmerkelijk goed overeenkwamen met bekende neurowetenschappelijke activatiekaarten. NeuroSynth-analyse bevestigde dat de gedecodeerde cognitieve termen geassocieerd met de geleerde graafstructuren consistent waren met de literatuur over motorische controle.

Betekenis en Claims
Het artikel claimt dat onder gelijke ruisvariantie de structurele graaf in SVAR-modellen doorgaans niet punt-geïdentificeerd is vanwege de aanwezigheid van contemporaine cycli en de invariantie van de waargenomen wet onder orthogonale transformaties. Derhalve is het passende doel voor causale ontdekking de observationele equivalentieklasse, niet een enkele graaf.

De betekenis van dit werk ligt in:

1. Het bieden van een exacte karakterisering van deze equivalentieklasse voor tijdsreeksdata, onderscheidend ten opzichte van de cross-sectionele DAG-setting.
2. Het introduceren van een equivalentie-bewuste foutmetriek (observationele uitlijningsdiscrepantie) die structureel herstel correct evalueert door rekening te houden met de inherente niet-identificeerbaarheid.
3. Het voorstellen van ENVAR, een praktisch algoritme dat gebruikmaakt van sparsiteit om een genormaliseerde representant uit de equivalentieklasse te selecteren, en dat verbeterde nauwkeurigheid toont ten opzichte van state-of-the-art methoden in zowel synthetische als real-world neuroimaging-scenario's.

De auteurs wijzen op beperkingen, waaronder de afhankelijkheid van lineariteit, stationariteit en de afwezigheid van niet-geobserveerde verstorende factoren, evenals het gebruik van niet-convexe optimalisatie die kan convergeren naar lokale minima. Toekomstig werk wordt voorgesteld om niet-stationariteiten en dynamiek van hogere orde aan te pakken.