Technische Samenvatting: Nonlinear Permuted Granger Causality (NPGC)

Probleemstelling

Granger-causaliteit is een veelgebruikte methode om te bepalen of de ene tijdreeks de andere voorspelt, traditioneel gedefinieerd door de reductie in de variantie van de voorspellingsfout wanneer een covariabele wordt toegevoegd. Het aanpassen van dit kader aan niet-lineaire data brengt echter aanzienlijke uitdagingen met zich mee. Bestaande niet-lineaire aanpassingen vertrouwen vaak op deep learning en representation learning, maar lijden onder twee primaire problemen:

1. Overfitting en In-Sample Bias: Veel methoden maken gebruik van in-sample testen (het vergelijken van beperkte en onbeperkte modellen), wat in combinatie met universele benaderaars zoals Artificiële Neurale Netwerken (ANN's) kan leiden tot spureuze correlaties. ANN's kunnen willekeurige, data-specifieke afhankelijkheden benaderen, zelfs wanneer er geen ware voorspellende relatie bestaat, waardoor de reductie in in-sample fout wordt een onbetrouwbare metriek voor causaliteit.
2. Individuele versus Collectieve Inferentie: Veel benaderingen richten zich op het isoleren van individuele covariabelen via gepenaliseerde variabele selectie (bijv. Lasso). Dit negeert het collectieve gedrag van de set covariabelen, introduceert vermenigvuldigingsproblemen en faalt vaak in het bieden van een globale beslissing over de vraag of een set variabelen Granger-causaal is. Bovendien maakt de afhankelijkheid van specifieke strafparameters (bijv. $\lambda$) de resultaten gevoelig voor hyperparameter-tuning.

Het artikel betoogt dat de definitie van Granger-causaliteit moet verschuvers van het vergelijken van modelresiduen naar het expliciet testen van out-of-sample voorspelbaarheid, terwijl het collectieve karakter van de covariabele-set behouden blijft.

Methodologie: Nonlinear Permuted Granger Causality (NPGC)

De auteurs stellen Nonlinear Permuted Granger Causality (NPGC) voor, een framework dat Granger-causaliteit herdefinieert met behulp van een permutatiestructuur en out-of-sample testen.

Kerndefinities

De methode vervangt de traditionele vergelijking tussen beperkte en onbeperkte modellen door een vergelijking tussen een nulmodel (met gepermuteerde covariabelen) en het originele model.

• Permutatie: De rijen van de covariabelenmatrix $X_{<t}$ worden willekeurig gepermuteerd om $\tilde{X}_{<t}$ te creëren. Dit verbreekt de temporele afhankelijkheid tussen de covariabelen en de respons $Y$, terwijl de interne afhankelijkheidsstructuur (intradependence) van de covariabelen behouden blijft.
• Hypothese: $X_t$ is conditioneel Granger-causaal voor $Y_t$ als de variantie van de voorspellingsfout met de originele data significant lager is dan de variantie met de gepermuteerde data:
  $$\text{Var}[Y_t - P(Y_t | Y_{<t}, Z_{<t}, X_{<t})] < \text{Var}[Y_t - P(Y_t | Y_{<t}, Z_{<t}, \tilde{X}_{<t})]$$

Implementatiestappen

1. Featurizatie: De data wordt getransformeerd naar een hoog-dimensionale feature-ruimte met behulp van willekeurig gegenereerde Feed-Forward Neural Networks (FNN's). In tegenstelling tot standaard training zijn de netwerkgewichten vast en willekeurig gegenereerd (als een willekeurige feature-map) om niet-lineaire relaties te benaderen zonder te overfitten op specifieke gewichten.
2. Out-of-Sample Schatting: De data wordt verdeeld in $K$ folds. Voor elke permutatie $m$ (waarbij $m=1$ de originele data is en $m>1$ de gepermuteerde versies zijn) en elke willekeurige featurizatie $r$, wordt het model getraind op $K-1$ folds en getest op de resterende fold.
3. Variantieschatting: De out-of-sample voorspellingsresiduen worden geaggregeerd om de variatieparameter $\hat{\vartheta}_m$ voor elke permutatie te schatten.
4. Beslissingsregel: Een nulverdeling wordt geconstrueerd uit de $M$ permutaties. De p-waarde (kwantielschatting $\hat{Q}_M$) wordt berekend op basis van waar de foutvariantie van de originele data ($\hat{\vartheta}_1$) valt ten opzichte van de gepermuteerde fouten. Als $\hat{Q}_M \leq \alpha$, wordt de nulhypothese van geen causaliteit verworpen.

Theoretische Garanties

Het artikel stelt asymptotische eigenschappen vast onder drie milde voorwaarden:

1. Data-eigenschappen: De data is continu, stationair en gesampled op een voldoende fijn raster.
2. Featurizatie Regulariteit: De willekeurige FNN's produceren consistente schattingen van de onderliggende covariantie-matrix met een eindige variantie.
3. Foutonafhankelijkheid: Model-fouten zijn onafhankelijk over tijdpunten gegeven de relevante historie.

Onder deze voorwaarden is de estimator $\hat{\vartheta}_m$ consistent en convergeert de toetsstatistiek naar een uniforme verdeling onder de nulhypothese.

Simulatie-resultaten

De auteurs hebben NPGC geëvalueerd tegenover verschillende concurrenten, waaronder gepenaliseerde cMLP-methoden (Group Lasso, Sparse Group Lasso, Hierarchical Lasso), een naïeve Restricted/Unrestricted (R/U) modelvergelijking, en een Gaussian Noise Substitution (GNS) methode.

• Prestaties: NPGC vertoonde een hoge power bij het detecteren van Granger-causale relaties in zowel Lorenz-96 (chaotische) als Threshold Autoregressive (TAR) modellen over variërende tijdreekslengtes ($T=250, 500, 1000$).
• Vergelijking:
  • Gepenaliseerde methoden (cMLP): De resultaten waren zeer gevoelig voor de regularisatieparameter $\lambda$. Zonder een duidelijke globale beslissingsregel produceerden deze methoden inconsistente resultaten.
  • Naïeve R/U: Faalde in het identificeren van causale paren in de Lorenz-96 trials, waarschijnlijk door overfitting.
  • Gaussian Noise Substitution: Identificeerde de causale paren correct, maar leed onder ongecontroleerde Type I-foutpercentages (vals-positieven).
  • NPGC: Beheerde de Type I-foutpercentages succesvol dicht bij het nominale niveau, terwijl het een hoge detectiekracht behield en effectief onderscheid maakte tussen ware functionele connectiviteit en ruis.

Toepassingsstudie

De methode werd toegepast op neuronale responsen in de primaire auditieve cortex van een geanestheseerde rat in reactie op akoestische stimuli.

• Opzet: De respons-variabele was een whole-cell registratie. De covariabele-set bevatte een "jaguar mating call" geluidsfragment (bekend als causaal op basis van het experimenteel ontwerp) en twee niet-causale fragmenten (humpback whale en Knudsen's frog).
• Resultaat: NPGC identificeerde de jaguar-roep correct als Granger-causaal ($\hat{Q}_M = 0.0025$) en classificeerde de walvis- en kikkergeluiden correct als niet-causaal. In tegenstelling hiertoe faalden de gepenaliseerde cMLP-methoden in het isoleren van de correcte causale stimulus, waarbij ze vaak niet-causale geluiden markeerden of de causale stimulus juist niet detecteerden, afhankelijk van de strafparameter.

Belangrijkste Bijdragen en Betekenis

Het artikel claimt de volgende bijdragen:

1. Herdefinitie van Granger-causaliteit: Het herdefinieert expliciet Granger-causaliteit voor niet-lineaire data met behulp van een permutatiekader dat prioriteit geeft aan out-of-sample voorspelbaarheid boven in-sample fit.
2. Collectieve Inferentie: Het framework adresseert het principe van "collectieve inferentie" door de covariabele-set als geheel te testen in plaats van te vertrouwen op individuele variabele-selectie, waardoor vermenigvuldigingsproblemen en verborgen aannames over specifieke modelcoëfficiënten worden vermeden.
3. Robuustheid tegen Overfitting: Door gebruik te maken van willekeurige feature-maps en permutatietesten, mitigeert de methode de risico's op overfitting die inherent zijn aan deep learning-modellen, wat een bescherming biedt tegen het identificeren van data-specifieke ruis als functionele afhankelijkheid.
4. Eliminatie van Hyperparameter-tuning: De aanpak neemt de last weg van het selecteren van regularisatieparameters (zoals $\lambda$ in Lasso), wat vaak de inferentiële uitkomst van gepenaliseerde methoden dicteert.
5. Theoretische Fundering: Het artikel biedt een theoretische analyse van de variantieschattingen en beslissingsregels, waarbij wordt aangetoond dat de estimator consistent en asymptotisch uniform is onder de nulhypothese.

De auteurs concluderen dat hoewel Granger-causaliteit geen ware mechanistische causaliteit kan vaststellen, het NPGC-framework een gericht en robuust instrument biedt voor het identificeren van voorspellende relaties en functionele connectiviteit in complexe, niet-lineaire systemen waar voorkennis over causale mechanismen beperkt is.