Beyond Coefficients: Forecast-Necessity Testing for Interpretable Causal Discovery in Nonlinear Time-Series Models

Probleemstelling

Niet-lineaire machine learning-modellen worden steeds vaker gebruikt om causale relaties in tijdreeksdata te ontdekken. Echter, de interpretatie van de output van deze modellen blijft problematisch. In de praktijk worden "causale scores" (zoals die gegenereerd door geregulariseerde neurale autoregressieve modellen) vaak ten onrechte behandeld als analogieën voor regressiecoëfficiënten of teststatistieken.

Dit leidt tot systematische redeneerfouten:

1. Misleading Significantie: Grote causale scores worden geïnterpreteerd als bewijs van causale relevantie, terwijl ze in werkelijkheid kunnen voortkomen uit temporele persistentie (inertie), redundantie tussen voorspellers of regime-specifieke effecten.
2. Onderschatting van Noodzaak: Relaties die kritiek zijn voor nauwkeurige voorspelling, maar die een gemiddeld kleine bijdrage leveren, worden vaak genegeerd omdat hun magnitude laag is.
3. Gebrek aan Interpretatie: Bestaande methoden geven aan hoeveel een variabele bijdraagt, maar niet of die bijdrage noodzakelijk is voor de voorspelling.

De kernvraag is dus: Is een relatie echt nodig om de voorspelling nauwkeurig te houden, of is het slechts een frequente maar vervangbare bijdrage?

Methodologie

De auteurs stellen een nieuw evaluatiekader voor dat focust op voorspellingsnoodzaak (forecast necessity) in plaats van op de magnitude van coëfficiënten.

1. Definitie van Voorspellingsnoodzaak
Een causale relatie wordt gedefinieerd als "voorspellingsnoodzakelijk" als het verwijderen van deze relatie uit het voorspellingsmodel leidt tot een statistisch significante verslechtering van de prestaties op de out-of-sample data. Dit is een contrafactuele benadering: wat gebeurt er met de voorspelling als de relatie er niet is?

2. Het Gebruikte Model: NAVAR
Als case study wordt Neural Additive Vector Autoregression (NAVAR) gebruikt.

• Dit is een niet-lineair model dat elke target variabele $y_{it}$ modelleert als een som van univariate niet-lineaire functies van de lagged waarden van andere variabelen.
• De structuur is additief, wat het mogelijk maakt om individuele bijdragen van bronvariabelen te isoleren zonder lineaire aannames.
• Het model wordt getraind met een $L_1$-regularisatie op de output van de componentfuncties om een schaars causaal graf te bevorderen.

3. Het Evaluatiekader: Edge Ablation en Voorspellingsvergelijking
Het voorgestelde framework bestaat uit twee hoofdstappen:

• Edge Ablation (Rand-afbraak): Voor elke kandidaat-oorzaak-relatie ($j \to i$) wordt een beperkt model geconstrueerd waarbij de bijdrage van variabele $j$ aan de voorspelling van $i$ volledig wordt verwijderd (gezet op nul). Belangrijk: het model wordt niet opnieuw getraind; alleen de specifieke componentfunctie wordt uitgeschakeld. Dit isoleert de marginale bijdrage van die specifieke rand.
• Voorspellingsnoodzaakstest: De voorspellingsfouten (MSE) van het volledige model en het gemaskerde model worden vergeleken op de validatie-set.
  • Er wordt een Diebold-Mariano (DM) test toegepast op het verschil in fouten ($d_t$).
  • De nulhypothese ($H_0$) is dat het gemiddelde verschil in fouten nul is (de relatie is niet noodzakelijk).
  • De alternatieve hypothese ($H_1$) is dat het gemiddelde verschil positief is (het verwijderen verslechtert de voorspelling).
  • Een significante $p$-waarde (na correctie voor meervoudig toetsen) classificeert de relatie als "voorspellingsnoodzakelijk".

Belangrijkste Bijdragen

1. Formalisatie van Voorspellingsnoodzaak: De auteurs formaliseren "voorspellingsnoodzaak" als een interpreteerbaar criterium voor causale relevantie in niet-lineaire tijdreeksmodellen, losgekoppeld van de magnitude van parameters.
2. Een Algemeen Evaluatiekader: Ze introduceren een praktische procedure gebaseerd op systematische edge-ablatie en voorspellingsvergelijking (DM-test) die toepasbaar is op geregulariseerde, niet-lineaire systemen waar traditionele coëfficiëntentesten niet werken.
3. Empirisch Bewijs van Divergentie: Ze tonen aan dat causale scores en voorspellingsnoodzaak in de praktijk sterk kunnen verschillen, wat fundamentele implicaties heeft voor hoe we causale redenering in AI-systemen interpreteren.

Resultaten (Case Study: Democratische Ontwikkeling)

De methode werd toegepast op een paneeldata-set van 139 landen (1990-2024) met democratie-indicatoren uit het V-Dem project.

• Vergelijking van Scores vs. Noodzaak:
  • Voor de target variabele "Suffrage" (Stemrecht) werd twee bronvariabelen vergeleken: "Equal Protection" (Gelijke Bescherming) en "Equal Access" (Gelijke Toegang).
  • NAVAR Score: "Equal Access" had een hogere causale score (0.0065) dan "Equal Protection" (0.0056). Op basis van magnitude zou "Equal Access" als belangrijker worden beschouwd.
  • Voorspellingsnoodzaakstest:
    • Het verwijderen van "Equal Protection" leidde tot een significante toename in voorspellingsfout (DM-stat = 5.54, $p \approx 1.5 \times 10^{-8}$). Dit betekent dat deze relatie noodzakelijk is.
    • Het verwijderen van "Equal Access" leidde tot geen significante verandering in de voorspellingsfout (DM-stat = 1.02, $p = 0.154$). Ondanks de hogere score, is deze relatie niet noodzakelijk (waarschijnlijk redundant of vervangbaar).
• Interpretatie: Grote scores kunnen worden veroorzaakt door redundantie of inconsistent effect, terwijl kleine maar consistente effecten cruciaal kunnen zijn voor de voorspelling.

Betekenis en Conclusie

Dit werk biedt een cruciale verschuiving in de interpretatie van causale ontdekking in complexe systemen:

• Van Parameter naar Gedrag: Het verlegt de focus van het inspecteren van abstracte parameterwaarden (coëfficiënten/scores) naar het observeren van modelgedrag (verlies van voorspellingskracht).
• Robuustheid: Het voorkomt misleidende conclusies die voortkomen uit temporele persistentie of collineariteit, wat vooral belangrijk is in hoog-risico domeinen zoals politieke wetenschappen en beleidsvorming.
• Praktische Toepasbaarheid: Het biedt een testbaar, operationeel criterium voor causale relevantie zonder dat er strenge structurele causale aannames nodig zijn.

De auteurs concluderen dat forecast-necessity testing leidt tot betrouwbaardere en transparantere causale redenering. Het vult bestaande interpretatietools (zoals SHAP) aan door te bepalen welke relaties onmisbaar zijn, in plaats van alleen te beschrijven hoe ze bijdragen. Dit is een essentiële stap voor de inzet van niet-lineaire causale ontdekking in wetenschappelijke en beleidsmatige toepassingen.