Econometric vs. Causal Structure-Learning for Time-Series Policy Decisions: Evidence from the UK COVID-19 Policies

Deze studie vergelijkt econometrische methoden met causale machine-learning-algoritmen voor het ontdekken van tijdsreeksstructuren in het kader van het Britse COVID-19-beleid en concludeert dat econometrische methoden duidelijke temporele regels bieden, terwijl causale ML-algoritmen een bredere, dichtere graafstructuur ontdekken die meer causale relaties kan vastleggen.

De kern

Titel: Wie is de echte dader? Een strijd tussen twee detectives in de tijd

Stel je voor dat je een enorme, chaotische film hebt van het hele Verenigd Koninkrijk tijdens de coronapandemie. Je ziet mensen die thuiswerken, scholen die sluiten, mensen die minder reizen en ziekenhuizen die vollopen. De vraag is: Wat veroorzaakt wat?

Is het de lockdown die de besmettingen doet dalen, of dalen de besmettingen gewoon omdat het winter is en mensen minder buiten zijn? Of misschien is het de vaccinatie?

Dit artikel van Bruno Petrungaro en Anthony Constantinou is als een duel tussen twee soorten detectives die proberen dit mysterie op te lossen. Ze willen niet alleen zien wat er gelijktijdig gebeurt (dat is associatie), maar ze willen weten wat er echt veroorzaakt wordt (dat is causaliteit).

Hier is de uitleg in simpele taal:

1. De Twee Detectives

De auteurs vergelijken twee verschillende methoden om de oorzaak-en-gevolg-relaties te vinden in hun tijdreeks-data (data die elke dag wordt bijgewerkt).

Detective A: De Econometristen (De "Tijd-Reizigers")
Deze groep komt uit de economie. Ze zijn gewend om te werken met data die in de tijd verloopt.

• Hun methode: Ze gebruiken wiskundige regels die zeggen: "Het verleden kan het heden beïnvloeden, maar het heden kan het verleden niet veranderen." Ze kijken naar patronen in de tijd.
• Hun kracht: Ze zijn heel goed in het respecteren van de tijdlijn. Ze weten dat een lockdown vandaag pas morgen effect heeft op het aantal zieken.
• Hun zwakte: Ze zijn soms wat stijf. Ze zien misschien niet alle subtiele verbanden die niet strikt in de tijd passen, en ze maken soms minder complexe kaarten.

Detective B: De Causale Machine Learning (De "Alles-Verkenners")
Dit zijn de moderne AI-algoritmen. Ze zijn slim en zoeken naar patronen in een enorme berg data.

• Hun methode: Ze kijken naar alles door elkaar heen. Ze proberen miljoenen mogelijke kaarten te tekenen om te zien welke het beste bij de data past. Ze zijn niet altijd streng over de tijdlijn; ze kijken gewoon naar wat er samen voorkomt.
• Hun kracht: Ze vinden heel veel verbanden. Ze tekenen enorme, gedetailleerde kaarten met heel veel lijntjes.
• Hun zwakte: Omdat ze zo vrij zijn, tekenen ze soms lijntjes die er zijn, maar die in de echte wereld onmogelijk zijn (bijvoorbeeld: "De ziekte van morgen veroorzaakte de lockdown van gisteren"). Ze maken de kaarten vaak te vol en rommelig.

2. Het Experiment: De Coronafilm

De detectives kregen een dataset van het VK met 46 verschillende variabelen: van het aantal tests, tot de bezetting van de metro, tot het aantal vaccinaties en het aantal ziekenhuisopnames.

Ze kregen de opdracht: "Teken een kaart die laat zien welke maatregelen (zoals lockdowns of maskers) echt het aantal besmettingen beïnvloeden."

Om dit te testen, gebruikten ze een Referentiekaart (een "Knowledge Graph"). Dit is een kaart die experts al hadden gemaakt op basis van gezond verstand en eerdere studies. Het is als het antwoord in het achterste van het boekje.

3. De Resultaten: Wie wint er?

Het duel leverde interessante resultaten op:

• De "Alles-Verkenners" (Machine Learning) vonden meer verbanden: Ze tekenden kaarten met honderden lijntjes. Ze vonden veel meer mogelijke oorzaken dan de econometristen. Echter, hun kaarten waren zo vol dat ze moeilijk te lezen waren. Ze vonden 27 mogelijke effecten, maar slechts de helft daarvan klopte met het gezond verstand.
• De "Tijd-Reizigers" (Econometrie) waren conservatiever: Ze vonden minder verbanden, maar hun kaarten waren strakker. Ze hielden zich strikt aan de regel: "Het verleden bepaalt het heden."
• De verrassing: De beste resultaten kwamen van een mix. De econometrische methode genaamd SIMONE (die zoekt naar groepen die samenwerken) en de Machine Learning-methodes die heel strakke regels gebruiken, deden het het beste op de "fit" van de data.

4. Wat betekent dit voor het beleid? (De "Wat als?" Vraag)

Het belangrijkste doel van deze detectives is om politici te helpen beslissingen te nemen. Stel, de premier vraagt: "Wat gebeurt er als we de treinreizen beperken?"

• De Machine Learning-detectives zeiden: "We kunnen 27 verschillende dingen voorspellen, maar we weten niet zeker of ze kloppen."
• De Econometrische detectives zeiden: "We kunnen twee dingen voorspellen met zekerheid: Als je minder reist en minder naar restaurants gaat, dalen de besmettingen."

De les:
De econometrische methoden waren beter in het geven van een betrouwbaar advies omdat ze de tijdlijn respecteerden. De Machine Learning-methodes waren beter in het ontdekken van nieuwe, vreemde verbanden, maar ze maakten de boel soms te rommelig om direct beleid op te baseren.

5. De Conclusie in één zin

Het is alsof je een auto wilt repareren.

• De Machine Learning-detective heeft een enorme doos met schroeven, bouten en onderdelen en zegt: "Ik kan alles vastdraaien, maar ik weet niet precies welke bout welk wiel houdt."
• De Econometrische detective zegt: "Ik heb een specifieke handleiding. Ik weet dat deze bout het wiel vasthoudt, maar ik heb misschien niet gezien dat er een nieuwe lekkage is."

De beste oplossing? Gebruik beide. Laat de Machine Learning detectives de hele garage doorzoeken om nieuwe ideeën te vinden, maar laat de Econometrische detectives de tijdlijn en de logica controleren voordat je een beslissing neemt.

In de strijd tegen de pandemie (en in de toekomstige crises) hebben we beide nodig: de creativiteit om nieuwe verbanden te zien, en de discipline om te weten wat er eerst kwam en wat er daarna kwam.

Technische samenvatting

Probleemstelling

Het ontwerp en de evaluatie van beleidsmaatregelen vereisen inzicht in causale relaties, niet slechts in associaties. Traditionele Machine Learning (ML) modellen zijn hier ongeschikt voor omdat ze zich richten op correlaties en geen hypothetische ingrepen (interventies) kunnen simuleren. Hoewel Causale Machine Learning (Causal ML) algoritmen zijn ontwikkeld om causale structuren te leren, blijft de toepassing op tijdsreeksdata (time-series) beperkt en complex.

De auteurs identificeren een kloof: econometrische methoden worden al decennia gebruikt voor causale inferentie in tijdsreeksen (bijv. in de economie), maar er is weinig vergelijkend onderzoek gedaan tussen deze traditionele econometrische technieken en moderne Causal ML-algoritmen. Het doel van deze studie is om te evalueren welke methode beter geschikt is om causale structuren te herstellen uit observatie-tijdsreeksdata en deze structuren te gebruiken voor beleidsbeslissingen, met als casestudy het COVID-19-beleid in het Verenigd Koninkrijk.

Methodologie

1. Data en Voorbewerking:

• Dataset: Een dagelijks geaggregeerde dataset van het VK (30 januari 2020 – 13 juni 2022) met 46 variabelen, waaronder mobiliteitsindices, lockdown-severity, testcapaciteiten, vaccinatiecijfers en infectie-uitkomsten.
• Ontbrekende data: Er was sprake van aanzienlijke missingness (ca. 14% van de data, met name bij vaccinatie- en mobiliteitsdata). De auteurs gebruikten een Kalman-filter (state-space model) voor imputatie, wat rekening houdt met temporele dynamiek.
• Discretisatie: Voor de parametrisatie van Bayesiaanse Netwerken (BN) werden continue variabelen gediscretiseerd in drie categorieën (laag, medium, hoog) via k-means clustering.

2. Geëvalueerde Methoden:
De studie vergelijkt twee hoofdgroepen:

• Econometrische Methoden (4): Deze modelleren afhankelijkheden via Vector Auto-Regressive (VAR) processen en proberen structuren te vinden door coëfficiënten naar nul te shrinken (regularisatie).
  • LASSO (Least Absolute Shrinkage and Selection Operator): Voor variabele selectie in hoge dimensies.
  • LAR (Least Angle Regression): Een alternatief voor LASSO voor variabele selectie.
  • JS (James-Stein Shrinkage): Transformeert correlatienetwerken naar DAGs op basis van partiële correlaties en tijdsorde.
  • SIMONE (Statistical Inference for Modular Networks): Zoekt naar modulaire netwerklussen (clusters) in tijdsreeksen.
  • Model Averaging: Een geaggregeerde structuur gebaseerd op de vier bovenstaande methoden.
• Causal ML-algoritmen (11): Traditionele structurele leeralgoritmen, ingedeeld in:
  • Constraint-based: PC-Stable, GS, IAMB, Fast-IAMB, Inter-IAMB, IAMB-FDR.
  • Score-based: Hill-Climbing (HC), Tabu Search.
  • Hybride: H2PC, RSMAX2, MMHC.

3. Evaluatiemetrics:
De prestaties werden gemeten aan de hand van:

• Structuur: Vergelijking met een "kennisgraf" (knowledge graph) gebaseerd op [8] via de Structural Hamming Distance (SHD).
• Complexiteit: Aantal vrije parameters, aantal kanten (edges) en de Bayesian Information Criterion (BIC) score.
• Passing: Log-likelihood (LL) score.
• Beleidsevaluatie: Het vermogen om causale effecten te identificeren die consistent zijn met domeinkennis (bijv. "meer lockdown leidt tot minder infecties"). Dit werd getest via simulatie van interventies (do-operator) in Dynamic Bayesian Networks (DBNs).

Belangrijkste Bijdragen

1. Vergelijkend Onderzoek: Eerste uitgebreide vergelijking tussen econometrische tijdsreeksmethoden en moderne Causal ML-algoritmen voor beleidsdoeleinden.
2. Implementatie: De auteurs hebben econometrische methoden vertaald naar de populaire R-library bnlearn (Bayesian Network), waardoor ze direct bruikbaar zijn voor causale inferentie in DBNs.
3. Empirisch Bewijs: Een analyse van reële COVID-19-data die de sterke en zwakke punten van beide benaderingen blootlegt in een complexe, dynamische omgeving.
4. Code en Data: Openbaarmaking van de code en data om de resultaten te reproduceren en econometrische resultaten te vertalen naar Bayesiaanse Netwerken.

Resultaten

1. Structurele Lering en Complexiteit:

• Econometrische methoden (vooral LASSO en LAR) produceerden vaak dichte grafieken met veel kanten, maar hadden een hoge SHD (slechte overeenkomst) met de kennisgraf.
• SIMONE presteerde het beste binnen de econometrische groep op BIC en Log-Likelihood, en leverde een relatief spaarzame (sparse) structuur op.
• Score-based Causal ML (HC en Tabu) produceerden extreem dichte grafieken (600+ kanten) met de beste LL-scores, maar zeer hoge SHD-waarden. Ze vonden meer "identificeerbare effecten" (27) dan de econometrische methoden, maar veel daarvan waren niet consistent met domeinkennis.
• Constraint-based methoden (zoals PC-Stable, IAMB) produceerden spaarzame grafieken met redelijke BIC-scores, maar vonden weinig causale effecten die consistent waren met de kennisgraf.

2. Beleidsbeoordeling (Causale Effecten):

• De econometrische methode JS identificeerde twee causale effecten die consistent waren met de kennisgraf: het verminderen van "Citymapper journeys" en "OpenTable restaurant bookings" leidde tot een verlaagde kans op herinfecties.
• De score-based algoritmen (HC, Tabu) vonden veel meer effecten, maar slechts een subset (14 en 12 respectievelijk) was consistent met de verwachte richting (bijv. minder mobiliteit = minder infecties).
• Een cruciale bevinding is dat econometrische methoden expliciete tijdsorde-constraints (past-to-present) opleggen, terwijl Causal ML-algoritmen dit niet altijd doen, wat kan leiden tot structuren die causaal onmogelijk zijn in een tijdsreekscontext (bijv. toekomstige waarden die heden beïnvloeden).

3. Statistische Aantekeningen:

• De residuals van het VAR-model waren niet normaal verdeeld (Jarque-Bera test) en vertoonden seriële correlatie bij sommige variabelen. Desondanks worden de coëfficiënten als betrouwbaar beschouwd voor het bepalen van de structuur (edges), hoewel dit een beperking is voor de JS-methode die t-tests gebruikt.

Significantie en Conclusie

De studie concludeert dat er geen enkele methode dominant is voor alle scenario's; beide benaderingen hebben complementaire sterke punten:

• Econometrische methoden bieden duidelijke regels voor temporele structuren en zijn robuust in het identificeren van plausibele interventiedoelen (zoals mobiliteitsreductie), maar missen soms de complexiteit om alle relaties te vangen.
• Causal ML-algoritmen exploreren een grotere ruimte van grafstructuren en kunnen meer causale relaties vinden, maar neigen naar overmatige complexiteit (dichte grafieken) en missen vaak de inherente temporele logica tenzij expliciet opgelegd.

Beleidsondersteuning:
Voor beleidsmakers zijn modellen die expliciete temporele volgorde handhaven en complexiteit straffen (zoals de econometrische aanpak of hybride benaderingen) betrouwbaarder voor het stress-testen van interventies. De studie benadrukt dat het integreren van econometrische inzichten (zoals modulariteit en temporele restricties) in Causal ML essentieel is om de bruikbaarheid voor beleidsbeslissingen in tijdsreekscontexten te verbeteren. De resultaten suggereren dat het beperken van menselijke interacties (reizen en restaurantbezoek) effectief is om infectierates te verlagen, een conclusie die door meerdere methoden wordt ondersteund, hoewel de effectgroottes modest zijn.