Simulation-Based Comparison of ControlledInterrupted Time Series (CITS) and Multivariable Regression

Deze simulatiestudie toont aan dat voor het evalueren van beleidsinterventies in tijdreeksdata de gecontroleerde onderbroken tijdreeks (CITS) methode superieur is aan multivariabele regressie, omdat deze minder gevoelig is voor seriële correlatie, betere betrouwbaarheidsintervallen oplevert en een lagere mean squared error heeft.

De kern

Stel je voor dat je een grote stad wilt testen op een nieuw beleid: bijvoorbeeld, het invoeren van een nieuwe belasting op suikerhoudende dranken om de volksgezondheid te verbeteren. Je wilt weten: Werkt dit?

In de ideale wereld zou je twee identieke steden hebben: één waar je de belasting invoert (de 'teststad') en één waar je niets doet (de 'controlestad'). Dan vergelijk je ze. Maar in het echte leven kun je niet zomaar een stad 'testen' en een andere 'niet-testen' alsof het een wetenschappelijk experiment is. Je hebt geen twee identieke steden en je kunt geen willekeurige mensen kiezen om in de ene of andere stad te wonen.

Hier komt dit onderzoek om de hoek kijken. Het vergelijkt twee manieren om toch een goed antwoord te krijgen, zonder dat je een perfect experiment kunt doen.

De twee methoden: Twee verschillende wegen naar hetzelfde doel

De auteurs van het paper vergelijken twee 'recepten' om te kijken of een beleid werkt:

1. De 'Gecontroleerde' Methode (CITS):
   Denk aan dit als het vergelijken van twee auto's op een racebaan. Je hebt de 'testauto' (de stad met het nieuwe beleid) en een 'controleauto' (een vergelijkbare stad zonder het beleid). Als de testauto sneller gaat, maar de controleauto blijft even snel, dan weet je dat het aan de testauto ligt, niet aan de weg of het weer. Je hebt dus een 'spiegelbeeld' nodig om te zien wat er echt gebeurt.

2. De 'Meervoudige' Methode (Multivariable Regression):
   Dit is alsof je alleen naar de testauto kijkt, maar je probeert alle andere factoren (het weer, de bandenspanning, de brandstof) in je hoofd te berekenen om te zien of de snelheidstijging echt door de nieuwe motor komt. Je probeert alles 'op papier' goed te rekenen zonder een tweede auto om te vergelijken.

Het Grote Experiment: De Simulatie

De onderzoekers hebben geen echte steden gebruikt, maar een virtuele wereld (een simulatie). Ze hebben duizenden 'virtuele steden' gecreëerd met verschillende scenario's:

• Soms was de data-keten kort (weinig jaren), soms lang.
• Soms was het effect van het beleid klein, soms groot.
• Soms was er veel 'trilling' in de data (zoals een auto die over een hobbelige weg rijdt), wat statistici 'autocorrelatie' noemen.

Ze lieten beide methoden hun werk doen in deze virtuele werelden en keken wie er het beste scoorde.

De Resultaten: Wie wint de race?

Hier is wat ze ontdekten, vertaald naar alledaags taal:

• Bij grote veranderingen: Als het nieuwe beleid echt een groot effect heeft (bijvoorbeeld, suikerdrankjes verdwijnen volledig), dan werken beide methoden prima. Ze zien allebei dat er iets gebeurt.
• Bij kleine veranderingen: Als het effect subtiel is, wordt het lastig. Dan maken beide methoden soms fouten, vooral als je niet genoeg data hebt (te korte tijdreeks).

Maar hier is het echte verschil:

• De 'Gecontroleerde' Methode (CITS) is de betrouwbare winnaar.
  Deze methode gaf bijna altijd het juiste antwoord. De schattingen waren nauwkeurig en de 'waarschuwingssystemen' (de statistische foutmarges) klopten perfect. Het was alsof je een kompas hebt dat altijd naar het noorden wijst, zelfs als het stormt.

• De 'Meervoudige' Methode is een onbetrouwbare navigator.
  Deze methode leek op het eerste gezicht goed, maar had een groot geheim: ze negeerde de 'hobbels' in de weg (de tijd-afhankelijke schommelingen).

  • De analogie: Stel je voor dat je probeert te meten hoe snel een auto rijdt, maar je kijkt niet naar de wind die af en toe tegen de auto duwt. Je denkt dan dat de auto sneller is dan hij echt is.
  • In de statistiek betekent dit dat deze methode vaak dacht: "We zijn er zeker van dat het werkt!" terwijl ze eigenlijk niet zeker waren. Ze onderschatten de foutmarges. Zelfs als ze probeerden dit te corrigeren met speciale wiskundige trucjes (Newey-West), faalde het vaak als de data erg 'hobbelig' was.

De Les voor de Wereld

De boodschap van dit paper is simpel maar krachtig:

Als je wilt weten of een beleid voor een hele bevolking werkt, vergelijk het altijd met een 'spiegelbeeld' (een controlegroep). Probeer niet alleen te rekenen met formules en veronderstellingen over hoe de wereld werkt.

Het gebruik van een controlegroep (CITS) is als het hebben van een tweede oog dat meekijkt. Het zorgt ervoor dat je niet door de 'hobbels' in de data wordt bedrogen en dat je conclusies over de gezondheid van de bevolking echt kloppen. De 'enige auto'-methode (zonder controle) is te riskant omdat ze te vaak denkt dat ze zeker weet wat ze ziet, terwijl ze eigenlijk in het donker rijdt.

Technische samenvatting

Technische Samenvatting: Vergelijking van CITS en Multivariate Regressie op Basis van Simulaties

1. Het Probleem
Wanneer gerandomiseerde gecontroleerde trials (RCT's) niet haalbaar zijn voor het evalueren van beleidsmaatregelen op populatieniveau, worden vaak quasi-experimentele designs (QED's) gebruikt. De onderbroken tijdreeks (Interrupted Time Series - ITS) wordt algemeen beschouwd als de meest robuuste methode binnen deze categorie. Echter, ITS-ontwerpen hebben twee belangrijke beperkingen die tot vertekende inferentie kunnen leiden:

• Seriele correlatie: De afhankelijkheid tussen opeenvolgende waarnemingen in de tijd.
• Verwarring door tijdvariërende factoren: Factoren die zowel samenhangen met de interventie als met het uitkomstemaat, maar die niet door de interventie worden veroorzaakt.

Hoewel gecontroleerde onderbroken tijdreeksen (Controlled Interrupted Time Series - CITS) en multivariate regressie veel worden gebruikt, is hun onderlinge prestatie in typische gezondheidssettings zelden direct vergeleken, vooral niet voor telgegevens (count data).

2. Methodologie
De auteurs hebben een simulatieonderzoek uitgevoerd om de prestaties van twee benaderingen te vergelijken voor het schatten van beleidseffecten in tijdreeksdata met telgegevens:

• Gecontroleerde Onderbroken Tijdreeks (CITS): Een methode die gebruikmaakt van een concurrente controlegroep.
• Multivariate Negatieve Binomiale Regressie: Een veelgebruikte regressiemethode die vaak wordt aangepast met Newey-West-standaardfouten om seriële correlatie te corrigeren.

De simulaties varieerden in verschillende data-genererende scenario's, met name:

• Lengte van de tijdreeks.
• Grootte van het interventie-effect.
• Magnitude van de lag-1 autocorrelatie.

De prestaties werden geëvalueerd aan de hand van de volgende statistische metrieken:

• Bias (vertekening).
• Kalibratie van de standaardfouten.
• Dekking van het betrouwbaarheidsinterval (CI coverage).
• Gemiddelde kwadratische fout (Mean Squared Error - MSE).
• Statistische power.

3. Belangrijkste Bijdragen
Het paper biedt een directe, empirische vergelijking van twee veelgebruikte methoden in beleidsevaluatie, waarbij specifiek wordt ingegaan op de impact van seriële correlatie en de noodzaak van een controlegroep. Het benadrukt de beperkingen van standaard multivariate regressie bij tijdreeksdata, zelfs bij gebruik van robuuste standaardfouten (Newey-West).

4. Resultaten

• Bias: Beide methoden leverden onbevooroordeelde schattingen op voor matige tot grote interventie-effecten. Bij kleine effecten was de bias echter prominenter, vooral bij korte tijdreeksen.
• Puntschattingen: De prestaties van de punt-schattingen waren vergelijkbaar tussen beide methoden.
• Inferentiële Eigenschappen (Cruciaal Verschil):
  • CITS: Toonde consistent een kleinere gemiddelde kwadratische fout (MSE). Er was een betere overeenkomst tussen model-gebaseerde en empirische standaardfouten. De dekking van het 95%-betrouwbaarheidsinterval bleef dicht bij het nominale niveau, zelfs bij zwakke tot matige autocorrelatie.
  • Multivariate Regressie: Was gevoeliger voor seriële afhankelijkheid. Dit leidde tot een onderschatting van de standaardfouten en een onderdekking van de betrouwbaarheidsintervallen (d.w.z. te smalle intervallen die de waarheid minder vaak bevatten). Dit probleem trad op bij matige tot hoge autocorrelatie en bleef bestaan ongeacht de toepassing van Newey-West-aanpassingen.

5. Betekenis en Conclusie
De bevindingen onderstrepen twee fundamentele principes voor het evalueren van beleidsmaatregelen op populatieniveau met tijdreeksdata:

1. Het gebruik van een concurrente controlegroep (zoals bij CITS) is essentieel om robuuste resultaten te behalen.
2. Het is cruciaal om seriële correlatie structureel op te nemen in het model (zoals CITS doet) in plaats van alleen te vertrouwen op post-hoc correcties van standaardfouten (zoals Newey-West in regressie).

Multivariate regressie zonder adequate controle voor seriële correlatie kan leiden tot misleidende inferenties (valse positieven door te smalle betrouwbaarheidsintervallen), terwijl CITS een superieure statistische eigenschap biedt voor dit type data.