📈 economics

Valid Inference when Testing Violations of Parallel Trends for Difference-in-Differences

Dit artikel stelt eenvoudige voorlopige tests en bijbehorende betrouwbaarheidsintervallen voor die een geldige statistische inferentie voor Difference-in-Differences-schattingen waarborgen door de vertekening en dekkingproblemen van bestaande methoden te overwinnen, waarbij een "voorwaartse extrapolatieveronderstelling" wordt gebruikt om schendingen van de trend voor de behandeling te koppelen aan schendingen na de behandeling.

Oorspronkelijke auteurs: Jonas M. Mikhaeil, Christopher Harshaw

Gepubliceerd 2026-05-12

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jonas M. Mikhaeil, Christopher Harshaw

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Geheel: Het Probleem van "Parallelle Trends"

Stel je voor dat je een detective bent die probeert uit te zoeken of een nieuw medicijn (de behandeling) hoofdpijn geneest. Je hebt twee groepen mensen:

De Behandelde Groep: Zij nemen het medicijn.
De Controle Groep: Zij nemen een suikerpil.

Om te weten of het medicijn heeft gewerkt, moet je weten wat er met de behandelde groep zou zijn gebeurd als ze het medicijn niet hadden genomen. Omdat je niet in de toekomst kunt kijken of in een "alternatief universum", maak je een gok: De Aanname van Parallelle Trends.

De Aanname: Je neemt aan dat, zonder het medicijn, de hoofdpijn van de behandelde groep zou zijn verbeterd (of verslechterd) met exact hetzelfde tempo als de hoofdpijn van de controle groep. Als hun lijnen op een grafiek voor het medicijn parallel liepen, neem je aan dat ze daarna parallel zouden blijven lopen.

Het Probleem: De "Pre-Test" Valstrik

In de echte wereld kijken onderzoekers vaak naar de data voor het medicijn werd gegeven om te zien of de twee groepen inderdaad parallel liepen.

Als de lijnen er parallel uitzien: "Groot! De aanname geldt. Laten we het effect berekenen."
Als de lijnen er onstabiel uitzien: "Oh nee. De aanname is misschien verbroken. Misschien moeten we de resultaten niet vertrouwen."

De Vangst: Een recente golf van onderzoek heeft aangetoond dat het doen van deze "pre-check" en vervolgens beslissen of je je resultaten rapporteert, een statistisch puinhoop creëert. Het is als een scheidsrechter die een speler alleen laat spelen als het eruit ziet alsof ze niet valsspelen, maar die vervolgens een kapotte stopwatch gebruikt om de race te timen. De uiteindelijke resultaten worden vertekend, de betrouwbaarheidsintervallen (de foutmarge) worden te klein, en je denkt misschien een geneesmiddel te hebben gevonden terwijl dat niet zo is.

De Oplossing: Een Nieuw Reglement

De auteurs van dit artikel stellen een nieuwe manier voor om met deze "pre-check" om te gaan zodat de wiskunde correct uitpakt. Ze introduceren een concept dat de Conditionele Extrapolatie Aanname wordt genoemd.

De Analogie: De Weerberichtenmaker

Stel je voor dat je een weerman bent die probeert te voorspellen of het morgen gaat regenen (de post-behandelings periode). Je kijkt naar het weer vandaag en gisteren (de pre-behandelings periode).

Oude Manier (Klassieke DID): Je neemt aan dat als het gisteren niet regende, het morgen ook niet gaat regenen. Je controleert niet of de wind vreemd waait.
De "Slechte" Pre-Test Manier: Je controleert de wind. Als het rustig lijkt, voorspel je regen. Als het stormachtig lijkt, stop je. Maar je voorspellingshulpmiddel werkt niet goed als je het alleen op rustige dagen gebruikt.
De Nieuwe Manier van de Auteurs: Ze zeggen: "We hebben een regel: Als de wind vandaag rustig genoeg is (onder een specifieke drempel), nemen we aan dat de wind morgen niet slechter zal zijn dan vandaag."

Dit is de Conditionele Extrapolatie Aanname. Het belooft niet dat de wind morgen rustig zal zijn; het belooft alleen dat als het vandaag rustig genoeg is om een test te doorstaan, dan morgen geen orkaan zal zijn.

Hoe Dit in de Praktijk Werkt

1. De "Ernst Test" (De Poortwachter)
Voordat er wiskunde wordt gedaan, voert de onderzoeker een eenvoudige test uit om te meten hoe "onstabiel" de lijnen waren voor de behandeling.

Ze berekenen een "ernstscore" van de onrust.
Ze vergelijken deze score met een vooraf ingestelde Drempel (laten we het de "Acceptabele Onrust Limiet" noemen).
Als de score onder de limiet ligt: De test slaagt. De onderzoeker mag doorgaan.
Als de score boven de limiet ligt: De test faalt. De onderzoeker moet stoppen en zeggen: "We kunnen deze methode niet vertrouwen omdat de groepen vanaf het begin te verschillend waren."

2. Het "Onstabiele" Betrouwbaarheidsinterval
Als de test slaagt, berekent de onderzoeker het effect van de behandeling. Maar hier is het slimme deel: ze trekken niet zomaar een kleine, precieze lijn om hun antwoord.

Ze trekken een breder betrouwbaarheidsinterval (een grotere foutmarge).
Waarom? Omdat ze weten dat er iets onrust was, zelfs als het klein was. Ze voegen een "veiligheidsbuffer" toe aan de wiskunde om rekening te houden met de mogelijkheid dat de onrust morgen iets erger wordt.
Als de onrust voor de behandeling miniem was, is het interval smal (zoals bij een standaardtest).
Als de onrust voor de behandeling merkbaar was (maar nog steeds de test haalde), wordt het interval breder om veilig te spelen.

Waarom Dit Beter Is

Het artikel stelt dat deze methode het probleem van de "kapotte stopwatch" oplost.

Het erkent onzekerheid: In plaats van te doen alsof de data voor de behandeling perfect is, meet het de imperfectie en voegt het die toe aan de uiteindelijke foutmarge.
Het voorkomt valse zekerheid: Als de groepen voor de behandeling te verschillend waren, stopt de test je ervan om een bewering te doen, in plaats van je toe te staan een bewering te doen met een valse, smalle foutmarge.
Het formaliseert intuïtie: Het zet het "buikgevoel" dat onderzoekers hebben als ze naar een grafiek kijken en zeggen: "Dit ziet er oké uit, maar niet perfect," om in een strikte wiskundige regel.

Wereldwijde Voorbeelden Gebruikt in het Artikel

De auteurs hebben dit getest op twee echte scenario's:

Vietnamese Publieke Diensten: Ze keken of het recentraliseren van overheidsdiensten dingen zoals scholen en waterverbeterde.
- Resultaat: Voor scholen en water was de "onrust" klein genoeg om de test te halen, dus rapporteerden ze resultaten met bredere, veiligere betrouwbaarheidsintervallen. Voor landbouwcentra was de "onrust" te groot, dus weigerden ze correct om een bewering te doen.
Wetten op Het Recht om Wapens te Dragen in Virginia: Ze keken of het toestaan van mensen om wapens te dragen de misdaadcijfers veranderde.
- Resultaat: Bij het kijken naar "aanslag"-cijfers bewogen de groepen in heel verschillende richtingen voordat de wet veranderde. De test faalde en ze stopten. Bij het kijken naar "moord"-cijfers waren de groepen dichter bij elkaar, dus ze gingen door met hun aangepaste, bredere intervallen.

De Conclusie

Dit artikel biedt een nieuwe toolkit voor onderzoekers die de "Verschil-in-Verschillen" methode gebruiken. Het zegt: "Controleer niet alleen of je groepen er parallel uitzien en negeer daarna de controle. Meet in plaats daarvan precies hoeveel ze afwijken, stel een harde limiet in voor wat acceptabel is, en als ze slagen, rapporteer je resultaten met een grotere veiligheidsmarge om rekening te houden met die afwijking."

Dit zorgt ervoor dat wanneer een studie zegt "We hebben een effect gevonden", we kunnen vertrouwen dat de wiskunde erachter niet kapot is gemaakt door de daad van het eerst controleren van de data.

Technische Samenvatting: Geldige Inferentie bij het Testen van Schendingen van Parallelle Trends voor Difference-in-Differences

Probleemstelling
Het Difference-in-Differences (DID)-ontwerp is een primaire strategie voor het schatten van causale effecten in aanwezigheid van niet-gemeten verstorende factoren, waarbij kritiek wordt vertrouwd op de aanname van parallelle trends. Hoewel deze aanname contrafactual is en niet toetsbaar voor de periode na de behandeling, onderzoeken onderzoekers routinematig periodes voor de behandeling om schendingen van trends te controleren. Echter, recente literatuur (bijv. Freyaldenhoven, Hansen en Shapiro, 2019; Roth, 2022) heeft aangetoond dat het gebruik van conventionele voorlopige tests om parallelle trends te valideren, ernstige statistische tekortkomingen in de daaropvolgende inferentie veroorzaakt, waaronder vertekening, lage power en onderdekking van betrouwbaarheidsintervallen. Toegepaste onderzoekers staan voor een dilemma: voorlopige tests zijn intuïtief noodzakelijk om de plausibiliteit van het onderzoeksontwerp te beoordelen, maar standaard statistische methoden falen wanneer ze worden geconditioneerd op de resultaten van dergelijke tests.

Methodologie
De auteurs stellen een kader voor dat de impliciete logica van voorlopig testen formaliseert via een nieuwe aanname en daaruit afgeleide inferentieprocedures afleidt.

De Conditionele Extrapolatieaanname:
De kerntheoretische bijdrage is de "Conditionele Extrapolatieaanname". In tegenstelling tot de klassieke aanname van parallelle trends (die nul schendingen veronderstelt) of aannames voor partiële identificatie (die veronderstellen dat schendingen voor de behandeling onvoorwaardelijk schendingen na de behandeling begrenzen), veronderstelt deze aanname een conditioneel verband:
- Als de ernst van schendingen van parallelle trends voor de behandeling ( $S_{pre}$ ) onder een vooraf vastgestelde aanvaardbare drempel ( $M$ ) ligt, dan wordt de ernst van schendingen na de behandeling ( $S_{post}$ ) begrensd door $S_{pre}$ (d.w.z. $S_{post} \leq S_{pre}$ ).
- Als $S_{pre} > M$ , is geen enkele begrenzing van $S_{post}$ gerechtvaardigd en wordt het DID-ontwerp ongeschikt geacht.
  Hierbij wordt ernst gemeten als een $L_p$ -norm van iteratieve schendingen van parallelle trends ( $R(t)$ ).
Voorlopige Test:
De auteurs stellen een eenvoudige voorlopige test voor om te bepalen of de extrapolatievoorwaarde geldt ( $S_{pre} \leq M$ ). De teststatistiek is de geschatte ernst van schendingen voor de behandeling ( $\hat{S}_{pre}$ ). De test verwerpt de extrapolatievoorwaarde als $\hat{S}_{pre} \geq M$ .
- Asymptotische Consistentie: De test blijkt asymptotisch consistent te zijn onder een "scheidingsvoorwaarde". Specifiek, als de ware $S_{pre}$ gescheiden is van de drempel $M$ door een rij $s_n$ waarbij $s_n = \omega(n^{-1/2})$ , dan verdwijnen zowel Type I- als Type II-fouten naarmate de steekproefgrootte $n \to \infty$ . Dit verschilt van conventionele hypothese-toetsing, die streeft naar minimalisatie van Type II-fouten bij een vast Type I-foutenniveau; in plaats daarvan prioriteert deze test consistentie in goed gescheiden regimes.
Conditioneel Geldige Betrouwbaarheidsintervallen:
Als de voorlopige test slaagt (d.w.z. de extrapolatievoorwaarde wordt als waar verklaard), construeren de auteurs betrouwbaarheidsintervallen voor het Average Treatment Effect on the Treated (ATT).
- Structuur: Het interval is gecentreerd rond de standaard DID-schatter ( $\hat{\tau}_{DD}$ $\overset{τ}{^}_{D D}$ ) maar opgeblazen om potentiële vertekening in aanmerking te nemen. De breedte omvat twee componenten:
  1. Een vertekeningsterm: $\kappa \cdot \hat{S}_{pre}$ , waarbij $\kappa$ een constante is afgeleid uit de lengte van de periode na de behandeling en de keuze van de $p$ -norm. Deze term vertegenwoordigt de scherpe bovengrens voor de vertekening afgeleid uit Proposition 3.1.
  2. Een statistische fluctuatieterm: $f(\alpha, \hat{\Sigma}) / \sqrt{n}$ , die rekening houdt met de gezamenlijke onzekerheid van de DID-schatter en de ernstschatter.
- Geldigheid: Theorema 5.1 stelt vast dat deze intervallen nominale dekking ( $1-\alpha$ ) bereiken conditioneel op het gebeurtenis dat de voorlopige test slaagt, mits het data-generatieproces voldoet aan de scheidingsvoorwaarde.

Belangrijkste Resultaten

Consistentie: De voorgestelde voorlopige test is asymptotisch consistent voor het scheiden van hypothesen waarbij de ernst van schendingen voor de behandeling voldoende ver verwijderd is van de drempel $M$ .
Conditionele Dekking: De voorgestelde betrouwbaarheidsintervallen bieden geldige dekking conditioneel op het slagen van de test. Dit lost de problemen met onderdekking op die geassocieerd zijn met conventionele methoden die conditioneren op het slagen van standaard voor-tests.
Gedrag van Intervallengte: De breedte van de betrouwbaarheidsintervallen schaalt als $\max(S_{pre}, n^{-1/2})$ $max (S_{p r e}, n^{- 1/2})$ .
- Als schendingen voor de behandeling "aanwezig maar verwaarloosbaar" zijn (orde $n^{-1/2}$ ), convergeert de intervallengte met de standaard parametrische snelheid ( $n^{-1/2}$ ).
- Als schendingen niet-verwaarloosbaar zijn (orde $O(1)$ ), blijft de intervallengte constant, wat de aanhoudende vertekeninggrens weerspiegelt.
Kans op Geldige Rapportage: Theorema 5.2 toont aan dat de gezamenlijke kans op het slagen van de test en het bevatten van het ware effect door het interval (geldige rapportage) ook convergeert naar het nominale niveau onder de goed gescheiden nulhypothese.

Empirische Illustraties
De auteurs valideren hun methoden met behulp van:

Synthetische Simulaties: Hieruit blijkt dat de conditionele dekking van hun intervallen op het nominale niveau blijft wanneer de extrapolatievoorwaarde waar is, terwijl conventionele intervallen onderdekken. De simulaties tonen ook hoe de intervallengte schaalt met het aantal periodes voor de behandeling ( $T_{pre}$ ) en de ernstparameter ( $p$ ).
Vietnamese Data over Recentralisatie: Een heranalyse van Malesky, Nguyen en Tran (2014). De voorlopige test verwerpt correct de extrapolatievoorwaarde voor uitkomsten met ernstige schendingen van trends voor de behandeling (landbouwcentra), waardoor ongeldige inferentie wordt voorkomen, terwijl het bredere, geldige intervallen biedt voor uitkomsten met geringe schendingen.
Wetten op het Recht om een Wapen te Dragen (Virginia/Maryland): Een semi-synthetische illustratie die iteratieve versus algehele schendingen vergelijkt. De resultaten benadrukken dat de keuze van de schendingsmetriek (iteratief $R(t)$ versus algeheel $\Delta(t)$ ) en de drempel $M$ significant van invloed zijn op of de extrapolatievoorwaarde wordt geaccepteerd en op de resulterende intervallengte.

Betekenis en Aanspraken
Het artikel claimt de eerste formele aanname (Conditionele Extrapolatie) te bieden die voorlopig testen noodzakelijk maakt, waardoor een theoretische rechtvaardiging wordt geboden voor een veelvoorkomende empirische praktijk die eerder is aangetoond als brekend voor standaard inferentie.

Formalisering: Het formaliseert de impliciete aanname die onderzoekers maken wanneer ze besluiten om pas verder te gaan met DID-analyse nadat ze "aanvaardbare" trends voor de behandeling hebben gezien.
Remedie: Het biedt een praktische oplossing voor het "voor-test-paradox" door inferentieprocedures te bieden die geldig blijven na conditionering op het testresultaat, mits aan de scheidingsvoorwaarde wordt voldaan.
Bescheidenheid: De auteurs erkennen dat de Conditionele Extrapolatieaanname contrafactual en niet-toetsbaar is, net als de aanname van parallelle trends zelf. Zij claimen niet de aanname te verifiëren, maar wel een kader te bieden waarin, als de aanname geldt en de schendingen voor de behandeling voldoende klein zijn (gescheiden van de drempel), geldige inferentie mogelijk is. Zij merken op dat hun resultaten afhankelijk zijn van de scheidingsvoorwaarde, wat betekent dat inferentie niet gegarandeerd is voor gevallen waarin schendingen willekeurig dicht bij de drempel $M$ liggen.

Het artikel concludeert met de suggestie dat toekomstig werk deze procedures kan uitbreiden naar ontwerpen met gestaggerde adoptie en alternatieve identificatiestrategieën, maar benadrukt dat de huidige bijdrage een formalisering is van de logica die ten grondslag ligt aan voorlopig testen in DID-ontwerpen met blokadoptie.