📈 economics

Difference-in-Differences in the Presence of Unknown Interference

Deze technische nota onderzoekt hoe onbekende interferentie de SUTVA-aanname in Difference-in-Differences-ontwerpen schendt, waarbij wordt aangetoond dat de standaard estimand een contrast van causale effecten identificeert in plaats van specifieke effecten, tenzij aanvullende aannames worden ingeroepen, een punt dat wordt geïllustreerd door een heronderzoek van de studie van Card en Krueger (1994) naar het minimumloon.

Oorspronkelijke auteurs: Fabrizia Mealli, Javier Viviens

Gepubliceerd 2026-07-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Fabrizia Mealli, Javier Viviens

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen: heeft een nieuw beleid daadwerkelijk een verandering veroorzaakt, of was de verandering gewoon onderdeel van een natuurlijke trend? In de wereld van de economie en sociale wetenschappen gebruiken onderzoekers een slim instrument genaamd "Difference-in-Differences" (DiD) om deze zaak te kraken. Zie het als een tijdreizende vergelijking. Je kiest twee groepen mensen: een "Behandelingsgroep" die een nieuwe regel krijgt (zoals een hoger minimumloon), en een "Controlegroep" die hetzelfde blijft. Je meet beide groepen vóórdat de regel verandert, en meet ze vervolgens weer nadat de regel is gewijzigd. De magie vindt plaats wanneer je de verandering in de Behandelingsgroep vergelijkt met de verandering in de Controlegroep. Als de Behandelingsgroep omhoog springt terwijl de Controlegroep vlak blijft, kun je concluderen dat de regel de sprong heeft veroorzaakt.

Maar er is een addertje onder het gras. Dit detectivewerk rust op een verborgen regel genaamd SUTVA (Stable Unit Treatment Value Assumption). In gewone taal betekent deze regel dat de ervaring van de één niet beïnvloed mag worden door wat er bij een ander gebeurt. Het gaat ervan uit dat als je het minimumloon in één stad verhoogt, dit de arbeidsmarkt in de naburige stad niet stiekem verandert. Als deze regel standhoudt, werkt de wiskunde perfect. Maar wat als dat niet zo is? Wat als de "Behandelingsgroep" en de "Controlegroep" eigenlijk geheimen met elkaar uitwisselen, informatie delen of elkaars resultaten beïnvloeden? Dat is de puzzel die dit artikel aanpakt: wat gebeurt er met ons detectivewerk wanneer de groepen geen geïsoleerde eilanden zijn, maar verbonden zijn door onzichtbare draden van invloed?

De auteurs, Fabrizia Mealli en Javier Viviens, duiken in dit probleem met een combinatie van rigoureuze wiskunde en praktische voorbeelden. Ze laten zien dat wanneer deze onzichtbare draden (die zij "interferentie" of "spillovers" noemen) bestaan, de standaard DiD-berekening ons niet langer de waarheid vertelt over een enkele groep. In plaats van een duidelijk antwoord te geven zoals "Het beleid heeft de werkgelegenheid met 5% verhoogd", geeft de wiskunde ons slechts een verschil tussen twee onbekenden. Het is alsof je probeert uit te rekenen hoeveel een dief uit een bank heeft gestolen door alleen te weten dat de kluis van de bank $1.000 lichter is dan de kluis van de buurman, zonder vooraf te weten hoeveel geld er in beide aanwezig was. Het resultaat vertelt je het gat tussen de twee groepen, maar het kan je niet vertellen of de bank geld heeft verloren, of de buurman heeft gewonnen, of dat beiden hebben verloren maar de bank meer heeft verloren.

Het artikel bewijst dat onder deze rommelige omstandigheden het standaard DiD-getal slechts een "contrast van causale effecten" is. Het onthult dat de Behandelingsgroep anders is beïnvloed dan de Controlegroep, maar het blijft stil over de richting of de omvang van het werkelijke effect voor een van beide groepen. Een positief resultaat zou kunnen betekenen dat het beleid geweldig werkte voor de behandelde groep, of dat het de controlegroep zelfs nog harder heeft geraakt, of beide. De auteurs zijn zeer duidelijk: zonder extra aannames kunnen we het signaal niet van de ruis scheiden.

De auteurs laten ons echter niet met een doodlopende weg achter. Ze bieden een reeks "wat-als"-scenario's aan die kunnen helpen om weer op het juiste spoor te komen. Ze suggereren dat als onderzoekers bereid zijn om specifieke, redelijke vermoedens te doen over hoe de interferentie werkt, ze de knoop kunnen ontwarren. Bijvoorbeeld, als we aannemen dat het "spillover"-effect op de Controlegroep nul is (ze zijn werkelijk onveranderd), of als we aannemen dat het effect op de Controlegroep kleiner is dan het effect op de Behandelingsgroep, kunnen we eindelijk iets kunnen zeggen over de werkelijke beleidsimpact. Ze laten zelfs zien hoe je "gevoeligheidsanalyses" kunt opzetten, die fungen als stresstests: "Als het spillover-effect zó groot was geweest, zou onze conclusie dan nog steeds standhouden?"

Om hun punt concreet te maken, herbezoeken de auteurs een beroemde studie uit 1994 door Card en Krueger, die beweerde dat het verhogen van het minimumloon in New Jersey de werkgelegenheid in fastfoodrestaurants daadwerkelijk had verhoogd. De oorspronkelijke studie vergeleek New Jersey met het naburige Pennsylvania. De auteurs van dit nieuwe artikel betogen dat als de loonstijging in New Jersey ervoor zorgde dat werknemers de grens overstaken of de economie in Pennsylvania veranderde, de regel van "geen interferentie" werd geschonden. In dat geval is de oorspronkelijke conclusie dat "banen toenamen" niet noodzakelijkerwijs bewezen. De wiskunde laat alleen zien dat New Jersey het beter deed dan Pennsylvania. Het is mogelijk dat de werkgelegenheid in beide gebieden is gedaald, maar in New Jersey minder hard is gedaald. De oorspronkelijke conclusie overleeft alleen als we aannemen dat het spillover-effect op Pennsylvania ofwel niet bestond, ofwel kleiner was dan het effect op New Jersey.

Uiteindelijk is dit artikel een wake-up call voor iedereen die deze statistische instrumenten gebruikt. Het zegt niet dat DiD nutteloos is; het zegt alleen dat we veel voorzichtiger moeten zijn met hoe we de resultaten interpreteren wanneer de wereld onderling verbonden is. De auteurs demonstreren dat hoewel het standaardgetal nog steeds nuttig is voor het vergelijken van groepen, het ophoudt een directe maatstaf te zijn voor het succes van een beleid, tenzij we extra lagen van logica toevoegen om uit te leggen hoe de groepen elkaar kunnen beïnvloeden. Door deze verborgen aannames zichtbaar te maken, hopen ze dat onderzoekers stoppen met gissen en beginnen met het bouwen van sterkere, eerlijkere argumenten over wat hun gegevens werkelijk betekenen.

Technische Samenvatting: Difference-in-Differences in de aanwezigheid van onbekende interferentie

Probleemstelling
De Stable Unit Treatment Value Assumption (SUTVA) is een fundamentele pijler van het Difference-in-Differences (DiD) onderzoeksontwerp, specifiek het onderdeel dat interferentie (spillover-effecten) tussen eenheden uitsluit. Hoewel recente invloedrijke DiD-literatuur (bijv. de Chaisemartin en D'Haultfœuille, 2020; Callaway en Sant'Anna, 2021) rigoureus heeft ingegaan op kwesties zoals heterogene behandelingseffecten en schendingen van parallelle trends, heeft het de no-interferentie-aanname grotendeels impliciet behandeld in plaats van expliciet. Bijgevolg blijft de precieze identificatie-eigenschap van de DiD-estimand in de aanwezigheid van onbekende interferentie — waarbij de structuur van spillovers niet gespecificeerd is en zowel binnen als tussen groepen kan voorkomen — onderbelicht. De auteurs stellen dat zonder expliciete aannames over interferentie, de standaardinterpretatie van DiD-schattingen vaak ongeldig is.

Methodologie en Kader
Het artikel hanteert een superpopulatie-benadering binnen een canonieke twee-groepen, twee-perioden DiD-setting. Het formaliseert het potentieel uitkomsten-kader door toe te staan dat de uitkomst van eenheid $i$ op tijdstip $t$ afhangt van de behandelingsassignatie van alle eenheden ( $W$ ), aangeduid als $Y_{it}(W)$ . De behandelingsassignatie-vector wordt gedecomposeerd in de eigen behandeling van de eenheid ( $W_{it}$ ), de behandeling van eenheden in dezelfde groep ( $W_{Git}$ ), en de behandeling van eenheden in de tegenovergestelde groep ( $W_{1-Git}$ ).

De analyse verloopt door de no-interferentie-aanname in fasen te versoepelen:

Geen interferentie: Het standaardgeval waarbij $Y_{it}$ alleen afhangt van $W_{it}$ .
Partiële interferentie: Interferentie bestaat binnen groepen, maar niet tussen groepen.
Onbekende interferentie: Er worden geen beperkingen opgelegd aan de interferentiestructuur; eenheden kunnen interfereren met elke andere eenheid.

De auteurs definiëren specifieke causale estimanden voor elk scenario en leiden identificatieresultaten af op basis van gemodificeerde parallelle trends-aannames. Zij leggen geen exposure mappings op en beperken de analyse niet tot eindige populaties, waarmee zij agnostisch blijven over de specifieke vorm van de interferentie.

Belangrijkste Resultaten en Identificatie

Onder Onbekende Interferentie (Propositie 3):
De belangrijkste bevinding is dat onder onbekende interferentie, de standaard DiD-estimand geen enkele causale effect identificeert (zoals het Average Treatment Effect on the Treated, ATT). In plaats daarvan identificeert het een contrast van twee causale effecten:
$\text{DiD} = \tau_1 - \tau_0$
Waarbij:
- $\tau_1$ (TATT) het Total Average Treatment Effect on the Treated is (het effect van de behandeling op behandelde eenheden, inclusief spillovers van alle andere behandelde eenheden).
- $\tau_0$ (ASC) het Average Spillover Effect on the Control is (het effect van de behandeling op controle-eenheden, afgeleid van algemene evenwichtseffecten of spillovers van behandelde eenheden).
De auteurs demonstreren dat hoewel de DiD-estimand onderzoekers in staat stelt om te testen of het impact verschilt tussen groepen, het geen informatie biedt over de grootte of richting van $\tau_1$ of $\tau_0$ afzonderlijk. Een DiD-schatting van nul kan het resultaat zijn van beide effecten die nul zijn, of beide die gelijk en niet-nul zijn. Een positieve DiD-schatting impliceert eveneens slechts dat $\tau_1 > \tau_0$ , wat scenario's openlaat waarin beide effecten negatief zijn.
Strategieën voor Partiële Identificatie (Sectie 3):
Om specifieke causale effecten te herstellen, stelt het artikel alternatieve sets aannames voor:
- Aannames over Ongeobserveerde Trends (Proposities 4 & 5): Als onderzoekers aannemen dat de potentiële uitkomst in de afwezigheid van behandeling ( $Y(0,0,0)$ ) een specifieke trend volgt (bijv. constant of begrensd binnen een bereik $k$ ) binnen elke groep, kunnen zij $\tau_1$ en $\tau_0$ afzonderlijk partiëel identificeren zonder afhankelijk te zijn van cross-groep vergelijkingen.
- Aannames over het Teken van Spillovers (Proposition 6): Als het teken van het spillover-effect op de controlegroep ( $\tau_0$ ) bekend is (bijv. $\tau_0 \geq 0$ ), biedt de DiD-estimand een ondergrens voor het totale effect op de behandelde eenheden ( $\tau_1 \geq \text{DiD}$ ).
- Aannames over Relatieve Grootte (Proposition 7): Als wordt aangenomen dat de grootte van het totale effect op de behandelde eenheden groter is dan het spillover-effect op de controlegroep ( $|\tau_1| \geq |\tau_0|$ ), identificeert het teken van de DiD-estimand het teken van het totale effect op de behandelde eenheden ( $\text{sgn}(\tau_1) = \text{sgn}(\text{DiD})$ ).

Applicatie: Card en Krueger (1994)
Het artikel herbezoekt de seminale studie naar de verhoging van het minimumloon in New Jersey. De auteurs argumenteren dat de no-interferentie-aanname waarschijnlijk geschonden wordt door grensoverschrijdend pendelen en algemene evenwichtseffecten die Pennsylvania (de controlegroep) beïnvloeden.

Reinterpretatie: Onder onbekende interferentie vertegenwoordigt de oorspronkelijke DiD-schatting van 2,75 FTE werknemers de differentie tussen het totale effect in New Jersey en het spillover-effect in Pennsylvania, en niet het causale effect van de loonverhoging op de werkgelegenheid in New Jersey alleen.
Alternatieve Interpretaties: De oorspronkelijke conclusie (dat de werkgelegenheid toenam) houdt alleen stand als aanvullende aannames worden gedaan, zoals:
1. Het spillover-effect in Pennsylvania is positief (Aanname 10a), waardoor de DiD-schatting een ondergrens is.
2. De omvang van het effect in New Jersey is groter dan de spillover in Pennsylvania (Aanname 11), waardoor het teken van de DiD-schatting het teken van het effect in New Jersey identificeert.

Betekenis en Bijdrage
De primaire bijdrage van het artikel is het expliciet en transparant maken van het identificatieprobleem in de aanwezigheid van interferentie. Het verheldert dat de DiD-estimand niet inherent een causaal effect is, maar een contrast van effecten wanneer interferentie aanwezig is. Door de argumenten te formaliseren die toegepaste onderzoekers vaak impliciet aanroepen (bijv. met betrekking tot de richting of grootte van spillovers), biedt het artikel een gestructureerd kader voor het bespreken van de validiteit van DiD-conclusies. Het stelt geen nieuw schattingsalgoritme voor, maar biedt eerder een rigoureus pakket aan condities waaronder bestaande DiD-schattingen een causale interpretatie kunnen krijgen, waarmee de kloof tussen de standaard DiD-praktijk en de complexe realiteit van interferentie in observationele settings wordt overbrugd.

Meer zoals dit