Distributional Discontinuity Design

Titel: Distributional Discontinuity Design

Auteurs: Kyle Schindl (Iowa State University) en Larry Wasserman (Carnegie Mellon University)

---

1. Probleemstelling

Traditionele Regression Discontinuity Designs (RDD) en Regression Kink Designs (RKD) focussen bijna uitsluitend op het schatten van gemiddelde behandelingseffecten (mean effects). Hoewel deze methoden krachtig zijn voor het identificeren van causale effecten bij een drempelwaarde, hebben ze beperkingen:

• Verborgen heterogeniteit: Een gemiddeld effect van nul kan bestaan terwijl de behandeling de vorm van de uitkomstverdeling drastisch verandert (bijv. verdubbeling van de variantie of verschuivingen in de staarten).
• Interpretatieproblemen: Bestaande methoden voor distributie-effecten, zoals quantile treatment effects (QTE), zijn vaak moeilijk te interpreteren en te communiceren omdat ze een reeks van effecten over vele quantielen opleveren in plaats van één samenvattend maatstaf.
• Aannames: Veel bestaande distributie-methoden vereisen sterke aannames over ranginvariantie (rank-invariance) om individuele effecten te interpreteren.

De auteurs stellen dat er behoefte is aan een raamwerk dat de hele uitkomstverdeling vergelijkt boven en onder een onderbreking in de toewijzing van de behandeling, zonder zich te beperken tot het gemiddelde.

---

2. Methodologie

Het artikel introduceert Distributional Discontinuity Designs, een raamwerk dat optimal transport-theorie toepast op causale inferentie.

Kernconcept: De Wasserstein-afstand

In plaats van het gemiddelde te vergelijken, definiëren de auteurs het causale estimand als de 2-Wasserstein-afstand ($W_2$) tussen de conditionele tegenwereld-verdelingen van de uitkomsten ($Y(1)$ en $Y(0)$) precies bij de drempelwaarde $x_0$.
$$\Psi = W_2(P_{1|x_0}, P_{0|x_0})$$
Deze afstand meet de minimale "transportkosten" om de verdeling van de controlegroep te transformeren naar die van de behandelde groep. Het is een schaal-interpretabel getal dat de totale verschuiving in de verdeling kwantificeert.

Identificatie en Schatting

• Sharp RDD: Onder standaard RDD-aannames (continuïteit van verdelingen, dichtheid bij de drempel) is $\Psi$ geïdentificeerd als de $L_2$-afstand tussen de limiet-quantielfuncties boven en onder de drempel.
• Fuzzy RDD: Voor "fuzzy" situaties (waar de toewijzing niet perfect is) wordt de effect geschat op de subpopulatie van "compliers". De auteurs passen de lokale Wald-ratio toe op de geschatte verdelingen.
• Kink Designs: Voor kink-designs (waar de helling verandert in plaats van een sprong) definiëren ze de Wasserstein-afgeleide ($\Psi'$). Dit beschrijft de stroom van waarschijnlijkheidsmassa door de kink. Ze leiden nieuwe identificatieresultaten af voor fuzzy kink-designs, uitbreidend op het werk van Wang en Zhang (2025).
• Schatting: De schatting gebeurt via lokale polynoomregressie voor quantielen, met bias-correctie (volgens Calonico et al., 2014) en multiplier bootstrap voor inferentie.

Statistische Inferentie

Omdat $\Psi$ een kwadratisch parameter is, gedraagt de asymptotische verdeling zich anders dan bij lineaire parameters (de convergentiesnelheid verandert als het effect nul is). De auteurs bieden twee methoden voor betrouwbaarheidsintervallen:

1. Een eigenwaarde-test gebaseerd op Monte-Carlo simulatie van een Gaussische chaos.
2. Een conservatieve test gebaseerd op een eenzijdige Chebyshev-ongelijkheid, die minder assumptions vereist en robuuster is bij kleine steekproeven.

---

3. Belangrijkste Bijdragen en Resultaten

A. Decompositie en Interpretatie

De auteurs tonen aan dat de Wasserstein-afstand een rijke interpretatie biedt die verder gaat dan het gemiddelde:

1. Opperste grens voor het gemiddelde: $\Psi \geq |\tau|$, waarbij $\tau$ het gemiddelde behandelingseffect is. Gelijkheid geldt alleen als het effect puur additief is (alleen een verschuiving in locatie).
   • Dit leidt tot een heterogeniteitsindex $\gamma = 1 - (\tau/\Psi)^2$. Hoe groter $\gamma$, hoe heterogener het effect.
2. Decompositie in L-momenten: De afstand kan orthogonaal worden ontbonden in de som van de kwadratische verschillen in L-momenten (L-location, L-scale, L-skewness, etc.).
   • Dit stelt onderzoekers in staat om een "Distributional $R^2$" te berekenen: welk percentage van de totale distributieverschuiving wordt verklaard door veranderingen in het gemiddelde, de spreiding, of de scheefheid?
3. Stochastische dominantie: Ze introduceren een maatstaf ($\rho$) om te bepalen in welke richting de verdeling verschuift (dominantie van behandelde vs. onbehandelde quantielen).

B. Empirische Toepassingen

De auteurs passen hun methode toe op twee bestaande natuurlijke experimenten:

1. Incumbency Advantage (RDD): Een analyse van verkiezingsuitslagen in de VS.
   • Resultaat: Het gemiddelde effect was significant (~7%). De Wasserstein-afstand was vergelijkbaar, en de decompositie toonde aan dat het effect voornamelijk werd gedreven door een verschuiving in het gemiddelde (L-location), met weinig heterogeniteit.
2. Intergovernmental Grants (RKD): Een analyse van subsidies en lokaal publieke werkgelegenheid in Zweden.
   • Resultaat: Het gemiddelde effect was statistisch niet significant (nul). Echter, de Wasserstein-afgeleide was significant verschillend van nul. De decompositie toonde aan dat de effecten voornamelijk werden gedreven door hogere-orde momenten (spreiding en staarten), niet door het gemiddelde. Dit suggereert dat subsidies voor sommige gemeenten grote effecten hadden (positief of negatief), terwijl het gemiddelde dit maskeerde.

C. Simulaties

Simulaties tonen aan dat de voorgestelde conservatieve betrouwbaarheidsintervallen goede dekking bieden, zelfs bij kleine steekproeven, en minder gevoelig zijn voor instabiliteit in de schatting van dichtheden dan traditionele bootstrap-methode voor uniforme banden.

---

4. Betekenis en Conclusie

Dit artikel biedt een fundamentele uitbreiding van het RDD/RKD-raamwerk:

• Complementair, niet vervangend: Het doel is niet om gemiddelde effecten te vervangen, maar om een aanvullend perspectief te bieden dat heterogeniteit en vormveranderingen in verdelingen kan detecteren die door traditionele methoden worden gemist.
• Interpreteerbaarheid: Door de Wasserstein-afstand te koppelen aan L-momenten, krijgen onderzoekers een gestructureerde manier om te begrijpen waarom een verdeling verschuift (bijv. is het alleen het gemiddelde, of verandert de onzekerheid/scheefheid?).
• Generalisatie: De methoden zijn toepasbaar op zowel scherpe als fuzzy designs, en op zowel discontinuïteiten als kinks.
• Toekomstperspectief: De auteurs wijzen op de uitdagingen voor multivariate uitkomsten (waar de relatie met quantielen niet meer direct geldt) en de potentie om deze aanpak toe te passen op andere quasi-experimentele designs zoals Difference-in-Differences.

Kortom, het artikel introduceert een robuust, schaal-interpretabel maatstaf voor causale distributie-effecten die de beperkingen van "mean-only" analyses overbrugt en dieper inzicht biedt in de aard van behandelingseffecten.