Assessing Sensitivity to IV Exclusion and Exogeneity without First Stage Monotonicity

Each language version is independently generated for its own context, not a direct translation.

Stel je voor dat je een detective bent die probeert een mysterie op te lossen: Heeft het zien van een film met vrienden invloed op of je die film later ook nog eens gaat kijken?

In de econometrie (de wiskunde van de economie) gebruiken onderzoekers vaak een trucje om dit soort vragen te beantwoorden. Ze zoeken een "instrument", een soort toevallige gebeurtenis die alleen de eerste stap beïnvloedt (of je de film ziet), maar niet direct de tweede stap (of je hem later nog eens ziet).

In dit specifieke onderzoek gebruiken ze het weer als die toevallige gebeurtenis.

De theorie: Als het mooi weer is, gaan mensen niet naar de bioscoop (ze gaan buiten spelen). Dus, mooi weer = minder bezoekers in het eerste weekend.
De verwachting: Als het eerste weekend minder mensen gaan (door het weer), dan is er minder "hype" en gaan er in het tweede weekend ook minder mensen.
Het doel: Bewijzen dat de "hype" (de sociale druk) echt werkt.

Het Probleem: De Gaten in de Theorie

Het probleem is dat deze detective-truc (in het Engels Instrumental Variables) alleen werkt als twee strenge regels worden nageleefd:

De Uitsluitingsregel: Het weer mag alleen invloed hebben op het aantal bezoekers via de eerste stap. Het mag niet zomaar direct invloed hebben op of mensen de film leuk vinden.
De Onafhankelijkheidsregel: Het weer moet echt willekeurig zijn en niet gekoppeld aan de kwaliteit van de film.

Maar wat als deze regels niet 100% kloppen?

Misschien gaan mensen de film wel kijken als het regent, omdat ze de film al hebben gehoord via vrienden (sociale leer).
Misschien plannen bioscoopzalen hun releases slim in op het weer, zodat mooie weersvoorspellingen samenvallen met supergoede films.

Als deze regels een beetje schuiven, kunnen de conclusies van de detective volledig verkeerd zijn. Tot nu toe was het heel moeilijk om te checken: "Hoe sterk moet de regel overtreden zijn voordat mijn conclusie instort?"

De Oplossing: Een Nieuw Meetinstrument

Dit paper (geschreven door Diegert, Masten en Poirier) introduceert een nieuwe, slimme manier om dit te testen. Ze noemen het een gevoeligheidsanalyse.

Stel je voor dat je een brug bouwt. Normaal gesproken zeggen onderzoekers: "De brug is veilig, want we gaan ervan uit dat het metaal 100% sterk is."
De auteurs van dit paper zeggen: "Laten we niet doen alsof het metaal perfect is. Laten we een meter gebruiken die aangeeft hoeveel roest er mag zitten voordat de brug instort."

Hun methode in drie stappen:

De "Gevarenzone" (Relaxatie): In plaats van te zeggen "Het weer is perfect onafhankelijk", zeggen ze: "Laten we aannemen dat het weer misschien 1%, 5% of 10% afhankelijk is van andere factoren." Ze noemen dit het c-dependence model. Het is alsof je een dial op je meetapparaat draait.
De Rekenmachine (Lineaire Programmering): Ze hebben een wiskundige formule bedacht (een lineair programma) die heel snel kan rekenen. Deze formule zegt: "Als we toestaan dat het weer 5% 'smerig' is, wat zijn dan de minste en meeste mogelijke effecten op de bioscoopbezoekers?"
Het Resultaat: Ze krijgen een bereik. Als dat bereik nog steeds positief is, is je conclusie robuust. Als het bereik over de nul heen gaat (dus zowel positief als negatief kan zijn), dan is je conclusie te fragiel.

De Analoge Verklaring: De "Wolkendek" Test

Stel je voor dat je probeert te bewijzen dat regen (het instrument) zorgt voor groene grasvelden (het effect), en dat je denkt dat mensen die water geven (de behandeling) de oorzaak zijn.

De oude manier: Je zegt: "Regen is puur toeval. Dus als het regent en het gras is groen, dan is het water geven de oorzaak."
De nieuwe manier (deze paper): Je zegt: "Oké, laten we aannemen dat regen misschien niet helemaal toeval is. Misschien regent het vaker in wijken waar mensen al van plan waren om water te geven."
- Je draait aan de knop: "Wat als regen 10% gerelateerd is aan die plannen?" -> Het resultaat is nog steeds: gras is groen.
- Je draait verder: "Wat als regen 20% gerelateerd is?" -> Nu is het resultaat onzeker. Het gras kan groen zijn, maar het kan ook bruin zijn.
- Conclusie: Je weet nu precies hoeveel "twijfel" je kunt hebben voordat je conclusie instort.

Wat vonden ze in de praktijk?

Ze pasten deze methode toe op de filmstudie van Gilchrist en Sands (2016) over het weer en bioscoopbezoek.

De oorspronkelijke conclusie: "Ja, er is een sterk sociaal effect! Als het eerste weekend minder mensen gaan (door regen), gaan er in het tweede weekend ook minder mensen."
De nieuwe test: Ze draaiden aan de knop van "twijfel" over het weer.
- Het verrassende resultaat: Zelfs bij heel kleine twijfels (bijvoorbeeld als het weer maar 1,5% minder willekeurig was dan gedacht), viel de conclusie in duigen. De berekende effecten werden dan onzeker.
- Betekenis: De oorspronkelijke conclusie was te optimistisch. Het bewijs voor het "sociale effect" was niet zo sterk als men dacht. Het kon net zo goed zijn dat het weer gewoon direct invloed had op de keuze van de film.

Waarom is dit belangrijk voor jou?

Voor de gemiddelde lezer is dit een enorme stap voorwaarts in eerlijkheid.

Vroeger konden onderzoekers zeggen: "Onze studie is waar, want we hebben de regels gevolgd."
Nu kunnen ze zeggen: "Onze studie is waar, mits de regels niet meer dan X% worden overtreden. Als ze meer worden overtreden, weten we het niet meer."

Het is alsof je een voorspelling doet over de weersverwachting. In plaats van te zeggen "Het gaat regenen", zeggen ze nu: "Het gaat regenen, tenzij er een onbekende factor is die 10% sterker is dan we dachten. Als dat zo is, dan is het misschien gewoon bewolkt."

Kortom: Dit paper geeft onderzoekers een krachtig gereedschap om te zeggen: "Kijk, hier is ons antwoord, en hier is precies hoe sterk het moet zijn om waar te blijven." Het maakt wetenschap transparanter en minder vatbaar voor fouten.

Each language version is independently generated for its own context, not a direct translation.

Probleemstelling

Instrumentvariabele (IV) analyses zijn een hoeksteen van de empirische economie om causale effecten te schatten, maar ze rusten op twee cruciale en vaak betwiste aannames:

Uitsluiting (Exclusion): Het instrument heeft geen direct effect op de uitkomst, alleen via de behandeling.
Exogeniteit (Exogeneity): Het instrument is willekeurig toegewezen (onafhankelijk van potentiële uitkomsten).

Traditionele IV-methoden (zoals LATE) vereisen vaak ook een monotonie-aanname in de eerste fase (het instrument beïnvloedt de behandeling altijd in dezelfde richting). In veel empirische contexten (bijv. "judge IV" designs of complexe beleidsinterventies) zijn deze aannames echter moeilijk te rechtvaardigen. Bestaande gevoeligheidsanalyses zijn vaak beperkt tot lineaire modellen, homogene behandelingseffecten, of discrete uitkomsten, en vereisen vaak nog steeds monotonie.

Het doel van dit artikel is om nieuwe, robuuste gevoeligheidsanalyses te ontwikkelen die:

Geen monotonie-aannames vereisen.
Toestaan voor willekeurige heterogeniteit in behandelingseffecten.
Gelden voor zowel discrete als continue uitkomstvariabelen.
Een continuum van afwijkingen van de uitsluiting- en exogeniteitsaannames toelaten.

Methodologie

De auteurs ontwikkelen een unificerend raamwerk voor gevoeligheidsanalyse dat gebaseerd is op het karakteriseren van geïdentificeerde sets (identified sets) voor de marginale verdelingen van potentiële uitkomsten.

1. Het Unificerend Gevoeligheidsmodel

In plaats van één specifieke afwijking te testen, definiëren de auteurs een klasse van continue relaxaties van de onafhankelijkheidsaannames. Dit model wordt geïndexeerd door een scalair, dimensieloos gevoeligheidsparameter $\theta \in [0, 1]$ :

$\theta = 0$ : Volledige uitsluiting en exogeniteit (standaard IV-aannames).
$\theta = 1$ : Geen aannames over de relatie tussen instrument en potentiële uitkomsten (Manski-bounds).
$0 < \theta < 1$ : Intermediaire niveaus van afwijking.

Dit raamwerk omvat bestaande modellen als speciale gevallen, waaronder:

Het Marginal Sensitivity Model (MSM) van Tan (2006).
c-afhankelijkheid (c-dependence) van Masten en Poirier (2018).
Benaderingen gebaseerd op de Kolmogorov-Smirnov afstand (supremum-afstand).

2. Discrete Uitkomsten (Lineaire Programmering)

Voor discrete uitkomsten (bijv. binair) wordt de geïdentificeerde set voor de conditionele kansen van potentiële uitkomsten ( $p_Y$ ) gekarakteriseerd als de doorsnede van twee convexe verzamelingen:

De set van kansen die consistent is met de waargenomen verdeling van data (Manski-bounds).
De set van kansen die voldoet aan de gevoeligheidsbeperkingen geïndexeerd door $\theta$ .

De auteurs tonen aan dat deze set een gesloten convex polytoop is. Hierdoor kunnen de grenzen voor lineaire functionalen (zoals de Average Treatment Effect - ATE, ATT, en Quantile Treatment Effects - QTE) worden berekend als de oplossing van een lineair programma (LP). Dit maakt de berekening computatieel efficiënt en schaalbaar.

3. Continue Uitkomsten (Oneindig-dimensionale Programmering)

Voor continue uitkomsten wordt het probleem complexer omdat de verdeling wordt gekarakteriseerd door een dichtheidsfunctie (een oneindig-dimensionaal object).

De auteurs tonen aan dat de geïdentificeerde set voor dichtheidsfuncties ook kan worden gekarakteriseerd via een oneindig-dimensionaal lineair programma.
Ze bewijzen dat de correspondentie tussen de gevoeligheidsparameter $\theta$ en de geïdentificeerde set continu is.
Om dit in de praktijk toepasbaar te maken, introduceren ze een sieve-benadering (gebaseerd op Bernstein-polynomen). Hierdoor wordt het oneindig-dimensionale probleem geapproximeerd door een eindig-dimensionaal lineair programma dat numeriek oplosbaar is.

4. Falsificatie en Adaptieve Sets

Het model is falsificeerbaar: als de data niet consistent is met het model bij $\theta = 0$ (volledige exogeniteit), is de geïdentificeerde set leeg. De auteurs definiëren het falsificatiepunt ( $\bar{\theta}$ ) als de kleinste waarde van $\theta$ waarbij de set niet-leeg wordt. Dit stelt onderzoekers in staat om te bepalen hoeveel afwijking van de aannames nodig is om de conclusies van het model te laten instorten.

Kernbijdragen

Verwijdering van Monotonie: Het artikel biedt de eerste methode voor IV-gevoeligheidsanalyse die geen enkele vorm van monotonie in de eerste fase vereist, wat de toepasbaarheid aanzienlijk vergroot.
Unificatie van Bestaande Modellen: Het biedt een overkoepelend theoretisch raamwerk dat diverse bestaande gevoeligheidsmodellen (MSM, c-dependence, KS-afstand) verenigt onder één parameter.
Computationele Tractabiliteit: De auteurs leveren een praktische methode om deze sets te berekenen, zelfs voor continue uitkomsten, door gebruik te maken van lineaire programmering en sieve-approximaties.
Theoretische Eigenschappen: Er worden sterke theoretische eigenschappen bewezen, waaronder continuïteit en monotonie van de geïdentificeerde sets ten opzichte van de gevoeligheidsparameter.

Resultaten en Empirische Toepassing

De methoden worden geïllustreerd met een heranalyse van de studie van Gilchrist en Sands (2016) over peer effects in filmbezoek, waarbij weer (temperatuur) wordt gebruikt als instrument voor het openingsweekend-bezoek.

Context: De auteurs willen testen of een negatieve schok in het openingsweekend (door mooi weer) leidt tot lager bezoek in het tweede weekend via peer effects.
Risico's: Er is een reële kans dat de uitsluitingsaanname wordt geschonden (bijv. door sociaal leren over de kwaliteit van de film of dynamisch gedrag van bioscoopbezoekers en studio's).
Vindingen:
- Onder de standaardaannames (volledige exogeniteit/uitsluiting) is er een positief effect: een negatieve schok verhoogt de kans op laag bezoek in het tweede weekend (ATE-bereik: [0.04, 0.87]).
- Gevoeligheid: De conclusie is echter extreem gevoelig. Zelfs bij zeer kleine afwijkingen van de exogeniteitsaanname (een $c$ -afhankelijkheid van slechts 0.015, oftewel 1,5 procentpunt), valt het bereik voor de ATE over nul.
- Dit betekent dat de conclusie dat er peer effects zijn, niet robuust is tegenover kleine schendingen van de instrumentvaliditeit.
- Voor continue uitkomsten (kwantielbehandelingseffecten) blijkt de set voor hogere percentielen zeer breed en oninformatief, zelfs onder de basisaannames, wat de noodzaak onderstreept van gevoeligheidsanalyse.

Significantie

Dit artikel is van groot belang voor de empirische economie en causal inference omdat het onderzoekers een computationeel haalbaar en transparant instrument biedt om de robuustheid van hun IV-resultaten te testen zonder zich te hoeven verstoppen achter onrealistische monotonie-aannames.

Het stelt onderzoekers in staat om:

Grafieken te maken die tonen hoe sterk een parameter (zoals ATE) verandert naarmate de aannames over uitsluiting en exogeniteit worden versoepeld.
Het "breakdown point" te identificeren: het punt waarop de data consistent wordt met een nul-effect.
Resultaten te interpreteren in de context van realistische twijfel over instrumentvaliditeit, in plaats van te vertrouwen op een binair "geldig/ongeldig" oordeel.

Kortom, het biedt een nieuwe standaard voor het rapporteren van IV-analyses waarbij de beperkingen van de instrumenten expliciet en kwantitatief worden meegenomen in de conclusies.