Average Marginal Effects in One-Step Partially Linear Instrumental Regressions

Dit artikel introduceert een nieuwe procedure voor het schatten en toetsen van gemiddelde marginale effecten in gedeeltelijk lineaire instrumentale regressies met behulp van Reproducing Kernel Hilbert Ruimte-methoden, waarbij consistentie, asymptotische normaliteit en geldige inferentie via een Bayesiaanse bootstrap worden aangetoond.

De kern

Stel je voor dat je een econoom bent die probeert een heel lastig raadsel op te lossen: Wat is het echte effect van iets op iets anders, als je niet zeker weet of de dingen die je meet niet door andere, verborgen factoren worden beïnvloed?

In de econometrie noemen we dit een "endogeen probleem". Het is alsof je wilt weten of meer studie (de behandeling) leidt tot een hoger salaris (het resultaat), maar je niet weet of mensen die meer studeren ook gewoon slimmer zijn of een beter netwerk hebben (de verborgen fout). Om dit op te lossen, gebruiken economen vaak een "instrument" (zoals een loterij of een willekeurige regel), maar de wiskunde hierachter is vaak zo complex dat het moeilijk is om te interpreteren.

De auteurs van dit paper, Lucas Girard en Elia Lapenta, hebben een nieuwe, slimme manier bedacht om dit probleem op te lossen. Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen.

1. Het Probleem: De "Kromme Spelers"

Stel je voor dat je een speler in een voetbalwedstrijd wilt analyseren. Je wilt weten hoeveel doelpunten hij maakt als hij vaker schiet.

• Het oude probleem: Als je gewoon kijkt naar statistieken, zie je misschien dat spelers die vaker schieten ook vaker scoren. Maar misschien schieten die spelers vaker omdat ze al de beste spelers zijn (een verborgen factor).
• De oplossing (Instrumentele Variabelen): Je gebruikt een "scheidsrechter" (het instrument) die bepaalt wie er mag schieten, puur op basis van een willekeurige fluitstoot. Zo weet je dat het niet hun vaardigheid is, maar de fluitstoot, die het schieten veroorzaakte.
• Het nieuwe probleem: De meeste oude methodes gaan ervan uit dat de relatie tussen "schieten" en "doelpunten" een rechte lijn is. Maar in het echte leven is het leven zelden een rechte lijn. Soms helpt het veel, soms weinig, en soms zelfs negatief. Als je een rechte lijn forceert op een kromme werkelijkheid, krijg je een verkeerd antwoord.

2. De Oplossing: De "Slimme Kromme" (RKHS)

De auteurs zeggen: "Laten we stoppen met het forceren van een rechte lijn. Laten we de kromme lijn volgen die de data ons vertelt."

Ze gebruiken een wiskundig gereedschap dat Reproducing Kernel Hilbert Spaces (RKHS) heet.

• De Analogie: Stel je voor dat je een klei hebt (de data). Oude methodes zijn als een mal die je alleen ronde of vierkante vormen kunt maken (lineaire modellen). De nieuwe methode van de auteurs is als een 3D-printer voor klei. Hij kan elke vorm aannemen die de data nodig heeft, of het nu een berg, een dal of een golvend landschap is.
• Waarom is dit cool? Omdat ze deze "3D-printer" gebruiken, hoeven ze geen ingewikkelde, stap-voor-stap berekeningen te doen. Ze kunnen alles in één stap regelen.

3. De Grootte van de "Regel" (Regularisatie)

Bij het modelleren van kromme lijnen is er een groot gevaar: Overfitting.

• De Analogie: Stel je voor dat je een wegkaart tekent. Als je elke steen en elk grasplukje op de kaart tekent, is je kaart perfect voor die ene plek, maar onbruikbaar voor de rest van de wereld. Je hebt "te veel details".
• De oplossing: Je moet een beetje "wazig" maken, zodat je alleen de grote lijnen ziet. Dit noemen ze "regularisatie".
• Het unieke aan dit paper: De meeste oude methodes hebben een hele doos met verschillende "wazigheids-knoppen" die je allemaal apart moet afstellen (zoals de volume, de bass en de treble op een geluidsinstallatie). Dat is lastig en tijdrovend.
• De nieuwe methode: De auteurs hebben een slimme knop bedacht die alleen één regel nodig heeft. Je draait aan één knop, en de machine regelt de rest. Dit maakt het veel makkelijker voor economen om het in de praktijk te gebruiken.

4. De "Bayesian Bootstrap" (De Geluksmachine)

Nu we de kromme lijn hebben getekend, willen we weten: "Is dit resultaat echt, of is het toeval?"

• Het probleem: De wiskundige formule om de zekerheid te berekenen is zo ingewikkeld dat het bijna onmogelijk is om er een simpele getal uit te halen.
• De oplossing: In plaats van te proberen de formule op te lossen, gebruiken ze een Gelukmachine (de Bayesian Bootstrap).
  • Ze nemen hun data, gooien ze in de machine, en laten de machine duizenden keren een nieuwe versie van de data genereren met willekeurige gewichten (alsof je een dobbelsteen gooit).
  • Ze kijken hoe vaak hun resultaat verandert in al die duizenden pogingen. Als het resultaat stabiel blijft, weten ze: "Ja, dit is echt!"
  • Dit is als het testen van een brug door er duizenden keren met verschillende gewichten overheen te lopen, in plaats van de brug theoretisch uit te rekenen.

5. Wat hebben ze bewezen? (De Resultaten)

Ze hebben dit getest in drie situaties:

1. Simulaties: Ze hebben met computersimulaties bewezen dat hun methode werkt, zelfs met kleine datasets (soms maar 100 mensen). Het is nauwkeuriger dan de oude methodes.
2. Klasgrootte: Ze keken naar de invloed van klasgrootte op schoolresultaten. De oude methode zei: "Kleiner is beter!" Maar hun nieuwe, flexibele methode zei: "Eigenlijk weten we het niet zeker, het effect is niet significant." Dit laat zien dat je voorzichtig moet zijn met simpele conclusies.
3. Handel en Inkomen: Ze keken of meer handel leidt tot meer inkomen. Hun methode bevestigde dit, maar gaf een iets ander getal dan de oude lineaire methode.
4. Kranten: Ze keken naar advertenties in kranten en of dat de verkoop beïnvloedt. Ook hier gaf hun methode een betrouwbaar antwoord.

Samenvatting in één zin

De auteurs hebben een nieuwe, eenvoudige "één-knop" methode bedacht die flexibele kromme lijnen kan tekenen in plaats van simpele rechte lijnen, en die gebruikt een geluksmachine om te bewijzen of de resultaten echt zijn, zodat economen betere beslissingen kunnen nemen zonder in de wiskundige valkuilen te trappen.

Het is alsof ze van een oude, zware analoge radio zijn veranderd naar een slimme, draadloze speaker die automatisch het beste geluid kiest, ongeacht de omstandigheden.

Technische samenvatting

1. Probleemstelling en Context

Het artikel richt zich op het schatten en toetsen van gemiddelde marginale effecten (AME) in partieel lineaire instrumentvariabelen (IV) regressiemodellen. Het model wordt gedefinieerd als:

$$Y = h_0(Z) + X^T\beta_0 + \varepsilon$$

waarbij:

• $Y$ het uitkomstvariabele is.
• $Z$ een endogene continue behandeling is (gecorreleerd met de foutterm $\varepsilon$).
• $X$ een vector van exogene covariaten is.
• $W$ een continue instrumentvariabele is.
• $h_0$ een niet-parametrische functie is die het effect van de behandeling beschrijft.
• $\beta_0$ de coëfficiënten van de lineaire component zijn.

Het doel is het schatten van $\theta_0 := E\{h'_0(Z)\}$, de gemiddelde marginale effect van de behandeling.

De uitdaging:
Traditionele methoden, zoals Two-Stage Least Squares (2SLS), veronderstellen een lineair verband. Als deze veronderstelling niet klopt (misspecificatie), leiden de schattingen tot misleidende causale conclusies. Bestaande semiparametrische methoden om $h_0$ te schatten (bijv. gebaseerd op series of kunstmatige neurale netwerken) vereisen vaak meerdere stappen en het selecteren van meerdere regularisatieparameters (tuning parameters). Dit maakt de implementatie complex en introduceert schattingsfouten in elke stap die de eindresultaten beïnvloeden. Bovendien is de asymptotische variantie van deze schatters vaak analytisch ingewikkeld, wat inferentie bemoeilijkt.

2. Methodologie

De auteurs stellen een nieuwe procedure voor die gebaseerd is op Reproducing Kernel Hilbert Spaces (RKHS) en een één-staps (one-step) benadering.

A. Schattingsprocedure (RKHS)

In plaats van een meervoudige regressie, minimaliseren de auteurs een penalized momentvoorwaarde direct in één stap. Ze gebruiken een karakteristieke functie-transformatie om de voorwaarde $E\{\varepsilon|W, X\} = 0$ om te zetten in een integraalvergelijking die geen voorafgaande schatting van de voorwaardelijke verwachting vereist.

Het schattingsprobleem wordt geformuleerd als:
$$(\hat{\beta}, \hat{h}) := \arg \min_{\beta, h} \int \left| E_n \left[ (Y_i - X_i^T\beta - h(Z_i)) \exp(i(W_i, X_i^T)t) \right] \right|^2 d\mu(t) + \lambda \|h\|_H^2$$

Waarbij:

• $E_n$ de empirische gemiddelde operator is.
• $\mu$ een maat is met een symmetrische karakteristieke functie.
• $\|h\|_H$ de norm is in een RKHS $H$ met een reproducerende kern $K$.
• $\lambda$ de enige regularisatieparameter is.

Door de Representerende Stelling van RKHS te gebruiken, kan de oplossing $\hat{h}$ worden geschreven als een lineaire combinatie van kernfuncties: $\hat{h}(\cdot) = \sum \hat{\alpha}_i K(\cdot, Z_i)$. Dit leidt tot een gesloten vorm voor de schatter die oplosbaar is via een lineair stelsel van vergelijkingen.

B. Inferentie (Bayesian Bootstrap)

Hoewel de schatter $\hat{\theta}$ asymptotisch normaal verdeeld is, heeft de variantie van de limietverdeling een zeer complexe analytische vorm, afhankelijk van de onbekende verdeling van de data en de kern. Om dit te omzeilen, stellen de auteurs een Bayesian Bootstrap-procedure voor.

• Ze herschalen de observaties met onafhankelijke gewichten $\xi_i$ (getrokken uit een exponentiële verdeling).
• Ze herberekenen de schatter voor elke bootstrap-steekproef.
• De verdeling van de gesimuleerde statistieken wordt gebruikt om kritieke waarden en p-waarden te bepalen voor hypothesetoetsing.

3. Belangrijkste Bijdragen

1. Eén-staps procedure: In tegenstelling tot bestaande literatuur (zoals Ai en Chen, 2003/2007) die meervoudige regressiestappen vereisen, gebruikt deze methode één enkele optimalisatie. Dit elimineert de cumulatie van schattingsfouten tussen stappen.
2. Enige regularisatieparameter: De methode vereist slechts het selecteren van één parameter ($\lambda$), wat de praktische implementatie aanzienlijk vereenvoudigt ten opzichte van methoden met meerdere tuning parameters.
3. RKHS Framework: Het gebruik van RKHS (veel gebruikt in machine learning en SVM's) zorgt voor rekenkundige tractabiliteit en een eenvoudige gesloten vorm voor de schatter.
4. Geldige Inferentie: De auteurs bewijzen de consistentie en asymptotische normaliteit van de schatter en validen de Bayesian Bootstrap voor het construeren van betrouwbaarheidsintervallen, zelfs in kleine steekproeven.
5. Software: Ze bieden een R-pakket (rkhsiv) aan voor praktische toepassing.

4. Resultaten

A. Asymptotische Eigenschappen

Onder standaard regulariteitsvoorwaarden (inclusief een "source condition" voor de gladheid van $h_0$) bewijzen de auteurs dat:
$$\sqrt{n}(\hat{\theta} - \theta_0) \xrightarrow{d} N(0, \sigma^2)$$
De variantie $\sigma^2$ is complex, maar de Bootstrap-procedure convergeren correct naar deze verdeling.

B. Simulaties (Kleine Steekproeven)

De auteurs testen hun methode in Monte Carlo-simulaties met steekproefgroottes van $n=100$ en $n=400$, zowel voor volledig niet-parametrische als partieel lineaire modellen.

• Grootte (Size): De methode controleert Type I-fouten goed; de afwijzingskansen liggen dicht bij de nominale niveaus (5% en 10%), zelfs bij kleine steekproeven.
• Kracht (Power): De methode vertoont een aanzienlijk hogere statistische macht dan de traditionele twee-staps series-regressie methoden, vooral bij kleine steekproeven ($n=100$) en bij niet-polynomiale functies.
• Robuustheid: De prestaties blijven goed onder verschillende niveaus van endogeniteit.

C. Empirische Toepassingen

Drie toepassingen op reële data illustreren de methode:

1. Klasgrootte en prestaties (Angrist & Lavy, 1999): Op een dataset van 2.024 observaties vinden ze dat het effect van klasgrootte op testresultaten niet statistisch significant is. Dit contrasteert met eerdere 2SLS-resultaten die een significant negatief effect toonden, wat suggereert dat de lineaire veronderstelling in eerdere studies mogelijk tot misspecificatie leidde.
2. Handel en inkomen (Frankel & Romer, 1999): Op een kleine dataset van 150 landen vinden ze een significant positief effect van handel op BBP per hoofd. De geschatte effectgrootte is iets lager dan bij lineaire schattingen, maar blijft economisch betekenisvol.
3. Reclame en krantenvraag (Sokullu, 2016): Op 117 observaties schatten ze het netwerk-effect van reclame op lezersvraag. De niet-parametrische AME schatting ($-5.53$) is consistent met, maar nauwkeuriger dan, de implicatie van een eerder gespecificeerde kubische polynoom ($-8.19$).

5. Betekenis en Conclusie

Dit artikel biedt een praktische en theoretisch onderbouwde oplossing voor een veelvoorkomend probleem in de econometrie: het schatten van causale effecten in niet-lineaire IV-modellen zonder de complexiteit van meervoudige stappen of de risico's van misspecificatie.

• Voor onderzoekers: De methode biedt een betrouwbaar alternatief voor 2SLS wanneer lineariteit niet kan worden gerechtvaardigd, met de toegevoegde waarde van een enkele tuning parameter.
• Voor beleidsmakers: Het levert interpretabele resultaten (gemiddelde marginale effecten) die robuust zijn tegen functionele vorm-aannames.
• Technische impact: Het koppelt de wereld van semiparametrische econometrie met moderne machine learning technieken (RKHS) en biedt een geldige inferentieprocedure via Bootstrap, wat een belangrijke stap is voor de toepasbaarheid van complexe niet-parametrische modellen in de praktijk.

De auteurs concluderen dat hun procedure, dankzij de rekenkundige eenvoud en de goede prestaties in kleine steekproeven, direct door practitioners kan worden toegepast.