📈 economics

The purpose of an estimator is what it does: Misspecification, estimands, and over-identification

Dit artikel betoogt dat bij modelmisspecificatie verschillende schatters verschillende parameters schatten in plaats van slechts efficiëntieverschillen vertonen, en pleit daarom voor transparantere empirisch onderzoek door het breder rapporteren van de J-statistiek als maatstaf voor de reikwijdte van schattingen.

Oorspronkelijke auteurs: Isaiah Andrews, Jiafeng Chen, Otavio Tecchio

Gepubliceerd 2026-02-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Isaiah Andrews, Jiafeng Chen, Otavio Tecchio

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kernboodschap: "Het doel van een machine is wat hij doet"

Stel je voor dat je een recept hebt om de perfecte taart te bakken (dit is je economisch model). In de theorie werkt dit recept perfect. Maar in de praktijk zijn de ingrediënten nooit 100% hetzelfde als in het boekje, en de ovens variëren. Je taart zal dus nooit exact lijken op de theorie.

De auteurs van dit artikel zeggen: Stop met doen alsof je recept perfect is. In de echte wereld zijn economische modellen bijna altijd "fout" (ze heten misspecification in het vakjargon).

Als je weet dat je recept niet perfect is, verandert de vraag: "Wat is de beste manier om de taart te bakken?" niet meer. De vraag wordt: "Welke taart krijg ik eigenlijk als ik deze specifieke bakmethode gebruik?"

1. Het probleem: Verschillende methoden, verschillende resultaten

In de econometrie (de wiskunde achter economie) gebruiken onderzoekers vaak een methode genaamd GMM (Generalized Method of Moments). Dit is als het gebruiken van verschillende meetinstrumenten om de taart te controleren:

Meet je de suiker?
Meet je de temperatuur?
Meet je de luchtigheid?

Vaak heb je meer meetpunten dan je onbekenden (dit heet over-identified). Je kunt niet alle meetpunten tegelijk perfect laten kloppen als je recept fout is. Je moet dus kiezen: welke meetpunten zijn het belangrijkst?

De oude manier: "Ik kies de meetpunten die statistisch het meest efficiënt zijn, omdat ik denk dat mijn recept perfect is."
De echte wereld: "Mijn recept is niet perfect. Ik kies de meetpunten die het beste passen bij wat ik wil weten, zelfs als dat statistisch 'minder efficiënt' is."

Het gevaar: Omdat onderzoekers mogen kiezen welke meetpunten ze zwaarder wegen, kunnen ze onbewust (of bewust) de uitkomst manipuleren. Ze kunnen een meetmethode kiezen die precies het resultaat geeft dat ze willen zien.

2. De Metafoor: De "Gewicht-hack"

Stel je voor dat je een schaal hebt met verschillende gewichten (de meetpunten).

Als je het recept perfect had, zou het niet uitmaken hoe je de gewichten verdeelt; de taart zou er altijd hetzelfde uitzien.
Maar omdat het recept fout is, verandert de vorm van de taart als je de gewichten verschuift.

De auteurs ontdekken iets verrassends: Hoe groter de fout in je model, hoe meer je de uitkomst kunt manipuleren door de gewichten te verschuiven.

Ze introduceren een nieuwe manier om dit te meten: de J-statistiek.

De J-statistiek is als een "manipulatie-meter".
Een lage J-statistiek betekent: "Mijn model is redelijk goed, het maakt niet veel uit welke gewichten ik kies; de taart blijft ongeveer hetzelfde."
Een hoge J-statistiek betekent: "Mijn model zit vol fouten. Als ik de gewichten verschuif, kan ik de taart in elke vorm krijgen die ik wil."

3. Het nieuwe inzicht: Wat zegt de J-statistiek echt?

Traditioneel gebruiken economen de J-statistiek als een test: "Is mijn model goed genoeg om niet te worden verworpen?" (Ja/Nee).

De auteurs zeggen: Nee, kijk er anders naar.
De J-statistiek vertelt je niet alleen of het model fout is, maar hoe groot de ruimte is voor onderzoekers om hun resultaten te "hacken".

Als de J-statistiek hoog is, kan een onethische onderzoeker (of iemand die per ongeluk de verkeerde keuze maakt) door het kiezen van de juiste gewichten elk willekeurig resultaat afdwingen dat statistisch significant is.
De auteurs bewijzen wiskundig dat de J-statistiek de maximale reikwijdte aangeeft van de resultaten die je kunt krijgen voor een bepaalde mate van onzekerheid.

4. Wat moeten onderzoekers nu doen? (De Adviezen)

Omdat we weten dat modellen nooit perfect zijn, stellen de auteurs vier simpele regels voor:

Wees eerlijk over wat je meet: Als je een methode kiest die statistisch niet de "beste" is (bijvoorbeeld omdat je bepaalde meetpunten liever zwaarder weegt), leg dan uit waarom. Welke "taart" probeer je precies te bakken?
Gebruik robuuste foutmarges: De standaard rekenmethodes voor onzekerheid (standaardfouten) gaan vaak uit van een perfect model. Gebruik in plaats daarvan methodes die ook werken als het model fout is (zoals "bootstrapping").
Rapporteer de J-statistiek, ook al doe je geen test: Zelfs als je niet denkt dat je model perfect is, moet je de J-statistiek publiceren. Waarom? Omdat het lezers laat zien hoe gevoelig je resultaten zijn voor de keuzes die jij hebt gemaakt. Het is een transparantie-instrument.
Wees kritisch op "hand-picked" resultaten: Als een onderzoeker een heel specifiek gewicht kiest zonder goede uitleg, moet je oppassen. De J-statistiek kan je vertellen of die keuze de uitkomst enorm heeft beïnvloed.

Samenvatting in één zin

In een wereld waar geen enkel economisch model perfect is, is de J-statistiek niet zomaar een test of iets "goed" is, maar een meter voor hoe makkelijk onderzoekers hun resultaten kunnen manipuleren door de weging van hun data aan te passen; daarom moeten we deze meter veel vaker zien om de betrouwbaarheid van economisch onderzoek te begrijpen.

1. Het Probleem: De Kloof tussen Theorie en Praktijk

Het artikel adresseert een fundamentele discrepantie tussen de econometrische theorie voor over-geïdentificeerde modellen en de empirische praktijk in de economie.

De Theoretische Norm: In standaard econometrische handboeken wordt voor over-geïdentificeerde modellen (waar het aantal momentvoorwaarden $k$ groter is dan het aantal parameters $p$ ) geadviseerd om de over-identificerende restricties te testen (via de J-test) en, indien deze niet worden verworpen, de efficiënte Generalized Method of Moments (GMM)-schatter te gebruiken.
De Empirische Realiteit: Een analyse van 36 papers in de American Economic Review (2020-2024) toont aan dat onderzoekers zelden formele J-tests uitvoeren. In plaats daarvan gebruiken ze vaak:
- Subsets van momentvoorwaarden.
- Niet-optimale wegingsmatrices (bijv. identiteitsmatrix of handmatig geselecteerde matrices).
- "Eye-ball" tests in plaats van formele statistische tests.
De Kernvraag: Als economische modellen bijna altijd misspecificeerd zijn (d.w.z. de waarheid ligt buiten het gespecificeerde model), wat betekent dit dan voor de interpretatie van schatters? Het artikel betoogt dat onder misspecificatie verschillende schatters niet alleen verschillend efficiënt zijn, maar fundamenteel verschillende parameters (estimands) schatten. De keuze van de schatter is dus een keuze voor het doelwit van de schatting, niet alleen voor de precisie.

2. Methodologie en Theoretisch Kader

De auteurs bouwen een theoretisch raamwerk op dat onderscheid maakt tussen econometrische en statistische specificatie, en analyseren het gedrag van schatters onder misspecificatie.

Definitie van Modellen:
- Econometrisch model ( $M$ ): De verzameling paren $(\theta, P)$ die consistent zijn met de economische theorie.
- Statistisch model ( $\mathcal{P}$ ): De verzameling data-distributies $P$ waarvoor er een $\theta$ bestaat die in $M$ past.
- Misspecificatie: Het model is statistisch misspecificeerd als de ware distributie $P \notin \mathcal{P}$ .
Het Concept van de "Pseudo-True Value": Onder statistische misspecificatie convergeert een schatter $\hat{\theta}$ $\hat{θ}$ niet naar de ware economische parameter $\theta$ $θ$ , maar naar een limietwaarde $plim(\hat{\theta}, P)$ $pl im (\hat{θ}, P)$ . Deze limiet hangt af van de gekozen schatter (bijv. de wegingsmatrix in GMM).
- Conclusie: "Het doel van een schatter is wat het doet." Onder misspecificatie definiëren verschillende schatters verschillende parameters.
Lokale Misspecificatie: Om de trade-off tussen bias en variantie te analyseren, gebruiken de auteurs een kader van lokale misspecificatie (Newey, 1985). Hierbij wordt aangenomen dat de mate van misspecificatie evenredig is met de steekproefgrootte ( $O(1/\sqrt{n})$ ). Dit zorgt ervoor dat de bias en de steekproeffout van dezelfde orde van grootte zijn, wat een realistisch beeld geeft van eindige steekproeven.

3. Belangrijkste Bijdragen en Resultaten

A. De Interpretatie van Schatters onder Misspecificatie

De auteurs synthetiseren recente literatuur die laat zien dat onderzoekers die niet-optimale gewichten kiezen (bijv. handmatige gewichten of diagonale matrices), bewust of onbewust kiezen voor een specifieke "pseudo-true value".

Voorbeeld: In lineaire causale modellen schatten OLS en WLS onder misspecificatie verschillende gewogen gemiddelden van causale effecten. Er is geen "efficiëntere" schatter; er zijn alleen schatters die verschillende vragen beantwoorden.
Aanbeveling: Onderzoekers moeten expliciet maken welke parameter hun gekozen schatter schat en waarom deze schatter preferabel is, zelfs als deze inefficiënt is onder correcte specificatie.

B. Robuuste Standaardfouten

Onder misspecificatie zijn de conventionele GMM-standaardfouten (die aannemen dat het model correct is) ongeldig en leiden ze tot onderdekking van betrouwbaarheidsintervallen.

Oplossing: De auteurs bevelen het gebruik van misspecification-robuste standaardfouten (de "sandwich"-variantie) aan.
Bootstrapping: Ze waarschuwen tegen het "recenteren" van momenten in de bootstrap, omdat dit de correcte specificatie kunstmatig oplegt en ongeldige inferentie oplevert. Niet-recenterende bootstraps worden aanbevolen.

C. Nieuw Theoretisch Resultaat: De J-Statistiek als Maatstaf voor Manipulatie

Dit is de meest innovatieve bijdrage van het artikel. De auteurs leiden een nieuw asymptotisch resultaat af dat de J-statistiek relateert aan de reikwijdte van mogelijke schattingen.

Het Resultaat: In een kader van lokale misspecificatie is de reeks van schattingen die een onderzoeker kan verkrijgen door de wegingsmatrix te variëren (binnen redelijke grenzen), asymptotisch een interval rondom de efficiënte GMM-schatting. De breedte van dit interval is evenredig met $\sqrt{J} \cdot \hat{\sigma}$ .
De "Weight-Hacking" Conclusie:
- Een kwaadwillende onderzoeker kan een wegingsmatrix kiezen om voor elke nulhypothese een t-statistiek van ten minste $\sqrt{J}$ te genereren.
- Als $\sqrt{J} > 1.96$ , kan een onderzoeker elke nulhypothese verwerpen op het 5%-niveau door simpelweg de gewichten te manipuleren.
- Dit betekent dat de J-statistiek niet alleen een test voor modelfit is, maar een maatstaf voor de vrijheidsgraden van de onderzoeker om resultaten te manipuleren via gewichtselectie.

D. Empirische Bevindingen

Uit de analyse van de AER-papers blijkt:

Slechts 3 van de 22 over-geïdentificeerde papers rapporteren J-statistieken.
Waar J-statistieken wel werden berekend, waren ze vaak hoog (veel $\sqrt{J} > 1.96$ ), wat suggereert dat er ruimte is voor significante manipulatie van resultaten via gewichtkeuze, zelfs als het model niet formeel wordt verworpen.

4. Significatie en Aanbevelingen

Het artikel heeft grote implicaties voor hoe empirisch economisch onderzoek moet worden gerapporteerd en geïnterpreteerd.

Verschuiving in Focus: Van het testen of een model "waar" is, naar het begrijpen wat een schatter doet onder onvolmaakte modellen.
Transparantie: Onderzoekers moeten hun keuze voor een schatter (en de bijbehorende estimand) expliciet rechtvaardigen, vooral als ze niet de efficiënte GMM gebruiken.
Rapportage van J-Statistieken: Zelfs als men geen J-test uitvoert om het model te verwerpen, moet de J-statistiek worden gerapporteerd. Deze geeft lezers inzicht in de gevoeligheid van de resultaten voor de keuze van de wegingsmatrix en de mate van "weight-hacking".
Robuuste Inferentie: Het gebruik van misspecification-robuste standaardfouten is essentieel voor geldige inferentie in de praktijk, waar modellen bijna altijd misspecificeerd zijn.

Conclusie:
Andrews, Chen en Tecchio tonen aan dat in een wereld van onvolmaakte economische modellen, de keuze van de schatter een keuze is voor het te schatten object. De J-statistiek fungeert als een cruciaal diagnostisch instrument dat de maximale variatie in resultaten (en het potentieel voor manipulatie) kwantificeert die voortvloeit uit de keuze van wegingsmatrices. De auteurs pleiten voor een cultuuromslag in de empirische economie: meer transparantie, robuuste standaardfouten en het rapporteren van J-statistieken om de integriteit van empirische bevindingen te waarborgen.