Is Inference Conditional on Not Rejecting a Pre-test Less Reliable than Unconditional Inference?

Dit artikel toont aan dat vooronderzoeksinferentie geldig blijft, zij het vaak conservatief, zelfs als de getoetste voorwaarden gelden en er sprake is van asymptotische afhankelijkheid, terwijl de dekking van betrouwbaarheidsintervallen in het geval dat deze voorwaarden niet gelden, onder bepaalde omstandigheden groter kan zijn dan de onvoorwaardelijke dekking.

De kern

Stel je voor dat je een kok bent die een nieuwe, heerlijke soep (je onderzoek) wilt maken. Je wilt zeker weten dat je recept werkt, dus je doet eerst een proefje: je proeft of de soep niet te zout is (dit noemen onderzoekers een pre-test of voorafgaande test).

Als de soep te zout is, gooi je het recept weg en probeer je iets anders. Maar als de soep niet te zout is, dien je hem op aan je gasten en vertel je hen: "Deze soep is perfect!"

De vraag die deze wetenschappers (Clément de Chaisemartin en Xavier D'Haultfœuille) zich stellen, is: Is het verhaal dat je aan je gasten vertelt, betrouwbaar als je alleen de soep serveert die je eerst hebt getest?

Veel mensen denken: "Nee, dat is vals spelen! Je hebt immers alleen de goede resultaten geselecteerd, dus je kunt niet zeggen dat je 95% zekerheid hebt."

Deze paper komt met een verrassend antwoord: Nee, je bent niet per se vals aan het spelen. Sterker nog, je bent misschien zelfs voorzichtiger dan je denkt.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. De "Zout-test" (De Pre-test)

In de wetenschap gebruiken onderzoekers vaak modellen om effecten te meten (bijvoorbeeld: "Helpt medicijn X tegen hoofdpijn?"). Maar dit werkt alleen als bepaalde regels gelden, zoals "de groep die medicijn krijgt, lijkt op de groep die het niet krijgt".

Om te checken of die regels gelden, doen ze een pre-test.

• Voorbeeld: In een experiment kijken ze of de groepen vooraf gelijk zijn.
• De regel: Als de test zegt "Er is een groot verschil!", stoppen ze en zeggen ze: "Het werkt niet." Als de test zegt "Geen groot verschil!", dan rapporteren ze hun resultaat.

2. Het grote misverstand: "Selectie is gevaarlijk"

De oude angst was: "Als je alleen de resultaten rapporteert die de test hebben doorstaan, heb je je resultaten 'geselecteerd'. Daardoor is je betrouwbaarheid (de 'dekkingsgraad') lager dan je zegt."

Stel je voor dat je een dobbelsteen gooit. Als je alleen de worpen rapporteert waar je een 6 gooit, is je gemiddelde niet 3,5, maar 6. Dat is duidelijk vals.

De auteurs zeggen echter: "Niet zo snel!"

3. De "Veilige Net"-Vergelijking

De paper laat zien dat als je de pre-test doet, je eigenlijk een veilig net onder je resultaat legt.

• De Normale Situatie (Zonder test): Je gooit je resultaat op de markt. Soms is het goed, soms is het slecht. Je zegt: "95% van de tijd is dit goed."
• Met de Pre-test: Je kijkt eerst of de "zoutgraad" (de test) in orde is.
  • Als de zoutgraad niet goed is, gooi je het weg.
  • Als de zoutgraad wel goed is, dien je het op.

De verrassende ontdekking is: Als je de soep serveert nadat je hebt gecheckt dat hij niet te zout is, is hij zelfs nog veiliger dan je dacht.

Wiskundig gezien (met een ingewikkelde formule die ze "Gaussische Correlatie Ongelijkheid" noemen) blijkt dat de kans dat je resultaat klopt, hoger is dan 95% als je alleen kijkt naar de gevallen waar de test niet faalde. Je bent dus niet te optimistisch; je bent juist te voorzichtig. Je geeft je gasten een soep die waarschijnlijk nog lekkerder is dan je zegt.

4. Wanneer werkt dit niet? (De "Gekke Soep")

Er is één geval waarin deze "veiligheid" wegvalt. Stel dat de zoutgraad (de test) en de smaak van de soep (het resultaat) op een heel rare manier met elkaar verbonden zijn.

• Bijvoorbeeld: Als de soep te zout is, is hij ook te zoet.
• Als je alleen de niet-zoute soep serveert, heb je misschien per ongeluk alleen de "te zoete" soep overgehouden.

In de echte wereld komt dit voor in bepaalde complexe studies (zoals "Difference-in-Differences" in economie). Als de fouten in je data op een specifieke manier samenhangen, kan de pre-test je resultaat inderdaad iets minder betrouwbaar maken. Maar zelfs dan, zegt de paper, is het verschil vaak heel klein.

5. De "Gokker" Vergelijking

Stel je een gokker voor die alleen inzet als hij denkt dat de munt eerlijk is.

• Oude gedachte: "Hij heeft de munt getest, dus als hij wint, is het waarschijnlijk geluk en niet eerlijk spel."
• Nieuwe gedachte van deze paper: "Eigenlijk is hij juist beter dan een gemiddelde gokker. Omdat hij alleen inzet als de munt er eerlijk uitziet, is de kans dat hij wint (als hij wint) zelfs groter dan hij denkt. Hij is conservatiever dan hij denkt."

Wat betekent dit voor de praktijk?

De auteurs concluderen dat onderzoekers zich geen zorgen hoeven te maken dat ze "vals spelen" door eerst een test te doen.

1. Je bent veilig: Als je hypothese klopt, is je resultaat zelfs beter beschermd dan je denkt.
2. Je bent niet perfect: Als je hypothese niet klopt (de soep is echt rot), helpt de test je misschien niet altijd om dat te zien. Maar zelfs dan, is het verschil tussen "met test" en "zonder test" vaak klein.
3. Advies: Het is verstandig om die tests te doen. Het is beter om een beetje voorzichtig te zijn (conservatief) dan om te doen alsof je alles perfect weet.

Kortom: Het doen van een voorafgaande test (pre-test) is niet het "valsspelen" dat veel mensen denken dat het is. Het is meer als het controleren van je brandblusser voordat je een vuur begint. Als je hem gebruikt, ben je misschien niet 100% zeker dat er geen brand is, maar als je hem toch gebruikt, ben je waarschijnlijk veiliger dan je denkt.

Technische samenvatting

1. Het Probleem

In toegepast economisch onderzoek zijn specificatietests (pre-tests) overal terug te vinden. Voorbeelden zijn:

• Difference-in-Differences (DID): Het testen van de "parallel trends"-aanname via pre-trend schattingen.
• Randomized Controlled Trials (RCT): Balancerende tests om te controleren of covariaten evenwichtig zijn tussen behandelings- en controlegroepen.
• Instrumentele Variabelen (IV) en Regression Discontinuity Design (RDD): Tests op validiteit van instrumenten of continuïteit van de running variable.

De gebruikelijke praktijk is dat onderzoekers alleen een schatter ($\hat{\beta}$) en het bijbehorende betrouwbaarheidsinterval rapporteren als de pre-test de nulhypothese (dat het model correct gespecificeerd is) niet verwerpt.

Het centrale probleem is of deze selectie (inference conditioneel op het niet-verwerpen van de pre-test) de betrouwbaarheid van de inferentie ondermijnt. Traditioneel wordt vaak aangenomen dat pre-testen leidt tot vertekende inferentie (bijvoorbeeld te kleine betrouwbaarheidsintervallen of een te lage dekking). De auteurs onderzoeken of de conditionele dekking (Conditional Coverage - CC) van een naïef betrouwbaarheidsinterval lager is dan de nominale dekking (bijv. 95%) of lager dan de unconditionele dekking (Unconditional Coverage - UC).

2. Methodologie en Opzet

De auteurs modelleren een situatie waarin:

• $\hat{\beta}$ een schatter is voor een parameter $\beta_0$ die asymptotisch normaal verdeeld is onder een nulhypothese van correcte specificatie.
• $\hat{\theta}$ een schatter is voor een parameter $\theta_0$ die testbaar is (de pre-test).
• De nulhypothese is $(\theta_0, \eta_0) = 0$, waarbij $\theta_0$ testbaar is maar $\eta_0$ (de niet-testbare component) niet.
• De inferentie wordt alleen uitgevoerd als de pre-teststatistiek $T_n$ onder de kritieke waarde blijft (d.w.z. $\hat{\theta}$ is niet significant verschillend van 0).

Aannames:

1. Asymptotische Normaliteit: De schatters $(\hat{\beta}, \hat{\theta})$ convergeren naar een multivariate normale verdeling.
2. Convexiteit en Symmetrie: De pre-teststatistieken (zoals F-tests of Sup-t-tests) zijn convex en symmetrisch rond de oorsprong.
3. Gaussische Correlatie Ongelijkheid (GCI): De kern van hun bewijsvoering steunt op de ongelijkheid van Royen (2014), die stelt dat voor een gecentreerde normale vector $(Y, X)$, de kans dat $Y$ in een convex, centraal-symmetrisch gebied ligt, toeneemt als we conditioneren op $X$ dat in een dergelijk gebied ligt.

3. Belangrijkste Bijdragen en Resultaten

A. Resultaten onder de Nulhypothese (Correcte Specificatie)

Als de nulhypothese waar is (bijv. parallel trends gelden echt):

• Conservatisme: De conditionele dekking (CC) van het gebruikelijke betrouwbaarheidsinterval is altijd groter dan of gelijk aan de nominale dekking (NC).
  $$\lim_{n \to \infty} P(\beta_0 \in CI | \text{pre-test niet verwerp}) \geq 1 - \alpha$$
• Interpretatie: Pre-testen leidt onder de nulhypothese nooit tot under-coverage (te lage dekking), maar wel mogelijk tot over-coverage (te hoge dekking, dus conservatieve intervallen).
• Voorwaarde voor Exactheid: De dekking is exact gelijk aan de nominale dekking als en slechts als de schatter $\hat{\beta}$ en de pre-test $\hat{\theta}$ asymptotisch onafhankelijk zijn. Als er correlatie is, is de dekking strikt groter dan $1-\alpha$.
• Toepassing: Dit geldt voor tweezijdige tests, F-tests, en Sup-tests, en zelfs voor oneindig dimensionale tests (zoals Kolmogorov-Smirnov tests).

B. Resultaten onder het Alternatief (Foutieve Specificatie)

Als de nulhypothese niet waar is (bijv. er zijn echte verschillen in trends):

• Zonder pre-test heeft het interval al een lage dekking omdat $\hat{\beta}$ bevooroordeeld is.
• De auteurs vergelijken de CC met de UC.
• Lokale Alternatieven: In een omgeving dicht bij de nulhypothese (kleine afwijkingen) blijft de CC groter dan de UC, mits $\hat{\beta}$ en $\hat{\theta}$ niet asymptotisch onafhankelijk zijn.
• Globale Resultaten: Er zijn specifieke voorwaarden waaronder de CC globaal (voor elke mate van afwijking) groter is dan de UC. Een cruciale voorwaarde hiervoor is:
  $$\mu_1 = \Sigma_{12} \mu_2$$
  Waarbij $\mu_1$ en $\mu_2$ de gestandaardiseerde bias van respectievelijk $\hat{\beta}$ en $\hat{\theta}$ zijn, en $\Sigma_{12}$ hun correlatie.
  • Dit geldt vaak in RCT's en IV-studies als de behandeling/instrument exogeen is na controle voor de covariaten in de balanceringstest.
  • Dit geldt vaak NIET in DID-studies met differentiële trends en AR(1) fouten, waar de bias van de pre-test en de schatter vaak van tegenovergestelde tekens zijn.

C. Numerieke Validatie en Empirische Toepassing

• Numerieke Robuustheid: Zelfs als de exacte voorwaarde $\mu_1 = \Sigma_{12} \mu_2$ niet exact geldt, blijkt uit simulaties dat de CC vaak nog steeds groter is dan de UC voor een breed scala aan parameters.
• Calibratie op Roth (2022): De auteurs calibreren hun model op 12 DID-studies uit de meta-analyse van Roth.
  • Resultaat: Hoewel zowel de UC als de CC ver onder de 95% liggen (gemiddeld ~80% en ~79%), is de CC slechts marginaal lager dan de UC.
  • Conclusie: In deze DID-context vermindert pre-testen de dekking slechts licht, ondanks dat de theorie voor een "globaal" gunstig resultaat hier niet volledig van toepassing is.

4. Significatie en Implicaties

1. Optimistisch Nieuws voor Pre-testen: Het artikel weerlegt het idee dat pre-testen per definitie leidt tot onbetrouwbare inferentie. Onder de nulhypothese is de inferentie zelfs veilig (conservatief), en onder lokale alternatieven kan pre-testen de dekking zelfs verbeteren ten opzichte van het niet-conditioneren.
2. Nieuwe Inzicht in Correlatie: De auteurs tonen aan dat de correlatie tussen de schatter en de pre-test cruciaal is. Als ze gecorreleerd zijn, is de conditionele dekking strikt conservatief.
3. Praktische Adviezen:
   • Onderzoekers hoeven zich minder zorgen te maken dat ze "onbedoeld" een te smal betrouwbaarheidsinterval rapporteren door te filteren op significante pre-tests.
   • In sommige contexten (zoals DID) kan pre-testen de dekking wel iets verlagen onder sterke afwijkingen, maar dit is vaak een klein probleem vergeleken met het risico van het rapporteren van een bevooroordeeld resultaat zonder test.
   • Voor GMM-schattingen kan het gebruik van een niet-optimale schatter (die wel correlatie introduceert tussen schatter en test) wenselijk zijn om bescherming tegen misspecificatie te bieden, zelfs ten koste van asymptotische efficiëntie.
4. Beperkingen: De resultaten gelden alleen voor een enkele pre-test. Als onderzoekers sequentieel testen (bijv. "als pre-test A faalt, voeg dan covariaten toe en test opnieuw"), gelden deze resultaten niet meer.

Conclusie:
De paper biedt een theoretisch fundament dat pre-testen in veel gevallen minder schadelijk is dan algemeen wordt aangenomen. Het conditionele betrouwbaarheidsinterval is vaak conservatief onder de nulhypothese en kan onder bepaalde omstandigheden zelfs beter presteren dan het onvoorwaardelijke interval wanneer het model lichtjes verkeerd gespecificeerd is. Dit ondersteunt het gebruik van pre-tests als een waardevol hulpmiddel voor kwaliteitscontrole in empirisch onderzoek.