📈 economics

A Bayes-Factor-Guided Approach to Post-Double Selection with Bootstrapped Multiple Imputation

Deze paper introduceert een Bayes-factor-gestuurde methode voor post-dubbele selectie met gebootstraapte meervoudige imputatie die variabele relevantie aggregatieert via een likelihood-ratio-proces, waardoor een adaptieve stopregel mogelijk is die de noodzaak om het aantal iteraties vooraf vast te leggen elimineert.

Oorspronkelijke auteurs: Johannes Bleher (Department of Econometrics and Empirical Economics & Computational Science Hub, University of Hohenheim), Claudia Tarantola (Department of Economics, Management and Quantitative Metho

Gepubliceerd 2026-04-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Johannes Bleher (Department of Econometrics and Empirical Economics & Computational Science Hub, University of Hohenheim), Claudia Tarantola (Department of Economics, Management and Quantitative Methods, University of Milan)

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen. Je hebt een lijst met 50 mogelijke verdachten (variabelen), maar je weet niet wie de echte dader is en wie onschuldig is. Je hebt ook te maken met twee grote problemen:

Ontbrekende informatie: Sommige getuigenissen zijn onleesbaar of gedeeltelijk weggeveegd (ontbrekende data).
Onzekerheid: Als je hetzelfde onderzoek herhaalt, krijg je soms net andere resultaten omdat je een andere steekproef uit de populatie neemt (resampling/bootstrapping).

In de econometrie (het vakgebied van dit papier) gebruiken onderzoekers vaak een slimme truc genaamd PDS (Post-Double Selection) om de echte daders te vinden. Maar als je dit proces herhaalt met onvolledige data, krijg je een wirwar van resultaten: soms is verdachte A een dader, soms niet.

De oude manier om hiermee om te gaan was simpelweg: "Als iemand maar één keer als verdachte is genoemd in al die herhalingen, houden we hem vast." Dit leidt vaak tot een lijst met 50 verdachten, waarvan er 45 onschuldig zijn. Dat is een te rommelig dossier.

De oplossing in dit papier: De "Bayes-Factor" Detective

Johannes Bleher en Claudia Tarantola stellen een nieuw, slimmer systeem voor. In plaats van simpelweg te tellen, bouwen ze een evidence-meter (een bewijsmeter) op. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Spel van de "Gokjes"

Stel je voor dat elke keer dat je het onderzoek herhaalt (een "iteratie"), je een munt opgooit voor elke verdachte.

Als de verdachte onschuldig is, is de kans dat de munt "verdacht" landt erg klein (bijvoorbeeld 5%).
Als de verdachte schuldig is, is de kans dat de munt "verdacht" landt erg groot (bijvoorbeeld 90%).

2. De Bewijsmeter (De "Bayes-Factor")

In plaats van te wachten tot je 200 keer hebt gegooid en dan te kijken wie er vaak "verdacht" was, tellen we de bewijskracht op.

Als een verdachte "verdacht" wordt genoemd, krijg je +10 punten op je bewijsmeter.
Als een verdachte "onschuldig" wordt genoemd, krijg je -2 punten (want een onschuldige die toch verdacht wordt, is zeldzaam, maar een schuldige die niet wordt verdacht, is ook zeldzaam).

Dit is de kern van hun methode: Elke keer dat je het onderzoek herhaalt, update je de meter.

3. De Stop-regel (Wanneer stoppen we?)

Bij de oude methoden moest je van tevoren zeggen: "We doen dit precies 200 keer, ongeacht wat er gebeurt." Dat is zonde van de tijd als je na 10 keer al zeker weet wie de dader is.

Met hun nieuwe methode heb je een stop-regel:

Zodra de bewijsmeter van een verdachte boven de +100 komt, zeg je: "Deze is schuldig, we stoppen met zoeken naar deze persoon."
Zodra de meter onder de -100 zakt, zeg je: "Deze is onschuldig, we stoppen."
Als de meter ergens in het midden zit (bijvoorbeeld +5), zeg je: "Nog niet zeker, laten we nog een keer gokken."

Dit betekent dat je automatisch stopt zodra je genoeg bewijs hebt. Je hoeft niet vast te houden aan een willekeurig getal van 200 herhalingen. Je bent veel sneller klaar!

4. Waarom is dit beter?

Geen rommelige lijsten: De oude methode (de "Unie-regel") houdt iedereen vast die maar één keer is genoemd. Dat is alsof je elke verdachte in de gevangenis zet omdat hij misschien wel eens in de buurt was. De nieuwe methode filtert de onschuldigen eruit.
Geen gemiste daders: De oude methode met strenge regels (bijv. "moet 75% van de keren verdacht zijn") laat soms echte daders lopen die net iets minder vaak werden genoemd. De nieuwe methode is slimmer: hij kijkt naar de kwaliteit van het bewijs, niet alleen naar het aantal keer.
Tijdwinst: Omdat je stopt zodra je zeker bent, bespaar je enorme hoeveelheden rekenkracht. In de tests bleek dat ze vaak na 50 keer al klaar waren, in plaats van 200.

De Creatieve Analogie: Het "Gokspel" in een Casino

Stel je voor dat je in een casino zit met 50 tafels.

De oude methode (Unie-regel): Je speelt 200 rondjes op elke tafel. Als er op een tafel ooit een winnende hand is geweest, houd je die tafel open. Resultaat: Je hebt 50 openstaande tafels, maar de meeste zijn verliesgevend.
De oude methode (Strenge frequentie): Je houdt alleen tafels open die in 75% van de rondjes winnen. Resultaat: Je hebt maar een paar tafels, maar je mist misschien wel de ene tafel die net iets minder vaak wint, maar wel de beste is.
De nieuwe methode (Dit papier): Je hebt een persoonlijke teller voor elke tafel.
- Win je? Tel +10.
- Verlies je? Tel -2.
- Zodra een teller op +100 staat, sluit je de andere tafels voor die tafel en verlaat je het casino.
- Zodra een teller op -100 staat, sluit je die tafel definitief.
- Je stopt met spelen zodra alle tafels een definitief oordeel hebben.

Conclusie:
De auteurs hebben een slimme manier bedacht om om te gaan met onvolledige data en onzekerheid. Ze gebruiken een wiskundige "bewijsmeter" die automatisch beslist wanneer een variabele (een verdachte) belangrijk genoeg is om te houden, en wanneer hij weggegooid moet worden. Het resultaat is een schoner, nauwkeurigere en snellere analyse, zonder dat je van tevoren hoeft te raden hoeveel keer je het onderzoek moet herhalen.

1. Het Probleem

In empirisch onderzoek is het schatten van het effect van een variabele van belang ( $D$ ) op een uitkomst ( $Y$ ) in aanwezigheid van vele potentiële controlevariabelen ( $X$ ) een veelvoorkomend probleem. Wanneer het aantal covariaten groot is, worden methoden zoals LASSO gebruikt voor variabele selectie. Een standaardbenadering is Post-Double Selection (PDS) (Belloni et al., 2014), waarbij selectie plaatsvindt in zowel de uitkomstvergelijking als in een hulpvergelijking voor $D$ , waarna de vereniging (union) van deze sets wordt gebruikt.

Echter, in de praktijk worden datasets vaak geconfronteerd met:

Ontbrekende data: Oplossing via Multiple Imputation (MI).
Steekproefonzekerheid: Oplossing via Bootstrap-resampling.

Wanneer variabele selectie (zoals PDS) wordt toegepast op deze "gestoorde" datasets (bootstrapped en geïmputeerd), varieert de set van geselecteerde variabelen per iteratie.

De gebruikelijke aggregatieregel (de vereniging van alle geselecteerde variabelen over alle iteraties) leidt vaak tot modellen die te groot en te vol zijn (overfitting).
Frequentiegebaseerde regels (bijv. "houd variabelen die in >50% van de gevallen worden geselecteerd") kunnen variabelen met zwakkere maar persistente signalen uitsluiten.

Er is behoefte aan een methode die de resultaten van deze herhaalde stochastische iteraties op een gestructureerde manier aggregeert, zonder vooraf het aantal iteraties vast te leggen en zonder onnodig veel irrelevante variabelen toe te voegen.

2. Methodologie

De auteurs stellen een sequentiële bewijsaggregatieprocedure voor die gebaseerd is op een Bayes-factor-interpretatie. De methode combineert PDS binnen elke iteratie met een bewijsverzamelingsmechanisme over de iteraties heen.

A. De Werkingscyclus (BOOT-MI)

Voor elke iteratie $t$ :

Er wordt een bootstrap-steekproef getrokken uit de onvolledige dataset.
Er wordt één stochastische imputatie uitgevoerd (per iteratie wordt één compleet dataset gegenereerd).
PDS Screening: LASSO wordt toegepast op de uitkomstvergelijking ( $Y \sim D + X$ ) en de hulpvergelijking ( $D \sim X$ ).
Asymmetrische Detectieregel: In plaats van de standaard PDS-union regel direct te gebruiken, wordt een detectie-indicator $Z_{jt}$ $Z_{j t}$ gedefinieerd voor variabele $j$ $j$ :
- Als $j$ wordt geselecteerd in de hulpvergelijking ( $D \sim X$ ), is $Z_{jt} = 1$ (automatisch behouden).
- Als $j$ alleen in de uitkomstvergelijking wordt geselecteerd, moet de coëfficiënt ook significant zijn in de post-selectie regressie om $Z_{jt} = 1$ te worden.
- Anders is $Z_{jt} = 0$ .

B. Het Bewijsmodel (Likelihood Ratio)

De reeks van binaire detecties $\{Z_{jt}\}$ over de iteraties wordt gemodelleerd als een stochastisch proces.

Hypothesen: $H_0$ (variabele is irrelevant) vs. $H_1$ (variabele is relevant).
Werkmodel: $Z_{jt}$ wordt gemodelleerd als een Bernoulli-trial met successkans $\pi_0$ onder $H_0$ en $\pi_1$ onder $H_1$ (waarbij $\pi_1 > \pi_0$ ).
Bewijsverzameling: Voor elke variabele wordt een cumulatieve log-likelihood ratio (log-evidence) berekend:
$\log E_{jt} = \sum_{s=1}^{t} \left[ Z_{js} \log\left(\frac{\pi_1}{\pi_0}\right) + (1-Z_{js}) \log\left(\frac{1-\pi_1}{1-\pi_0}\right) \right]$
Dit werkt als een Bayes-factor: detecties voegen positieve bewijskracht toe, non-detecties negatieve.

C. Kalibratie en Stopregels

Kalibratie: De parameters $\pi_0$ en $\pi_1$ worden geschat tijdens een korte pilot-fase (bijv. 20 iteraties) door de detectiefrequenties te analyseren voor variabelen met lage en hoge frequenties.
Stopregels: Het proces stopt voor een specifieke variabele zodra de cumulatieve log-evidence een drempelwaarde $c$ $c$ bereikt:
- $\log E_{jt} \geq c \implies$ Variabele is relevant.
- $\log E_{jt} \leq -c \implies$ Variabele is irrelevant.
Dit elimineert de noodzaak om het totale aantal iteraties ( $T$ ) vooraf vast te leggen; het proces stopt automatisch wanneer voldoende bewijs is verzameld.

3. Belangrijkste Bijdragen

Sequentiële Besluitvorming: De aggregatie van variabele-selectie uitkomsten over BOOT-MI datasets wordt omgezet in een sequentieel besluitprobleem, gemodelleerd als een stochastisch detectieproces.
Data-gedreven Stopregels: De methode introduceert een stopregel die gebaseerd is op cumulatief bewijs in plaats van een vast aantal iteraties, wat rekenkracht bespaart.
Asymmetrische Detectie en Kalibratie: De combinatie van een asymmetrische PDS-detectieregel (stricter voor uitkomst-geselecteerde variabelen) en een op pilot-data gebaseerde kalibratie van de detectiekansen zorgt voor een robuust bewijsproces.
Interpreteerbaarheid: De methode biedt een Bayes-factor-achtige interpretatie van variabele relevantie, wat een duidelijke drempel biedt voor inclusie.

4. Resultaten

De methode is getest in een Monte Carlo-studie met 126 scenario's (variërend in steekproefgrootte, signaalsterkte, ontbrekende-data-mechanismen zoals MCAR, MAR, MNAR) en geëvalueerd aan de hand van een empirisch voorbeeld (ESS data).

Variabele Selectie:
- De voorgestelde methode presteert beter dan de verenigingsregel (die te veel variabelen selecteert) en frequentiedrempels (die te streng zijn en relevante variabelen missen).
- Het bereikt een hoger True Positive Rate (TPR) dan de 50% frequentieregel, met een acceptabelere False Positive Rate (FPR) dan de verenigingsregel.
- Het model is compacter dan de vereniging, maar behoudt meer relevante variabelen dan strikte frequentieregels.
Schatting van het Effect:
- De schattingen van de behandelingseffecten (coëfficiënt $\alpha$ ) vertonen vergelijkbare bias en RMSE met de 50% frequentieregel, maar met een betere dekking (coverage) van betrouwbaarheidsintervallen.
Rekenkundige Efficiëntie:
- De sequentiële stopregel reduceert het aantal benodigde iteraties gemiddeld met 75% (van 200 naar ~50 iteraties) ten opzichte van vaste budget-methoden, zonder in te boeten aan kwaliteit.
Empirisch Voorbeeld:
- In de analyse van ESS-data (werkgelegenheid) selecteerde de methode 34 variabelen (tussen de 31 van de 75%-regel en 55 van de vereniging). De geschatte effecten waren robuust over alle methoden heen, maar de voorgestelde methode biedt een data-gedreven compromis.

5. Betekenis en Conclusie

Deze paper introduceert een geavanceerd raamwerk voor variabele selectie in complexe, stochastische omgevingen (ontbrekende data + resampling). De belangrijkste implicaties zijn:

Efficiëntie: Onderzoekers hoeven niet langer willekeurig een groot aantal bootstrap-imputaties te kiezen; het proces stopt automatisch wanneer het bewijs toereikend is.
Stabiliteit: De methode biedt een stabielere selectie dan traditionele "union" regels, die vaak leiden tot overmodellen.
Flexibiliteit: Hoewel getest met LASSO en PDS, is het bewijsraamwerk toepasbaar op elke methode die binaire detectie-indicatoren produceert.
Beperkingen: De methode maakt een werkende aanname van onafhankelijkheid tussen iteraties (in werkelijkheid is er afhankelijkheid door bootstrap en imputatie), maar simulaties tonen aan dat de benadering in de praktijk goed werkt. De kalibratie is afhankelijk van een pilot-fase.

Kortom, de auteurs bieden een oplossing voor het "aggregatieprobleem" in high-dimensional data met ontbrekende waarden, waarbij ze een brug slaan tussen frequentistische resampling en Bayes-achtige bewijsverzameling.