📈 economics

A Bayes-Factor-Guided Approach to Post-Double Selection with Bootstrapped Multiple Imputation

Die vorgestellte Studie entwickelt ein Bayes-Faktor-gesteuertes Verfahren zur sequenziellen Aggregation von Variablenauswahlergebnissen aus bootstrappierten und mehrfach imputierten Datensätzen, das durch einen Likelihood-Ratio-Prozess eine effiziente Modellschätzung ermöglicht und die Notwendigkeit einer vorab festgelegten Anzahl an Iterationen eliminiert.

Ursprüngliche Autoren: Johannes Bleher (Department of Econometrics and Empirical Economics & Computational Science Hub, University of Hohenheim), Claudia Tarantola (Department of Economics, Management and Quantitative Metho

Veröffentlicht 2026-04-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Johannes Bleher (Department of Econometrics and Empirical Economics & Computational Science Hub, University of Hohenheim), Claudia Tarantola (Department of Economics, Management and Quantitative Methods, University of Milan)

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der "Suche im Heuhaufen"-Effekt mit einem kaputten Kompass

Stellen Sie sich vor, Sie sind ein Detektiv, der herausfinden will, welche von 50 verschiedenen Verdächtigen (Variablen) tatsächlich einen Mord (das Ergebnis) begangen haben. Sie haben aber zwei große Probleme:

Unvollständige Akten: Bei vielen Verdächtigen fehlen wichtige Seiten in den Akten (fehlende Daten).
Zufall im Spiel: Um die Akten zu vervollständigen, müssen Sie raten (Imputation), und um sicherzugehen, dass Sie nicht nur Glück hatten, spielen Sie das ganze Szenario immer wieder neu durch, indem Sie die Akten durcheinanderwirbeln (Bootstrapping).

Das klassische Problem dabei: Wenn Sie das Spiel 100-mal spielen, wird in Runde 1 der Verdächtige "Hans" als Täter ausgewählt, in Runde 2 ist er weg, in Runde 3 wieder da.

Der alte Weg (Die "Vereinigungs"-Regel): Um sicherzugehen, dass Sie keinen wahren Täter verpassen, nehmen Sie einfach alle auf, die jemals in irgendeiner Runde verdächtig waren. Das Ergebnis? Eine Liste von 50 Verdächtigen. Das ist zu viel! Sie haben einen Haufen Unkraut mit den echten Kräutern vermischt.
Der andere Weg (Die "Häufigkeits"-Regel): Sie nehmen nur die, die in mehr als 50 % der Runden dabei waren. Das Problem: Ein sehr wichtiger Verdächtiger, der nur in 40 % der Runden erwischt wurde (weil die Aktenlücken ihn manchmal versteckten), wird entlassen.

Die Lösung: Ein intelligenter Richter mit einem "Beweis-Score"

Die Autoren (Johannes Bleher und Claudia Tarantola) schlagen einen neuen Weg vor. Statt einfach zu zählen, wer wie oft dabei war, bauen sie einen intelligenten Richter, der jeden Verdächtigen einzeln bewertet.

Stellen Sie sich vor, jeder Verdächtige hat ein Beweis-Heft.

Der Pilot-Test: Bevor das eigentliche Spiel beginnt, laufen 20 Runden. Der Richter schaut sich an: "Wie oft taucht ein völlig unschuldiger Verdächtiger (Zufall) auf? Und wie oft taucht ein echter Täter (Signal) auf?" Damit kalibriert er seine Waage.
Das Spiel beginnt: Nun laufen die Runden weiter.
- Wenn ein Verdächtiger in einer Runde als Täter ausgewählt wird, bekommt er positive Punkte in sein Heft.
- Wenn er nicht ausgewählt wird, bekommt er negative Punkte.
- Der Clou: Die Punkte sind nicht gleichwertig! Wenn ein echter Täter erwischt wird, gibt es viele Punkte. Wenn ein Unschuldiger erwischt wird, gibt es nur wenige Punkte (weil der Richter weiß, dass das passiert). Umgekehrt: Wenn ein echter Täter nicht erwischt wird, verliert er viele Punkte.
Die Entscheidung (Der Stopp-Regel):
- Sobald die Punkte eines Verdächtigen einen positiven Grenzwert erreichen (z. B. +10 Punkte), sagt der Richter: "Aus! Dieser ist schuldig und bleibt im Modell."
- Sobald die Punkte einen negativen Grenzwert erreichen (z. B. -10 Punkte), sagt er: "Aus! Dieser ist unschuldig und wird rausgeworfen."
- Wer in der Mitte hängt, muss weiter spielen.

Warum ist das so genial?

1. Es spart Zeit und Geld (Der "Stopp"-Effekt)
Bei den alten Methoden mussten Sie immer genau 200 Runden spielen, egal was passierte.
Bei dieser neuen Methode hören Sie auf, sobald Sie sicher sind. Wenn ein Verdächtiger schon nach 10 Runden klar schuldig oder klar unschuldig ist, brauchen Sie ihn nicht mehr zu verfolgen.

Ergebnis: Statt 200 Runden brauchen Sie im Durchschnitt nur etwa 50. Das ist wie ein Marathon, bei dem Sie das Ziel erreichen, sobald Sie sicher sind, wer gewinnt, statt immer die volle Distanz zu laufen.

2. Es ist fairer (Der "Asymmetrische"-Effekt)
Die Methode ist besonders clever bei den "schwierigen" Fällen. Wenn ein Verdächtiger oft erwischt wird, aber manchmal durch die Lücken der Akten verschwindet, sammeln seine Punkte trotzdem langsam nach oben. Er wird nicht sofort rausgeworfen wie bei der strengen Häufigkeits-Regel. Aber er wird auch nicht einfach so mitgenommen wie bei der "Vereinigungs"-Regel.

3. Es funktioniert auch mit kaputten Akten
Da die Methode speziell dafür entwickelt wurde, mit fehlenden Daten (Imputation) und zufälligen Störungen (Bootstrapping) umzugehen, ist sie robuster als alte Methoden. Sie versteht, dass Unsicherheit normal ist, und rechnet sie in den Beweis-Score ein.

Ein konkretes Beispiel aus der echten Welt

Die Autoren haben das mit echten Daten aus einer europäischen Umfrage getestet (ESS). Sie wollten herausfinden, was die Zufriedenheit von Frauen beeinflusst.

Die alte "Vereinigungs"-Methode hätte 55 Faktoren in die Analyse genommen (zu viel Rauschen).
Die strenge Häufigkeits-Methode hätte nur 31 genommen (vielleicht zu wenige).
Die neue Methode landete bei 34 Faktoren. Sie fand die wichtigsten Dinge (Alter, Einkommen, Gesundheit) und ließ die unwichtigen Dinge (bestimmte zufällige Meinungsäußerungen) weg.

Fazit in einem Satz

Statt blind zu zählen, wer wie oft dabei war, nutzt diese Methode einen intelligenten Punktezähler, der lernt, wann ein Signal stark genug ist, um aufzuhören zu suchen – und das spart Zeit, liefert genauere Ergebnisse und geht fair mit unsicheren Daten um.

1. Problemstellung

In der empirischen Forschung ist die Schätzung des Effekts einer interessierenden Variable ( $D$ ) auf ein Ergebnis ( $Y$ ) bei Vorliegen einer großen Anzahl potenzieller Kontrollvariablen ( $X$ ) eine häufige Herausforderung. Um Overfitting zu vermeiden, werden oft datengetriebene Selektionsverfahren wie LASSO eingesetzt. Das Post-Double-Selection (PDS)-Verfahren (Belloni et al., 2014) adressiert das Problem des Weglassens relevanter Variablen, indem es die Selektion sowohl in der Ergebnisgleichung als auch in einer Hilfsgleichung für die Variable von Interesse durchführt und die Vereinigungsmenge der ausgewählten Variablen verwendet.

In der Praxis werden diese Verfahren oft mit zwei weiteren stochastischen Prozessen kombiniert:

Multiple Imputation (MI): Zur Behandlung fehlender Daten.
Bootstrapping: Zur Berücksichtigung der Stichprobenunsicherheit.

Wenn Selektionsmethoden auf diese gestörten (perturbierten) Datensätze wiederholt angewendet werden, variiert die Menge der ausgewählten Variablen über die Iterationen hinweg.

Die Vereinigungsregel (Union Rule), die alle jemals ausgewählten Variablen zusammenfasst, führt oft zu übermäßig dichten Modellen (zu viele irrelevante Variablen).
Frequenzbasierte Regeln (z. B. Variablen nur aufnehmen, wenn sie in >50% der Iterationen erscheinen) können Variablen mit schwachen, aber persistenten Signalen fälschlicherweise ausschließen.

Es fehlt bisher an einer Methode, die diese Unsicherheiten (fehlende Daten + Resampling) systematisch integriert und eine rationale, evidenzbasierte Aggregationsstrategie bietet, die nicht auf heuristischen Schwellenwerten basiert.

2. Methodik

Die Autoren schlagen einen sequenziellen, evidenzbasierten Aggregationsprozess vor, der auf Bootstrapped Multiple Imputation (BOOT-MI) mit PDS-Screening aufbaut.

A. Inner-Iteration-Selektion (PDS)

In jeder Iteration $t$ wird ein gestörter Datensatz erzeugt (Bootstrap-Stichprobe aus den unvollständigen Daten, gefolgt von einer stochastischen Imputation). Auf diesem vollständigen Datensatz wird PDS angewendet:

LASSO-Regression von $Y$ auf $(D, X)$ .
LASSO-Regression von $D$ auf $X$ .
Bildung der Kandidatenmenge $S_t = S_{Y,t} \cup S_{D,t}$ .

B. Asymmetrische Detektionsregel

Statt die rohe PDS-Menge direkt zu aggregieren, definieren die Autoren eine binäre Detektionsindikator $Z_{jt}$ für jede Variable $j$ und Iteration $t$ :

Variablen, die in der Hilfsgleichung ( $D \sim X$ ) ausgewählt wurden, werden unbedingt als detektiert ( $Z_{jt}=1$ ) markiert.
Variablen, die nur in der Ergebnisgleichung ( $Y \sim D, X$ ) ausgewählt wurden, müssen zusätzlich einen Signifikanztest im nachgeschalteten OLS-Modell bestehen, um als detektiert zu gelten.
Dies reduziert das Risiko von Overfitting und Instabilität bei reinen Ergebnis-Selektionen.

C. Sequential Evidence Aggregation (Der Kernbeitrag)

Anstatt eine feste Anzahl an Iterationen vorzugeben oder eine Frequenzschwelle zu nutzen, modellieren die Autoren die Detektionsindikatoren $\{Z_{jt}\}$ als Realisierungen eines stochastischen Prozesses:

Hypothesen: $H_0$ : Variable ist irrelevant; $H_1$ : Variable ist relevant.
Arbeitsmodell: Unter $H_0$ folgt $Z_{jt}$ einer Bernoulli-Verteilung mit Wahrscheinlichkeit $\pi_0$ (Falsch-Positiv-Rate). Unter $H_1$ folgt sie einer Bernoulli-Verteilung mit $\pi_1$ (Detektionswahrscheinlichkeit), wobei $\pi_1 > \pi_0$ .
Evidenzakkumulation: Die Autoren berechnen einen kumulierten Likelihood-Quotienten (Bayes-Faktor-ähnlich) über die Iterationen:
$\log E_{jt} = \sum_{s=1}^{t} \left[ Z_{js} \log\left(\frac{\pi_1}{\pi_0}\right) + (1-Z_{js}) \log\left(\frac{1-\pi_1}{1-\pi_0}\right) \right]$
Jede Detektion addiert einen positiven Wert, jede Nicht-Detektion einen negativen Wert zum Log-Evidenz-Score.

D. Kalibrierung und Stopp-Regel

Kalibrierung: Die Parameter $\pi_0$ und $\pi_1$ werden in einer kurzen Pilot-Phase (z. B. 20 Iterationen) empirisch geschätzt, indem die Detektionsfrequenzen von Variablen mit sehr niedriger bzw. sehr hoher Häufigkeit analysiert werden.
Stopp-Regel: Der Prozess läuft sequenziell weiter, bis für jede Variable entweder die obere Schwelle ( $\log E_{jt} \ge c$ $lo g E_{j t} \geq c$ ) oder die untere Schwelle ( $\log E_{jt} \le -c$ $lo g E_{j t} \leq - c$ ) erreicht ist.
- Dies eliminiert die Notwendigkeit, die Gesamtzahl der Iterationen ( $T$ ) im Voraus festzulegen.
- Der Prozess stoppt automatisch, sobald genügend Evidenz für eine Klassifikation vorliegt.

3. Hauptbeiträge

Sequenzielle Entscheidungsfindung: Die Aggregation von Selektionsergebnissen über BOOT-MI-Iterationen wird als sequenzielles Entscheidungsproblem formuliert, bei dem binäre Detektionen als stochastische Prozesse modelliert werden.
Evidenzbasierte Stopp-Regel: Ableitung einer Stopp-Regel und eines Inklusionskriteriums basierend auf dem kumulierten Log-Evidenz-Score. Dies ermöglicht eine datengesteuerte Beendigung des Verfahrens ohne feste Budgetvorgabe.
Pilot-basierte Kalibrierung: Entwicklung einer Strategie zur empirischen Kalibrierung der Detektionswahrscheinlichkeiten ( $\pi_0, \pi_1$ ), die die Asymmetrie zwischen Detektionen und Nicht-Detektionen berücksichtigt.
Modulares Framework: Das Verfahren ist nicht als neue Version von PDS gedacht, sondern als ein kalibriertes Aggregationsframework, das auf beliebigen PDS-basierten Screening-Prozessen aufbauen kann.

4. Ergebnisse (Simulation und Empirie)

Monte-Carlo-Studie (126 Szenarien)

Die Studie vergleicht die neue Methode mit der Union-Regel und Frequenzschwellen (50% und 75%) unter verschiedenen Bedingungen (Stichprobengröße, Fehlend-Mechanismen wie MCAR/MAR/MNAR, Signalstärke).

Variablenselektion: Die vorgeschlagene Methode erreicht die höchste True Positive Rate (TPR) unter den selektiven Methoden (besser als 50%-Schwelle), behält aber eine akzeptable False Positive Rate (FPR). Sie ist weniger inklusiv als die Union-Regel (die alle 50 Variablen wählt) und selektiver als die 50%-Regel.
Parameterschätzung: Die Schätzung des Koeffizienten der Variable von Interesse ( $\alpha$ ) zeigt eine geringe Verzerrung (Bias) und eine hohe Abdeckung (Coverage), vergleichbar mit der 50%-Regel, aber besser als die zu strenge 75%-Regel.
Recheneffizienz: Der sequenzielle Stopp-Algorithmus benötigt im Durchschnitt nur 50,7 Iterationen im Vergleich zu einem festen Budget von 200 Iterationen für die Benchmark-Methoden. Dies entspricht einer Reduktion der Rechenzeit um ca. 75%.
Robustheit: Die Vorteile sind besonders in schwierigen Szenarien (kleine Stichproben, MNAR-Daten) ausgeprägt.

Empirische Illustration (European Social Survey)

Anwendung auf Daten von 8.543 Frauen (Round 10 ESS) zur Untersuchung des Zusammenhangs zwischen Arbeitslosigkeit und Lebenszufriedenheit.

Die Methode selektiert 34 Variablen (zwischen der Union-Regel mit 55 und der 75%-Regel mit 31).
Die geschätzten Effekte sind über alle Aggregationsmethoden hinweg robust (nahezu null, statistisch nicht signifikant), was die Stabilität der Schätzung trotz unterschiedlicher Modellgrößen unterstreicht.
Die Evidenzpfade zeigen klar, dass relevante Variablen schnell die oberen Schwellenwerte überschreiten, während irrelevante Variablen abdriften.

5. Bedeutung und Fazit

Das Paper bietet einen wichtigen methodischen Fortschritt für die ökonometrische Praxis, insbesondere in Umgebungen mit fehlenden Daten und hoher Dimensionalität.

Theoretische Bedeutung: Es verbindet Konzepte aus der Bayes-Statistik (Likelihood-Ratio, Bayes-Faktoren) mit frequentistischen Resampling-Verfahren (Bootstrap, MI) und PDS. Es bietet eine theoretisch fundierte Alternative zu heuristischen Frequenzschwellen.
Praktische Relevanz: Die Methode löst das Problem der willkürlichen Festlegung der Anzahl an Bootstrap-Iterationen. Durch den sequenziellen Stopp spart sie erhebliche Rechenressourcen und liefert stabilere, interpretierbare Modellauswahlen.
Limitationen: Das Arbeitsmodell geht von bedingter Unabhängigkeit der Detektionen über die Iterationen hinweg aus, was durch Bootstrap und MI nicht streng gegeben ist (positive Abhängigkeit). Die Autoren betonen jedoch, dass die Methode als approximatives Evidenzmaß zu verstehen ist, dessen praktische Leistungsfähigkeit durch Simulationen validiert wurde.

Zusammenfassend stellt der vorgeschlagene Ansatz einen kalibrierten, sequenziellen Rahmen dar, der die Unsicherheit von Modellselektion, fehlenden Daten und Stichprobenziehung integriert und dabei eine optimale Balance zwischen Modellparsimonie und der Erhaltung relevanter Kontrollvariablen findet.