📊 statistics

Selective Randomization Inference for Adaptive Experiments

Dieser Artikel schlägt ein allgemeines Framework namens selektive randomisierte Inferenz vor, das bedingte Inferenz nach Selektion und gerichtete azyklische Graphen verwendet, um für adaptive Experimente gültige statistische Tests durchzuführen und Konfidenzintervalle zu konstruieren, ohne sich auf Modellannahmen oder i.i.d.-Daten zu stützen.

Ursprüngliche Autoren: Tobias Freidling, Qingyuan Zhao, Zijun Gao

Veröffentlicht 2026-05-26

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Tobias Freidling, Qingyuan Zhao, Zijun Gao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen. Bei einer standardmäßigen Ermittlung entscheiden Sie genau, welche Fragen Sie stellen und wie Sie Beweise sammeln, bevor Sie beginnen, die Hinweise zu untersuchen. Sie halten sich an diesen Plan, und am Ende berechnen Sie Ihre Wahrscheinlichkeit, richtig zu liegen, basierend auf diesem festen Plan.

In der realen Welt funktioniert Wissenschaft jedoch oft anders. Es ist eher wie ein Detektiv, der die ersten paar Hinweise betrachtet, erkennt, dass sich der Verdächtige in einer bestimmten Nachbarschaft versteckt, und dann beschließt, seine gesamte Energie auf diese Nachbarschaft zu konzentrieren. Dies wird als adaptives Experiment bezeichnet. Es ist intelligent, weil es Zeit und Ressourcen spart, schafft aber ein kniffliges statistisches Problem: Selektionsverzerrung.

Das Problem: Der „unfaire" Vergleich

Der Artikel erklärt, dass Sie, wenn Sie Ihren Plan basierend auf dem, was Sie sehen, ändern, die alten Regeln nicht einfach verwenden können, um Ihre Ergebnisse zu bewerten.

Die Analogie des Würfels:
Stellen Sie sich vor, Sie würfeln, um zu sehen, ob ein neues Spiel fair ist.

Runde 1: Sie würfeln 10 Mal. Sie sehen, dass die Zahl „6" immer wieder kommt.
Die Entscheidung: Da die „6" vielversprechend aussieht, entscheiden Sie: „Okay, von jetzt an kümmere ich mich nur noch um die Zahl 6. Ich ignoriere alle anderen Zahlen."
Runde 2: Sie würfeln 10 Mal mehr, aber diesmal zählen Sie nur die „6en".

Wenn Sie versuchen, die Wahrscheinlichkeit zu berechnen, so viele „6en" zu erhalten, indem Sie Standardmathematik verwenden, liegen Sie falsch. Warum? Weil Sie nicht nur gewürfelt haben; Sie haben sich entschieden, sich auf die „6" zu konzentrieren, weil Sie gesehen haben, dass sie in Runde 1 aufgetreten ist. Sie haben die Daten „herausgepickt". Wenn Sie Ihre Ergebnisse mit einem Standardwürfelwurf vergleichen (bei dem Sie keine Zahl ausgewählt haben), vergleichen Sie Äpfel mit Birnen. Sie betrügen im Grunde, indem Sie die Regeln ändern, nachdem Sie die erste Hälfte des Spiels gesehen haben.

Die Lösung: „Selektive Randomisierungsinferenz"

Die Autoren, Tobias Freidling, Qingyuan Zhao und Zijun Gao, schlagen eine neue Methode zur Berechnung vor, die Selektive Randomisierungsinferenz genannt wird.

Stellen Sie sich dies als eine „Was-wäre-wenn"-Simulation vor, die Ihre Detektivarbeit respektiert.

Anstatt zu fragen: „Wie hoch ist die Wahrscheinlichkeit, dass dies passiert, wenn ich bei meinem ursprünglichen Plan geblieben wäre?" (was unfair ist, weil Sie nicht bei dem Plan geblieben sind), fragen sie:

„Wenn ich in Runde 1 anders gewürfelt hätte, aber trotzdem beschlossen hätte, mich auf die Zahl 6 zu konzentrieren, wie wahrscheinlich wären meine Ergebnisse dann?"

Wie es in der Sprache des Artikels funktioniert:

Das Setup: Sie verwenden einen „gerichteten azyklischen Graphen" (DAG), der nur ein ausgeklügeltes Flussdiagramm ist, das zeigt, wie eine Sache zu einer anderen führt (wie: Daten sehen $\to$ Untergruppe wählen $\to$ Behandlung zuweisen).
Die Bedingung: Sie vergleichen Ihr tatsächliches Experiment nur mit anderen möglichen Experimenten, die zur exakt gleichen Entscheidung geführt hätten, sich auf diese spezifische Untergruppe zu konzentrieren.
Das Ergebnis: Dies ergibt einen „selektiven p-Wert". Er gibt Ihnen die Wahrscheinlichkeit an, dass Ihr Ergebnis eintritt, gegeben, dass Sie die spezifische Wahl getroffen haben, die Sie getroffen haben.

Warum dies besser ist als „Datenaufteilung"

Vor diesem Artikel war der gängige Rat für dieses Problem die Datenaufteilung.

Der alte Weg: Werfen Sie die erste Hälfte Ihrer Daten weg (den Teil, der Sie dazu gebracht hat, Ihre Meinung zu ändern), und verwenden Sie nur die zweite Hälfte für die Berechnung.
Die Metapher: Es ist wie ein Koch, der eine Suppe probiert, entscheidet, dass sie mehr Salz braucht, und dann die erste Hälfte der Suppe wegwirft, um zu beweisen, dass das Salz wirkt. Es ist sicher, aber verschwenderisch. Sie verlieren viele Informationen.

Die neue Methode der Autoren ist wie Datenschnitzen.

Der neue Weg: Sie behalten alle Daten. Sie erkennen nur an, dass ein Teil des „Geschmacks" (der Informationen) verwendet wurde, um die Entscheidung zu treffen, Salz hinzuzufügen. Sie schneiden mathematisch den Teil heraus, der für die Entscheidung verwendet wurde, und vergleichen nur die verbleibenden „übrig gebliebenen" Informationen mit ähnlichen Szenarien.
Der Vorteil: Sie erhalten einen stärkeren Test. Sie verwenden alle verfügbaren Daten, werden aber nicht durch die Tatsache getäuscht, dass Sie unterwegs eine Wahl getroffen haben.

Der „Hold-Out"-Trick

Der Artikel erwähnt auch einen praktischen Trick, um die Mathematik einfacher und die Ergebnisse glatter zu machen. Manchmal wird die Mathematik, wenn Sie alle Daten verwenden, um Ihre Entscheidung zu treffen, zackig und instabil (wie eine holprige Straße).

Um dies zu beheben, schlagen sie die Verwendung einer „Hold-Out"-Gruppe vor.

Die Metapher: Stellen Sie sich vor, Sie sind ein Lehrer, der eine Klasse bewertet. Sie schauen sich die Tests der ersten 10 Schüler an, um zu entscheiden, welches Thema am schwierigsten ist. Dann entscheiden Sie, sich für die Abschlussprüfung auf dieses Thema zu konzentrieren. Aber um die Abschlussprüfung fair zu bewerten, schauen Sie sich nur die Noten der letzten 10 Schüler an, die nicht Teil der Gruppe waren, die Sie verwendet haben, um die Entscheidung zu treffen.
Im Artikel zeigen sie, dass die Mathematik viel glatter und zuverlässiger wird, wenn Sie eine „Hold-Out"-Gruppe verwenden (Daten, die nicht für die Entscheidung verwendet wurden), während sie dennoch sehr leistungsfähig bleibt.

Zusammenfassung der Behauptungen

Der Artikel behauptet, dass:

Adaptive Experimente häufig sind (in der Medizin, den Sozialwissenschaften usw.), aber schwer zu analysieren sind, weil sich die Regeln basierend auf den Daten ändern.
Standardmethoden versagen, weil sie ignorieren, dass der Forscher eine Entscheidung basierend auf den Daten getroffen hat, was zu falsch-positiven Ergebnissen führt (die Annahme, dass eine Behandlung wirkt, obwohl sie es nicht tut).
Ihre neue Methode (Selektive Randomisierungsinferenz) dies korrigiert, indem sie das reale Experiment nur mit „Paralleluniversen" vergleicht, in denen der Forscher die gleiche Entscheidung getroffen hätte.
Sie keine Annahmen über die Datenverteilung erfordert (sie geht nicht davon aus, dass die Daten einer Glockenkurve folgen oder unabhängig sind) und sich nur auf die Zufälligkeit der Behandlungszuweisung verlässt.
Sie leistungsfähiger ist als das Wegwerfen von Daten (Datenaufteilung), weil sie alle verfügbaren Informationen verwendet, jedoch mit einem sorgfältigeren mathematischen Filter.

Kurz gesagt, gibt der Artikel Wissenschaftlern ein neues, faires Regelbuch für die Analyse von Experimenten, bei denen sie ihre Strategie mitten im Spiel ändern, und stellt sicher, dass ihre Schlussfolgerungen solide sind und nicht nur ein glücklicher Zufall darin sind, wie sie beschlossen haben, die Daten zu betrachten.

Technische Zusammenfassung: Selektive Randomisierungsinferenz für adaptive Experimente

Problemstellung

Adaptive Experimente, die vorläufige Datenanalysen nutzen, um nachfolgende Phasen der Rekrutierung und Behandlungszuweisung zu steuern, werden in den medizinischen und Sozialwissenschaften zunehmend häufiger. Standardmethoden der statistischen Inferenz versagen jedoch häufig in diesen Settings, da die Nullhypothese und das Versuchsdesign datenabhängig werden. Diese „Selektion" führt zu Verzerrungen und macht naive Randomisierungstests ungültig, da sie ignorieren, dass zukünftige Designentscheidungen von vergangenen Ergebnissen konditioniert waren. Zwar existieren bereits Lösungen, doch sind diese oft auf spezifische adaptive Designs (z. B. Multi-Arm-Multi-Stufe-Studien) beschränkt oder beruhen auf starken parametrischen Annahmen und asymptotischen Approximationen, die in endlichen Populationen möglicherweise nicht gelten. Darüber hinaus sind einfache Daten-Splitting-Ansätze zwar gültig, aber ineffizient, da sie die im ersten Stadium für die Selektion verwendeten Informationen verwerfen.

Methodik

Die Autoren schlagen eine Selektive Randomisierungsinferenz (SRI) vor, ein allgemeines, modellfreies Rahmenwerk zur Analyse adaptiver Experimente. Die Kernmethodik integriert konditionale Inferenz nach der Selektion mit den Prinzipien der Randomisierungsinferenz.

1. Kausales Rahmenwerk und Annahmen

Die Autoren modellieren adaptive Experimente mit $K$ Stufen unter Verwendung von gerichteten azyklischen Graphen (DAGs). Sie definieren ein allgemeines Setup, das Folgendes umfasst:

Rekrutierung ( $R_k$ ): Modelliert als zufälliges Ereignis, bei dem die Menge der rekrutierten Einheiten von vorherigen Daten abhängen kann.
Behandlungszuweisung ( $Z_k$ ): Vom Experimentator randomisiert, aber potenziell abhängig von Kovariaten und vergangenen Ergebnissen.
Selektionsstatistiken ( $S_k$ ): Deterministische Funktionen der beobachteten Daten, die das Design nachfolgender Stufen bestimmen (z. B. welche Untergruppen rekrutiert werden sollen).

Für die Gültigkeit sind drei minimale Annahmen erforderlich:

(A1) Bekannte sequenzielle Zuweisung: Die Verteilung der Behandlungszuweisungen $q(z | r, x, y)$ ist bekannt.
(A2) Bedingte Unabhängigkeit: Die Behandlungszuweisung in Stufe $k$ ist bedingt unabhängig von potenziellen Ergebnissen gegeben die bisher beobachteten Daten und die aktuellen Kovariaten.
(A3) Selektionsausreichendheit: Die Selektionsstatistik $S_{k-1}$ erfasst alle Informationen aus vorherigen Stufen, die die Rekrutierung und Behandlungszuweisung der Stufe $k$ beeinflussen.

2. Der selektive Randomisierung-p-Wert

Der zentrale Beitrag ist die Definition eines selektiven Randomisierung-p-Werts ( $P_{sel}$ ). Im Gegensatz zu einem naiven p-Wert, der die beobachtete Behandlungszuweisung $Z$ mit allen möglichen zufälligen Zuweisungen vergleicht, konditioniert $P_{sel}$ auf das spezifische eingetretene Selektionsevent.

Formal sei $Z^*$ eine kontrafaktische Behandlungszuweisung, die aus der sequenziellen Zuweisungsverteilung gezogen wird. Der p-Wert ist definiert als:
$P_{sel} = P\left( T(Z^*, \dots) \leq T(Z, \dots) \mid R, X_R, Y_R(\cdot), Z, S(Z^*) = S(Z), G(Z^*) = G(Z) \right)$
wobei:

$T$ die Teststatistik ist.
$S(Z^*) = S(Z)$ sicherstellt, dass die kontrafaktische Zuweisung zur gleichen Designselektion führt wie die beobachteten Daten.
$G(Z^*) = G(Z)$ eine zusätzliche Konditionsstatistik ist, die für „teilweise scharfe" Nullhypothesen erforderlich ist, um sicherzustellen, dass nicht beobachtete potenzielle Ergebnisse imputiert werden können.

Die Autoren beweisen, dass dieser p-Wert stochastisch die Gleichverteilung dominiert und damit den selektiven Fehler 1. Art (die Fehlerrate konditioniert auf das Selektionsevent) kontrolliert.

3. Rechnerische Ansätze

Da der Träger der bedingten Verteilung (Zuweisungen, die $S(Z^*)=S(Z)$ erfüllen) oft nicht aufzählbar ist, schlagen die Autoren Monte-Carlo-Näherungen vor:

Ausschließungs-Stichproben (Rejection Sampling): Einfach, aber potenziell ineffizient, wenn die Wahrscheinlichkeit, die Selektionsbedingung zu erfüllen, gering ist.
Random Walk Metropolis-Hastings (RWM): Ein Markov-Ketten-Monte-Carlo-Algorithmus (MCMC), der eine Kette im Raum der zulässigen Zuweisungen konstruiert. Die Autoren liefern theoretische Garantien, dass die Kette gegen die korrekte stationäre Verteilung konvergiert und dass der resultierende p-Wert den selektiven Fehler 1. Art kontrolliert, selbst wenn die Kette auf eine bestimmte Kommunikationsklasse beschränkt ist.

4. Schätzung und Konfidenzintervalle

Das Rahmenwerk erstreckt sich auf die Konstruktion von Konfidenzintervallen für homogene Behandlungseffekte durch Invertieren der selektiven Hypothesentests. Die Autoren weisen darauf hin, dass die Konditionierung auf die Selektion zu nicht-monotonen p-Wert-Kurven führen kann, was die Intervallkonstruktion erschwert. Um dies zu mildern, schlagen sie die Verwendung von Hold-out-Einheiten (Daten, die nicht für die Selektion verwendet wurden) vor, um die p-Wert-Kurve zu glätten und wohlgeformte Konfidenzmengen sicherzustellen.

Hauptergebnisse

Die Arbeit validiert die Methode durch Simulationsstudien und eine hypothetische Analyse realer Daten (SPRINT-Studie):

Gültigkeit: In Simulationen, bei denen die Nullhypothese wahr ist, zeigt der naive Randomisierungstest (RT) aufgeblähte Fehlerquoten des 1. Typs (Unterabdeckung der Konfidenzintervalle), wohingegen der vorgeschlagene SRT und der Daten-Splitting-Ansatz (RT 2nd) den selektiven Fehler 1. Art korrekt kontrollieren.
Power: Der SRT weist im Allgemeinen eine höhere statistische Power als der Daten-Splitting-Ansatz (RT 2nd) auf. Indem er auf das Selektionsevent konditioniert, anstatt das erste Stadium zu verwerfen, nutzt der SRT „zurückgelassene" Informationen aus der ersten Stufe, was zu engeren Konfidenzintervallen und höheren Ablehnungswahrscheinlichkeiten für falsche Nullhypothesen führt.
Berechnung: Während das Ausschließungs-Stichprobenverfahren unkompliziert ist, kann es rechnerisch teuer sein, wenn die Selektionsbedingung selten ist. Der RWM-Sampler bietet eine effizientere Alternative, deren Leistung in den getesteten Szenarien weitgehend unempfindlich gegenüber der Wahl der Fenstergröße ist.
Anwendung auf reale Daten: In einem hypothetischen zweistufigen Anreicherungsexperiment, das von der SPRINT-Studie abgeleitet ist, lieferte der SRT einen kleineren p-Wert (0,048) im Vergleich zum Daten-Splitting-Ansatz (0,314) für die ausgewählte Untergruppe. Dies demonstriert seine Fähigkeit, Effekte zu erkennen, die der Daten-Splitting-Ansatz aufgrund der verringerten Stichprobengröße übersehen könnte.

Bedeutung und Behauptungen

Die Arbeit beansprucht, ein allgemeines, modellfreies Rahmenwerk für die Inferenz in adaptiven Experimenten bereitzustellen. Ihre Bedeutung liegt in mehreren Schlüsselaspekten:

Allgemeingültigkeit: Im Gegensatz zu früheren Methoden, die auf spezifische Designs beschränkt waren (z. B. reaktionsadaptive Randomisierung oder Multi-Arm-Studien), ist dieser Ansatz auf eine breite Klasse adaptiver Designs anwendbar, einschließlich Anreicherungsdiseins und komplexer Rekrutierungsregeln.
Modellfreiheit: Die Methode stützt sich ausschließlich auf die Zufälligkeit der Behandlungszuweisung und erfordert keine Annahmen über die Verteilung der Ergebnisse, die Unabhängigkeit der Datenpunkte oder parametrische Modelle. Dies macht sie zu einem robusten „Standard"-Test für randomisierte Experimente.
Effizienz: Sie überwindet die Ineffizienz des Daten-Splitting, indem sie alle verfügbaren Daten nutzt und gleichzeitig die Selektionsverzerrung rigoros korrigiert.
Regulatorische Relevanz: Die Autoren argumentieren, dass die Kontrolle des konditionalen Fehlers 1. Art aus regulatorischer Sicht entscheidend ist, da sie die selektierte Hypothese als gegeben behandelt und eine objektive Bewertung der Evidenz in einem randomisierten Experiment ermöglicht.

Die Autoren positionieren diese Arbeit als Ergänzung zu bestehenden Super-Populations-Rahmenwerken und bieten eine Alternative für endliche Populationen, die Modellannahmen minimiert. Sie räumen ein, dass, obwohl das theoretische Rahmenwerk etabliert ist, praktische Erweiterungen hinsichtlich der optimalen Auswahl von Teststatistiken und dem Umgang mit Drop-outs Bereiche für zukünftige Forschung bleiben.