Inference conditional on selection: a review

Dieser Artikel bietet einen Überblick über die selektive Inferenz, ein Methodenpaket für statistische Schlussfolgerungen, wenn die Forschungsfrage datenabhängig ist, und erläutert deren Anwendung sowie verschiedene Lösungsansätze anhand von Beispielen und einer Analyse von Einzelzell-RNA-Sequenzierungsdaten.

Das Wesentliche

Das Problem: Der „Zweite Blick" (Double Dipping)

Stellen Sie sich vor, Sie sind ein Detektiv. Sie kommen in einen Raum voller verdächtiger Personen (die Daten).

1. Der klassische Fehler: Sie schauen sich die Personen an, wählen diejenige aus, die am verdächtigsten aussieht (z. B. weil sie am nervösesten wirkt), und sagen dann: „Ich habe eine 95-prozentige Sicherheit, dass diese Person der Täter ist."

   • Das Problem: Sie haben die Person ausgewählt, weil sie nervös war, und nutzen dann dieselbe Nervosität als Beweis. Das ist wie ein Richter, der sich selbst die Beweise sucht und dann selbst urteilt. In der Statistik nennt man das „Double Dipping" (Doppelnutzung). Das Ergebnis ist oft eine falsche Sicherheit. Man glaubt, einen Beweis zu haben, aber eigentlich hat man nur einen Zufallstreffer bestätigt.

2. Die Lösung des Papers: Die Autoren (Anna Neufeld und Kollegen) sagen: „Halt! Wenn Sie die Person erst nachdem Sie sie angesehen haben ausgewählt, müssen Sie Ihre Beweiskette anpassen." Sie nennen das Selektive Inferenz.

Die drei Beispiele aus dem Papier

Die Autoren zeigen drei Situationen, in denen dieses Problem auftritt:

1. Der Gewinner-Fluch (Winner's Curse):

   • Szenario: Sie testen 100 neue Medikamente. Dasjenige, das am besten wirkt, gewinnt.
   • Fehler: Wenn Sie jetzt sagen: „Medizin Nr. 42 ist super, weil es am besten getestet wurde!", unterschätzen Sie, wie viel Glück dabei eine Rolle spielte. Es könnte sein, dass Medizin Nr. 42 gar nicht so gut ist, sondern nur zufällig am besten getestet wurde.
   • Metapher: Ein Marathonläufer, der zufällig auf einem Hindernis stolpert und als Erster durchs Ziel läuft. Wenn Sie ihn als „schnellsten Läufer" feiern, täuschen Sie sich.

2. Der Entscheidungsbaum (Regression Tree):

   • Szenario: Ein Algorithmus schaut sich Patienten an und teilt sie in Gruppen ein (z. B. „Junge mit hohem Blutdruck" vs. „Alte mit niedrigem").
   • Fehler: Wenn Sie dann für die Gruppe „Junge mit hohem Blutdruck" einen Durchschnittswert berechnen und behaupten, das sei ein gesichertes Fakt, ignorieren Sie, dass der Algorithmus erst diese Gruppe gebildet hat, um genau diesen Wert zu finden.

3. Das Clustering (Gruppierung von Zellen):

   • Szenario: In der Biologie werden Zellen nach ihrem Aussehen in Gruppen (Cluster) sortiert, um neue Zelltypen zu finden.
   • Fehler: Danach testet man, ob ein bestimmtes Gen in Gruppe A anders ist als in Gruppe B. Aber da man die Gruppen nach dem Ansehen der Zellen gebildet hat, ist der Test verzerrt. Es ist, als würde man eine Klasse nach dem Zufallsprinzip in „Schlaue" und „Dumme" einteilen und dann behaupten, die „Schlaue"-Gruppe habe nachweislich höhere IQ-Werte.

Die Lösung: Wie man fair bleibt

Die Autoren vergleichen verschiedene Methoden, um diesen Fehler zu korrigieren. Man kann sich das wie verschiedene Strategien vorstellen, um den Detektiv ehrlich zu machen:

1. Die „Alles-oder-Nichts"-Methode (Full Conditional Inference)

• Die Idee: Man nutzt alle Daten, um den Verdächtigen zu finden, und nutzt dann alle Daten erneut, um den Beweis zu prüfen – aber man rechnet dabei mathematisch so, als wäre der erste Schritt ein fester Teil der Weltordnung.
• Der Nachteil: Es ist extrem rechenintensiv und führt oft zu sehr breiten, ungenauen Ergebnissen.
• Metapher: Der Detektiv schaut sich den Raum an, wählt den Verdächtigen aus, und dann muss er sich jeden einzelnen Schritt des Auswahlprozesses genau merken, um zu beweisen, dass er nicht voreingenommen war. Das Ergebnis ist oft: „Wir sind uns zu 95% sicher, dass er der Täter ist... aber die Unsicherheit ist so groß, dass er auch ein völlig anderer sein könnte."

2. Die „Teile-und-Herrsche"-Methode (Sample Splitting)

• Die Idee: Man teilt die Daten in zwei Hälften.
  • Hälfte A: Dient nur dazu, den Verdächtigen zu finden (Auswahl).
  • Hälfte B: Dient nur dazu, den Verdächtigen zu überprüfen (Beweis).
• Vorteil: Sehr einfach und fair. Da die Hälfte B den Verdächtigen noch nie gesehen hat, ist der Test sauber.
• Nachteil: Man wirft die Hälfte A weg, sobald die Auswahl getroffen ist. Das ist wie ein Detektiv, der die Hälfte der Beweise im Müll entsorgt, nur um sicherzugehen, dass er nicht voreingenommen ist.
• Metapher: Sie lassen einen Freund die Personen im Raum ansehen und einen Namen nennen. Sie schauen sich dann nur die zweite Hälfte der Personen an, um zu prüfen, ob dieser Name passt.

3. Die „Zerlegung"-Methode (Data Thinning & Fission)

• Die Idee: Eine moderne, clevere Variante des Teilens. Man nimmt die Daten und „schneidet" sie mathematisch so in zwei Teile, dass beide Teile noch Informationen enthalten, aber unabhängig voneinander sind.
• Vorteil: Man wirft nichts weg! Beide Teile werden genutzt.
• Nachteil: Es funktioniert nur bei bestimmten Arten von Daten (wie bei bestimmten mathematischen Gesetzen).
• Metapher: Statt einen Kuchen zu halbieren und eine Hälfte wegzuwerfen, backt man einen Kuchen, der sich in zwei unabhängige Kuchenhälften verwandeln lässt, die beide noch süß sind.

Was haben die Autoren herausgefunden? (Die Simulation)

Die Autoren haben diese Methoden in einem Computer-Experiment getestet (am Beispiel von Bäumen, die Patienten gruppieren):

• Der Klassiker (ohne Korrektur) versagt oft: Er sagt „Ich bin sicher!", wenn er es gar nicht ist.
• Die „Teile-und-Herrsche"-Methode ist fair, aber manchmal ungenau, weil sie zu wenig Daten nutzt.
• Die „Zerlegungs"-Methode (Data Thinning) ist oft der beste Kompromiss: Sie nutzt fast alle Daten, ist fair und liefert präzise Ergebnisse.
• Die „Alles-oder-Nichts"-Methode ist sehr streng, aber manchmal so vorsichtig, dass die Ergebnisse nutzlos breit sind (wie ein Sicherheitsgurt, der so dick ist, dass man sich kaum bewegen kann).

Das Fazit für die Wissenschaft

Das Papier sagt uns: Es ist in Ordnung, mit Daten zu experimentieren und neue Fragen zu stellen. Das ist wie wissenschaftliche Entdeckung. Aber wenn man die Antwort auf diese neuen Fragen geben will, muss man die Regeln ändern. Man darf nicht denselben Datensatz zum Fragenstellen und zum Antworten benutzen, ohne die Mathematik anzupassen.

Die Autoren warnen davor, dass viele Wissenschaftler (besonders in der Biologie und Genetik) immer noch den alten, fehlerhaften Weg gehen. Sie rufen dazu auf, diese neuen, fairen Methoden zu nutzen, damit die wissenschaftlichen Entdeckungen wirklich wahr sind und nicht nur Glückstreffer.

Kurz gesagt: Wenn Sie einen Gewinner wählen, müssen Sie sich bewusst sein, dass Sie Glück hatten. Um zu beweisen, dass er wirklich der Beste ist, müssen Sie einen fairen, neuen Test machen, der diesen Glücksfaktor berücksichtigt.

Technische Zusammenfassung

1. Problemstellung: Selektive Inferenz und „Double Dipping"

Der Artikel adressiert ein fundamentales Problem in der modernen statistischen Praxis: Die Diskrepanz zwischen klassischen Inferenzmethoden und datengesteuerten wissenschaftlichen Workflows.

• Klassische vs. Moderne Praxis: In der klassischen Statistik werden Modelle, Hypothesen und Parameter vor der Datenerhebung spezifiziert. In der modernen Wissenschaft (z. B. Genomik, Neurowissenschaften, Single-Cell-RNA-Sequenzierung) werden Hypothesen und Parameter oft erst durch Exploration der Daten ausgewählt (z. B. Auswahl des „Gewinners" unter vielen Kandidaten, Identifizierung von Clustern oder Regionen in Regressionsbäumen).
• Das „Double Dipping"-Problem: Die naive Verwendung derselben Daten sowohl zur Auswahl einer Fragestellung als auch zur Beantwortung dieser Frage führt dazu, dass klassische Inferenzverfahren (wie t-Tests oder Wald-Intervalle) ihre Garantien verlieren. Sie kontrollieren weder den Typ-I-Fehler noch erreichen sie die nominale Abdeckung von Konfidenzintervallen. Dies wird oft als Ursache für die Replikationskrise in der Wissenschaft diskutiert.
• Motivierende Beispiele:
  1. Inferenz auf einen „Gewinner": Schätzung des Mittelwerts der Variable mit dem maximalen beobachteten Wert (Winner's Curse).
  2. Inferenz auf Regressionsbäume: Schätzung des Mittelwerts in einer Region, die durch einen Algorithmus wie CART ausgewählt wurde.
  3. Inferenz nach Clustering: Testen auf differentielle Expression von Genen zwischen Clustern, die aus den Daten selbst geschätzt wurden (häufig in Single-Cell-RNA-Sequenzierung).

2. Methodischer Rahmen: Bedingte vs. Unbedingte Abdeckung

Die Autoren diskutieren zwei Arten von Inferenzgarantien und argumentieren stark für die bedingte Abdeckung (conditional coverage).

• Unbedingte Abdeckung (Unconditional Coverage): Die Wahrscheinlichkeit, dass das Intervall den zufälligen, datengesteuerten Parameter $\theta_{S(Y)}$ enthält, ist über alle möglichen Datensätze hinweg $\ge 1-\alpha$.
  • Nachteil: Diese Garantie ist oft irreführend. Wenn die Selektion fehlschlägt (z. B. ein falscher „Gewinner" wird ausgewählt), kann die Abdeckung in diesem spezifischen Fall extrem niedrig sein, auch wenn die unbedingte Abdeckung theoretisch erfüllt ist.
• Bedingte Abdeckung (Conditional Coverage): Die Wahrscheinlichkeit, dass das Intervall den Parameter enthält, gegeben das spezifische Selektionsereignis ($S(Y)=k$), ist $\ge 1-\alpha$.
  • Vorteil: Dies liefert eine wissenschaftlich sinnvollere Garantie. Wenn wir uns für eine bestimmte Hypothese entscheiden, wollen wir wissen, ob unsere Schlussfolgerung für diese spezifische Entscheidung gültig ist, nicht nur im Durchschnitt über alle möglichen Entscheidungen.
  • Folgerung: Bedingte Abdeckung impliziert unbedingte Abdeckung, aber nicht umgekehrt. Der Artikel konzentriert sich daher auf Methoden, die bedingte Garantien bieten.

3. Methodische Ansätze und das „Unifizierende Rezept"

Der Artikel stellt verschiedene Ansätze vor, die alle einem gemeinsamen „Rezept" folgen, um bedingte Abdeckung zu erreichen:

Das Rezept (Box 1):

1. Aufteilung der Daten in eine Selektionsmenge ($Y^{sel}$) und eine Inferenzmenge ($Y^{inf}$) (diese können überlappen oder identisch sein).
2. Auswahl des Ziels $\theta_{S(Y^{sel})}$ auf Basis von $Y^{sel}$.
3. Durchführung der Inferenz auf $Y^{inf}$, bedingt auf das Ereignis, dass dieses Ziel ausgewählt wurde.

Die folgenden Methoden werden als Spezialfälle dieses Rezepts vorgestellt:

• Vollständige bedingte selektive Inferenz (Full CSI):
  • $Y^{sel} = Y^{inf} = Y$ (alle Daten werden für beides genutzt).
  • Die Inferenz erfolgt unter der bedingten Verteilung des Teststatistik gegeben das exakte Selektionsereignis.
  • Nachteil: Oft rechenintensiv; kann zu extrem breiten oder unendlich breiten Konfidenzintervallen führen, wenn das Selektionsereignis „knapp" ist (geringe Fisher-Information übrig für die Inferenz).
• Stichprobenaufteilung (Sample Splitting):
  • Daten werden in disjunkte Mengen aufgeteilt ($Y^{sel} \cap Y^{inf} = \emptyset$).
  • Vorteil: Einfach anzuwenden, keine maßgeschneiderte Inferenz nötig.
  • Nachteil: Verschwendet Informationen; bei nicht-i.i.d. Daten kann es vorkommen, dass die Inferenzmenge keine Information über den ausgewählten Parameter enthält (unendliche Intervalle).
• Data Carving:
  • Eine Alternative zum Sample Splitting, bei der $Y^{sel} \subset Y$ und $Y^{inf} = Y$.
  • Nutzt die bedingte Verteilung der Teststatistik gegeben die Selektion, um Informationen aus der Trainingsmenge für die Inferenz zu retten.
  • Nachteil: Rechenintensiv, da die bedingte Verteilung oft schwer zu charakterisieren ist.
• Data Thinning:
  • Zerlegung von Zufallsvariablen in zwei unabhängige Komponenten ($Y^{sel}, Y^{inf}$) durch Hinzufügen von Rauschen (z. B. bei Normal- oder Poisson-Verteilungen).
  • Ermöglicht die Nutzung von Standard-Software für die Inferenz, da die Mengen unabhängig sind.
  • Einschränkung: Erfordert spezifische Verteilungsannahmen.
• Randomized CSI:
  • Nutzt eine randomisierte Version des Selektionsalgorithmus (z. B. Rauschen in den Daten vor der Auswahl).
  • Inferenz erfolgt auf den vollen Daten, bedingt auf die randomisierte Selektion.
  • Vorteil: Vermeidet unendliche Intervalle und nutzt mehr Information als Thinning/Splitting.
• Data Fission:
  • Zerlegung in zwei abhängige Teile, wobei die bedingte Verteilung der Inferenzmenge gegeben die Selektionsmenge handhabbar ist.
  • Besonders nützlich, wenn Data Thinning nicht anwendbar ist (z. B. bei Bernoulli-Daten oder wenn Overdispersion geschätzt werden muss).

4. Ergebnisse und Simulationen

Der Artikel präsentiert zwei Hauptstudien:

A. Simulationsstudie (Regressionsbäume):

• Ziel: Inferenz auf den Mittelwert von Regionen in einem CART-Baum.
• Vergleich: Klassische Methode, Sample Splitting, Data Thinning, Full CSI, Randomized CSI.
• Ergebnisse:
  • Die klassische Methode versagt bei schwachem Signal (Abdeckung weit unter 90%).
  • Full CSI bietet die beste Selektionsqualität, führt aber bei schwachem Signal zu extrem breiten Intervallen.
  • Sample Splitting und Data Thinning liefern endliche Intervalle, verlieren aber an Selektionsqualität, wenn weniger Daten für die Auswahl genutzt werden.
  • Randomized CSI zeigt sich als überlegen: Es erreicht eine hohe Selektionsqualität und liefert gleichzeitig schmalere Konfidenzintervalle als Splitting/Thinning, da es die nicht für die Selektion genutzte Information für die Inferenz bewahrt. Es vermeidet zudem die unendlichen Intervalle von Full CSI.

B. Anwendung auf Single-Cell-RNA-Sequenzierungsdaten (scRNA-seq):

• Ziel: Testen auf differentielle Genexpression zwischen Clustern (Klusterbildung ist datengesteuert).
• Herausforderung: Sample Splitting ist hier nicht anwendbar, da Cluster-Labels nicht einfach auf eine Testmenge übertragen werden können, ohne die Daten zu nutzen.
• Methoden: Vergleich von Klassisch, Poisson/Negative-Binomial Thinning, Data Fission und Full CSI.
• Ergebnisse:
  • Die klassische Methode führt zu vielen falsch-positiven Ergebnissen (anti-konservative p-Werte).
  • Data Thinning und Fission verbessern die Kontrolle des Fehlers, hängen aber stark von Verteilungsannahmen ab (z. B. Poisson vs. Negative Binomial).
  • Full CSI liefert gute Ergebnisse, ist jedoch sehr restriktiv bzgl. der verwendeten Clustering-Algorithmen (nur bestimmte Algorithmen wie k-Means sind handhabbar) und sensitiv gegenüber Vorverarbeitungsschritten.
  • Alle selektiven Methoden liefern konsistentere Ergebnisse als die klassische Methode, zeigen aber, dass die Wahl der Verteilungsannahmen und des Algorithmus die Ergebnisse beeinflusst.

5. Schlussfolgerungen und Bedeutung

• Zentrale Erkenntnis: Es gibt keinen „einen besten" Ansatz für selektive Inferenz. Jede Methode stellt einen Kompromiss (Trade-off) zwischen der Menge an Information, die für die Selektion genutzt wird, und der Menge, die für die Inferenz übrig bleibt (Fisher-Information).
• Bedeutung:
  • Der Artikel demonstriert, dass bedingte Inferenz notwendig ist, um wissenschaftliche Schlussfolgerungen aus datengesteuerten Entdeckungen valide zu machen.
  • Er verbindet scheinbar disparate Methoden (Splitting, Thinning, Conditioning) unter einem einheitlichen theoretischen Dach.
  • Herausforderungen: Viele Methoden erfordern starke Verteilungsannahmen oder sind rechenintensiv. Die Entwicklung von „assumption-lean" (annahmenarmen) und flexiblen Methoden sowie benutzerfreundlicher Software ist dringend erforderlich, um diese Techniken in der breiten wissenschaftlichen Praxis zu etablieren.
  • Die Autoren betonen die Notwendigkeit einer besseren Kommunikation zwischen Statistikern und Wissenschaftlern, um das Bewusstsein für „Double Dipping" zu schärfen und die korrekte Anwendung dieser Methoden zu fördern.

Zusammenfassend bietet der Artikel einen umfassenden Überblick über den aktuellen Stand der selektiven Inferenz, stellt ein einheitliches Framework für bestehende Methoden vor und identifiziert klare Richtungen für zukünftige Forschung, insbesondere im Hinblick auf praktische Anwendbarkeit und Flexibilität.