Improving Power by Conditioning on Less in Post-selection Inference for Changepoints

Technische Zusammenfassung: Steigerung der Teststärke durch Konditionierung auf weniger Informationen bei der Inferenz nach Selektion für Changepoints

Problemstellung
Die Detektion von Changepoints in Zeitreihen und geordneten Daten ist ein etabliertes Feld mit Anwendungen von der Bioinformatik bis zur Klimawissenschaft. Eine wesentliche Herausforderung bleibt jedoch die Quantifizierung der Unsicherheit detektierter Changepoints. Standardansätze, die dieselben Daten sowohl für die Detektion als auch für den Test verwenden, leiden unter „doppeltem Spähen" (double peeking), was zu ungültigen p-Werten führt, die zu kleinen Werten hin verzerrt sind. Während die Inferenz nach Selektion eine Lösung bietet, indem sie auf die Informationen konditioniert, die zur Auswahl des Tests verwendet wurden, konditionieren bestehende Methoden (z. B. Hyun et al., 2021; Jewell et al., 2022) auf eine erhebliche Menge an Informationen – spezifisch auf die Projektion der Daten orthogonal zur Teststatistik. Diese übermäßige Konditionierung schränkt den Stichprobenraum ein, was zu konservativen Tests und einem Verlust der statistischen Teststärke führt.

Methodik
Die Autoren schlagen eine Methode vor, um die Teststärke der Inferenz nach Selektion zu verbessern, indem sie auf die minimale Menge an Informationen konditionieren, die notwendig ist, um den p-Wert wohldefiniert zu machen.

1. Idealer p-Wert nach Selektion:
   Für ein Modell mit Mittelwertsprung konditionieren Standardmethoden auf die gesamte orthogonale Projektion der Daten. Die Autoren argumentieren, dass die Nullhypothese (kein Sprung innerhalb eines Fensters $h$ um einen detektierten Changepoint $\hat{\tau}$) lediglich eine Konditionierung erfordert auf:

   • Die Datenpunkte außerhalb des Fensters $\{\hat{\tau}-h+1, \dots, \hat{\tau}+h\}$.
   • Das Stichprobenmittel der Daten innerhalb dieses Fensters (eine hinreichende Statistik für den unbekannten konstanten Mittelwert unter der Nullhypothese).

   Durch Konditionierung nur auf diese Elemente definieren die Autoren einen „idealen" p-Wert. Theoretisch ist dieser p-Wert optimal für eine Klasse von Alternativhypothesen, bei denen die Verteilung der Teststatistik von der Größe des Sprungs abhängt, da er Variationen in den Störparametern (den orthogonalen Komponenten) zulässt, die für den spezifisch getesteten Sprung irrelevant sind.

2. Monte-Carlo-Näherung:
   Da der ideale p-Wert aufgrund der Komplexität des Selektionsereignisses im reduzierten Konditionierungsraum analytisch nicht handhabbar ist, schlagen die Autoren eine Monte-Carlo-Näherung vor.

   • Die Methode beinhaltet die Simulation neuer Datensätze innerhalb des interessierenden Fensters, während die Daten außerhalb des Fensters und das Stichprobenmittel des Fensters festgehalten werden.
   • Für jeden simulierten Datensatz wird die bestehende Methode der Inferenz nach Selektion (z. B. von Jewell et al., 2022) angewendet, um einen bedingten p-Wert zu berechnen.
   • Der finale p-Wert ist ein gewichteter Durchschnitt dieser bedingten p-Werte.

3. Validität durch Einbeziehung der Beobachteten Daten:
   Ein kritischer theoretischer Beitrag ist der Beweis, dass, wenn die Menge der Monte-Carlo-Stichproben die beobachteten Daten selbst einschließt (d. h. eine Simulation entspricht der tatsächlichen Beobachtung), der resultierende Schätzer ein gültiger p-Wert ist. Spezifisch ist unter der Nullhypothese die Verteilung dieses Schätzers für jede Monte-Carlo-Stichprobengröße $N$ uniform auf $[0, 1]$ verteilt, nicht nur asymptotisch. Dies gewährleistet die Validität selbst bei sehr bescheidenen Stichprobengrößen (z. B. $N=10$).

Hauptbeiträge

• Theoretische Reduktion der Konditionierung: Die Arbeit zeigt, dass eine Konditionierung auf die orthogonale Projektion der Daten für die Validität unnötig ist; eine Konditionierung nur auf die Daten außerhalb des Testbereichs und die hinreichende Statistik innerhalb des Bereichs ist ausreichend.
• Optimalität: Die Autoren zeigen, dass für eine natürliche Klasse von Alternativverteilungen diese reduzierte Konditionierung zu einem optimalen p-Wert mit höherer Teststärke führt als Methoden, die auf mehr Informationen konditionieren.
• Gültige Näherung für endliche Stichproben: Sie stellen ein einfaches Monte-Carlo-Verfahren bereit, das für jedes $N$ gültige p-Werte liefert, sofern die beobachteten Daten in den Simulationsdatensatz einbezogen werden.
• Allgemeingültigkeit: Der Ansatz ist auf verschiedene Changepoint-Detektionsalgorithmen anwendbar (binäre Segmentierung, fused lasso, $L_0$-bestrafte Likelihood) und kann auf andere Nullhypothesen und Modelle erweitert werden (z. B. autoregressive Prozesse).

Ergebnisse

• Simulationsstudien: Empirische Ergebnisse an synthetischen Daten (Gaußsches Rauschen, bekannte und unbekannte Varianz, schwerfälliges Rauschen) zeigen, dass die vorgeschlagene Methode im Vergleich zur Methode von Jewell et al. (2022) (die im vorgeschlagenen Rahmen $N=1$ entspricht) eine spürbare Steigerung der Teststärke erzielt. Der Gewinn an Teststärke ist am ausgeprägtesten bei kleinen bis moderaten Monte-Carlo-Stichprobengrößen ($N \approx 10$), danach flachen die Verbesserungen ab. Die Methode behält eine gültige Kontrolle des Fehlers 1. Art bei, selbst wenn die Varianz geschätzt wird oder das Rauschen nicht-Gaußsch ist (vorausgesetzt, ein zentraler Grenzwertsatz gilt).
• Anwendung auf genomische Daten: Auf menschliche GC-Gehaltsdaten angewendet, detektierte die Methode eine signifikant höhere Anzahl signifikanter Changepoints im Vergleich zum Ansatz von Jewell et al. (2022). Beispielsweise stieg bei Verwendung der binären Segmentierung mit $K=38$ detektierten Changepoints die Anzahl signifikanter Befunde unter Holm-Bonferroni-Korrektur von 15 ($N=1$) auf 27 ($N=10$).
• Multiple Testprobleme: Die Methode performt sowohl unter Kontrolle der Family-Wise Error Rate (Holm-Bonferroni) als auch der False Discovery Rate (Benjamini-Hochberg) gut und zeigt eine höhere Rate an echten positiven Detektionen bei gleichzeitiger Aufrechterhaltung niedriger Fehlerraten.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass durch die Reduzierung der konditionierten Informationsmenge Forscher gültige p-Werte nach Selektion mit erheblich gesteigerter Teststärke erhalten können. Die Autoren betonen, dass diese Verbesserung mit sehr bescheidenem Rechenaufwand (kleine Monte-Carlo-Stichprobengrößen) erreichbar ist, was die Methode für reale Anwendungen praktikabel macht. Sie positionieren ihre Arbeit als Verfeinerung bestehender Rahmenwerke der Inferenz nach Selektion, die auf jedes Szenario anwendbar ist, in dem eine Methode zur Berechnung von p-Werten basierend auf orthogonalen Projektionen existiert. Die Autoren vermerken bescheiden, dass, obwohl die Methode für Changepoints entwickelt wurde, die zugrundeliegende Logik der Konditionierung auf weniger Informationen breiter auf andere Probleme der Inferenz nach Selektion anwendbar ist, wie z. B. Clustering und Regressionsbäume.