Improving Power by Conditioning on Less in Post-selection Inference for Changepoints

Technische Samenvatting: Verbetering van de Power door Minder te Conditioneren bij Post-selectie Inference voor Changepoints

Probleemstelling
Het detecteren van changepoints in tijdreeksen en geordende data is een gevestigd vakgebied met toepassingen variërend van bio-informatica tot klimaatwetenschap. Een aanzienlijke uitdaging blijft echter het kwantificeren van de onzekerheid van gedetecteerde changepoints. Standaardbenaderingen die dezelfde data gebruiken voor zowel detectie als toetsing, lijden onder "dubbel gluren", wat leidt tot ongeldige p-waarden die vertekend zijn naar kleine waarden. Hoewel post-selectie inference een oplossing biedt door te conditioneren op de informatie die is gebruikt om de toets te selecteren, conditioneren bestaande methoden (bijv. Hyun et al., 2021; Jewell et al., 2022) op een aanzienlijke hoeveelheid informatie – specifiek, de projectie van de data loodrecht op de toetsstatistiek. Deze overmatige conditionering beperkt de steekproefruimte, wat resulteert in conservatieve toetsen en een verlies aan statistische power.

Methodologie
De auteurs stellen een methode voor om de power van post-selectie inference te verbeteren door te conditioneren op de minimale hoeveelheid informatie die nodig is om de p-waarde goed gedefinieerd te maken.

1. Ideale Post-selectie p-waarde:
   Voor een model met verandering in het gemiddelde conditioneren standaardmethodes op de volledige orthogonale projectie van de data. De auteurs betogen dat de nulhypothese (geen verandering binnen een venster $h$ rond een gedetecteerd changepoint $\hat{\tau}$) alleen vereist dat geconditioneerd wordt op:

   • De datapunten buiten het venster $\{\hat{\tau}-h+1, \dots, \hat{\tau}+h\}$.
   • Het steekproefgemiddelde van de data binnen dat venster (een toereikende statistiek voor het onbekende constante gemiddelde onder de nulhypothese).

   Door alleen te conditioneren op deze elementen definiëren de auteurs een "ideale" p-waarde. Theoretisch is deze p-waarde optimaal voor een klasse van alternatieve hypothesen waarbij de verdeling van de toetsstatistiek afhangt van de grootte van de verandering, omdat het variatie toelaat in de storende parameters (de orthogonale componenten) die irrelevant zijn voor de specifieke verandering die wordt getoetst.

2. Monte Carlo Benadering:
   Omdat de ideale p-waarde analytisch onberekenbaar is vanwege de complexiteit van het selectie-evenement in de gereduceerde conditioneringsruimte, stellen de auteurs een Monte Carlo-benadering voor.

   • De methode omvat het simuleren van nieuwe datasets binnen het venster van belang, terwijl de data buiten het venster en het steekproefgemiddelde van het venster vastgehouden worden.
   • Voor elke gesimuleerde dataset wordt de bestaande post-selectie inferentiemethode (bijv. van Jewell et al., 2022) toegepast om een conditionele p-waarde te berekenen.
   • De uiteindelijke p-waarde is een gewogen gemiddelde van deze conditionele p-waarden.

3. Geldigheid door Opname van Geobserveerde Data:
   Een kritische theoretische bijdrage is het bewijs dat als de set Monte Carlo-steekproeven de geobserveerde data zelf bevat (d.w.z. dat één simulatie overeenkomt met de feitelijke observatie), de resulterende schatter een geldige p-waarde is. Specifiek is onder de nulhypothese de verdeling van deze schatter uniform op $[0, 1]$ voor elke Monte Carlo-steekproefgrootte $N$, niet alleen asymptotisch. Dit garandeert geldigheid zelfs bij zeer bescheiden steekproefgroottes (bijv. $N=10$).

Belangrijkste Bijdragen

• Theoretische Reductie van Conditionering: Het artikel toont aan dat conditioneren op de orthogonale projectie van de data onnodig is voor geldigheid; conditioneren alleen op de data buiten het toetsgebied en de toereikende statistiek binnen het gebied is voldoende.
• Optimaliteit: De auteurs tonen aan dat voor een natuurlijke klasse van alternatieve verdelingen, deze gereduceerde conditionering leidt tot een optimale p-waarde met hogere power dan methoden die conditioneren op meer informatie.
• Geldige Benadering voor Eindige Steekproeven: Zij bieden een eenvoudige Monte Carlo-procedure die geldige p-waarden oplevert voor elke $N$, mits de geobserveerde data is opgenomen in de simulatieset.
• Generaliteit: De aanpak is toepasbaar op diverse changepoint-detectie-algoritmen (binair segmenteren, fused lasso, $L_0$-gestraafde likelihood) en kan worden uitgebreid naar andere nulhypothesen en modellen (bijv. autoregressieve processen).

Resultaten

• Simulatiestudies: Empirische resultaten op synthetische data (Gaussisch ruis, bekende en onbekende variantie, zwaarstaartige ruis) tonen aan dat de voorgestelde methode een merkbare toename in power bereikt in vergelijking met de methode van Jewell et al. (2022) (wat equivalent is aan $N=1$ in het voorgestelde kader). De powerwinst is het meest uitgesproken bij kleine tot matige Monte Carlo-steekproefgroottes ($N \approx 10$), waarna verbeteringen plateauvormen. De methode behoudt geldige Type I-foutcontrole zelfs wanneer de variantie wordt geschat of de ruis niet-Gaussisch is (op voorwaarde dat een centrale limietstelling van toepassing is).
• Toepassing op Genomische Data: Toegepast op menselijke GC-gehalte data, detecteerde de methode een significant hoger aantal significante changepoints in vergelijking met de aanpak van Jewell et al. (2022). Bijvoorbeeld, bij gebruik van binaire segmentatie met $K=38$ gedetecteerde changepoints, steeg het aantal significante bevindingen van 15 ($N=1$) naar 27 ($N=10$) onder Holm-Bonferroni-correctie.
• Meervoudige Toetsing: De methode presteert goed onder zowel Family-Wise Error Rate (Holm-Bonferroni) als False Discovery Rate (Benjamini-Hochberg) controle, en toont een hogere rate van ware positieve detectie terwijl lage foutpercentages worden gehandhaafd.

Betekenis en Beweringen
Het artikel beweert dat door de hoeveelheid informatie waarover geconditioneerd wordt te verminderen, onderzoekers geldige post-selectie p-waarden kunnen verkrijgen met aanzienlijk verhoogde power. De auteurs benadrukken dat deze verbetering haalbaar is met zeer bescheiden computereffort (kleine Monte Carlo-steekproefgroottes), waardoor de methode praktisch toepasbaar is voor real-world toepassingen. Zij positioneren hun werk als een verfijning van bestaande post-selectie inferentiekaders, toepasbaar op elk scenario waar een methode bestaat om p-waarden te berekenen op basis van orthogonale projecties. De auteurs merken bescheiden op dat hoewel de methode is ontwikkeld voor changepoints, de onderliggende logica van conditioneren op minder informatie breder van toepassing is op andere post-selectie inferentieproblemen, zoals clustering en regressie-bomen.