Post-reduction inference for confidence sets of models

Probleemstelling

In regressieproblemen met een groot aantal potentiële verklarende variabelen (zoals in de genomica, waar $p$ vaak duizenden bedraagt terwijl $n$ slechts honderden of tientallen is), is het vaak onmogelijk om één enkel "beste" model te selecteren zonder de wetenschappelijke interpretatie te vertekenen. Verschillende modellen kunnen even goed bij de data passen, maar corresponderen met verschillende wetenschappelijke verklaringen.

De auteurs pleiten voor het rapporteren van een betrouwbaarheidsset van modellen (een verzameling van alle modellen die compatibel zijn met de data op een bepaald significantieniveau) in plaats van één geselecteerd model. Een grote uitdaging bij het construeren van zo'n set is de noodzaak van preliminaire reductie: omdat het testen van alle $2^p$ submodellen ondoenlijk is, moet eerst een omvattend model $\hat{E}$ worden geselecteerd uit de oorspronkelijke $p$ variabelen.

Het fundamentele probleem is dat $\hat{E}$ data-afhankelijk is. Als men vervolgens een standaard likelihood-ratio test (of F-test) gebruikt om submodellen te testen tegen dit geselecteerde $\hat{E}$, treedt er miscalibratie op. De test verwerpt te vaak de nulhypothese omdat $\hat{E}$ per definitie beter past bij de data dan een willekeurig model van dezelfde grootte. Dit leidt tot een betrouwbaarheidsset met een dekkingskans die lager is dan het nominale significantieniveau.

Methodologie

Het artikel introduceert een oplossing gebaseerd op inferentiële scheidingen (inferential separations) uit de Fisheriaanse benadering van conditionele inferentie, specifiek de scheidingen tussen:

1. Sufficientie / Co-sufficientie (Sufficiency / Co-sufficiency)
2. Ancillariteit / Co-ancillariteit (Ancillarity / Co-ancillarity)

In plaats van de data te splitsen (sample splitting) of een gerichte test te gebruiken, wordt de informatie in de data gescheiden in componenten die relevant zijn voor schatting en componenten die relevant zijn voor modelbeoordeling, zonder dat er informatie verloren gaat.

Kernconcepten:

• Co-sufficient manifold: Voor een gegeven model met parameter $\theta$ en sufficient statistiek $S$, is de co-sufficient manifold $Q(s_0)$ de verzameling van alle data-punten die dezelfde sufficient statistiek $s_0$ opleveren. Onder het correcte model is de data, gegeven $S=s_0$, uniform verdeeld op deze manifold.
• Ancillariteit: Als er een statistiek $A$ bestaat waarvan de verdeling niet afhangt van $\theta$, kan deze worden gebruikt voor modelcheck.

De Geïmplementeerde Aanpak (Gaussisch Lineair Model):
Voor het lineaire regressiemodel ontwikkelen de auteurs een operationeel kader:

1. Randomisatie en Pseudo-replicaten: Om de uniformiteit op de co-sufficient manifold te testen, genereren ze $k$ pseudo-replicaten van de responsvector $Y$ via een lineaire transformatie die afhankelijk is van een geschatte variantie $\hat{\sigma}^2$. Dit creëert onafhankelijke replicaten van de co-sufficient component $Q$.
2. Refitted Cross-Validation: Om de afhankelijkheid tussen de variantieschatting en de teststatistiek te minimaliseren, gebruiken ze een aangepaste versie van de refitted cross-validation estimator van Fan et al. (2012). Deze wordt berekend op een subset van de data (bijv. 60%), terwijl de test op de rest wordt uitgevoerd.
3. Teststatistieken:
   • Co-sufficient test: Een Rayleigh-test voor uniformiteit op de hypersfeer, toegepast op de $k$ geproduceerde replicaten. Deze test is richtingsloos (direction-free).
   • Ancillary test: Een test gebaseerd op de residuen som van kwadraten ($R^2$), die onder de nulhypothese een $\chi^2$-verdeling volgt, gecorrigeerd voor de variantieschatting.

Belangrijkste Bijdragen

1. Theoretische Oplossing voor Post-Reductie: Het paper biedt een theoretisch onderbouwd alternatief voor sample splitting dat de volledige dataset gebruikt voor zowel reductie als beoordeling, zonder de dekkingskans te verliezen door data-hergebruik.
2. Geometrische Inzicht: Het visualiseert het inferentieprobleem via co-sufficient manifolds en toont aan hoe deze geometrie gebruikt kan worden om modeladequaatheid te testen zonder een alternatief model te specificeren.
3. Verrijking van Randomisatie: Het introduceert een generalisatie van de randomisatiestrategie van Rasines en Young (2023) specifiek voor het genereren van co-sufficient replicaten in regressiecontexten.
4. Analytische Afleidingen: Voor het Gaussische lineaire model worden exacte verdelingen afgeleid voor de teststatistieken, wat leidt tot tractabele inferentie zonder zware Monte Carlo simulaties.
5. Vergelijking met Sample Splitting: Het paper analyseert wanneer sample splitting (een veelgebruikte maar inefficiënte methode) presteert en wanneer de voorgestelde methoden superieur zijn.

Resultaten (Numerieke Vergelijkingen)

De auteurs voeren uitgebreide simulaties uit (Gaussisch lineair model) om de methoden te vergelijken met:

• Een naïeve F-test zonder correctie (leidt tot ernstige onderdekking).
• Sample splitting (60% reductie, 40% test).
• De voorgestelde co-sufficient en ancillary tests.

Belangrijkste bevindingen:

• Naïeve F-test: Heeft een dekkingskans die dicht bij 0 ligt in plaats van 0.95, omdat de selectie van $\hat{E}$ de verdeling van de teststatistiek verstoort.
• Sample Splitting: Herstelt de dekkingskans, maar is inefficiënt. Het verwerpt waardevolle informatie en heeft in kleine steekproeven een hogere kans om ware signalen te verliezen tijdens de reductiefase.
• Co-sufficient en Ancillary Tests:
  • Behouden de nominale dekkingskans (bijv. 95%) zelfs in kleine steekproeven, mits de variantie correct wordt geschat.
  • Produceren grotere betrouwbaarheidssets dan sample splitting. Dit is echter een eerlijke reflectie van de onzekerheid in de data; het vermijden van valse zekerheid is cruciaal.
  • De co-sufficient test is robuuster in situaties met lage signaalsterkte of hoge correlatie tussen variabelen, waar sample splitting vaak faalt door het verlies van signalen in de eerste fase.
  • De prestaties hangen af van de keuze van $k$ (aantal replicaten); een hogere $k$ verkleint de set maar kan de dekkingskans iets verlagen in zeer kleine steekproeven.

Betekenis en Conclusie

Dit artikel is significant omdat het een fundamentele oplossing biedt voor het probleem van modelonzekerheid in hoge dimensies. Het toont aan dat het mogelijk is om een volledige betrouwbaarheidsset van modellen te construeren zonder de data te splitsen, wat de statistische efficiëntie maximaliseert.

De kernboodschap is dat het rapporteren van één geselecteerd model (bijv. via Lasso) misleidend kan zijn voor wetenschappelijk inzicht. Een betrouwbaarheidsset geeft een eerlijker beeld van wat de data toelaten. Hoewel deze sets groot kunnen zijn, biedt de voorgestelde methode een rigoureuze manier om deze te construeren en te kalibreren, waarbij de nadruk ligt op het vermijden van miscalibratie door data-hergebruik. De methode is vooral waardevol in situaties waar steekproefomvang beperkt is ten opzichte van het aantal variabelen, of waar de reductiefase moeilijk is (bijv. door hoge correlaties), en waar sample splitting te veel informatie zou verliezen.

De auteurs sluiten af met de opmerking dat, als voorspelling het enige doel is, een enkel model volstaat, maar voor wetenschappelijke inferentie de betrouwbaarheidsset de juiste presentatie van het bewijs is.