Post-reduction inference for confidence sets of models

Titel: Post-Reduktions-Inferenz für Konfidenzmengen von Modellen

Autoren: Heather Battey, Daniel García Rasines und Yanbo Tang

1. Problemstellung

In der Regressionsanalyse mit vielen potenziellen erklärenden Variablen (hohe Dimensionalität, z. B. in der Genomik) ist es oft unmöglich, ein einziges "wahres" Modell zu identifizieren. Stattdessen sind häufig mehrere niedrigdimensionale Kombinationen von Variablen mit den Daten vereinbar.

• Herausforderung: Die gängige Praxis, ein einzelnes Modell durch Variablenselektion (z. B. Lasso) zu wählen, ist für das wissenschaftliche Verständnis irreführend, da verschiedene Modelle unterschiedliche Erklärungen liefern. Stattdessen sollte eine Konfidenzmenge von Modellen (eine Menge aller mit den Daten vereinbaren Modelle) präsentiert werden.
• Das Reduktions-Dilemma: Da die Anzahl der Variablen $p$ oft viel größer ist als die Stichprobengröße $n$, muss vor der Bewertung der Modelle eine Vorreduktion durchgeführt werden (z. B. Auswahl eines umfassenden Modells $\hat{E}$).
• Statistisches Problem: Wenn dasselbe Datenmaterial sowohl für die Reduktion (Auswahl von $\hat{E}$) als auch für die anschließende Bewertung der Teilmodelle $E_m \subset \hat{E}$ verwendet wird (z. B. via Likelihood-Ratio-Test oder F-Test), führt dies zu einer Fehlkalibrierung. Das umfassende Modell $\hat{E}$ passt aufgrund der Datennutzung zu gut, sodass Tests zu oft ablehnen und die tatsächliche Abdeckungswahrscheinlichkeit der Konfidenzmenge unter dem nominalen Niveau liegt.

2. Methodik

Die Autoren schlagen einen Ansatz vor, der auf der Fisher'schen bedingten Inferenz basiert und zwei fundamentale Trennungen nutzt, um die Daten für Reduktion und Modellbewertung zu trennen, ohne die Daten zu verwerfen (im Gegensatz zum Sample Splitting).

A. Theoretische Grundlagen

1. Suffizienz/Ko-Suffizienz-Trennung:
   • Die Daten werden in eine suffiziente Statistik $S$ (für Parameterschätzung) und eine ko-suffiziente Komponente $Q$ (für Modellbewertung) zerlegt.
   • Unter dem korrekten Modell ist die Verteilung der Daten auf der ko-suffizienten Mannigfaltigkeit (der Menge aller Datenvektoren mit demselben $S$) bekannt (z. B. gleichverteilt auf einer Hypersphäre).
   • Dies ermöglicht eine Modellbewertung ohne Vergleich mit einem größeren Modell, was die Fehlkalibrierung durch die Datennutzung vermeidet.
2. Ancillarität/Ko-Ancillarität-Trennung:
   • Nutzung von ancillären Statistiken (deren Verteilung nicht vom Parameter abhängt) zur Modellprüfung. Im linearen Gauß-Modell ist die Residuenquadratsumme $R^2$ ancillär für die Regressionskoeffizienten.

B. Operative Umsetzung für Gauß'sche lineare Modelle

Da die direkte Nutzung der ko-suffizienten Mannigfaltigkeit oft keine Teststärke bietet (ein einzelner Vektor ist immer mit der Gleichverteilung vereinbar), schlagen die Autoren eine Randomisierungsstrategie vor:

• Pseudo-Replikate: Anstatt die Daten zu splitten, werden aus dem ursprünglichen Datensatz $Y$ durch lineare Transformationen (unter Verwendung einer Matrix $\Gamma$) $k$ unabhängige Pseudo-Replikate $\tilde{Y}^{(i)}$ generiert.
• Schätzung der Varianz: Um die Abhängigkeit zwischen der Varianzschätzung und den Teststatistiken zu minimieren, wird ein modifizierter Refitted Cross-Validation-Schätzer (basierend auf Fan et al., 2012) verwendet, der auf einem Teil der Daten (z. B. 60 %) berechnet wird.
• Teststatistik: Die Pseudo-Replikate werden auf die ko-suffiziente Mannigfaltigkeit projiziert. Unter der Nullhypothese sollten diese Projektionen gleichverteilt auf der Hypersphäre sein. Der Rayleigh-Test (für Gleichverteilung auf der Sphäre) wird verwendet, um Abweichungen zu detektieren.
• Ancillärer Test: Alternativ wird die Residuenquadratsumme $R^2$ mit einer $\chi^2$-Verteilung verglichen (unter Verwendung des geschätzten $\sigma^2$).

3. Wichtige Beiträge

1. Formalisierung der Inferenz-Trennung: Das Paper macht die Trennung von Suffizienz und Ko-Suffizienz sowie Ancillarität explizit für Regressionsmodelle nutzbar, um das Problem der Post-Reduktions-Inferenz zu lösen.
2. Geometrische Einsicht: Es wird gezeigt, dass die Modellbewertung auf der Geometrie der ko-suffizienten Mannigfaltigkeit basiert, was eine datengetriebene Fehlkalibrierung vermeidet.
3. Neue Randomisierungsmethode: Einführung einer verallgemeinerten Randomisierungstechnik (inspiriert von Rasines & Young, 2023), die Pseudo-Replikate erzeugt, ohne Daten zu verwerfen. Dies ist effizienter als Sample Splitting.
4. Modifizierte Varianzschätzung: Ein angepasster Refitted Cross-Validation-Schätzer wird eingeführt, dessen asymptotische Verteilungstheorie für den Test unter der Nullhypothese handhabbar ist.
5. Erweiterbarkeit: Die Methoden werden auf log-normale Beschleunigungslebensmodelle und kanonische Exponentialfamilien diskutiert.

4. Ergebnisse (Simulationen)

Die Autoren vergleichen ihre Methoden (ko-suffizient und ancillär) mit:

• Naivem F-Test (gleiche Daten für Reduktion und Test).
• Sample Splitting (60 % Reduktion, 40 % Test).

Erkenntnisse:

• Naiver F-Test: Führt zu katastrophaler Unterabdeckung (Coverage), da die Reduktion die Teststatistik verzerrt.
• Sample Splitting: Stellt die korrekte Abdeckung wieder her, ist aber ineffizient, da Daten verworfen werden. Dies führt besonders bei kleinen Stichproben dazu, dass Signale in der Reduktionsphase verloren gehen.
• Ko-Suffiziente und Ancilläre Tests:
  • Erreichen bei großen Stichproben die nominale Abdeckung (0.95).
  • Bei kleinen Stichproben und schwachen Signalen zeigen sie eine leichte Überabdeckung (konservativ), was auf die Schätzung der Varianz zurückzuführen ist.
  • Vorteil: Sie nutzen alle Daten für beide Phasen. In Szenarien, in denen die Reduktion schwierig ist (hohe Dimension, schwache Signale), übertrifft dieser Ansatz das Sample Splitting, da weniger Signale verloren gehen.
  • Größe der Konfidenzmengen: Die Mengen sind oft groß (viele Modelle), was die Unsicherheit in den Daten ehrlich widerspiegelt.

5. Bedeutung und Fazit

• Paradigmenwechsel: Das Paper argumentiert, dass in hochdimensionalen Settings die Unsicherheit über das richtige Modell durch eine Konfidenzmenge ausgedrückt werden muss, nicht durch ein einzelnes Modell.
• Effizienz: Die vorgeschlagenen inferenziellen Trennungen (Ko-Suffizienz/Ancillarität) bieten eine elegante Lösung, die die Nachteile des Sample Splitting (Datenverlust) umgeht und gleichzeitig die Fehlkalibrierung durch doppelte Datennutzung verhindert.
• Anwendbarkeit: Besonders relevant für Bereiche wie Genomik, wo $p \gg n$ und die Vorhersagegenauigkeit oft durch die Wahl eines einzelnen Modells getäuscht wird.
• Praktische Implikation: Wenn die Daten nicht ausreichen, um ein einziges Modell zu bestätigen, sollte die Analyse die Menge aller plausiblen Modelle liefern. Die Autoren zeigen, wie man aus großen Mengen kompakte Botschaften extrahieren kann (z. B. Variablen, die in 96 % der Modelle vorkommen).

Zusammenfassend bietet das Paper einen theoretisch fundierten und praktisch umsetzbaren Rahmen für die korrekte statistische Inferenz nach einer datengetriebenen Modellreduktion, der die Prinzipien der bedingten Inferenz von R.A. Fisher modernisiert und anwendet.