Sequential model confidence sets

Technisches Resümee: Sequenzielle Modell-Konfidenzsets

Problemstellung
In der statistischen Prädiktion und Schätzung stehen Praktiker oft vor der Herausforderung, das beste Modell (oder die besten Modelle) aus einer Menge von Kandidaten ($M_0 = \{1, \dots, m\}$) basierend auf einer vom Benutzer spezifizierten Verlustfunktion auszuwählen. Der Standardansatz, Model Confidence Sets (MCS) nach Hansen et al. (2011), reduziert die Kandidatenmenge auf eine Teilmenge, die die besten Modelle mit einem gegebenen Konfidenzniveau enthält. Der klassische MCS stützt sich jedoch auf zwei restriktive Annahmen, die im Widerspruch zu realen Prognologieszenarien stehen:

1. Feste Stichprobengröße: Er setzt einen vorab spezifizierten, festen Evaluierungszeitraum voraus, während die Modellselektion und die Prognosebewertung inhärent sequenzielle Aufgaben sind, bei denen Daten im Laufe der Zeit eintreffen und Entscheidungen über die Fortsetzung oder den Abbruch einer Studie von den Zwischenergebnissen abhängen.
2. Stationarität: Er setzt voraus, dass die Sequenzen der beobachteten Verlustdifferenzen stationär sind – eine Annahme, die oft verletzt wird, da sich Modelle im Laufe der Zeit weiterentwickeln, Fehler korrigieren oder sich an systematische Verzerrungen anpassen.

Darüber hinaus stützt sich der klassische MCS auf Bootstrap-Approximationen und asymptotische Eigenschaften des Zentralen Grenzwertsatzes (CLT), was lediglich asymptotische Abdeckungsgarantien bietet und hohe Rechenkosten verursacht. Es besteht ein Bedarf an Methoden, die eine kontinuierliche Überwachung der Modellleistung mit zeituniformen, nicht-asymptotischen Abdeckungsgarantien ermöglichen.

Methodik
Die Autoren schlagen Sequenzielle Modell-Konfidenzsets (SMCS) vor, welche den MCS-Rahmen unter Verwendung von e-Prozessen und Konfidenzsequenzen auf ein sequenzielles Setting generalisieren. Die Methodik basiert auf „sicherer, jederzeit gültiger Inferenz“ (safe anytime-valid inference), was die Gültigkeit unabhängig davon gewährleistet, wann die Analyse gestoppt wird.

Der Kern des Ansatzes umfasst drei verschiedene Definitionen von „überlegenen“ Modellen, die unterschiedlichen Hypothesen über die Modellleistung entsprechen:

1. Stark überlegen ($M_{s,\star}$): Modelle, die alle anderen zu jedem Zeitpunkt in Bezug auf die bedingte erwartete Verlustdifferenz ($\mu_{ij,t} \le 0$) übertreffen.
2. Uniform schwach überlegen ($M_{uw,\star}$): Modelle, die alle anderen im Durchschnitt über alle Zeitpunkte hinweg übertreffen ($\Delta_{ij,t} \le 0$ für alle $t$).
3. Schwach überlegen ($M_{w,\star,t}$): Modelle, die alle anderen zu einem spezifischen Zeitpunkt $t$ basierend auf dem durchschnittlichen Verlust bis zu diesem Zeitpunkt übertreffen.

Konstruktion von SMCS:

• Für starke und uniform schwache Hypothesen: Die Autoren nutzen e-Prozesse (speziell jene von Howard et al., 2020, und Choe und Ramdas, 2023) unter der Annahme bedingt beschränkter oder gleichmäßig beschränkter Verlustdifferenzen. Sie verwenden das Abschlussprinzip (closure principle) mit einem arithmetischen Mittel als e-Merging-Funktion, um die Familienfehlerrate über mehrere paarweise Vergleiche hinweg zu kontrollieren. Ein Modell wird aus dem SMCS ausgeschlossen, wenn der entsprechende e-Prozess einen Schwellenwert ($1/\alpha$) überschreitet.
• Für schwache Hypothesen: Die Konstruktion stützt sich auf zeituniforme Konfidenzsequenzen. Die Autoren definieren eine Konfidenzregion für den Vektor der durchschnittlichen Verlustdifferenzen. Ein Modell wird ausgeschlossen, wenn die Konfidenzregion die Halbebene, in der das Modell überlegen ist, nicht schneidet.
• Umgang mit unbeschränkten Verlusten: Für Verlustfunktionen, die nicht gleichmäßig beschränkt sind (z. B. CRPS mit unbeschränktem Support), schlagen die Autoren eine Transformation zu bedingt beschränkten Differenzen vor, die dann auf eine gleichmäßig beschränkte Form skaliert werden, um die Anwendung der abgeleiteten e-Prozesse zu ermöglichen.

Wesentliche Beiträge

1. Sequenzielle Erweiterung: Die Arbeit erweitert das MCS-Konzept auf ein sequenzielles Framework, das eine kontinuierliche Überwachung der Modellleistung ohne die Notwendigkeit einer festen Stichprobengröße ermöglicht.
2. Zeituniforme Garantien: Die vorgeschlagenen SMCS bieten zeituniforme, nicht-asymptotische Abdeckungsgarantien. Das bedeutet, dass die Wahrscheinlichkeit, dass die wahren überlegenen Modelle in der Menge enthalten sind, für alle Zeitpunkte gleichzeitig mindestens $1-\alpha$ beträgt – eine stärkere Garantie als die punktuelle asymptotische Abdeckung.
3. Minimale Annahmen: Die Methoden beruhen auf minimalen Verteilungsannahmen (sub-Gauß oder sub-exponentielle Verlustdifferenzen) und erfordern keine rechenintensiven Bootstrap-Approximationen.
4. Flexibilität in den Definitionen der Überlegenheit: Das Framework ermöglicht drei verschiedene Vorstellungen von Modellüberlegenheit, sodass Forscher die Hypothese wählen können, die am besten zu ihrem Anwendungskontext passt (z. B. verschachtelte Informationsmengen vs. sich entwickelnde Modellleistung).

Ergebnisse
Die Autoren validieren die Methodik durch Simulationsstudien und zwei reale Fallstudien:

• Simulationen:
  • Simulation 1 (Starke Hypothese): Mit 49 Prognostikern erreichte das SMCS eine 100%ige Abdeckungsrate für das wahre beste Modell, was eine konservative, aber valide Leistung demonstrierte. Die durchschnittliche Größe des SMCS nahm im Zeitverlauf ab.
  • Simulation 2 (Uniform schwache Hypothese): In einem Szenario, in dem das beste Modell nur im Durchschnitt überlegen war (nicht an jedem einzelnen Zeitpunkt), identifizierte das SMCS korrekt das uniform schwach überlegene Modell, während die starke Hypothese eine leere Menge geliefert hätte.
  • Simulation 3 (Schwache Hypothese): In einem Setting, in dem sich das beste Modell über die Zeit veränderte (Verschlechterung $\to$ Bias $\to$ Verbesserung), verfolgte das SMCS für die schwache Hypothese erfolgreich das sich ändernde überlegene Modell, indem es Modelle ein- und ausschloss, während sich ihre relative Leistung verschob.
• Fallstudie 1 (Covid-19-Prognosen): Anwendung auf 69 Modelle des Covid-19 Forecast Hub. Das SMCS (unter der starken Hypothese) identifizierte Ensemble-Modelle als konsistent überlegen und lehnte spezifische epidemiologische Modelle (z. B. PSI-draft) relativ früh ab. Dies demonstrierte den Nutzen der sequenziellen Überwachung für die politische Entscheidungsfindung, indem es eine frühzeitige Ablehnung unterperformender Modelle ermöglichte, ohne auf eine feste Stichprobengröße warten zu müssen.
• Fallstudie 2 (Windböen-Vorhersagen): Anwendung auf 9 Postprocessing-Methoden für Windböen. Unter der schwachen Hypothese zeigte das SMCS, dass einige Modelle anfangs unterlegen waren, aber nach Aktualisierungen des zugrunde liegenden Numerical Weather Prediction (NWP) Modells wieder wettbewerbsfähig wurden. Dieses dynamische Verhalten (Modelle kehren in das Konfidenzset zurück) wäre durch Fixed-Sample- oder Strong-Hypothesis-Ansätze nicht erfasst worden.

Bedeutung und Ansprüche
Das Paper behauptet, dass Sequenzielle Modell-Konfidenzsets eine statistisch rigorose Alternative zur traditionellen Modellselektion bieten, insbesondere in dynamischen Umgebungen.

• Jederzeit-Gültigkeit (Anytime-Validity): Die primäre Bedeutung liegt in der Fähigkeit, „jederzeit zu stoppen“, ohne die Typ-I-Fehlerrate zu erhöhen – ein entscheidendes Merkmal für die laufende Überwachung in Bereichen wie Epidemiologie und Meteorologie.
• Umgang mit Nicht-Stationarität: Durch die Unterscheidung zwischen starker, uniform schwacher und schwacher Überlegenheit erkennt die Methode an, dass sich Modelle entwickeln können. Sie ermöglicht die Detektion von Modellen, die im Durchschnitt oder temporär überlegen sind, anstatt eine Dominanz zu jedem beliebigen Zeitpunkt zu verlangen.
• Praktischer Nutzen: Die Autoren argumentieren, dass ihre Methoden eine theoretische Rechtfertigung für die gängige Praxis der regelmäßigen Modellbewertung in Notsituationen (wie der Pandemie) bieten, indem sie einen Weg aufzeigen, Beweise sequenziell zu sammeln und Entscheidungen basierend auf dem aktuellen Wissensstand zu treffen, während die Selektionsunsicherheit respektiert wird.

Die Autoren bleiben bescheiden und merken an, dass sie sich zwar auf beschränkte Verlustdifferenzen konzentriert haben, die Theorie jedoch nicht strikt auf diese beschränkt ist, wenngleich weitere Forschung für allgemeine Verlustfunktionen erforderlich ist. Sie räumen zudem ein, dass ihre Methoden zwar die Familienfehlerraten kontrollieren, zukünftige Arbeiten jedoch die Kontrolle der False Discovery Rate (FDR) für potenziell höhere Power untersuchen könnten.