Sequential model confidence sets

Technische Samenvatting: Sequentiële Modelvertrouwenssets

Probleemstelling
In statistische voorspelling en schatting worden beoefenaars vaak geconfronteerd met de uitdaging om het beste model(len) te selecteren uit een verzameling kandidaten ($M_0 = \{1, \dots, m\}$) op basis van een door de gebruiker gespecificeerde verliesfunctie. De standaardmethode, Model Confidence Sets (MCS), voorgesteld door Hansen et al. (2011), reduceert de kandidaatverzameling tot een deelverzameling die de beste modellen bevat met een gegeven betrouwbaarheidsniveau. De klassieke MCS leunt echter op twee restrictieve aannames die conflicteren met realistische forecasting-scenario's:

1. Vaste steekproefomvang: Het gaat uit van een vooraf gespecificeerde, vaste evaluatieperiode, terwijl modelselectie en forecast-evaluatie inherent sequentiële taken zijn waarbij data over de tijd binnenkomen en beslissingen om een studie voort te zetten of te stoppen afhangen van tussenliggende resultaten.
2. Stationariteit: Het gaat ervan uit dat de sequenties van geobserveerde verliesverschillen stationair zijn, een aanname die vaak wordt geschonden omdat modellen evolueren, fouten corrigeren of zich aanpassen aan systematische biases over de tijd.

Bovendien vertrouwt klassieke MCS op bootstrap-benaderingen en asymptotische Centrale Limietstelling (CLT)-eigenschappen, wat slechts asymptotische dekking garandeert en hoge computationele kosten met zich meebrengt. Er is behoefte aan methoden die continue monitoring van modelprestaties mogelijk maken met tijd-uniforme, niet-asymptotische dekkinggaranties.

Methodologie
De auteurs stellen Sequential Model Confidence Sets (SMCS) voor, die het MCS-framework generaliseren naar een sequentieel kader met behulp van e-processen en vertrouwenssequenties. De methodologie is gebaseerd op "veilige anytime-valid inferentie", wat zorgt voor validiteit ongeacht wanneer de analyse wordt gestopt.

De kern van de aanpak omvat drie verschillende definities van "superieure" modellen, overeenkomend met verschillende hypothesen over de modelprestaties:

1. Sterk Superieur ($M_{s,\star}$): Modellen die alle anderen op elk tijdstip overtreffen in termen van conditionele verwachte verliesverschillen ($\mu_{ij,t} \le 0$).
2. Uniform Zwak Superieur ($M_{uw,\star}$): Modellen die alle anderen overtreffen gemiddeld over alle tijdstippen ($\Delta_{ij,t} \le 0$ voor alle $t$).
3. Zwak Superieur ($M_{w,\star,t}$): Modellen die alle anderen op een specifief tijdstip $t$ overtreffen op basis van het gemiddelde verlies tot dat moment.

Constructie van SMCS:

• Voor Sterke en Uniform Zwakke Hypothesen: De auteurs maken gebruik van e-processen (specifiek die van Howard et al., 2020, en Choe en Ramdas, 2023) onder de aanname van conditioneel begrensde of uniform begrensde verliesverschillen. Ze passen het sluitingsprincipe toe met een rekenkundig gemiddelde als e-merging functie om de family-wise error rate te controleren over meerdere paarwijze vergelijkingen. Een model wordt uit de SMCS uitgesloten als het bijbehorende e-proces een drempelwaarde ($1/\alpha$) overschrijdt.
• Voor Zwakke Hypothesen: De constructie rust op tijd-uniforme vertrouwenssequenties. De auteurs definiëren een vertrouwensregio voor de vector van gemiddelde verliesverschillen. Een model wordt uitgesloten als de vertrouwensregio het halfvlak niet snijdt waar het model superieur is.
• Omgaan met Onbegrensde Verliezen: Voor verliesfuncties die niet uniform begrensd zijn (bijv. CRPS met onbegrensde ondersteuning), stellen de auteurs een transformatie voor naar conditioneel begrensde verschillen, die vervolgens worden geschaald naar uniform begrensde verschillen, waardoor de afgeleide e-processen kunnen worden toegepast.

Belangrijkste Bijdragen

1. Sequentiële Uitbreiding: Het artikel breidt het MCS-concept uit naar een sequentieel framework, waardoor continue monitoring van modelprestaties mogelijk is zonder dat een vaste steekproefomvang vereist is.
2. Tijd-Uniforme Garanties: De voorgestelde SMCS'en bieden tijd-uniforme, niet-asymptotische dekkinggaranties. Dit betekent dat de kans dat de ware superieure modellen in de set zijn opgenomen, voor alle tijdstippen simultaan ten minste $1-\alpha$ is, een sterkere garantie dan puntgewijze asymptotische dekking.
3. Minimale Aannames: De methoden steunen op minimale distributionele aannames (sub-Gaussiaanse of sub-exponentiële verliesverschillen) en vereisen geen computationeel dure bootstrap-benaderingen.
4. Flexibiliteit in Definities van Superioriteit: Het framework faciliteert drie verschillende opvattingen van modelsuperioriteit, waardoor onderzoekers de hypothese kunnen kiezen (sterk, uniform zwak of zwak) die het beste past bij hun specifieke toepassing (bijv. geneste informatiesets versus evoluerende modelprestaties).

Resultaten
Het artikel valideert de methodologie via simulatiestudies en twee casestudies uit de praktijk:

• Simulaties:
  • Simulatie 1 (Sterke Hypothese): Met 49 voorspellers bereikte de SMCS een dekking van 100% voor het ware beste model, wat een conservatieve maar valide prestatie demonstreert. De gemiddelde grootte van de SMCS nam in de loop van de tijd af.
  • Simulatie 2 (Uniform Zwakke Hypothese): In een scenario waarin het beste model alleen gemiddeld superieur was (niet op elk enkel tijdstip), identificeerde de SMCS correct het uniform zwak superieure model, terwijl de sterke hypothese een lege set zou hebben opgeleverd.
  • Simulatie 3 (Zwakke Hypothese): In een setting waarin het beste model in de loop van de tijd veranderde (verslechterend $\to$ biased $\to$ verbeterend), volgde de SMCS voor de zwakke hypothese het veranderende superieure model succesvol, inclusief en exclusief modellen naarmate hun relatieve prestaties verschoven.
• Casestudie 1 (Covid-19 Voorspellingen): Toegepast op 69 modellen van de Covid-19 Forecast Hub. De SMCS (onder de sterke hypothese) identificeerde ensemble-modellen als consistent superieur en verwierp specifieke epidemiologische modellen (bijv. PSI-draft) relatief vroeg. Dit demonstreerde het nut van sequentiële monitoring voor beleidsvorming, waarbij de mogelijkheid wordt geboden om onderpresterende modellen vroegtijdig te verwerpen zonder te wachten op een vaste steekproefomvang.
• Casestudie 2 (Windvlaag Voorspellingen): Toegepast op 9 postprocessing-methoden voor windvlagen. Onder de zwakke hypothese toonde de SMCS aan dat hoewel sommige modellen aanvankelijk inferieur waren, ze weer competitief werden na updates aan het onderliggende Numerieke Weerverwachtingsmodel (NWP). Dit dynamische gedrag (modellen die opnieuw de vertrouwensset binnenkomen) zou gemist zijn door fixed-sample of sterke-hypothese benaderingen.

Betekenis en Claims
Het artikel beweert dat Sequential Model Confidence Sets een statistisch rigoureus alternatief bieden voor traditionele modelselectie, met name in dynamische omgevingen.

• Anytime-Validiteit: De primaire betekenis is de mogelijkheid om "wanneer men wil te stoppen" zonder de Type I-foutratio te vergroten, een cruciaal kenmerk voor voortdurende monitoring in velden zoals epidemiologie en meteorologie.
• Omgaan met Niet-Stationariteit: Door onderscheid te maken tussen sterke, uniform zwakke en zwakke superioriteit, erkent de methode dat modellen kunnen evolueren. Het staat de detectie toe van modellen die gemiddeld of tijdelijk superieur zijn, in plaats van te vereisen dat ze op elk enkel moment domineren.
• Praktisch Nut: De auteurs stellen dat hun methoden een theoretische rechtvaardiging bieden voor de gangbare praktijk van regelmatige modelbeoordeling in noodsituaties (zoals de pandemie), waarbij een manier wordt geboden om sequentieel bewijs te verzamelen en beslissingen te nemen op basis van de huidige staat van kennis, terwijl de onzekerheid van de selectie wordt gerespecteerd.

De auteurs blijven bescheiden en merken op dat, hoewel zij zich concentreerden op begrensde verliesverschillen, de theorie niet strikt beperkt is tot deze, hoewel verdere research nodig is voor algemene verliesfuncties. Ze erkennen ook dat hoewel hun methoden de family-wise error rates controleren, toekomstig werk de False Discovery Rate (FDR) controle kan verkennen voor potentieel hogere power.