Sequential model confidence sets

Sintesi Tecnica: Insiemi di Confidenza per Modelli Sequenziali

Enunciato del Problema
Nella predizione e stima statistica, i professionisti affrontano spesso la sfida di selezionare il miglior modello o i migliori modelli da un insieme di candidati ($M_0 = \{1, \dots, m\}$) basandosi su una funzione di perdita specificata dall'utente. L'approccio standard, i Model Confidence Sets (MCS) proposti da Hansen et al. (2011), riduce l'insieme dei candidati a un sottoinsieme contenente i migliori modelli con un dato livello di confidenza. Tuttavia, il classico MCS si basa su due ipotesi restrittive che contrastano con gli scenari di previsione del mondo reale:

1. Dimensione del Campione Fissa: Assume un periodo di valutazione pre-specificato e fisso, mentre la selezione dei modelli e la valutazione delle previsioni sono compiti intrinsecamente sequenziali, in cui i dati arrivano nel tempo e le decisioni su come continuare o interrompere uno studio dipendono dai risultati intermedi.
2. Stazionarietà: Assume che le sequenze di differenze di perdita osservate siano stazionarie, un'ipotesi spesso violata poiché i modelli evolvono, correggono gli errori o si adattano a bias sistematici nel tempo.

Inoltre, il classico MCS si basa su approssimazioni bootstrap e proprietà asintotiche del Teorema del Limite Centrale (CLT), offrendo solo garanzie di copertura asintotica e comportando elevati costi computazionali. Esiste la necessità di metodi che permettano il monitoraggio continuo delle prestazioni dei modelli con garanzie di copertura non asintotiche e uniformi nel tempo.

Metodologia
Gli autori propongono i Sequential Model Confidence Sets (SMCS), che generalizzano il framework MCS a un contesto sequenziale utilizzando e-processi e sequenze di confidenza. La metodologia si basa sull' "inferenza sicura in qualsiasi momento" (safe anytime-valid inference), garantendo la validità indipendentemente da quando l'analisi viene interrotta.

Il nucleo dell'approccio prevede tre diverse definizioni di modelli "superiori", corrispondenti a diverse ipotesi sulle prestazioni dei modelli:

1. Fortemente Superiori ($M_{s,\star}$): Modelli che superano tutti gli altri in ogni punto temporale in termini di differenze di perdita attesa condizionata ($\mu_{ij,t} \le 0$).
2. Uniformemente Debolmente Superiori ($M_{uw,\star}$): Modelli che superano tutti gli altri in media attraverso tutti i punti temporali ($\Delta_{ij,t} \le 0$ per ogni $t$).
3. Debolmente Superiori ($M_{w,\star,t}$): Modelli che superano tutti gli altri in un tempo specifico $t$ basandosi sulla perdita media fino a quel momento.

Costruzione di SMCS:

• Per le ipotesi di Superiorità Forte e Uniformemente Debole: Gli autori utilizzano e-processi (specificamente quelli di Howard et al., 2020, e Choe e Ramdas, 2023) sotto l'ipotesi di differenze di perdita condizionatamente limitate o uniformemente limitate. Utilizzano il principio di chiusura con una funzione di fusione e-merging basata sulla media aritmetica per controllare il tasso di errore per famiglia (family-wise error rate) attraverso molteplici confronti a coppie. Un modello viene escluso dall'SMCS se l'e-processo corrispondente supera una soglia ($1/\alpha$).
• Per le Ipotesi Deboli: La costruzione si basa su sequenze di confidenza uniformi nel tempo. Gli autori definiscono una regione di confidenza per il vettore delle differenze di perdita media. Un modello viene escluso se la regione di confidenza non interseca l'emisfero dove il modello è superiore.
• Gestione di Perdite Non Limitate: Per funzioni di perdita che non sono uniformemente limitate (ad esempio, CRPS con supporto illimitato), gli autori propongono una trasformazione in differenze condizionatamente limitate, che vengono poi scalate per essere uniformemente limitate, permettendo l'applicazione degli e-processi derivati.

Contributi Chiave

1. Estensione Sequenziale: Il documento estende il concetto di MCS a un framework sequenziale, permettendo il monitoraggio continuo delle prestazioni dei modelli senza richiedere una dimensione del campione fissa.
2. Garanzie Uniformi nel Tempo: Gli SMCS proposti forniscono garanzie di copertura non asintotiche e uniformi nel tempo. Ciò significa che la probabilità che i veri modelli superiori siano contenuti nell'insieme è almeno $1-\alpha$ per tutti i punti temporali simultaneamente, una garanzia più forte della copertura asintotica puntuale.
3. Assunzioni Minime: I metodi si basano su assunzioni distributive minime (differenze di perdita sub-gaussiane o sub-esponenziali) e non richiedono approssimazioni bootstrap computazionalmente costose.
4. Flessibilità nelle Definizioni di Superiorità: Il framework accoglie tre diverse nozioni di superiorità dei modelli, consentendo ai ricercatori di scegliere l'ipotesi (forte, uniformemente debole o debole) che meglio si adatta al contesto applicativo (insiemi di informazioni annidati rispetto a prestazioni dei modelli in evoluzione).

Risultati
Il documento valida la metodologia attraverso studi di simulazione e due casi di studio reali:

• Simulazioni:
  • Simulazione 1 (Ipotesi Forte): Con 49 previsori, l'SMCS ha raggiunto un tasso di copertura del 100% per il vero miglior modello, dimostrando prestazioni conservative ma valide. La dimensione media dell'SMCS è diminuita nel tempo.
  • Simulazione 2 (Ipotesi Uniformemente Debole): In uno scenario in cui il miglior modello era superiore solo in media (non in ogni singolo punto temporale), l'SMCS ha identificato correttamente il modello uniformemente debolmente superiore, mentre l'ipotesi forte avrebbe prodotto un insieme vuoto.
  • Simulazione 3 (Ipotesi Debole): In un contesto in cui il miglior modello cambiava nel tempo (peggioramento $\to$ bias $\to$ miglioramento), l'SMCS per l'ipotesi debole ha tracciato con successo il cambiamento del modello superiore, includendo ed escludendo modelli al variare della loro performance relativa.
• Caso di Studio 1 (Previsioni Covid-19): Applicato a 69 modelli del Covid-19 Forecast Hub. L'SMCS (sotto l'ipotesi forte) ha identificato i modelli di ensemble come costantemente superiori e ha rifiutato modelli epidemiologici specifici (ad esempio, PSI-draft) relativamente presto. Ciò ha dimostrato l'utilità del monitoraggio sequenziale per il processo decisionale politico, permettendo il rifiuto precoce di modelli sottoperformanti senza attendere una dimensione del campione fissa.
• Caso di Studio 2 (Previsioni di Raffiche di Vento): Applicato a 9 metodi di post-elaborazione per le raffiche di vento. Sotto l'ipotesi debole, l'SMCS ha rivelato che, sebbene alcuni modelli fossero inizialmente inferiori, sono tornati competitivi dopo gli aggiornamenti al modello sottostante di Previsione Meteorologica Numerica (NWP). Questo comportamento dinamico (modelli che rientrano nell'insieme di confidenza) sarebbe stato perso dagli approcci a campione fisso o dall'ipotesi forte.

Significatività e Rivendicazioni
Il documento sostiene che i Sequential Model Confidence Sets offrono un'alternativa statisticamente rigorosa alla selezione tradizionale dei modelli, particolarmente in ambienti dinamici.

• Validità in Qualsiasi Momento (Anytime-Validity): La significatività primaria è la capacità di "fermarsi quando si desidera" senza gonfiare i tassi di errore di Tipo I, una caratteristica cruciale per il monitoraggio continuo in campi come l'epidemiologia e la meteorologia.
• Gestione della Non-Stazionarietà: Distinguendo tra superiorità forte, uniformemente debole e debole, il metodo riconosce che i modelli possono evolvere. Permette di rilevare modelli che sono superiori in media o temporaneamente, piuttosto che richiedere la dominanza in ogni singolo istante.
• Utilità Pratica: Gli autori sostengono che i loro metodi forniscono una giustificazione teorica alla pratica comune della valutazione regolare dei modelli in situazioni di emergenza (come la pandemia), offrendo un modo per raccogliere evidenze sequenzialmente e prendere decisioni basate sullo stato attuale della conoscenza pur rispettando l'incertezza della selezione.

Gli autori rimangono modesti, notando che, sebbene si siano concentrati sulle differenze di perdita limitate, la teoria non è strettamente limitata ad esse, sebbene siano necessarie ulteriori ricerche per funzioni di perdita generali. Riconoscono inoltre che, mentre i loro metodi controllano i tassi di errore per famiglia, il lavoro futuro potrebbe esplorare il controllo del tasso di falsa scoperta (FDR) per una potenziale maggiore potenza statistica.