📊 statistics

Model selection with proper scoring rules on data sets of time series

Questo articolo investiga come l'asimmetria della distribuzione dei punteggi causi esiti contrastanti nella selezione del modello tra le statistiche basate sulla media, sulla mediana e sul rango su dati di serie temporali, dimostrando che, sebbene tali criteri convergano con set di test ampi, la media dei punteggi è unicamente affidabile per identificare il modello reale su set di test brevi, come evidenziato dall'analisi di serie temporali intermittenti inclusa la competizione M5.

Autori originali: Giorgio Corani, Stefano Damato, Dario Azzimonti, Lorenzo Zambon

Pubblicato 2026-06-24

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Giorgio Corani, Stefano Damato, Dario Azzimonti, Lorenzo Zambon

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di essere un allenatore che cerca di scegliere il miglior giocatore per la sua squadra. Hai un enorme roster di giocatori (serie temporali) e vuoi vedere chi è il migliore in media. Per giudicarli, usi una "scheda di valutazione" (una regola di punteggio appropriata o proper scoring rule) che assegna un numero di penalità per ogni errore commesso. Più basso è il numero, migliore è il giocatore.

Questo articolo riguarda come leggere quella scheda di valutazione quando si hanno molti giocatori e molti giochi da analizzare. Gli autori hanno scoperto che il modo in cui solitamente si sommano i punteggi può a volte ingannarci, portandoci a scegliere il giocatore sbagliato, specialmente quando le partite sono brevi o gli errori sono rari ma enormi.

Ecco la scomposizione utilizzando analogie semplici:

1. Il Problema: Due modi per contare

Quando hai una squadra di giocatori, non puoi guardare solo una partita. Devi combinare i loro risultati. L'articolo dice che ci sono due modi principali in cui gli allenatori di solito lo fanno:

Metodo A: La "Penalità Media" (Mean Scaled Score). Prendi ogni singolo punto di penalità che un giocatore ha ricevuto, sommali tutti e dividi per il numero di partite. Questo ti dice il costo medio dei suoi errori.
Metodo B: Il "Record Vittorie-Sconfitte" (Mean Rank). Non guardare i punti. Invece, chiediti semplicemente: "In quante partite il Giocatore A ha battuto il Giocatore B?". Conti le vittorie. Se il Giocatore A ha vinto più partite, ottiene il primo posto.

2. La Trappola: Lo Sbilanciamento del "Grande Errore"

Gli autori hanno scoperto che per certi tipi di previsioni (come prevedere eventi rari o valori elevati), la "scheda di valutazione" è sbilanciata (skewed).

L'Analogia:
Immagina un gioco in cui di solito commetti piccoli errori (come inciampare nei lacci delle scarpe), ma occasionalmente, commetti un errore enorme e catastrofico (come cadere da un dirupo).

La "Penalità Media" (Metodo A) vede la caduta dal dirupo. Somma tutti i piccoli inciampi e la grande caduta, dando una penalità media alta. Sa che sei pericoloso.
Il "Record Vittorie-Sconfitte" (Metodo B) guarda le partite singolarmente. In 99 partite su 100, hai solo inciampato nei lacci delle scarpe, che è una penalità minima. Nell'altra 1 partita, sei caduto da un dirupo.
- Se stai giocando contro un rivale che non cade mai dal dirupo ma inciampa leggermente più spesso, il Metodo B potrebbe dire: "Ehi, hai vinto 99 partite! Sei il campione!".
- Ma il Metodo A dice: "Aspetta, quella singola caduta dal dirupo ti è costata l'intera stagione. La tua penalità media è in realtà peggiore".

L'articolo sostiene che il Metodo B (Mean Rank) è pericoloso perché ignora la dimensione degli errori. Gli interessa solo chi ha vinto più round individuali. Se le "cadute dal dirupo" (errori enormi) sono rare, il Metodo B spesso le ignora, specialmente se non hai guardato abbastanza partite (set di test brevi).

3. La Soluzione: Guarda più partite

Gli autori hanno eseguito delle simulazioni per vedere cosa succede all'aumentare delle partite che osservi (aumentando la dimensione del set di test).

Set di Test Brevi (Poche partite): Il Metodo B è inaffidabile. Spesso sceglie il giocatore "fortunato" che evita i grandi errori solo per caso, anche se la sua prestazione media è peggiore.
Set di Test Lunghi (Molte partite): Man mano che guardi più e più partite, le "cadute dal dirupo" finiscono per accadere abbastanza spesso che il Metodo B inizia a vedere la verità. I due metodi iniziano a concordare.

La Scoperta Chiave: Se hai una breve storia di dati (un set di test breve), il Metodo A (Penalità Media) è l'unico che sceglie costantemente il modello migliore. Il Metodo B è troppo facilmente ingannato dalla "fortuna" di evitare errori enormi e rari.

4. Il Test nel Mondo Reale: La Competizione M5

Gli autori hanno testato questo su dati reali della famosa "M5 Forecasting Competition", che consiste nel prevedere le vendite per migliaia di prodotti (alcuni dei quali sono "intermittenti", ovvero si vendono molto raramente).

Hanno confrontato due modelli matematici:

Il Modello di Poisson: Un modello più semplice.
Il Modello Binomiale Negativo: Un modello più complesso, noto per essere migliore nel gestire i "picchi" di domanda.

Cosa è successo?

Usando il Metodo B (Mean Rank) su dati brevi, ha spesso scelto il modello Poisson. Ha pensato che il modello più semplice fosse migliore perché "vinceva" più round individuali.
Usando il Metodo A (Penalità Media), ha costantemente scelto il modello Binomiale Negativo, identificando correttamente quello che gestisce meglio i grandi picchi.

Gli autori hanno concluso che il "Average Penalty" era quello giusto. Il "Record Vittorie-Soche" è stato ingannato perché i set di test erano troppo brevi per catturare gli errori massicci e rari che il modello più semplice non riusciva a prevedere.

5. Importa come misuriamo la penalità?

L'articolo ha anche controllato se cambiare il "righello" (fattore di scala) usato per misurare le penalità cambiasse i risultati.

Buone Notizie: Il metodo della "Penalità Media" è molto robusto. Che tu misuri la penalità in dollari, in percentuale o rispetto a un valore di base, quasi sempre sceglie lo stesso vincitore.
Cattive Notizie: Il metodo del "Record Vittorie-Sconfitte" è fragile. Può cambiare drasticamente a seconda di come misuri le cose e di quanti dati hai a disposizione.

Il Punto Fondamentale

Se stai cercando di scegliere il miglior modello di previsione:

Non limitarti a contare le vittorie. (Non affidarti esclusivamente al Mean Rank).
Guarda il costo medio degli errori. (Usa il Mean Scaled Score).
Fai attenzione ai dati brevi. Se non hai abbastanza storia, il metodo "Vittorie-Sconfitte" ti ingannerà probabilmente facendoti scegliere un modello che sembra buono sulla carta, ma che fallisce quando si verifica un evento raro e importante.

L'articolo dice essenzialmente: "Non lasciarti ingannare da un giocatore che è stato fortunato nell'evitare un grande disastro, facendoti credere che sia il miglior giocatore. Guarda la sua prestazione media totale."

Riepilogo Tecnico: Selezione del Modello con Regole di Punteggio Adeguate su Dataset di Serie Temporali

Definizione del Problema
Il documento affronta la sfida di selezionare il miglior modello probabilistico attraverso un dataset contenente molteplici serie temporali. Sebbene la selezione del modello su una singola serie temporale sia semplice (selezionare il modello con il punteggio più basso), l'aggregazione delle prestazioni su $n$ serie temporali richiede statistiche riassuntive. I due approcci più comuni sono la media del punteggio scalato (media dei punteggi dopo la scalatura per garantire la comparabilità) e la media dei ranghi (media del rango dei modelli attraverso le serie). La letteratura precedente ha evidenziato come questi due criteri possano portare a decisioni contrastanti, tuttavia la causa sottostante e l'affidabilità di ciascun criterio rimangono poco chiare. Inoltre, la sensibilità della media del punteggio scalato rispetto alla scelta del fattore di scalatura è una questione aperta.

Metodologia
Gli autori indagano questi problemi attraverso una combinazione di analisi teorica, simulazione e valutazione empirica su dati reali di serie temporali intermittenti.

Analisi Teorica della Asimmetria: Il documento analizza la distribuzione dei punteggi puntuali per comuni regole di punteggio corrette (Quantile Score, Interval Score, CRPS). Dimostra che queste distribuzioni sono intrinsecamente asimmetriche, particolarmente per quantili elevati ( $p > 0.5$ ). L'asimmetria deriva dal fatto che gli errori di sottostima (eventi rari per quantili elevati) vengono penalizzati molto più pesantemente rispetto agli errori di sovrastima.
Studio di Simulazione: È stata condotta una simulazione confrontando un modello vero ( $N(0, 1)$ ) contro un modello errato per specificazione ( $N(0, 0.85^2)$ ) attraverso diverse lunghezze di set di test ( $n_{te}$ ). Lo studio valuta come la media del punteggio (che stima il valore atteso) e la media dei ranghi (che stima la differenza mediana) si comportino all'aumentare di $n_{te}$ .
Valutazione Empirica: Gli autori hanno applicato questi criteri a tre dataset di domanda intermittente: il livello inferiore delle serie del concorso M5 (30.490 serie), Auto (3.000 serie) e RAF (5.000 serie). Hanno confrontato le distribuzioni Poisson e Binomiale Negativa (quest'ultima teoricamente superiore per la domanda intermittente a causa della sovradispersione) utilizzando varie regole di punteggio (CRPS, QS a diversi quantili) e fattori di scalatura (MAE naive, media in-sample, punteggio in-sample della distribuzione empirica).

Contributi Chiave e Risultati

Origine del Conflitto: Il documento stabilisce che le decisioni contrastanti tra media dei ranghi e media del punteggio scalato sono causate dall'asimmetria della distribuzione del punteggio.
- La media del punteggio scalato stima il valore atteso della regola di punteggio.
- La media dei ranghi (e statistiche correlate come il tasso di vittoria o il punteggio mediano) stima efficacemente la differenza mediana tra i modelli.
- Quando la distribuzione delle differenze di punteggio è asimmetrica (comune con piccoli $n_{te}$ o quantili elevati), la media e la mediana possono indicare modelli "migliori" differenti. Nello specifico, un modello errato per specificazione può ottenere frequentemente un punteggio più basso su set di test brevi evitando errori di sottostima rari e pesantemente penalizzati, portando la media dei ranghi a favorire erroneamente il modello errato per specificazione.
Convergenza con la Dimensione del Set di Test: All'aumentare della lunghezza del set di test ( $n_{te}$ ), la distribuzione dei punteggi diventa più simmetrica (grazie al Teorema del Limite Centrale) e la media dei ranghi e la media del punteggio scalato convergono progressivamente verso la stessa conclusione. Tuttavia, per set di test brevi, solo la media del punteggio identifica correttamente il modello vero.
Robustezza della Media del Punteggio Scalato: I risultati empirici sui dataset M5, Auto e RAF mostrano che la decisione basata sulla media del punteggio scalato è robusta. Essa seleziona costantemente il modello Binomiale Negativo, teoricamente superiore, attraverso tutti i set di test e tutti i fattori di scalatura testati.
Sensibilità del Fattore di Scalatura: Contrariamente al rischio percepito che la selezione del modello dipenda fortemente dal fattore di scalatura, lo studio trova che la scelta del fattore di scalatura (ad esempio, MAE naive rispetto alla media in-sample) ha un impatto minore sulla decisione finale di selezione del modello quando si utilizza la media del punteggio scalato. La decisione rimane stabile attraverso diversi metodi di scalatura.
Affidabilità della Media dei Ranghi: La media dei ranghi si dimostra un criterio inaffidabile per set di test brevi, particolarmente quando si valutano quantili elevati. Negli esperimenti sul dataset M5, la media dei ranghi ha favorito il modello Poisson inferiore per i quantili elevati (QS0.975, QS0.995) anche con un numero sostanziale di serie, mentre la media del punteggio scalato ha identificato correttamente il Binomiale Negativo.

Significatività e Raccomandazioni
Il documento conclude che la selezione del modello basata su regole di punteggio corrette richiede fondamentalmente la stima del valore atteso del punteggio. Poiché le statistiche non basate sulla media (media dei ranghi, mediana, tasso di vittoria) non stimano il valore atteso, esse possono portare a una selezione errata del modello quando le distribuzioni dei punteggi sono asimmetriche, una condizione prevalente nelle serie temporali con set di test brevi o previsioni di quantili elevati.

Gli autori raccomandano di:

Privilegiare la media del punteggio scalato rispetto alla media dei ranghi per la selezione del modello, poiché è un estimatore diretto del punteggio atteso.
Esercitare cautela nel fare affidamento sui ranghi medi, specialmente per livelli di quantili elevati o piccoli $n_{te}$ .
Validare le conclusioni controllando i risultati attraverso molteplici fattori di scalatura, sebbene lo studio suggerisca che la scelta specifica del fattore sia meno critica di quanto precedentemente assunto.
Riconoscere che determinare la soglia esatta per un $n_{te}$ "sufficientemente grande" per garantire la convergenza rimane difficile e dipende dalla specifica regola di punteggio e dalla distribuzione dei dati.

Il documento non propone nuove regole di punteggio o applicazioni future specifiche, ma fornisce una giustificazione critica, sia teorica che empirica, per preferire l'aggregazione basata sulla media rispetto all'aggregazione basata sul rango nella selezione di modelli probabilistici per serie temporali.