Measures of predictive accuracy, miscalibration and discrimination

Riepilogo Tecnico: Misure di Accuratezza Predittiva, Mancata Calibrazione e Discriminazione

Enunciato del Problema
Il lavoro affronta la valutazione di predittori puntuali a valori reali per la media di una variabile di risposta $Y$. Nel quadro decisionale-teorico stabilito da Gneiting (2011), la valutazione delle previsioni puntuali si basa su funzioni di perdita coerenti, in particolare le divergenze di Bregman, dove la previsione ottimale è la media condizionata. Sebbene il criterio principale per la valutazione sia la perdita attesa (accuratezza), le buone previsioni devono anche esibire calibrazione della media (il predittore è uguale alla media condizionata) e alta discriminazione (il predittore varia significativamente rispetto alla media incondizionata).

Gli autori identificano un vuoto nella letteratura riguardante metriche pratiche ampiamente utilizzate: l'Area tra le Curve di Concentrazione e di Lorenz (ABC) per la mancata calibrazione, l'indice di Gini per la discriminazione e le loro varianti al quadrato. Sebbene queste metriche siano popolari nella scienza attuariale e nell'apprendimento automatico, il loro allineamento teorico con il requisito decisionale-teorico delle regole di punteggio coerenti non è chiaro. Nello specifico, è sconosciuto se queste metriche forniscano valutazioni "oneste" che non dipendano dal predittore specifico che viene valutato.

Metodologia
Lo studio opera in un contesto decisionale-teorico in cui $(Y, X)$ è una coppia casuale, $X$ è un predittore $\mathcal{A}$-misurabile e $L$ è una funzione di perdita coerente per la media. Gli autori utilizzano:

1. Divergenze di Bregman: Caratterizzate da funzioni convesse $\phi$ o come integrali di divergenze elementari di Bregman $L_\theta$ rispetto a una misura $H$.
2. Decomposizione di Murphy: Una scomposizione della perdita attesa in componenti di Incertezza, Discriminazione e Mancata Calibrazione.
3. Curve di Lorenz e di Concentrazione: Strumenti standard per misurare la disuguaglianza e la calibrazione nei contesti attuariali.
4. Dominanza Stocastica: Utilizzo della dominanza stocastica di terzo grado e delle proprietà delle curve di Murphy per analizzare la dominanza delle previsioni quando le curve si intersecano.

Principali Contributi e Risultati

1. Una Nuova Versione della Decomposizione di Murphy
Gli autori derivano una rappresentazione innovativa della decomposizione di Murphy in cui i termini di mancata calibrazione e discriminazione dipendono solo dal predittore e dalla sua speranza condizionata, non direttamente dalla risposta $Y$.

• Mancata Calibrazione ($MCB$): Definita come $S_L(E[Y|X], X)$, misura la discrepanza tra il predittore e la sua versione calibrata.
• Discriminazione ($DSC$): Definita come $S_L(E[Y|X], E[Y])$, misura la discrepanza tra il predittore calibrato e la media incondizionata.
• Significato: Questa formulazione fornisce un'interpretazione geometrica più intuitiva e robustezza rispetto alle proprietà della coda della risposta, poiché la risposta $Y$ non appare esplicitamente nelle statistiche una volta stabilita la media condizionata.

2. Critica di ABC e ABC2 (Misure di Mancata Calibrazione)
Il lavoro investiga la statistica ABC (area tra le curve di Lorenz e di concentrazione) e introduce una nuova versione al quadrato della media, ABC2.

• Limiti di ABC: Gli autori dimostrano che $ABC=0$ è una condizione necessaria ma non sufficiente per la calibrazione della media. Un predittore può avere $ABC=0$ pur essendo mal calibrato (ad esempio, quando le curve di Lorenz e di concentrazione si intersecano).
• Proprietà di ABC2: È dimostrato che $ABC2=0$ è una condizione necessaria e sufficiente per la calibrazione della media.
• Disallineamento Teorico: Crucialmente, sia ABC che ABC2 si rivelano basati su pesi dipendenti dal predittore. Non possono essere rappresentati come la perdita attesa di una singola divergenza di Bregman fissa. Di conseguenza, non si allineano al quadro decisionale-teorico delle regole di punteggio coerenti. Il lavoro dimostra che la minimizzazione di divergenze di Bregman pesate con pesi dipendenti dal predittore può portare a previsioni "disoneste", in cui un predittore distorto è preferito a uno non distorto.

3. Critica dell'Indice di Gini (Misura di Discriminazione)
Gli autori mettono in relazione l'indice di Gini con il termine di discriminazione dalla decomposizione di Murphy.

• Decomposizione: Si dimostra che l'indice di Gini è una somma del termine di discriminazione di Murphy (basato su una divergenza di Bregman specifica per il predittore) e di un termine di deviazione assoluta media.
• Disallineamento Teorico: Similmente ad ABC, l'indice di Gini implica una funzione di perdita che dipende dalla distribuzione del predittore stesso ($H(\theta) = F_X(\theta)$). Come notato da Hand (2009) per la classificazione, ciò significa che l'indice di Gini valuta diversi classificatori utilizzando metriche diverse, violando il principio delle regole di punteggio coerenti.
• Discrepanze di Classifica: Il lavoro fornisce esempi in cui la classifica dei predittori secondo l'indice di Gini differisce dalla classifica secondo il termine di discriminazione di Murphy, in particolare quando le curve di Lorenz si intersecano.

4. Dominanza delle Previsioni con Curve Intersecanti
Riconoscendo che le curve di Lorenz non intersecanti (dominanza stretta) sono rare nella pratica, gli autori estendono la teoria ai casi in cui le curve si incrociano.

• Equivalenza degli Incroci: È dimostrato che per predittori calibrati alla media, il numero di punti di intersezione tra le curve di Lorenz è identico al numero di punti di intersezione tra le curve di Murphy.
• Dominanza a Singolo Incrocio: Nel caso di un singolo incrocio, gli autori stabiliscono criteri di dominanza più deboli per sottoclassi di divergenze di Bregman utilizzando la dominanza stocastica di terzo grado.
• Ruolo della Varianza: A differenza dell'indice di Gini, che non fornisce una classifica coerente nel caso di singolo incrocio, la classifica è determinata dalla varianza dei predittori e dalla specifica classe di divergenze di Bregman (caratterizzata dalle proprietà di convessità della funzione generatrice $\phi$). Nello specifico, per certe classi di funzioni di perdita (ad esempio, le devianze di Tweedie con parametri specifici), un predittore con varianza più alta può dominarne uno con varianza più bassa, o viceversa, a seconda della curvatura della funzione di perdita.

Significato e Affermazioni
Il lavoro sostiene che, sebbene metriche come ABC, ABC2 e l'indice di Gini siano informative e popolari nella pratica, sono teoricamente difettose per la selezione e la valutazione dei modelli nel quadro decisionale-teorico di Gneiting (2011).

• Valutazione Disonesta: Poiché queste metriche si basano su pesi dipendenti dal predittore, non costituiscono regole di punteggio coerenti. Possono portare alla selezione di predittori subottimali o "disonesti".
• Raccomandazione: Gli autori raccomandano l'uso di statistiche di mancata calibrazione e discriminazione derivate dalla decomposizione di Murphy (basate su divergenze di Bregman fisse) come strumenti preferiti per la valutazione delle previsioni puntuali. Queste misure si allineano al requisito decisionale-teorico secondo cui la funzione di perdita deve essere indipendente dal predittore specifico che viene valutato.
• Implicazione Pratica: Quando le curve di Lorenz si intersecano, l'indice di Gini è insufficiente per classificare la discriminazione; invece, è necessario considerare la specifica classe di divergenze di Bregman rilevante per l'applicazione e le proprietà di varianza dei predittori.

Il lavoro conclude che la nuova rappresentazione della decomposizione di Murphy offre una base robusta, interpretabile e teoricamente solida per la valutazione delle previsioni, superiore alle metriche tradizionali basate su curve nel contesto delle regole di punteggio coerenti.