Sintesi Tecnica: Visualizzare la Distribuzione delle Metriche della Matrice di Confusione

Definizione del Problema

La cultura prevalente nella modellazione algoritmica spesso privilegia l'ottimizzazione delle prestazioni predittive su specifici dataset e benchmark. Questa attenzione ha portato a una proliferazione di letteratura che dibatte i meriti relativi di varie metriche di prestazione (ad esempio, il Coefficiente di Correlazione di Matthews rispetto all'F1-score o all'Accuratezza) per determinare quale metrica sia la "migliore". Tuttavia, questo articolo sostiene che tali dibattiti spesso trascurano una fonte fondamentale di incertezza: la natura discreta delle matrici di confusione empiriche derivate da dataset finiti.

Quando i classificatori vengono valutati su dati di test limitati, le metriche di prestazione risultanti sono stime soggette a una significativa incertezza statistica. Questa incertezza è spesso eclissata dalle piccole differenze nelle prestazioni empiriche tra modelli concorrenti. Inoltre, le visualizzazioni standard (come le curve ROC) trattano spesso i tassi come variabili continue, oscurando il fatto che le matrici di confusione empiriche sono conteggi discreti. L'articolo postula che, senza tenere conto dell'incertezza inerente a questi conteggi discreti, le affermazioni riguardanti la superiorità di un classificatore o l'ottimalità di specifiche metriche siano spesso premature e potenzialmente fuorvianti.

Metodologia

Gli autori impiegano un approccio geometrico e probabilistico per visualizzare e quantificare l'incertezza nelle metriche di prestazione.

1. Rappresentazione Geometrica (Il Simplesso di Confusione):

   • L'articolo propone di rappresentare le matrici di confusione binarie (con elementi $a, b, c, d$ la cui somma è un totale fisso $N$) come punti in un reticolo isometrico tridimensionale, denominato "simplesso di confusione".
   • A differenza delle proiezioni precedenti (ad esempio, il tetraedro di Chicco et al.) che normalizzano i conteggi per $N$ perdendo informazioni sulla dimensione del campione, questa proiezione preserva i conteggi interi, mappando ogni matrice di confusione univoca in un punto unico in $\mathbb{Q}^3$.
   • Tagliando questo simplesso 3D a numeri fissi di esempi positivi ($p$) e negativi ($n$), gli autori derivano reticoli rettangolari 2D che corrispondono allo spazio delle possibili curve ROC per una data dimensione del dataset.

2. Derivazione Algebrica dei Contorni:

   • Gli autori derivano espressioni algebriche esatte per i contorni (isolinee) di varie metriche di prestazione (sia dipendenti dalla prevalenza che indipendenti dalla prevalenza) all'interno e oltre lo spazio ROC standard.
   • Queste espressioni permettono di visualizzare la geometria delle metriche (ad esempio, i contorni dell'MCC come ellissi concentriche, i contorni dell'F1 come linee rette) in funzione del Tasso di Veri Positivi (TPR) e del Tasso di Veri Negativi (TNR).

3. Modellazione Probabilistica dell'Incertezza:

   • Per modellare l'incertezza delle previsioni future date una matrice di confusione osservata, l'articolo utilizza l'inferenza bayesiana.
   • Modello Binomiale: Assume che i veri tassi positivi/negativi siano fissi ai loro valori empirici.
   • Modello Beta-Binomiale: Incorpora l'incertezza a priori (utilizzando prior uniformi non informativi, $Beta(1,1)$) per generare distribuzioni predittive posteriori. Questo approccio è più conservativo e riflette l'incertezza inerente ai piccoli campioni.
   • Gli autori calcolano le esatte funzioni di massa di probabilità (pmf) discrete delle distribuzioni predittive posteriori per le matrici di confusione e, mappandole attraverso i contorni delle metriche, derivano le pmf per le metriche di prestazione (ad esempio, MCC, Accuratezza Bilanciata, F1).

4. Visualizzazione Interattiva:

   • La metodologia è implementata tramite visualizzazioni interattive utilizzando Desmos e R. Questi strumenti consentono agli utenti di esplorare come la distribuzione dei valori delle metriche cambi con la dimensione del campione, lo sbilanciamento delle classi e la scelta del modello di incertezza.

Contributi Chiave

• Riformulazione del Dibattito sulle Metriche: L'articolo sposta il focus dall'argomentare quale metrica sia la "migliore" al comprendere come l'incertezza nelle stime delle metriche derivi dalla natura discreta delle matrici di confusione e dai dati limitati.
• Proiezione del Simplesso di Confusione: Introduzione di una proiezione isometrica 3D che preserva l'informazione sulla dimensione del campione, distinguendosi dalle proiezioni basate solo su valori relativi.
• Derivazione Esatta dei Contorni: Fornitura di espressioni algebriche per i contorni di numerose metriche di prestazione, rivelando il loro comportamento geometrico (ad esempio, come l'eccentricità dei contorni dell'MCC dipenda dalla prevalenza).
• Distribuzioni Discrete delle Metriche: L'articolo evidenzia che le metriche di prestazione, sebbene spesso trattate come continue, assumono valori discreti in contesti empirici. L'articolo visualizza i conseguenti "salti" e le distribuzioni multimodali nei valori delle metriche causati dall'allineamento dei punti discreti della ROC con i contorni delle metriche.
• Quantificazione dell'Incertezza: Calcolo delle esatte pmf predittive posteriori per le metriche di prestazione sotto modelli beta-binomiali, mostrando che l'incertezza può essere sostanziale anche quando le stime puntuali appaiono distinte.

Risultati e Osservazioni

• Incertezza vs. Gap di Prestazione: Le visualizzazioni dimostrano che per dataset piccoli o sbilanciati, la distribuzione dei possibili valori delle metriche (l'incertezza) spesso si sovrappone significativamente tra diversi classificatori. Di conseguenza, la differenza nelle prestazioni empiriche tra due modelli può essere statisticamente indistinguibile.
• Impatto della Dimensione del Campione: All'aumentare del numero totale di esempi ($N$), le distribuzioni predittive posteriori delle metriche si restringono (la deviazione standard scala con $1/\sqrt{N}$), riducendo l'incertezza. Tuttavia, per le classi rare, l'incertezza rimane elevata a meno che il numero assoluto di esempi per quella classe non sia sufficiente.
• Geometria delle Metriche:
  • MCC: I contorni formano ellissi concentriche la cui forma dipende dalla prevalenza.
  • F1 e Threat Score: I contorni sono linee rette che intersecano l'esterno dello spazio ROC, con pendenze dipendenti dalla prevalenza.
  • Accuratezza: I contorni sono linee parallele.
• Effetti della Discrezione: L'articolo sottolinea che l'aggiunta di un singolo esempio a un dataset può cambiare la molteplicità di punti che giacciono su un determinato contorno di metrica, portando a cambiamenti non fluidi nelle distribuzioni dei valori delle metriche (ad esempio, la distribuzione di MCC e Accuratezza Bilanciata diventa più fluida con un esempio negativo aggiuntivo, mentre l'F1 rimane meno influenzato a causa della sua specifica relazione lineare con $p$ e $n$).
• Sbilanciamento delle Classi: L'articolo chiarisce che, sebbene esistano metriche "bilanciate", queste non riducono intrinsecamente l'incertezza. L'incertezza è guidata dall'abbondanza assoluta di esempi, non solo dal rapporto di bilanciamento.

Significato e Rivendicazioni

L'articolo sostiene che il suo significato primario risieda nel sollevare la consapevolezza della sostanziale incertezza inerente alle stime delle metriche di prestazione derivate da dataset empirici.

• Temperare le Affermazioni: Gli autori sostengono che le affermazi sulle prestazioni (ad esempio, "Il Modello A è migliore del Modello B" o "La Metrica X è la migliore") debbano essere temperate da una comprensione dell'incertezza nei sottostanti processi di confusione.
• I Dati sopra le Metriche: L'articolo afferma che la soluzione all'alta incertezza non è la selezione di una metrica "migliore", ma la raccolta di dati più rappresentativi. Nessuna metrica può ridurre l'incertezza causata da campioni finiti.
• Utilità Pratica: Fornendo strumenti interattivi e visualizzazioni, gli autori mirano ad aiutare i professionisti a mettere in prospettiva le statistiche di prestazione empirica, incoraggiando un focus sulla riduzione dell'incertezza prima di impegnarsi in dibattiti sulla superiorità delle metriche o sulla classificazione dei modelli.
• Modestia: L'articolo dichiara esplicitamente di non affrontare la trasparenza del modello, l'equità o la rappresentatività dei dati di valutazione (l'assunzione che i dati futuri provengano dallo stesso processo di quelli passati). Il suo ambito è strettamente limitato all'incertezza statistica delle metriche di prestazione dati i dataset di valutazione fissi.

In conclusione, l'articolo funge da risorsa cautelativa ed educativa, esortando la comunità a riconoscere che il "rumore" dell'incertezza statistica nelle matrici di confusione discrete può facilmente eclissare il "segnale" delle differenze di prestazione tra i classificatori.