A Consequentialist Critique of Binary Classification Evaluation: Theory, Practice, and Tools

Questo articolo propone una critica consequenzialista alle pratiche di valutazione della classificazione binaria, sostenendo l'adozione di regole di scoring adeguate come il punteggio Brier attraverso un nuovo framework decisionale e il pacchetto Python `briertools`, che colmano il divario tra teoria e pratica dominata da metriche a soglia fissa.

L'essenziale

Immagina di essere il capitano di una nave che deve decidere se lanciare un salvagente a un nuotatore in difficoltà. Hai un radar (il tuo modello di intelligenza artificiale) che ti dice la probabilità che la persona stia annegando.

Il problema è: quando lanci il salvagente?

• Se lo lanci troppo presto (soglia bassa), rischi di sprecare risorse su persone che non ne hanno bisogno (falsi positivi).
• Se lo lanci troppo tardi (soglia alta), rischi di non salvare chi ne ha davvero bisogno (falsi negativi).

Questo è il cuore del problema che affrontano gli autori di questo articolo: come valutiamo se il nostro "radar" è bravo?

Il Problema: La "Scommessa" sbagliata

Oggi, nella maggior parte dei laboratori di intelligenza artificiale, gli scienziati valutano i loro modelli usando un metro di misura molto semplice, chiamato Accuratezza. È come dire: "Quante volte il radar ha indovinato giusto, indipendentemente dal contesto?".

Ma gli autori dicono: "Aspetta un attimo! Questa è una scommessa sbagliata."

Immagina due scenari:

1. Ospedale: Un falso negativo (dire che un paziente sta bene quando sta male) può costare la vita. Un falso positivo (dire che sta male quando sta bene) significa solo un controllo in più. Qui, gli errori non hanno lo stesso peso!
2. Carcere: Dire che un detenuto è pericoloso quando non lo è (falso positivo) significa togliergli la libertà. Dire che è sicuro quando è pericoloso (falso negativo) significa mettere in pericolo la società. Anche qui, gli errori hanno pesi diversi.

Usare l'"Accuratezza" è come dire che salvare una vita e sprecare un salvagente sono la stessa cosa. È come se in una partita a calcio dicessimo che segnare un gol e perdere il portiere sono ugualmente importanti. Non ha senso!

La Soluzione: La "Bussola delle Conseguenze"

Gli autori propongono di guardare le cose con una lente "consequenzialista". In parole povere: non chiediamoci "quanto è bravo il modello in generale?", ma "quanto bene funziona questo modello per la decisione specifica che dobbiamo prendere?".

Per fare questo, introducono due concetti chiave:

1. La "Soglia" (Threshold): È il punto esatto in cui decidiamo di agire. In medicina, potrebbe essere il 5% di rischio di cancro; in giustizia, il 70% di probabilità di recidiva. Spesso, però, non sappiamo esattamente quale sia la soglia giusta al momento di creare il modello.
2. La "Paura dell'Errore" (Regret): È la misura di quanto ci pentiremo della nostra decisione.

Gli Strumenti: Il "Brier Score" e la "Cassetta degli Attrezzi"

Gli autori dicono che invece dell'Accuratezza, dovremmo usare strumenti più sofisticati chiamati Punteggi di Brier e Log Loss.

• L'analogia: Se l'Accuratezza è un semplice "Vero/Falso", il Punteggio di Brier è come un termometro che ti dice quanto sei "vicino" alla verità, tenendo conto di quanto sei sicuro di te.

Ma c'è un problema: questi strumenti tradizionali guardano tutte le possibili soglie, anche quelle assurde (come dire che è meglio salvare un nuotatore che sta bene piuttosto che uno che sta male).

La grande innovazione: Gli autori hanno creato una versione "a soglia limitata" (Bounded Threshold).

• L'analogia: Immagina di dover scegliere un'auto. Non vuoi testarla su ogni strada possibile (dal deserto al ghiaccio), ma solo su quelle che userai davvero (strada di campagna e città). Il loro nuovo strumento testa il modello solo sulle "strade" (soglie) che hanno senso per il tuo caso specifico.

Hanno anche creato un pacchetto software gratuito chiamato briertools (uno strumento pratico) che permette a chiunque di usare questi metodi senza dover essere un matematico esperto.

La Storia Reale: Il Caso del Cancro al Seno

Per dimostrare che funziona, hanno analizzato un caso reale: decidere quando prescrivere un farmaco preventivo per il cancro al seno.

• I medici non sono d'accordo su quale sia la soglia di rischio perfetta (alcuni dicono 1.66%, altri 3%).
• Usando i vecchi metodi, un modello sembrava il migliore in assoluto.
• Usando il nuovo metodo "a soglia limitata" (che guarda solo il 1.66% - 3%), si è scoperto che un altro modello era in realtà molto meglio proprio in quella fascia di rischio critica.

In Sintesi

Questo articolo è un invito a smettere di usare i "righelli" standard per misurare cose che hanno pesi diversi.

• Prima: "Il modello ha ragione il 90% delle volte? Ottimo!" (Ma forse ha sbagliato proprio quando costava di più).
• Ora: "Il modello prende le decisioni giuste nel contesto specifico in cui lo useremo, anche se non sappiamo esattamente qual è la soglia perfetta?"

È come passare dal giudicare un cuoco solo per il numero di piatti che ha preparato, a giudicarlo per il sapore dei piatti che servono ai suoi clienti specifici, tenendo conto delle loro allergie e preferenze. Gli autori ci danno gli strumenti (e le ricette) per farlo.

Sommario tecnico

Ecco una sintesi tecnica dettagliata del paper "A Consequentialist Critique of Binary Classification Evaluation: Theory, Practice, and Tools" in italiano.

1. Il Problema

Il paper affronta una discrepanza critica tra la teoria della decisione e le pratiche di valutazione nell'apprendimento automatico (ML) per i classificatori binari.

• Contesto: Molte decisioni supportate dal ML (es. diagnosi medica, giustizia penale) richiedono la conversione di previsioni probabilistiche in classificazioni binarie (0 o 1) basate su una soglia ($\tau$).
• Critica: Le pratiche attuali di valutazione sono spesso disallineate con la realtà operativa. La maggior parte delle ricerche (analizzate su ICML, FAccT, CHIL) utilizza metriche come Accuratezza o AUC-ROC, che assumono implicitamente:
  1. Decisioni indipendenti con soglie fisse (Accuratezza).
  2. Decisioni dipendenti con budget fissi o distribuzioni di costo ignote (AUC-ROC).
• Realtà: In scenari reali (come la medicina), le decisioni sono spesso indipendenti ma le soglie sono incerte o variabili (non c'è un consenso su quale soglia di rischio giustifichi un trattamento). Le metriche standard non catturano questa incertezza, portando a una selezione di modelli subottimale per il contesto di deployment.

2. Metodologia e Quadro Teorico

Gli autori adottano una prospettiva consequenzialista dalla teoria della decisione, valutando i classificatori in base al loro impatto reale (regret/rimpianto) piuttosto che alla semplice correttezza statistica.

• Formalismo del Regret: Viene definito un modello di costo dove il "regret" ($R$) è il costo aggiuntivo rispetto alla decisione ottimale data un certo rapporto di costo $c$ (costo dei falsi positivi vs. costo dei falsi negativi).
• Classificazione dei Problemi Decisionali: Viene introdotto un quadro tassonomico basato su due fattori:
  1. Accoppiamento delle istanze: Le decisioni sono indipendenti o vincolate da un budget fisso (Top-K)?
  2. Specificità della soglia: La soglia è nota con certezza o è incerta/variabile?
• Analisi della Letteratura: Attraverso un'analisi assistita da LLM di 2.610 paper (ICML, FAccT, CHIL 2024), gli autori dimostrano che le metriche dominanti (Accuratezza >50% in ML generale, AUC-ROC in sanità) raramente corrispondono al contesto di deployment più comune: decisioni indipendenti con soglie incerte.

3. Contributi Chiave

A. Teorici: Regole di Punteggio con Soglia Limitata (Bounded Threshold Scoring Rules)

Il contributo principale è l'estensione delle regole di punteggio corrette (proper scoring rules) come il Brier Score e il Log Loss per gestire l'incertezza sulla soglia.

• Critica a Assel et al. (2017): Gli autori rispondono alla critica secondo cui il Brier Score standard è inadatto in ambito clinico perché media il regret su tutto l'intervallo $[0, 1]$, includendo rapporti di costo irrealistici.
• Soluzione: Derivano versioni "clippate" (limitate) del Brier Score e del Log Loss che calcolano il regret medio solo su un intervallo limitato e plausibile $[a, b]$ definito dall'esperto di dominio.
  • Teorema 3.3 (Brier Score Limitato): Mostra che il regret medio su $[a, b]$ è equivalente alla differenza tra il Brier Score delle previsioni proiettate su $[a, b]$ e quello delle etichette vere proiettate. Questo permette un calcolo efficiente senza integrazione numerica complessa.
  • Teorema 3.4 (Log Loss Limitato): Estende lo stesso concetto al Log Loss, ponderando il regret sui log-odds del rapporto di costo.
• Riconciliazione con DCA: Dimostrano che l'analisi della curva decisionale (DCA) è concettualmente allineata a queste regole di punteggio limitate, fornendo una base teorica solida per l'uso di intervalli di soglia invece di punti fissi.

B. Pratici: Il pacchetto briertools

Per colmare il divario tra teoria e pratica, gli autori rilasciano una libreria Python chiamata briertools.

• Funzionalità: Implementa le metriche proposte (Brier e Log Loss limitati), calcola curve di regret e decomposizioni di calibrazione/discriminazione.
• Vantaggio: Permette agli utenti di valutare modelli su scale comuni, rendendo esplicito il trade-off tra calibrazione e discriminazione, cosa che metriche come AUC-ROC non fanno.

4. Risultati e Caso di Studio

Gli autori applicano il loro framework a un caso di studio sulla predizione del rischio di cancro al seno (dataset BCSC), dove le linee guida per il trattamento (es. Tamoxifene) variano tra soglie di rischio del 1.66%, 2% e 3%.

• Scoperta: Un modello XGBoost modificato per utilizzare una soglia interna del 2% durante l'addestramento aveva prestazioni globali (AUC, Brier Score su tutto l'intervallo) peggiori rispetto ai modelli baseline.
• Risultato con Metriche Limitate: Quando la valutazione è stata limitata all'intervallo clinicamente rilevante $[1.66\%, 3\%]$, il modello XGBoost modificato ha superato tutti gli altri.
• Implicazione: Le metriche globali penalizzano i modelli ottimizzati per contesti specifici, mentre le metriche limitate identificano correttamente il modello migliore per il deployment reale.

5. Significato e Conclusione

Il paper offre un cambio di paradigma fondamentale nella valutazione dei classificatori binari:

1. Allineamento Teoria-Pratica: Fornisce un quadro rigoroso per scegliere la metrica di valutazione in base al contesto decisionale reale (indipendente/dipendente, soglia nota/incerta).
2. Superamento delle Metriche Standard: Dimostra che l'uso acritico di Accuratezza e AUC-ROC può portare a conclusioni errate, specialmente in domini ad alto rischio come la sanità.
3. Strumenti Accessibili: Con briertools, gli autori abbassano la barriera all'ingresso per l'adozione di regole di punteggio corrette e limitate, permettendo agli sviluppatori di incorporare l'incertezza delle soglie direttamente nel processo di selezione del modello.

In sintesi, il lavoro sostiene che la valutazione dei modelli ML deve essere consequenzialista: non deve chiedersi "quanto è accurato il modello?", ma "quanto bene performa questo modello nel contesto decisionale specifico, considerando l'incertezza sui costi e sulle soglie?".