Challenges in the calibration of tree-based models for imbalanced classification

Sintesi Tecnica: Sfide nella Calibrazione di Modelli Basati su Alberi per la Classificazione Sbilanciata

Definizione del Problema
Nella classificazione binaria sbilanciata, è pratica comune sottocampionare la classe maggioritaria per creare un dataset di addestramento bilanciato. Tuttavia, questa procedura distorce le probabilità predette dal modello poiché la distribuzione di addestramento non rappresenta più la popolazione sottostante. Per correggere questo fenomeno, sono stati proposti metodi di calibrazione analitica (specificamente l'Eq. 1 derivata da Dal Pozzolo et al., 2015) per mappare le predizioni dei modelli sottocampionati nuovamente sulle probabilità della vera popolazione in base al tasso di campionamento. Sebbene ampiamente applicata a modelli come le Random Forest (RF), questo articolo investiga se tale approccio analitico produca stime di probabilità ben calibrate quando applicato a modelli basati su alberi addestrati su dati sottocampionati.

Metodologia
Gli autori impiegano un approccio multifasettico per valutare l'efficacia della calibrazione analitica:

1. Analisi Teorica: Il documento esamina innanzitutto la validità matematica dell'applicazione dell'Eq. 1 alle Balanced Random Forests (Chen et al., 2004). Dimostra che la derivazione dell'Eq. 1 si basa su assunzioni riguardanti le probabilità di campionamento che vengono violate dalla procedura di bootstrapping inerente alle Balanced Random Forests.
2. Caso di Studio Empirico: Utilizzando un dataset reale di incendi boschivi causati dall'uomo nella regione di Lac La Biche in Alberta (1996–2016), gli autori addestrano Random Forest standard su dati sottocampionati. Essi variano sistematicamente due iperparametri: il tasso di campionamento della classe maggioritaria e il numero di predittori considerati ad ogni split ($m_{try}$). I modelli vengono calibrati utilizzando l'Eq. 1, e le stime di prevalenza risultanti (somma delle probabilità predette) vengono confrontate con il numero reale di eventi.
3. Studio di Simulazione: Per isolare le variabili e controllare il processo di generazione dei dati, viene sviluppato un simulatore con 10 predittori e una relazione non lineare complessa (Eq. 2). Ciò consente di generare dataset con probabilità reali note. Gli autori ripetono il caso di studio empirico su questi dataset simulati per valutare la coerenza dei risultati.
4. Investigazione dei Meccanismi:
   • Effetto di $m_{try}$: Gli autori analizzano la distribuzione delle predizioni prima e dopo la calibrazione utilizzando grafici quantile-quantile per comprendere come la non linearità dell'Eq. 1 interagisca con l'estrema natura ("extremeness") delle predizioni delle Random Forest.
   • Effetto del Tasso di Campionamento: Gli autori testano singoli Alberi di Decisione (adatti alla purezza) su dataset con diversi livelli di sbilanciamento per determinare se gli alberi stessi presentino un bias verso la classe minoritaria, il che spiegherebbe la sistematica sovrastima osservata nelle Random Forest.

Contributi Chiave
L'articolo apporta tre contributi primari:

1. Inapplicabilità alle Balanced Random Forests: Dimostra che la calibrazione analitica (Eq. 1) è teoricamente inadatta per le Balanced Random Forests perché il processo di bootstrapping altera la probabilità di inclusione delle osservazioni della classe minoritaria ($\mathbb{P}(S=1|Y=1) \approx 0.632$), violando le assunzioni richieste per la derivazione dell'equazione.
2. Sensibilità agli Iperparametri nelle Random Forest Standard: Rivela che, per le Random Forest standard addestrate su dati sottocampionati, la calibrazione analitica porta a stime di prevalenza che non sono invarianti rispetto alle scelte degli iperparametri. Nello specifico, la prevalenza stimata aumenta sistematicamente sia con il numero di predittori considerati ad ogni split sia con il tasso di campionamento utilizzato.
3. Scoperta del Bias verso la Classe Minoritaria negli Alberi di Decisione: Contrariamente alla letteratura prevalente che suggerisce che gli alberi di decisione siano distorti verso la classe maggioritaria (ignorando o sottostimando la minoranza), gli autori forniscono prove che gli alberi di decisione possono essere distorti verso la classe minoritaria (sovrastimando le probabilità) quando addestrati su dati sbilanciati. Questo bias persiste anche dopo la calibrazione analitica, portando a una sovrastima sistematica.

Risultati

• Previsione degli Incendi Boschivi: Nell'applicazione al mondo reale, il numero predetto di incendi boschivi variava di oltre il 40% a seconda della scelta degli iperparametri, nonostante i modelli fossero calibrati. Le stime mostravano chiare correlazioni positive sia con il tasso di campionamento che con il numero di predittori considerati ad ogni split.
• Simulazione: Lo studio di simulazione ha confermato i risultati del mondo reale, mostrando che le stime di prevalenza aumentavano con il tasso di campionamento e il numero di predittori. In molti casi, i modelli calibrati sovrastimavano sistematicamente la vera prevalenza fino al 20%.
• Meccanismo di $m_{try}$: L'analisi ha mostrato che le Random Forest producono predizioni più estreme (più vicine a 0 o 1) quando vengono considerati più predittori ad ogni split. Sebbene le distribuzioni pre-calibrazione fossero simili, la natura non lineare dell'Eq. 1 ha amplificato queste differenze post-calibrazione, causando al modello con $m_{try}$ più elevato di produrre stime di prevalenza significativamente superiori.
• Meccanismo del Tasso di Campionamento: L'indagine sugli alberi di decisione individuali ha rivelato che, all'aumentare dello sbilanciamento delle classi, il rapporto tra probabilità predetta e probabilità reale aumentava (superando 1.0), indicando un bias di sovrastima verso la classe minoritaria. Questo bias non è stato eliminato dalla calibrazione analitica.

Significatività e Rivendicazioni
Gli autori concludono che la calibrazione analitica non è adatta per calibrare modelli basati su alberi addestrati su dati sottocampionati. Il metodo non riesce a produrre stime di probabilità ben calibrate perché la prevalenza risultante dipende da scelte arbitrarie di iperparametri e da bias intrinseci nella struttura dell'albero che la formula analitica non può correggere.

L'articolo sostiene che, poiché una buona stima della prevalenza è una condizione necessaria per una buona calibrazione, il fallimento nel produrre stime di prevalenza stabili indica un difetto fondamentale dell'approccio. Di conseguenza, gli autori suggeriscono che i modelli basati su alberi addestrati su dati sottocampionati dovrebbero utilizzare metodi di calibrazione capaci di apprendere il pattern di miscalibrazione dai dati, come la calibrazione beta o la versione modificata della scala di Platt, piuttosto che fare affidamento su correzioni analitiche.

La scoperta che gli alberi di decisione possono essere distorti verso la classe minoritaria è presentata come un importante contrappunto alla letteratura esistente, suggerendo che i professionisti non dovrebbero assumere automaticamente che gli alberi di decisione trascureranno la classe minoritaria in contesti sbilanciati. Tuttavia, gli autori mantengono un tono modesto, notando che questo bias non è stato osservato costantemente in tutte le configurazioni (ad esempio, in alcune variazioni dell'implementazione in R) e che sono necessari ulteriori lavori per comprendere appieno le condizioni in cui si verifica tale bias.