Sintesi Tecnica: Il Costo Nascosto del Resampling negli Ensemble di Alberi

1. Definizione del Problema

Lo sbilanciamento delle classi è pervasivo in domini ad alto rischio come il rilevamento delle frodi e lo screening delle malattie. Il rimedio standard prevede tecniche di resampling — specificamente la Synthetic Minority Over-sampling Technique (SMOTE), il random oversampling (ROS) e il random undersampling (RUS) — per bilanciare i set di addestramento. Sebbene questi metodi siano regolarmente valutati utilizzando metriche di discriminazione (es. F1-score, AUC, recall della classe minoritaria), non vengono quasi mai valutati per quanto riguarda la calibrazione delle probabilità.

Molti sistemi implementati si affidano a probabilità predette per decisioni a valle (es. ottimizzazione dei costi attesi, soglie di triage). Il resampling distorce deliberatamente il prior della classe osservato durante l'addestramento, portando all'ipotesi che esso distorca anche le probabilità emesse. Questo articolo investiga se il resampling degradi la calibrazione degli ensemble di alberi, come tale degradazione scala con il rapporto di sbilanciamento (IR) e se correzioni post-hoc possano riparare il danno senza sacrificare il potere di ranking.

2. Metodologia

Lo studio impiega un rigoroso disegno sperimentale multi-seed e a statistiche appaiate su cinque dataset di classificazione binaria pubblica (con Rapporti di Sbilanciamento compresi tra 1.9 e 70.1) e due modelli di ensemble di alberi: Random Forests (RF) e Histogram Gradient Boosting (HGB).

• Condizioni Sperimentali:
  • Baseline: Nessun resampling.
  • Resampling: SMOTE, ROS e RUS (mirando a un bilanciamento delle classi 1:1 nei fold di addestramento).
  • Controllo: Class weighting (riequilibrio della funzione di perdita senza modifica dei dati).
  • Calibrazione Post-hoc: Platt scaling e regressione isotonica applicati a un modello SMOTE su un split di calibrazione tenuto da parte.
• Metriche:
  • Calibrazione: Expected Calibration Error (ECE), Brier score e diagrammi di affidabilità.
  • Discriminazione: ROC-AUC, PR-AUC e F1 della classe minoritaria.
• Analisi Statistica: I confronti utilizzano il test Wilcoxon signed-rank appaiato su 10 seed casuali e cross-validazione a 5 fold. Le dimensioni dell'effetto sono quantificate tramite il $\delta$ di Cliff. Viene applicata la correzione di Holm–Bonferroni per controllare i tassi di errore per famiglia.
• Indagini Specifiche:
  • H1: Il resampling degrada la calibrazione?
  • H2: La ricalibrazione post-hoc può riparare il danno?
  • H3: Come scala il danno con il rapporto di sbilanciamento e l'aggressività dell'oversampling?
  • H4 (Risultato Negativo): La correzione analitica dello shift del prior (valida per l'undersampling) si trasferisce a SMOTE?

3. Risultati Chiave

A. Il Resampling Degrada la Calibrazione (H1)

Tutte le famiglie di resampling aumentano significativamente l'ECE rispetto alla baseline, sebbene l'entità vari drasticamente:

• SMOTE & ROS: Causano un aumento piccolo-moderato dell'ECE (es. SMOTE: $0.052 \to 0.061$, $\delta = +0.27$).
• Random Undersampling (RUS): Causa una degradazione severa, particolarmente ad alti rapporti di sbilanciamento. Sul dataset yeast_ml8 (IR=70), il RUS gonfia l'ECE da $0.008$a$0.395$. Ciò è attribuito al "collasso della dimensione del campione" (addestramento su circa 50 campioni) piuttosto che al meccanismo di resampling stesso, sebbene il RUS rimanga dannoso anche su dataset con dimensioni campionarie adeguate.
• Class Weighting: Causa solo marginali spostamenti di calibrazione, indicando che il danno deriva dall'alterazione della distribuzione dei dati di addestramento, non semplicemente della funzione obiettivo.

B. La Ricalibrazione Post-hoc Ripara il Danno (H2)

Un singolo passaggio di ricalibrazione post-hoc (Platt o Isotonica) elimina efficacemente il danno di calibrazione causato da SMOTE:

• Riduzione ECE: L'ECE di SMOTE scende da $0.061$a$0.021$ (Platt) e $0.025$ (Isotonica), spesso scendendo al di sotto della baseline originale.
• Costo di Ranking: La riparazione comporta un costo trascurabile per il potere di ranking. L'AUC diminuisce solo di $0.002$($\delta = -0.07$). Questa lieve diminuzione è attribuita principalmente alla riduzione dei dati necessaria per lo split di calibrazione, non alla trasformazione stessa.
• Trade-off: Scambiare una perdita di $0.002$ di AUC per una riduzione del $66\%$ dell'ECE è favorevole per i sistemi decisionali.

C. Scalabilità con Sbilanciamento e Aggressività (H3)

• Rapporto di Sbilanciamento: Il danno di calibrazione da RUS cresce rapidamente con il rapporto di sbilanciamento. Al contrario, la penalità di calibrazione di SMOTE rimane relativamente piccola e stabile attraverso l'intervallo di IR studiato (1.9–70).
• Rapporto di Oversampling: L'errore di calibrazione cresce monotonicamente con l'aggressività di SMOTE (la quantità di dati sintetici iniettati), mentre le metriche di discriminazione (AUC, F1) rimangono piatte o migliorano leggermente.

D. La Correzione Analitica Fallisce per SMOTE (Risultato Negativo)

L'articolo dimostra che la correzione analitica dello shift del prior (che funziona per l'undersampling regolando il prior spostato $\pi_{train}$) non si trasferisce a SMOTE.

• Ragionamento: L'RUS sposta solo il prior $p(y)$, lasciando intatta la densità condizionale della classe $p(x|y)$. SMOTE, invece, sintetizza nuovi punti tramite interpolazione, distorcendo così la densità condizionale della classe $p(x|y=1)$.
• Esito: L'applicazione della correzione analitica ai modelli SMOTE non riesce a migliorare l'ECE (anzi, in alcuni casi lo peggiora), mentre la ricalibrazione isotonica basata sui dati ha successo.

E. Stabilità dell'Attribuzione delle Feature

L'analisi SHAP sul dataset credit-g indica che SMOTE preserva la struttura delle feature appresa (correlazione di Spearman di 0.96 nelle classifiche di importanza delle feature) pur corrompendo la scala di probabilità. Ciò conferma che il danno di calibrazione è un problema di scala correggibile tramite trasformazioni monotone, e non un cambiamento fondamentale in ciò che il modello apprende.

4. Significatività e Contributi

Gli autori pongono questo lavoro non come la scoperta di un fenomeno nuovo (poiché il danno di calibrazione dell'undersampling era già stato notato da Dal Pozzolo et al.), ma come una consolidazione e un'estensione pratica e basata sull'evidenza delle conoscenze esistenti.

• Chiarimento del Rischio: Lo studio distingue tra i costi di calibrazione "piccoli ma reali" per SMOTE e i costi "genuinamente pericolosi" per l'RUS, specialmente ad estremi rapporti di sbilanciamento.
• Guida Pratica: Fornisce un protocollo chiaro per i professionisti: se viene utilizzato il resampling e le probabilità guidano le decisioni, un passaggio di ricalibrazione post-hoc è necessario e sufficiente.
• Correzione Metodologica: Avverte esplicitamente contro l'applicazione di correzioni analitiche dello shift del prior ai metodi di oversampling sintetico, poiché non tengono conto della distorsione della densità.
• Standard di Valutazione: L'articolo sostiene che gli studi sull'apprendimento sbilanciato debbano riportare le metriche di calibrazione (ECE, Brier) insieme alle metriche di discriminazione (F1, AUC) per evitare di distribuire modelli con probabilità inattendibili.

5. Limitazioni

Gli autori riconoscono diverse delimitazioni alle loro affermazioni:

• Lo studio è limitato a dati tabulari e a due modelli di ensemble di alberi; le reti neurali e altre modalità potrebbero comportarsi diversamente.
• La decomposizione della perdita di AUC in costi di "riduzione dei dati" vs "trasformazione di calibrazione" si basa su un rapporto di split specifico.
• La spiegazione del fallimento della correzione analitica di SMOTE è un'ipotesi intuitiva riguardante la distorsione di $p(x|y)$, che richiede un'analisi formale in lavori futuri.
• I risultati sono limitati all'intervallo di sbilanciamento testato (IR 1.9–70); rapporti estremi (centinaia o migliaia) potrebbero produrre effetti maggiori.