Do we need rebalancing strategies? A theoretical and empirical study around SMOTE and its variants

Questo studio analizza teoricamente e sperimentalmente il SMOTE, dimostrando che spesso non è necessario per le prestazioni predittive su dati reali, ma proponendo due varianti modificate che si rivelano efficaci quando il rapporto di squilibrio è artificialmente elevato.

L'essenziale

🎯 Il Problema: La Festa Sbilanciata

Immagina di organizzare una festa (il tuo modello di intelligenza artificiale) dove devi imparare a riconoscere due tipi di ospiti:

1. La folla di massa: Migliaia di persone normali (la classe "maggioritaria").
2. I VIP: Solo 5 o 10 persone molto importanti (la classe "minoritaria").

Se organizzi la festa così com'è, il tuo modello imparerà solo a riconoscere la folla. Se gli chiedi "Chi è questo?", dirà sempre "È un normale" perché è la risposta più sicura statisticamente. Ma il tuo obiettivo è proprio trovare i VIP!

Per risolvere questo, gli esperti usano delle strategie di riequilibrio. L'idea è: "Facciamo finta che ci siano più VIP, così il modello li studia di più".

🧪 La Soluzione Classica: SMOTE (Il Fotografo Copiatore)

La strategia più famosa si chiama SMOTE. Immagina che SMOTE sia un fotografo un po' pigro che prende una foto di un VIP, ne prende un'altra di un VIP vicino, e crea una nuova foto "finta" mescolando i due volti (una sorta di interpolazione).

• L'obiettivo: Creare nuovi VIP finti per riempire la stanza e insegnare al modello a riconoscerli.
• Il problema: Fino a oggi, nessuno aveva mai controllato davvero come funzionava questo fotografo a livello matematico.

🔍 Cosa hanno scoperto gli autori? (La Teoria)

Gli autori di questo studio (Sakho, Malherbe e Scornet) hanno fatto due cose:

1. Hanno analizzato la matematica di SMOTE.
2. Hanno testato se funziona davvero.

Ecco le loro scoperte principali, spiegate con metafore:

1. SMOTE è un "Fotocopiatore" (Non un Creatore)

Hanno dimostrato che, se usi i parametri di default (che sono quelli che tutti usano), SMOTE non crea davvero nuovi VIP. Si limita a copiare quelli esistenti, mettendoli molto vicini agli originali.

• Metafora: È come se il fotografo prendesse la foto di un VIP, la mettesse su un tavolo, e poi ne stampasse 5 copie identiche appiccicandole una sopra l'altra. Non sta creando nuove persone, sta solo ingrossando la pila di foto dello stesso identico VIP.
• Risultato: Il modello non impara la vera diversità dei VIP, ma impara solo a riconoscere quelle copie.

2. Il Problema dei Bordi (Il Muro)

SMOTE ha un altro difetto: non riesce a creare VIP vicino ai "bordi" della stanza (i limiti dei dati).

• Metafora: Immagina che i VIP vivano in una stanza quadrata. SMOTE è bravo a creare VIP al centro della stanza, ma quando si avvicina alle pareti, smette di funzionare. Non crea VIP vicino al muro perché la sua logica matematica si blocca lì. Questo è un problema perché spesso i casi più interessanti (come le frodi bancarie) si nascondono proprio ai bordi, dove le cose sono strane.

🛠️ Le Nuove Soluzioni Proposte

Basandosi su queste scoperte, gli autori hanno creato due nuove strategie:

1. SMOTE "Sintonizzato" (K-tuned): Invece di usare un numero fisso di "vicini" per creare le copie, provano diversi numeri per trovare quello giusto.

   • Risultato: Non ha funzionato molto meglio dell'originale nei test reali.

2. MGS (SMOTE con Distribuzione Gaussiana Multivariata): Questa è la vera novità. Invece di fare una semplice linea tra due VIP, MGS immagina che i VIP siano una nuvola di punti e crea nuovi VIP in tutte le direzioni, anche fuori dalla stanza (oltre i bordi).

   • Metafora: Se SMOTE è un fotografo che copia, MGS è un scultore. Prende l'idea del VIP e modella nuove statue in tutte le direzioni, riempiendo anche gli angoli buoi e uscendo persino dal perimetro originale per esplorare nuove possibilità.

📊 I Risultati Pratici: Serve davvero fare tutto questo?

Qui arriva il colpo di scena, che è la parte più importante per chi usa l'AI:

• Per la maggior parte dei casi (Feste normali): NON SERVE RIEMPIRE LA STANZA.
  Gli autori hanno testato 13 dataset reali. In 11 casi su 13, non fare nulla (lasciare i dati sbilanciati com'è) ha funzionato esattamente quanto usare strategie complicate come SMOTE, CTGAN (intelligenza artificiale generativa complessa) o modelli di diffusione.

  • Conclusione: Se hai un problema di squilibrio "leggero", il tuo modello è già abbastanza intelligente da imparare da solo. Non sprecare tempo e soldi a creare dati finti.

• Per i casi estremi (Feste con pochissimi VIP):
  Quando lo squilibrio è davvero estremo (es. 1 VIP ogni 1000 persone), allora le strategie aiutano.

  • Tra tutte quelle testate, la nuova strategia MGS (lo scultore) ha funzionato meglio di tutte, superando anche i modelli di intelligenza artificiale più costosi e complessi (come i modelli di diffusione).

💡 In Sintesi

1. SMOTE classico è un po' vecchio e spesso si limita a copiare i dati esistenti senza aggiungere vera diversità.
2. Spesso non serve fare nulla: Per molti problemi reali, i modelli moderni (come Random Forest o LightGBM) funzionano benissimo anche senza toccare i dati sbilanciati.
3. Se proprio devi intervenire: Usa la nuova strategia MGS. È semplice, veloce e, quando lo squilibrio è estremo, funziona meglio delle tecnologie più costose e complesse.

Il messaggio finale: Non usare sempre lo stesso martello per ogni chiodo. A volte, il modo migliore per risolvere un problema di dati sbilanciati è... non fare nulla. Ma se devi agire, usa uno strumento più intelligente del vecchio SMOTE.

Sommario tecnico

1. Il Problema

Il lavoro si concentra sul problema della classificazione binaria su dati tabulari sbilanciati, una situazione comune in ambiti come la rilevazione di frodi, la diagnosi medica e la previsione dell'abbandono clienti (churn).
In questi scenari, la classe minoritaria è sottorappresentata, portando gli algoritmi di apprendimento automatico a tendere verso la previsione della classe maggioritaria, risultando in prestazioni predittive distorte.
Sebbene esistano molte strategie di riequilibrio (rebalancing), in particolare tecniche sintetiche come SMOTE (Synthetic Minority Over-sampling Technique), la maggior parte degli studi si basa su valutazioni empiriche. Manca una comprensione teorica profonda del comportamento asintotico di SMOTE e delle sue limitazioni intrinseche, specialmente riguardo alla diversità dei campioni generati e al comportamento ai bordi della distribuzione.

2. Metodologia

Gli autori adottano un approccio ibrido che combina analisi teorica non asintotica e valutazione empirica estensiva.

Analisi Teorica

• Modellazione di SMOTE: Gli autori analizzano la densità di probabilità dei campioni sintetici generati da SMOTE. Dimostrano che, con i parametri di default (in particolare $K=5$, il numero di vicini), SMOTE tende asintoticamente a copiare i campioni originali della classe minoritaria piuttosto che generare nuova variabilità intrinseca.
• Limiti al bordo (Boundary Bias): Viene provato teoricamente che la densità di SMOTE svanisce vicino ai bordi del supporto della distribuzione della classe minoritaria. Questo fenomeno è dovuto al bias dei metodi di media locale (come i vicini più prossimi) e limita la capacità di SMOTE di ricostruire fedelmente la distribuzione originale nelle regioni periferiche.
• Dipendenza da $K$: Viene stabilito che la distanza caratteristica tra un campione sintetico e il suo punto centrale è dell'ordine di $(K/n)^{1/d}$. Se $K$ è fissato a un valore costante mentre $n \to \infty$, i campioni sintetici si concentrano eccessivamente sui punti originali.

Proposte di Nuove Varianti

Basandosi sui risultati teorici, gli autori introducono due varianti di SMOTE:

1. SMOTE K-tuned: Una strategia che ottimizza il parametro iperparametro $K$ tramite validazione incrociata (5-fold) su una griglia specifica, invece di usarlo fisso a 5.
2. MGS (Multivariate Gaussian SMOTE): Una modifica sostanziale in cui, invece di una semplice interpolazione lineare, i nuovi campioni sono generati campionando da una distribuzione Gaussiana Multivariata. I parametri (media e covarianza) sono stimati utilizzando il punto centrale e i suoi $K$ vicini. Questo permette ai campioni sintetici di uscire dall'inviluppo convesso (convex hull) dei dati originali, mitigando il problema del bordo.

Valutazione Empirica

• Dataset: 13 dataset tabulari reali (da fonti come UCI e Grinsztajn et al.) e versioni subsamplicate artificialmente per creare rapporti di sbilanciamento estremi (fino all'1%).
• Algoritmi di Classificazione: Random Forest (con e senza tuning della profondità), LightGBM e Regressione Logistica.
• Metodologia di Confronto: Confronto contro 10 strategie state-of-the-art, inclusi metodi di campionamento (RUS, ROS), varianti di SMOTE (Borderline SMOTE, ADASYN), modelli generativi profondi (CTGAN) e modelli di diffusione (ForestDiffusion).
• Metrica: PR AUC (Area Under the Precision-Recall Curve), scelta perché più informativa dell'ROC AUC per dati sbilanciati.

3. Risultati Chiave

Risultati Teorici

• Convergenza alla copia: Con $K$ fisso e $n \to \infty$, la distribuzione generata da SMOTE converge alla distribuzione originale, ma i campioni sintetici rimangono molto vicini ai punti originali, riducendo la diversità effettiva.
• Effetto bordo: La densità generata da SMOTE è significativamente inferiore vicino ai bordi del supporto della distribuzione, creando un "artefatto" che non riflette la realtà dei dati.

Risultati Empirici

1. Dati leggermente sbilanciati: Per la maggior parte dei dataset (11 su 13) con sbilanciamento moderato, non applicare alcuna strategia di riequilibrio ("None") è competitivo, se non superiore, rispetto a tutte le altre strategie (incluso SMOTE, CTGAN, ecc.) quando si usano Random Forest o LightGBM.
2. Dati estremamente sbilanciati: Quando il rapporto di sbilanciamento è drammaticamente aumentato (es. 1% o 0.2%), le strategie di riequilibrio diventano necessarie.
   • SMOTE Standard: Si comporta spesso come ROS (copia dei dati originali), specialmente se la profondità dell'albero non è ottimizzata.
   • SMOTE K-tuned: Non mostra miglioramenti sistematici rispetto alla versione default sui dataset reali, suggerendo che la semplice ottimizzazione di $K$ non risolve il problema degli artefatti di bordo.
   • MGS (Multivariate Gaussian SMOTE): Si dimostra la strategia più promettente. Ottiene le migliori prestazioni in 4 su 6 dataset estremamente sbilanciati e in media supera le altre. La capacità di generare punti fuori dall'inviluppo convesso mitiga efficacemente il bias di bordo.
3. Modelli Generativi Avanzati: CTGAN e ForestDiffusion, sebbene potenti, richiedono tempi di calcolo molto più lunghi e non superano sistematicamente SMOTE o MGS in termini di PR AUC.
4. Altri Classificatori: I risultati sono coerenti anche con LightGBM e Regressione Logistica, sebbene il gap tra le strategie si riduca con LightGBM.

4. Contributi Principali

1. Analisi Teorica Rigorosa: Prima dimostrazione non asintotica che SMOTE con parametri default tende a copiare i dati originali e soffre di un bias di densità ai bordi.
2. Nuove Varianti: Introduzione di MGS, una semplice ma efficace modifica di SMOTE basata su campionamento Gaussiano che risolve i limiti teorici identificati.
3. Ridefinizione delle Pratiche: Evidenzia che per molti problemi reali su dati tabulari, l'uso di strategie di riequilibrio complesse è superfluo e che la strategia "None" è spesso la scelta migliore di default.
4. Benchmark Estensivo: Confronto su larga scala che include modelli di deep learning (GAN, Diffusion) contro metodi classici, fornendo un quadro chiaro delle prestazioni relative in termini di accuratezza predittiva e costo computazionale.

5. Significato e Implicazioni

Questo studio offre un cambio di paradigma nella gestione dei dati sbilanciati su dati tabulari:

• Semplicità vs. Complessità: Suggerisce che soluzioni complesse (come GAN o Diffusion models) non sono sempre necessarie e che metodi semplici, o addirittura l'assenza di preprocessing, possono essere ottimali.
• Importanza della Teoria: Dimostra come la comprensione teorica del comportamento degli algoritmi (in questo caso, la densità e il bias ai bordi) possa guidare lo sviluppo di algoritmi migliori (MGS) che superano i limiti delle pratiche standard.
• Raccomandazione Pratica: Gli autori consigliano di utilizzare MGS quando si affrontano problemi con sbilanciamento estremo, mentre per sbilanciamenti moderati si raccomanda di iniziare senza alcuna strategia di riequilibrio, risparmiando risorse computazionali e evitando potenziali distorsioni dei dati.