On the Impact of Class Imbalance on the Learning Dynamics of Deep Neural Networks:An Intuitive Insight

Sintesi Tecnica: sull'Impatto dello Squilibrio di Classe sulla Dinamica di Apprendimento delle Reti Neurali Profonde

Enunciato del Problema
Nonostante l'adozione diffusa delle Reti Neurali Profonde (DNN) in ambiti quali la visione artificiale e l'elaborazione del linguaggio naturale, questi modelli faticano significativamente di fronte allo squilibrio di classe, dove una classe (minoritaria) presenta un numero di campioni sostanzialmente inferiore rispetto a un'altra (maggioritaria). Mentre la letteratura classica sul machine learning attribuisce spesso le scarse prestazioni sulla classe minoritaria a un underfitting dovuto a dati insufficienti, recenti studi specifici sulle DNN offrono spiegazioni contrastanti. Alcuni sostengono che le DNN vadano in underfitting per le classi minoritarie, mentre altri affermano che vadano in overfitting sui campioni minoritari, portando a rappresentazioni non generalizzabili a causa di deviazioni delle caratteristiche o confini decisionali distorti. Il problema centrale affrontato da questo studio è la mancanza di una comprensione unificata e intuitiva di come e perché lo squilibrio di classe interrompe la dinamica di apprendimento delle DNN, in particolare riguardo all'evoluzione temporale dell'apprendimento per le classi maggioritarie rispetto a quelle minoritarie.

Metodologia
Per indagare sistematicamente queste dinamiche di apprendimento, gli autori hanno adottato un approccio sperimentale controllato:

• Dataset: Lo studio ha utilizzato 30 dataset di benchmark binari squilibrati provenienti dai repository UCI e KEEL, variabili per Rapporto di Squilibrio (IR) e separabilità delle classi (misurata tramite il Coefficiente di Silhouette). Inoltre, sono stati derivati tre dataset binari bilanciati dal dataset Iris per fungere da baseline di confronto.
• Architettura del Modello: È stata utilizzata un'architettura DNN completamente connessa con funzioni di attivazione ReLU. I modelli includevano la Normalizzazione a Batch e un tasso di dropout di 0,5 per mitigare l'overfitting.
• Ottimizzazione: Gli iperparametri (profondità e larghezza) sono stati ottimizzati tramite validazione incrociata a 5 pieghe per garantire che i modelli potessero raggiungere una perdita vicina allo zero. L'addestramento ha utilizzato l'ottimizzatore Adam con perdita di entropia incrociata, eseguendo un numero minimo di 250 epoche.
• Metriche di Valutazione: Oltre alla perdita complessiva e all'accuratezza, lo studio si è concentrato su metriche specifiche per classe: il Tasso di Vero Positivo (TPR) per la classe minoritaria e il Tasso di Vero Negativo (TNR) per la classe maggioritaria. Gli autori hanno monitorato la traiettoria delle perdite e delle accuratezze di addestramento per classe attraverso le epoche per osservare la sequenza di apprendimento. È stata inoltre applicata una sovracampionatura casuale come intervento di baseline per confrontarlo con lo scenario di squilibrio grezzo.

Principali Contributi e Risultati
Lo studio offre un'intuizione sulla traiettoria di apprendimento delle DNN su dati squilibrati, rivelando un pattern temporale distinto:

1. Dinamiche di Apprendimento Sequenziale: A differenza dei dataset bilanciati, dove le DNN apprendono tutte le classi simultaneamente con tassi di riduzione della perdita simili, i dataset squilibrati esibiscono un pattern di apprendimento sequenziale. Il modello apprende inizialmente la classe maggioritaria quasi esclusivamente, riducendo rapidamente la perdita della classe maggioritaria, mentre la perdita della classe minoritaria spesso aumenta o rimane stagnante nelle epoche iniziali.
2. Underfitting Iniziale delle Classi Minoritarie: Durante la fase iniziale di addestramento, la DNN va efficacemente in underfitting per la classe minoritaria, classificando quasi tutti i campioni (inclusi quelli minoritari) come appartenenti alla classe maggioritaria. Ciò risulta in un TPR dello 0% nelle epoche iniziali.
3. Overfitting per la Minimizzazione della Perdita: Sebbene la natura sovraparametrizzata delle DNN permetta loro di apprendere infine i campioni della classe minoritaria (riducendo la perdita minoritaria a quasi zero), questo apprendimento avviene solo dopo che la classe maggioritaria è stata padroneggiata. Gli autori ipotizzano che il modello apprenda le rappresentazioni minoritarie non per generalizzare bene, ma semplicemente per minimizzare la perdita complessiva di addestramento. Di conseguenza, queste rappresentazioni minoritarie apprese non sono generalizzabili nella fase di test, risultando in un TPR basso nonostante un'alta accuratezza di addestramento.
4. Ruolo della Complessità dei Dati e della Dimensione del Campione: La gravità di questo fenomeno è modulata dal Rapporto di Squilibrio, dalla complessità dei dati (sovrapposizione) e dalla dimensione del campione minoritario.
   • I dataset con cluster ben separati (alto Coefficiente di Silhouette) non soffrono della fase di underfitting iniziale, anche con IR elevati.
   • I dataset con IR basso ma dimensioni del campione minoritario molto piccole (ad esempio, solo 7 campioni minoritari) soffrono di un grave underfitting iniziale.
   • La traiettoria complessiva della perdita di addestramento è dominata dalla classe maggioritaria, mascherando le scarse prestazioni sulla classe minoritaria durante le prime fasi di addestramento.
5. Limiti della Sovracampionatura: L'applicazione della sovracampionatura casuale ha migliorato il riconoscimento minoritario (TPR), ma spesso a scapito delle prestazioni della classe maggioritaria (TNR), e sono rimaste lacune significative per i dataset altamente squilibrati.

Significato e Affermazioni
Il paper afferma che il suo significato primario risiede nel chiarire il meccanismo alla base del fallimento delle DNN su dati squilibrati. Sfida il dibattito binario tra "underfitting vs overfitting" dimostrando che le DNN sperimentano entrambi: un underfitting iniziale della classe minoritaria seguito da una forma di overfitting in cui i campioni minoritari vengono memorizzati per soddisfare la minimizzazione globale della perdita senza raggiungere la generalizzazione.

Gli autori concludono che le scarse prestazioni delle DNN sulle classi minoritarie non sono semplicemente il risultato di scarsità di dati, ma di una specifica dinamica di apprendimento in cui il modello dà priorità alla classe maggioritaria per ridurre la perdita totale. Questa intuizione suggerisce che i metodi efficaci per lo squilibrio devono affrontare l'aspetto temporale delle dinamiche di apprendimento, piuttosto che solo la distribuzione statica dei dati. Lo studio afferma con modestia che, sebbene le DNN possano adattare i dati squilibrati a una perdita vicina allo zero dato sufficiente tempo, i confini decisionali risultanti sono distorti e la capacità del modello di generalizzare ai campioni di test minoritari è gravemente compromessa a meno che i cluster di classe non siano ben separati.