On the Impact of Class Imbalance on the Learning Dynamics of Deep Neural Networks:An Intuitive Insight

Technische Samenvatting: Over de Impact van Class Imbalans op de Leringsdynamiek van Diepe Neuronale Netwerken

Probleemstelling
Ondanks de wijdverbreide toepassing van Diepe Neuronale Netwerken (DNN's) in domeinen zoals computervisie en natuurlijke taalverwerking, kampen deze modellen aanzienlijk met class imbalans, waarbij één klasse (minderheid) aanzienlijk minder samples bevat dan een andere (meerderheid). Waar de klassieke machine learning-literatuur slechte prestaties voor de minderheidsklasse vaak toeschrijft aan underfitting door onvoldoende data, bieden recente DNN-specifieke studies tegenstrijdige verklaringen. Sommigen betogen dat DNN's de minderheidsklassen underfitten, terwijl anderen beweren dat ze de minderheidssamples overfitten, wat leidt tot niet-generaliseerbare representaties door afwijking in features of bevooroordeelde beslissingsgrenzen. Het kernprobleem dat deze studie adresseert, is het gebrek aan een unified, intuïtief begrip van hoe en waarom class imbalans de leringsdynamiek van DNN's verstoort, specifiek met betrekking tot de temporele evolutie van het leren voor meerderheids- versus minderheidsklassen.

Methodologie
Om deze leringsdynamiek systematisch te onderzoeken, pasten de auteurs een gecontroleerde experimentele aanpak toe:

• Datasets: De studie gebruikte 30 binaire imbalante benchmark-datasets uit de UCI- en KEEL-repositories, variërend in Imbalansratio (IR) en class-separatie (gemeten door de Silhouette Coëfficiënt). Daarnaast werden drie gebalanceerde binaire datasets afgeleid van de Iris-dataset om te dienen als baseline voor vergelijking.
• Modelarchitectuur: Een volledig verbonden DNN-architectuur met ReLU-activatiefuncties werd gebruikt. De modellen omvatten Batch Normalization en een dropout-rate van 0,5 om overfitting te mitigëren.
• Optimalisatie: Hyperparameters (diepte en breedte) werden geoptimaliseerd via 5-voudige cross-validatie om ervoor te zorgen dat modellen een verlies dicht bij nul konden bereiken. Training gebruikte de Adam-optimizer met cross-entropy-verlies, gedurende minimaal 250 epochs.
• Evaluatiemetrics: Naast het algehele verlies en de nauwkeurigheid, richtte de studie zich op class-specifieke metrics: True Positive Rate (TPR) voor de minderheidsklasse en True Negative Rate (TNR) voor de meerderheidsklasse. De auteurs monitorden de trajecten van per-class trainingsverlies en -nauwkeurigheid over de epochs om de volgorde van het leren waar te nemen. Random oversampling werd eveneens toegepast als baseline-interventie om te vergelijken met het ruwe imbalante scenario.

Belangrijkste Bijdragen en Bevindingen
De studie biedt een intuïtief inzicht in het leertraject van DNN's op imbalante data, waarbij een distinct temporeel patroon wordt onthuld:

1. Sequentiële Leringsdynamiek: In tegenstelling tot gebalanceerde datasets, waarbij DNN's alle klassen gelijktijdig leren met vergelijkbare verliesreductiesnelheden, vertonen imbalante datasets een sequentieel leerpatroon. Het model leert aanvankelijk de meerderheidsklasse bijna uitsluitend, waardoor het verlies van de meerderheidsklasse snel daalt, terwijl het verlies van de minderheidsklasse in vroege epochs vaak stijgt of stagneert.
2. Vroege Underfitting van Minderheidsklassen: Tijdens de initiële trainingsfase underfit de DNN effectief de minderheidsklasse, waarbij bijna alle samples (inclusief die van de minderheid) worden geclassificeerd als de meerderheidsklasse. Dit resulteert in een TPR van 0% in vroege epochs.
3. Overfitting voor Verliesminimalisatie: Hoewel de overparameteriseerde aard van DNN's hen uiteindelijk in staat stelt de minderheidssamples te leren (het verlies van de minderheid reducerend tot bijna nul), gebeurt dit leren pas nadat de meerderheidsklasse is beheerst. De auteurs stellen dat het model de minderheidsrepresentaties leert niet om goed te generaliseren, maar puur om het algehele trainingsverlies te minimaliseren. Bijgevolg zijn deze geleerde minderheidsrepresentaties niet-generaliseerbaar in de testfase, wat resulteert in een lage TPR ondanks een hoge trainingsnauwkeurigheid.
4. Rol van Datacomplexiteit en Steekproefgrootte: De ernst van dit fenomeen wordt gemoduleerd door de Imbalansratio, datacomplexiteit (overlap) en de grootte van de minderheidssamples.
   • Datasets met goed gescheiden clusters (hoge Silhouette Coëfficiënt) lijden niet onder de vroege underfitting-fase, zelfs niet bij een hoge IR.
   • Datasets met een lage IR maar zeer kleine minderheidssamples (bijvoorbeeld slechts 7 minderheidssamples) lijden aan ernstige vroege underfitting.
   • Het traject van het algehele trainingsverlies wordt gedomineerd door de meerderheidsklasse, waardoor de slechte prestaties op de minderheidsklasse tijdens vroege training worden gemaskeerd.
5. Beperkingen van Oversampling: Het toepassen van random oversampling verbeterde de herkenning van de minderheid (TPR), maar vaak ten koste van de prestaties van de meerderheidsklasse (TNR), en aanzienlijke kloven bleven bestaan voor sterk imbalante datasets.

Betekenis en Aanspraken
Het artikel claimt dat de primaire betekenis ligt in het verduidelijken van het mechanisme achter het falen van DNN's op imbalante data. Het daagt het binaire debat van "underfitting versus overfitting" uit door aan te tonen dat DNN's beide ervaren: initiële underfitting van de minderheidsklasse, gevolgd door een vorm van overfitting waarbij minderheidssamples worden gememoriseerd om te voldoen aan globale verliesminimalisatie zonder generalisatie te bereiken.

De auteurs concluderen dat de slechte prestaties van DNN's op minderheidsklassen niet louter het gevolg zijn van data-schaarste, maar een specifieke leringsdynamiek waarbij het model prioriteit geeft aan de meerderheidsklasse om het totale verlies te drukken. Dit inzicht suggereert dat effectieve methoden voor imbalans het temporele aspect van leringsdynamiek moeten aanpakken, in plaats van alleen de statische data-distributie. De studie beweert bescheiden dat hoewel DNN's imbalante data met voldoende tijd tot een verlies dicht bij nul kunnen fitten, de resulterende beslissingsgrenzen bevooroordeeld zijn en het vermogen van het model om te generaliseren naar minderheidstestsamples ernstig wordt aangetast, tenzij de class-clusters goed gescheiden zijn.