Improving Performance in Classification Tasks with LCEN and the Weighted Focal Differentiable MCC Loss

Probleemstelling

Classificatieproblemen zijn alomtegenwoordig in wetenschap en engineering, maar er bestaan twee belangrijke uitdagingen bij het ontwikkelen van machine learning-modellen voor deze taken:

1. Interpreteerbaarheid en Sparsiteit: In kritieke toepassingen (zoals geneeskunde of luchtvaart) is het essentieel dat modellen interpreteerbaar zijn en gebruikmaken van zo min mogelijk input-features (sparsiteit). Bestaande methoden zoals Shapley-waarden of LIME kunnen onbetrouwbaar zijn en leiden tot "shortcuts" die de generalisatie verminderen.
2. Discrepantie tussen Verliesfunctie en Beoordelingsmetriek: Diepe leermodellen voor classificatie worden doorgaans getraind met (gewogen) cross-entropy (CE) verlies. Echter, de prestaties worden geëvalueerd op basis van niet-differentieerbare metrieken zoals de F1-score of de Matthews Correlation Coefficient (MCC). Omdat CE en deze metrieken niet perfect gecorreleerd zijn, kan een model met de laagste cross-entropy niet noodzakelijk de beste classificatiemetriek behalen.

Bestaande algoritmen zoals LASSO-Clip-EN (LCEN) waren tot nu toe beperkt tot regressietaken. Er was behoefte aan een algoritme dat zowel voor classificatie werkt als de voordelen van LCEN (interpreteerbaarheid, sparsiteit) behoudt, en een verliesfunctie die direct de gewenste classificatiemetrieken optimaliseert.

Methodologie

De auteurs introduceren twee hoofdbijdragen om deze problemen aan te pakken:

1. LCEN voor Classificatie (LASSO-Clip-EN)
Het LCEN-algoritme is aangepast voor classificatietaken door de volgende wijzigingen:

• Logistische Regressie: De LASSO-stap (L1-penalty) en de Elastic Net (EN)-stap (L1+L2-penalty), oorspronkelijk gebaseerd op lineaire regressie, zijn vervangen door logistische regressie met respectievelijk L1- en L1-L2-penalties.
• Harmonisatie bij Multiclas: Voor multiclas-classificatie wordt er een feature-set gegenereerd per klasse. Een nieuwe hyperparameter, LCEN_clip_min_classes_selected, bepaalt in hoeveel klassen een feature moet worden geselecteerd om niet te worden verwijderd.
• Behoud van Eigenschappen: Het algoritme behoudt de oorspronkelijke schaalbaarheid en de eigenschap van interpreteerbare, sparsere modellen.

2. Gewogen Focal Differentieerbare MCC Loss (diffMCC)
In plaats van cross-entropy gebruiken de auteurs de weighted focal differentiable MCC loss (diffMCC). Deze verliesfunctie is specifiek ontworpen om de MCC-metriek (die vaak beter presteert bij onbalans en kritische classificaties) differentieerbaar te maken, zodat deze direct als doelwit voor training kan dienen in neurale netwerken (MLP's).

Experimenteel Opzet
De methoden zijn getest op vier real-world datasets (twee binair, twee multiclas) uit de fysica, biologie en sociale wetenschappen:

• Heart Failure Clinical Data (Binair)
• Bank Marketing (Binair)
• Wine Quality (Multiclas)
• Glass Identification (Multiclas)

De prestaties van LCEN en MLP's getraind met diffMCC zijn vergeleken met 10 andere modeltypen (o.a. LR, SVM, Random Forest, GBDT, MLP met CE). Daarnaast is geëvalueerd of features geselecteerd door LCEN de prestaties van andere modellen verbeteren.

Belangrijkste Bijdragen

• Extensie van LCEN: Het eerste werk dat LCEN succesvol toepast op zowel binair als multiclas classificatieproblemen, waarbij interpreteerbaarheid en sparsiteit behouden blijven.
• Validatie van diffMCC: Een systematische evaluatie die aantoont dat diffMCC superieur is aan cross-entropy voor een breed scala aan classificatietaken, niet beperkt tot biologische data.
• Feature Selectie Effectiviteit: Bewijs dat LCEN als feature selector fungeert die niet alleen het eigen model verbetert, maar ook de prestaties van andere algoritmen (zoals lineaire modellen en neurale netwerken) significant kan verhogen door ruis te elimineren.

Resultaten

1. Prestaties van LCEN als Machine Learning Model

• LCEN behaalde consistent hoge macro F1-scores en MCC's, vaak hoger dan de meerderheid van de geteste modellen.
• LCEN presteerde gemiddeld slechts 7,3% lager in macro F1 en 15,0% lager in MCC dan het allerbeste model per dataset, maar overtrof in sommige gevallen (zoals Bank Marketing) zelfs diepe leermodellen getraind met cross-entropy.
• Sparsiteit: LCEN elimineerde gemiddeld 56% van alle input-features, wat leidt tot zeer interpreteerbare modellen.

2. Prestaties van diffMCC

• MLP's getraind met de diffMCC loss fungeerden consequent als de best presterende methode in alle experimenten.
• In vergelijking met MLP's getraind met gewogen cross-entropy, behaalden diffMCC-modellen gemiddeld 4,9% hogere macro F1-scores en 8,5% hogere MCC's.

3. Impact van LCEN Feature Selectie

• Wanneer andere modellen werden getraind op alleen de door LCEN geselecteerde features, verbeterden de prestaties in 3 van de 4 datasets significant (statistisch onderbouwd met Tukey's HSD en t-tests).
• In de "Bank Marketing" dataset leidde LCEN-selectie tot een gemiddelde stijging van 1,2% in F1 en 7,5% in MCC, terwijl de methode van Moro et al. (2014) juist een daling van 23,8% in F1 veroorzaakte.
• Voor MLP's resulteerde het gebruik van LCEN-features in modellen die 78% tot 88% kleiner waren (minder parameters), zonder verlies aan prestatie, en in sommige gevallen met verbeterde prestaties.

4. Hyperparameter Sensitiviteit

• De studie toonde aan dat de hyperparameter LCEN_clip_min_classes_selected kritiek is. Een waarde die te dicht bij het totale aantal klassen ligt, leidt tot een sterke prestatiedaling. De auteurs raden aan deze waarde in te stellen op maximaal 2/3 van het aantal klassen.

Betekenis en Conclusie

Dit werk demonstreert dat het mogelijk is om hoogwaardige, interpreteerbare machine learning-modellen te bouwen voor classificatie zonder in te leveren op nauwkeurigheid.

• LCEN biedt een robuust alternatief voor "black-box" modellen in kritieke domeinen, waarbij het niet alleen zelf goed presteert, maar ook als superieure feature selector fungeert die andere modellen verbetert.
• diffMCC lost het fundamentele probleem op van het optimaliseren van de verkeerde doelwitfunctie (cross-entropy) in plaats van de werkelijke prestatie-metriek (MCC/F1).

De resultaten suggereren dat de combinatie van interpreteerbare feature selectie (LCEN) en doelgerichte verliesfuncties (diffMCC) de staat van de kunst kan verbeteren voor zowel binair als multiclas classificatieproblemen in wetenschappelijke en industriële toepassingen. Toekomstig werk richt zich op het toepassen van LCEN voor het genereren van fysische vergelijkingen en het testen van diffMCC op niet-tabulaire data (zoals afbeeldingen en tekst).