An Interpretable Statistical Learning Framework for Binary Classification: An Application to Student Stress Prediction

Technische Samenvatting: Een Interpreteerbaar Statistisch Leersframework voor Binaire Classificatie

Probleemstelling
Moderne statistische leerprocessen kampen met een spanning tussen voorspellende nauwkeurigheid en modelinterpreteerbaarheid. Hoewel complexe machine learning-algoritmen (bijv. ensemble-methoden, deep learning) vaak een hoge voorspellende prestatie leveren, missen zij frequent transparantie, wat het moeilijk maakt om betrouwbare voorspellers te identificeren of de onderliggende mechanismen van voorspellingen te verklaren. Daartegenover staan traditionele statistische modellen die weliswaar interpreteerbaar zijn, maar kunnen lijden onder instabiliteit in variabele selectie door steekproefvariabiliteit of multicollineariteit. Het artikel adresseert de behoefte aan een verenigd framework dat simultaan nauwkeurige binaire classificatie, robuuste feature-identificatie en transparante modelexplanaties levert, waarbij een voorspelling van studentenstress als motiverende toepassing wordt gebruikt.

Methodologie
De studie stelt een geïntegreerd statistisch leersframework voor, toegepast op een publiek beschikbare dataset van ongeveer 25.500 studentenregistraties. De responsvariabele is binair (Lage Stress versus Hoge Stress). De methodologie bestaat uit vier primaire componenten:

1. Vergelijkende Modellering: Vijf classificatiemodellen werden ontwikkeld en vergeleken:

   • Logistische Regressie: Diende als baseline.
   • Gepenaliseerde Regressie: Ridge Regressie ($L_2$-penalty), LASSO ($L_1$-penalty) en Elastic Net (gecombineerde $L_1$- en $L_2$-penalties) werden geïmplementeerd om multicollineariteit te beheersen en variabele selectie uit te voeren.
   • Random Forest: Inclusief als een niet-lineaire machine learning benchmark om complexe interacties te vangen.
   • Implementatie: Alle modellen werden getuned middels herhaalde 10-voudige kruisvalidatie op een trainingsset van 70%, waarbij de prestaties werden geëvalueerd op een onafhankelijke testset van 30%.

2. Prestatie Evaluatie: Modellen werden beoordeeld op basis van Accuratesse, Sensitiviteit, Specificiteit, F1-score, ROC-AUC en Brier Score om discriminatie en kalibratie te evalueren.

3. Bootstrap Stabiliteitsselectie: Om de instabiliteit van variabele selectie in enkelvoudige model-fits aan te pakken, maakte de studie gebruik van bootstrap stabiliteitsselectie (500 resamples) met behulp van het LASSO-model. Voorspellers werden geëvalueerd op basis van hun selectiefrequentie over de resamples, waarbij frequenties $\ge 0,80$ als stabiel werden geclassificeerd.

4. Explainable Machine Learning (SHAP): Shapley Additive Explanations (SHAP) werden toegepast op het Random Forest-model om de marginale bijdrage van elke voorspeller te kwantificeren. Dit bood zowel globale feature-belangrijkheid als lokale verklaringen, waardoor een vergelijking mogelijk werd tussen de interpreteerbaarheid van gepenaliseerde regressie en complexe ensemble-methoden.

Belangrijkste Resultaten

• Voorspellende Prestaties: Alle vijf de modellen vertoonden vergelijkbare en sterke voorspellende prestaties. De ROC-AUC-waarden overstegen 0,86 voor alle modellen, en de classificatie-accuratesse lag boven de 81%. Opvallend genoeg presteerden de interpreteerbare gepenaliseerde regressiemodellen (Ridge, LASSO, Elastic Net) vrijwel identiek aan het complexere Random Forest-model, wat suggereert dat verhoogde modelcomplexiteit in dit dataset geen substantiële winst in nauwkeurigheid opleverde.
• Variabele Selectiestabiliteit: Bootstrap stabiliteitsselectie identificeerde zes voorspellers als zeer robuust (selectiefrequentie = 1,00): slaapuren, studieuren, gebruik van sociale media, aanwezigheid, examendruk en familiale ondersteuning. Deze variabelen werden consistent geselecteerd over alle 500 bootstrap-samples.
• Overeenstemming in Feature Belangrijkheid: De SHAP-analyse van het Random Forest-model identificeerde examendruk als de meest invloedrijke voorspeller, gevolgd door studieuren, slaapuren en familiale ondersteuning. Er was een sterke overeenstemming tussen de SHAP-belangrijkheidsrangschikking en de stabiliteitsselectie-frequenties, wat de robuustheid van deze voorspellers over verschillende methodologische benaderingen heen valideert.

Belangrijkste Bijdragen
Het artikel draagt bij met een reproduceerbare workflow die drie complementaire statistische leertechnieken integreert:

1. Gepenaliseerde Regressie: Biedt parsimonieuze modellen door middel van coëfficiënt-regularisatie.
2. Stabiliteitsselectie: Evalueert de reproduceerbaarheid van variabele selectie, waarbij onderscheid wordt gemaakt tussen robuuste voorspellers en steekproefspecifieke artefacten.
3. SHAP-Verklaarbaarheid: Verbetert transparantie door de bijdragen van voorspellers in niet-lineaire modellen te verklaren.

De studie toont aan dat deze methoden niet als concurrerend moeten worden beschouwd, maar als componenten van één enkel framework dat de betrouwbaarheid en interpreteerbaarheid verhoogt zonder de voorspellende nauwkeurigheid op te offeren.

Betekenis en Claims
De auteurs beweren dat hun framework een uitgebreide aanpak biedt voor het ontwikkelen van voorspellende modellen die accuraat, reproduceerbaar en interpreteerbaar zijn. De studie benadrukt dat:

• Interpreteerbare statistische modellen een prestatie kunnen leveren die vergelijkbaar is met complexe machine learning-algoritmen voor binaire classificatieproblemen met gecorreleerde voorspellers.
• Het integreren van stabiliteitsselectie met explainable AI (SHAP) zorgt voor convergerend bewijs met betrekking tot feature-belangrijkheid, wat het vertrouwen in wetenschappelijke inferentie vergroot.
• Hoewel gedemonstreerd bij de voorspelling van studentenstress, is het framework direct toepasbaar op een breed scala aan binaire classificatieproblemen in velden zoals geneeskunde, volksgezondheid en financiën, waar betrouwbare feature-identificatie en modeltransparantie cruciaal zijn.

Het artikel hanteert een bescheiden toon met betrekking tot de reikwijdte, waarbij beperkingen worden erkend zoals het gebruik van een gesimuleerde dataset (hoewel ontworpen om realistische patronen te reflecteren), de focus op één machine learning benchmark (Random Forest), en het gebrek aan externe validatie van onafhankelijke instellingen. Er wordt gesuggereerd dat toekomstig werk de mogelijkheid biedt het framework uit te breiden naar aanvullende algoritmen en externe validatiedatasets.