A Cost-Sensitive and Explainable Evaluation Framework for Chronic Kidney Disease Prediction Models

Technische Samenvatting: Een Kostengevoelig en Verklaarbaar Evaluatiekader voor Voorspellingsmodellen van Chronische Nierziekte

Probleemstelling
Chronische nierziekte (CKD) treft ongeveer 14% van de volwassenen wereldwids, waarbij het vaak asymptomatisch verloopt tot gevorderde stadia waarin interventie moeilijk is. Hoewel machine learning (ML) potentieel biedt voor vroege detectie, vormt de "black box"-aard van hoogpresterende ensemblemodellen, die een gebrek aan interpreteerbaarheid hebben vergeleken met traditionele statistische modellen, een aanzienlijke barrière voor klinische implementatie. Bovendien houden standaard evaluatiemetrieken (bijv. nauwkeurigheid) vaak geen rekening met de asymmetrische klinische gevolgen van misclassificatie: een fout negatieve uitslag (gemiste diagnose) vormt een veel groter risico voor de patiëntuitkomsten dan een fout positieve uitslag (onnodige screening). Bestaande literatuur geeft vaak prioriteit aan voorspellende nauwkeurigheid boven de gezamenlijke evaluatie van interpreteerbaarheid, feature-bijdrage en kostengevoelige afwegingen, wat de praktische bruikbaarheid van deze modellen in klinische beslissingsondersteunende systemen beperkt.

Methodologie
De studie evalueert drie supervised learning-modellen — Logistic Regression (LR), Random Forest (RF) en Extreme Gradient Boosting (XGBoost) — met behulp van een synthetische CKD-dataset bestaande uit 1.659 patiëntendossiers (1.524 positieve gevallen, 135 negatieve gevallen). De methodologie hanteert een veelzijdige evaluatiekaders:

1. Data Preprocessing: Ontbrekende numerieke waarden werden geïmputeerd met de mediaan, en categorische variabelen werden omgezet naar dummy-variabelen. Sterk gecorreleerde variabelen (bijv. specifieke cholesterol subtypes) werden gegroepeerd of verwijderd om multicollineariteit aan te pakken, met name voor het LR-model. De data werd met 80% training en 20% testset verdeeld via gestratificeerde steekproeftrekking.
2. Prestatie-evaluatie: Modellen werden beoordeeld met standaardmetrieken (nauwkeurigheid, precisie, recall, F1-score, AUC) en vijf-voudige kruisvalidatie. Cruciaal is dat de studie verder gaat dan de standaard classificatiedrempel van 0,5 door drempeloptimalisatie uit te voeren.
3. Kostengevoelige Analyse: Er werd een kostenkader toegepast waarbij fout negatieve uitslagen een straf van $9.000 kregen en fout positieve uitslagen $5.000. Dit weerspiegelt de klinische realiteit dat gemiste diagnoses leiden tot ernstige ziekteprogressie, terwijl fout positieve uitslagen resulteren in aanvullende, minder schadelijke screening. Drempels werden gevarieerd om het punt te identificeren dat de totale kosten minimaliseert.
4. Interpreteerbaarheid:
   • Logistic Regression: Geanalyseerd via coëfficiëntanalyse en permutatie-importantie.
   • Ensemble Modellen (RF, XGBoost): Geëvalueerd met behulp van permutatie-importantie en SHapley Additive exPlanations (SHAP) om zowel globale als lokale verklaringen van feature-bijdragen te bieden.

Belangrijkste Resultaten

• Voorspellende Prestaties: Bij de standaarddrempel van 0,5 bereikten alle modellen ongeveer 92% nauwkeurigheid. Vanwege de ernstige klassenimbalans werd nauwkeurigheid echter als minder informatief beschouwd dan recall, precisie en F1-scores, die hoog bleven (F1 ~96%) over alle modellen.
• Kostengevoelige Optimalisatie: Drempeloptimalisatie veranderde de modeluitkomsten aanzienlijk.
  • Fout Negatieven: Bij hun respectieve optimale drempels elimineerden zowel Random Forest als XGBoost fout negatieve voorspellingen volledig. Logistic Regression produceerde, hoewel het de minste fout positieven opleverde, het enige model dat fout negatieven behield.
  • Totale Kosten: Ondanks het hebben van minder fout positieven, liep Logistic Regression de hoogste totale kosten op door de aanwezigheid van fout negatieven en de hogere straf die aan hen werd toegewezen. XGBoost en Random Forest bereikten lagere totale kosten door fout negatieven te elimineren, zelfs met een lichte toename in fout positieven.
• Stabiliteit: XGBoost vertoonde de hoogste Area Under the Curve (AUC) en de sterkste cross-validatie-stabiliteit, wat wijst op superieure generalisatiecapaciteiten vergeleken met LR en RF.
• Feature Belangrijkheid: Alle modellen identificeerden consistent klinisch plausibele voorspellers.
  • Globale Consensus: Glomerulaire Filtratiesnelheid (GFR) en serumcreatinine werden door alle modellen geïdentificeerd als de meest significante bijdragers.
  • Model Specifieke Details: XGBoost benadrukte daarnaast urine-eiwit, bloeddruk (systolisch/diastolisch) en nuchtere bloedsuikerspiegel. SHAP-analyse bevestigde dat to evenementen in creatinine, BUN en bloeddruk, naast afnames in GFR, hogere risicovoorspellingen aanstuurden.
  • Klinische Afstemming: De features geïdentificeerd door de "black box"-modellen (RF en XGBoost) stemden overeen met gevestigde klinische risicofactoren (bijv. diabetes en hypertensie), wat hun klinische plausibiliteit valideert.

Significantie en Claims
Het artikel beweert dat het uitbreiden van modelevaluatie voorbij traditionele voorspellende nauwkeurigheid naar het opnemen van drempeloptimalisatie, kostengevoelige analyse en uitlegbaarheidstechnieken een klinisch relevanter kader biedt voor het beoordelen van de geschiktheid voor ML-implementatie.

• Klinische Geschiktheid: De studie toont aan dat ensemblemodellen, die vaak worden afgedaan als "black boxes", klinisch betrouwbaar kunnen worden gemaakt wanneer ze worden gekoppeld aan uitlegbare AI (SHAP) en kostengevoelige drempelwaarde. Specifiek maakt het vermogen van XGBoost en RF om fout negatieven te elimineren bij geoptimaliseerde drempels hen operationeel superieur voor vroege ziektedetectie vergeleken met de meer interpreteerbare maar duurdere Logistic Regression in deze specifieke context.
• Vertrouwen Opbouwen: Door aan te tonen dat de meest invloedrijke voorspellers in complexe modellen overeenkomen met gevestigd medisch onderzoek (bijv. de kritieke rol van GFR en creatinine), helpt het kader de kloof tussen hoogpresterende ML en klinisch vertrouwen te overbruggen.
• Methodologische Bijdrage: Het onderzoek benadrukt dat standaard drempels vaak suboptimaal zijn voor medische toepassingen. Het pleit voor een verschuiving naar evaluatiekaders die expliciet de asymmetrische kosten van misclassificatie wegen om modelselectie en -implementatie te sturen.

Beperkingen
De auteurs erkennen dat de studie steunt op een synthetische dataset die voor educatieve doeleinden is gegenereerd, wat de generaliseerbaarheid van de bevindingen naar echte klinische dossiers beperkt. Daarnaast zijn de kostenwaarden ($9.000 vs. $5.000) aannames die bedoeld zijn om klinische afwegingen te stimuleren in plaats van de werkelijke gezondheidseconomie te reflecteren. Het gebrek aan externe validatie vanwege de schaarste aan vergelijkbare klinische datasets met GFR-variabelen wordt eveneens als een beperking vermeld.