📊 statistics

Discovery and inference beyond linearity for epidemiological data by integrating Bayesian regression, tree ensembles and Shapley values

Dit artikel introduceert RuleSHAP, een nieuw framework dat Bayesiaanse ijle regressie, boomgebaseerde regelgeneratie en Shapley-waarden integreert om statistisch geldige inferentie en onzekerheidskwantificering mogelijk te maken voor nietlineaire effecten en interactie-effecten in epidemiologische gegevens.

Oorspronkelijke auteurs: Giorgio Spadaccini, Marjolein Fokkema, Mark A. van de Wiel

Gepubliceerd 2026-06-11

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Giorgio Spadaccini, Marjolein Fokkema, Mark A. van de Wiel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen over wat iemands hart gezond of ongezond maakt. Je hebt een enorme stapel aanwijzingen (data) over de leeftijd, het gewicht, het dieet en de achtergrond van mensen.

Lange tijd gebruikten detectives een heel eenvoudig hulpmiddel: een rechte liniaal. Dit hulpmiddel gaat ervan uit dat als je een klein beetje meer van een aanwijzing toevoegt (zoals een beetje ouder worden), het resultaat met een vast, voorspelbaar bedrag verandert. Het is makkelijk te gebruiken, maar het echte leven is zelden een rechte lijn. Soms doet ouder worden er alleen toe als je ook een bepaalde het gewicht hebt. Soms verandert het effect van een aanwijzing volledig afhankelijk van wie je bent.

Dit is waar Machine Learning (ML) om de hoek komt kijken. Het is als een super-slimme, vormveranderende detective die deze vreemde, gebogen en complexe patronen kan vinden die de rechte liniaal mist. Maar dit is het probleem: terwijl deze super-slimme detective erg goed is in het vinden van de patronen, is hij verschrikkelijk in het uitleggen hoe zeker hij is over die patronen. Hij geeft je een antwoord, maar hij vertelt je niet of dat antwoord een vaststaand feit is of slechts een gelukkige gok. In de wetenschap is weten wat het "hoe zeker"-gedeelte is (onzekerheid) net zo belangrijk als het antwoord zelf.

Het Probleem: De "Black Box" versus de "Liniaal"

Het artikel betoogt dat we vastzitten tussen twee slechte opties:

De Liniaal (Lineaire Regressie): Deze geeft je een duidelijke "vertrouwensscore" (inferentie), maar mist alle complexe, gebogen relaties in de data.
De Vormveranderaar (Machine Learning): Deze vindt de complexe relaties, maar gedraagt zich als een "black box". Je kunt niet gemakkelijk vragen: "Hoe zeker ben je van deze specifieke regel?" of "Is dit patroon echt of gewoon ruis?".

Bestaande methoden proberen dit op te lossen door een black box te pakken en er een zaklamp op te schijnen (met behulp van zaken die Shapley-waarden worden genoemd), maar de zaklamp is wankel. Het zorgt er vaak voor dat de detective zelfverzekerder lijkt dan hij in werkelijkheid is, wat leidt tot valse alarmen.

De Oplossing: RuleSHAP

De auteurs hebben een nieuwe tool ontwikkeld genaamd RuleSHAP. Denk aan het bouwen van een detective-team dat het beste van beide werelden combineert.

1. De "Smoothing" Detective (Regelgeneratie)
Normaal gesproken raken deze vormveranderende detectives te enthousiast wanneer ze naar regels zoeken en memoriseren ze de specifieke aanwijzingen waar ze naar kijken, in plaats van het algemene patroon te leren. Dit is als een student die de antwoorden op een oefentoets uit het hoofd leert in plaats van het onderwerp te leren.
RuleSHAP gebruikt een truc genaamd "Smoothing". Het doet alsof de data er elke keer een klein beetje anders uitziet (door een beetje "ruis" toe te voegen). Dit dwingt de detective om de echte onderliggende patronen te vinden die standhouden zelfs wanneer de data wankelt, in plaats van de specifieke details te memoriseren. Dit voorkomt dat ze valse claims maken.

2. De "Gesplitste Persoonlijkheid" Wiskunde (Bayesiaanse Regressie)
Zodra de regels zijn gevonden, moet het team ze wegen. De auteurs merkten op dat eerdere tools "rechte lijnen" (eenvoudige regels) en "complexe regels" (gebogen interacties) precies hetzelfde behandelden. Dit zorgde ervoor dat de wiskunde per ongeluk de eenvoudige, rechte-lijn feiten negeerde omdat het te druk was met het zoeken naar complexe regels.
RuleSHAP splitst zijn brein. Het gebruikt één deel van zijn brein om eenvoudige, rechte feiten af te handelen en een ander deel voor complexe regels. Dit zorgt ervoor dat als een relatie eigenlijk een rechte lijn is, de tool dat herkent en er een passende vertrouwensscore aan geeft.

3. Het "Lokale Rapportcijfer" (Shapley-waarden)
Ten slotte berekent de tool "Shapley-waarden". Stel je een groepsproject voor waarbij iedereen bijdraagt. Shapley-waarden vertellen je precies hoeveel elk persoon heeft bijgedragen aan het eindcijfer.
RuleSHAP geeft niet alleen een globaal cijfer; het geeft een lokaal rapportcijfer voor elke persoon in de studie. Het zegt: "Voor deze specifieke 50-jarige vrouw is leeftijd een groot risicofactor. Maar voor die 20-jarige man doet leeftijd er niet veel toe." Cruciaal is dat het aan elk van deze lokale rapporten een "betrouwbaarheidsinterval" koppelt, waardoor je kunt zien of die specifieke bijdrage statistisch significant is of gewoon willekeurige ruis.

Wat ze vonden

Het team heeft deze nieuwe tool op twee zaken getest:

Nepdata: Ze creëerden een puzzel met bekende antwoorden. RuleSHAP was in staat de juiste antwoorden te vinden en, belangrijker nog, correct te identificeren welke aanwijzingen niet belangrijk waren (ruis) zonder valse alarmen te slaan. Andere tools raakten vaak in de war en dachten dat de ruis belangrijk was.
Echte Gezondheidsdata: Ze pasten het toe op een enorme studie met meer dan 21.000 mensen in Nederland om naar cholesterol en bloeddruk te kijken.
- Ze bevestigden bekende feiten: oudere leeftijd en een hogere BMI betekenen over het algemeen een hogere bloeddruk.
- Ze vonden complexe interacties: Het effect van leeftijd op cholesterol is niet voor iedereen hetzelfde. Zo wordt de kloof in cholesterolwaarden tussen mannen en vrouwen bijvoorbeeld veel groter na het 52e levensjaar (samenvallend met de menopauze).
- Ze vonden een "paradox": Roken leek in hun data gekoppeld te zijn aan een lagere bloeddruk. De auteurs merken op dat dit een bekende statistische kwestie is (waarschijnlijk omdat rokers andere gezondheidsproblemen kunnen hebben die hun gewicht verlagen of door meetfouten), en hun tool markeerde dit correct als een specifieke, niet-causale associatie in plaats van een magische genezing.

De Kernboodschap

RuleSHAP is een nieuw framework waarmee wetenschappers krachtige, flexibele machine learning kunnen gebruiken om complexe gezondheidspatronen te vinden, maar met het vangnet van betrouwbare statistiek. Het vertelt je niet alleen wat het patroon is, maar ook hoe zeker je kunt zijn over het voor specifieke individuen, zonder in de val te lopen van willekeurige ruis.

Beperkingen: Het artikel merkt op dat deze tool momenteel rekenintensief is (het duurt lang om te draaien op zeer grote datasets) en dat, net als alle observationele studies, het geen oorzaak en gevolg kan bewijzen — het kan alleen sterke associaties aantonen.

Technische Samenvatting: RuleSHAP voor Nietlineaire Epidemiologische Inferentie

Probleemstelling

Machine Learning (ML) wordt steeds vaker ingezet in de epidemiologie voor "hypothesevrije ontdekking" van risico- en beschermende factoren, omdat het complexe nietlineaire verbanden en interacties kan vastleggen die rigide lineaire modellen missen. Een kritische beperking blijft echter bestaan: standaard ML-modellen missen betrouwbare statistische inferentie. Hoewel maatstaven voor feature-belangrijkheid zoals SHAP (Shapley Additive Explanations) lokale effect-schattingen bieden, missen ze doorgaans een geldige onzekerheidskwantificering (UQ). Bestaande pogingen om SHAP-onzekerheid te kwantificeren richten zich vaak alleen op aleatorische onzekerheid (ruis in de data) terwijl ze epistemische onzekerheid (instabiliteit in modelparameters) verwaarlozen. Methoden die ML-featureselectie combineren met daaropvolgende lineaire regressie leveren vaak te optimistische onzekerheidsschattingen op en slagen er niet in om nietlineaire interacties consistent vast te leggen. De uitdaging is het ontwikkelen van een framework dat de flexibiliteit van ML biedt voor het detecteren van complexe patronen, terwijl het tegelijkertijd rigoureuze, lokale statistische inferentie met betrouwbaarheidsintervallen biedt.

Methodologie: Het RuleSHAP-framework

De auteurs stellen RuleSHAP voor, een framework dat Bayesiaanse sparse regressie, tree-ensembles en Shapley-waarden integreert om de beperkingen van bestaande RuleFit-familiemodellen aan te pakken. De methodologie bestaat uit drie kerninnovaties:

1. Verbeterde Lineaire Fit met Gestructureerde Horseshoe Prior

RuleSHAP maakt gebruik van een Bayesiaans lineair regressiemodel dat wordt versterkt door dichotomische beslisregels. In tegen tegenstelling tot het standaard HorseRule-model, dat een enkele globale shrinkages-parameter gebruikt die kan leiden tot excessieve shrinkage van lineaire termen (wat leidt tot het verlies van lineaire signalen), introduceert RuleSHAP een hiërarchische gestructureerde horseshoe prior.

Gescheiden Globale Shrinkages: Het model maakt gebruik van onderscheidende globale shrinkage-parameters ( $\tau_L$ voor lineaire termen en $\tau_R$ voor regel-termen). Dit zorgt ervoor dat niet-informatieve regels de globale shrinkage niet inflateren ten koste van de lineaire termen.
Focus op Inferentie: Deze scheiding maakt een nauwkeurigere onzekerheidskwantificering voor lineaire effecten mogelijk, wat cruciaal is omdat lineaire termen niet op dezelfde manier afhankelijk zijn van de data als regels, waardoor ze beter geschikt zijn voor inferentie.

2. Robuuste Regelgeneratie (Smoothing Random Forest)

Om het probleem aan te pakken dat regelgeneratie willekeurig is en afhankelijk van de specifieke dataset (wat leidt tot overfitting en onderschatte onzekerheid), introduceert RuleSHAP een "Smoothing Random Forest"-benadering:

Integratie van Parametrische Bootstrap: In plaats van de ruwe geobserveerde uitkomsten te gebruiken voor de regelgeneratie, past de methode een Random Forest toe, schat zij de parameters van de uitkomstverdeling (bijv. gemiddelde en variantie) met behulp van out-of-bag voorspellingen, en genereert vervolgens regels door een nieuwe Random Forest te fitten op synthetische uitkomsten die zijn gesampled uit deze geschatte verdelingen.
Residuele Fitting: Voor de initiële lineaire fit worden regels gegenereerd vanuit de residuen van een Bayesiaanse Horseshoe-regressie op lineaire termen. Dit zorgt ervoor dat regels voorbij-lineaire trends modelleren in plaats van lineaire signalen opnieuw te vangen.
Regel-disaggregatie: Om interpreteerbaarheid te verbeteren en overfitting op complexe interacties te voorkomen, disaggregeert de methode tree-paden volledig. Condities in een tree-pad worden op alle mogelijke manieren gecombineerd, waardoor het model eenvoudiger, noodzakelijke condities kan gebruiken zonder gedwongen te worden tot onnodig complexe interactieregels.

3. Efficiënte Berekening van Shapley-waarden

Het framework leidt expliciete formules af voor het berekenen van marginale Shapley-waarden en interactie-Shapley-waarden direct vanuit de regel-termen.

Directe Schatting: In tegen tegenstelling tot TreeSHAP, dat vereist dat regels worden teruggezet naar volledige bomen (wat de computationele kosten verhoogt), biedt RuleSHAP een onbevooroordeelde estimator voor Shapley-waarden als steekproefgemiddelden over de dataset.
Onzekerheidspropagatie: Door Shapley-waarden te berekenen voor elke posterior sample van het Bayesiaanse model, genereert het framework volledige posterior verdelingen voor feature-effecten, wat de constructie van betrouwbaarheidsintervallen voor lokale inferentie mogelijk maakt.

Belangrijkste Resultaten

Simulatiestudies

De auteurs hebben RuleSHAP gevalideerd op gesimuleerde data (Friedman's benchmark) met variërende steekproefgroottes ( $n$ ) en dimensies ( $p$ ), waarbij zij het vergeleken met OLS, LASSO, RuleFit, HorseRule, Random Forest en BART.

Signaalreconstructie: RuleSHAP identificeerde succesvol lineaire signalen ( $x_4, x_5$ ) die RuleFit en HorseRule vaak misten door excessieve shrinkage. Het reconstrueerde interactie-effecten ( $x_1, x_2$ ) en puur nietlineaire effecten ( $x_3$ ) met een nauwkeurigheid die vergelijkbaar met of beter is dan die van concurrenten bij grotere steekproefomvang.
Ruisdetectie: RuleSHAP toonde een superieur vermogen om signaal van ruis te onderscheiden. Terwijl BART en HorseRule vaak significante lokale effecten voor ruis-features produceerden (door onderschatte onzekerheid), bevatten de betrouwbaarheidsintervallen van RuleSHAP voor ruis-features consistent nul.
Onzekerheidskwantificering: RuleSHAP behaalde de laagste rejection rates voor ruis-features en de hoogste voor signaal-features, wat wijst op een betere balans tussen Type I- en Type II-fouten in lokale inferentie.

Epidemiologische Toepassing (HELIUS-studie)

Het framework werd toegepast op de HELIUS-cohort ( $n=21.570$ ) om risicofactoren voor systolische bloeddruk (SBP) en cholesterolgehalten te onderzoeken.

Voorspellende Prestaties: RuleSHAP kwam overeen met lineaire modellen voor SBP (een grotendeels lineaire relatie), maar presteerde significant beter dan lineaire modellen voor cholesterol, waarbij het noodzakelijke nietlineariteiten vastlegde.
Inferentiebevindingen:
- SBP: Bevestigde positieve associaties met leeftijd, BMI en glucose. Het onthulde heterogene effecten van leeftijd over verschillende etniciteiten en geslachten heen.
- Cholesterol: Detecteerde een positieve associatie met roken en een negatieve associatie met glucose. Cruciaal onthulde het een nietlineaire interactie tussen leeftijd en geslacht, waarbij het liet zien dat het verschil in cholesterolgehalten tussen geslachten het meest uitgesproken is na de leeftijd van 52 jaar, wat overeenkomt met de leeftijd van de menopauze.
- Ruiscontrole: Alle vier de toegevoegde ruis-features werden correct geïdentificeerd als zijnde niet-significant.

Betekenis en Claims

Het artikel beweert dat RuleSHAP een geldig framework biedt voor hypothesevrije ontdekking met lokale statistische inferentie. De primaire betekenis ligt in het overbruggen van de kloof tussen de flexibiliteit van ML en de rigueur van statistische inferentie:

Lokale Inferentie: In tegen tegenstelling tot Generalized Additive Models (GAMs), die beperkt zijn tot globale inferentie of suboptimale lokale intervallen, biedt RuleSHap geldige betrouwbaarheidsintervallen voor lokale feature-effecten.
Epistemische Onzekerheid: Door Bayesiaanse regressie te integreren, houdt de methode rekening met modelinstabiliteit (epistemische onzekerheid), wat vaak wordt verwaarloosd in andere SHAP-gebaseerde inferentiepogingen.
Balans tussen Lineair en Nietlineair: De gestructureerde prior voorkomt de "overshrinking" van lineaire termen, een veelvoorkomende foutmodus in eerdere RuleFit-varianten, waardoor wordt gewaarborgd dat lineaire signalen niet verloren gaan in de zoektocht naar complexe interacties.
Computationele Efficiëntie: De afgeleide expliciete formules voor Shapley-waarden maken efficiënte berekeningen mogelijk die beter schalen dan het converteren van regels naar volledige bomen voor TreeSHAP, met name bij het analyseren van individuele regels.

De auteurs concluderen dat hoewel de computationele kosten een beperking blijven (het schaalt kwadratisch met de steekproefomvang voor de Bayesiaanse fit), RuleSHAP een robuust hulpmiddel biedt voor transparante ML in de gezondheidszorg, wat de detectie van complexe, nietlineaire risicofactoren met statistisch geldige onzekerheidskwantificering mogelijk maakt.