Trade-offs in Cardiovascular Risk Prediction Using Race and Social Determinants of Health

Deze studie toont aan dat hoewel het verwijderen van ras uit cardiovasculaire risicomodellen de statistische pariteit verbetert, zowel het vervangen door sociale determinanten als het volledig uitsluiten van deze variabelen leiden tot onopgemerkte klinische schade voor zwarte patiënten, wat aantoont dat gemiddelde prestatie-indicatoren de volledige impact op gezondheidsrechtvaardigheid niet vangen.

De kern

Stel je voor dat artsen een weersvoorspelling maken, maar dan voor hartaanvallen in plaats van regen. Ze gebruiken een slim computerprogramma (een algoritme) om te voorspellen wie de komende 10 jaar een hartaanval kan krijgen. Als het risico hoog genoeg is, krijgt de patiënt medicijnen om het hart te beschermen.

Deze studie, geschreven door Noah Hammarlund en zijn team, onderzoekt een heel belangrijk dilemma: Hoe moeten we dit computerprogramma bouwen om eerlijk te zijn?

Vooral in de VS wordt er momenteel gediscussieerd over twee dingen:

1. Mogen we de ras van een patiënt in het programma stoppen? (Vroeger wel, nu willen veel mensen dat niet, omdat het soms als discriminerend wordt gezien).
2. Kunnen we ras vervangen door sociale factoren? Denk aan: heb je genoeg geld? Heb je een goede baan? Voel je je veilig in je buurt? (Dit noemen ze Social Determinants of Health of SDoH).

De auteurs hebben drie verschillende versies van dit "weersvoorspelling"-programma getest om te zien wat er gebeurt:

De Drie Versies van het Programma

1. Versie 1 (De oude manier): Het programma kijkt naar medische cijfers (bloeddruk, cholesterol) én het ras van de patiënt.
2. Versie 2 (De vervangings-methode): Het programma kijkt naar medische cijfers, maar in plaats van ras, kijkt het naar de sociale situatie (geld, huisvesting, discriminatie-ervaringen).
3. Versie 3 (De 'neutrale' manier): Het programma kijkt alleen naar medische cijfers. Geen ras, geen sociale factoren. Alles is "kleurloos".

Wat bleek eruit? (De Simpele Samenvatting)

Het verrassende nieuws is dit: Alle drie de programma's waren even goed in het voorspellen van hartaanvallen in het algemeen. Als je naar de totale groep kijkt, maken ze allemaal ongeveer even veel goede voorspellingen.

MAAR, als je gaat kijken naar wie precies wel of geen medicijnen krijgt, gebeurt er iets heel interessants. Het is alsof je de instellingen van een thermostaat iets verandert: de gemiddelde temperatuur blijft hetzelfde, maar in één kamer wordt het koud en in een andere heet.

1. Wat gebeurt er als we Ras vervangen door Sociale Factoren? (Versie 2)

Stel je voor dat je een net gebruikt om vissen te vangen.

• Met deze versie vingen ze meer zwarte patiënten die een risico hadden (goed nieuws!).
• MAAR, ze vingen ook veel meer zwarte patiënten die geen risico hadden.
• Het gevolg: Veel zwarte mensen kregen medicijnen die ze eigenlijk niet nodig hadden. Dit noemen we overtreatment (overbehandeling). Het programma werd "bang" en gaf veel mensen medicijnen om zeker te zijn, wat leidde tot onnodige kosten en bijwerkingen voor een specifieke groep.

2. Wat gebeurt er als we Ras en Sociale Factoren helemaal weghalen? (Versie 3)

Nu gooien we het net weg en kijken we alleen naar de vis zelf.

• Dit programma was heel streng. Het gaf minder zwarte mensen medicijnen.
• Het gevaar: Hierdoor misten ze een paar zwarte mensen die wel een hartaanval kregen, maar die het programma als "veilig" zag.
• Het gevolg: In hun test vonden ze 4 zwarte mensen die een hartaanval kregen, maar die geen medicijnen hadden gekregen omdat het programma dacht dat ze veilig waren. Dit noemen we undertreatment (onderbehandeling). Dit is levensgevaarlijk.

De Grootste Les: De "Gemiddelde" Leugent

De schrijvers zeggen: "Kijk niet alleen naar het gemiddelde!"
Als je naar de totale groep kijkt, lijken alle programma's prima. Maar als je de zwarte gemeenschap apart bekijkt, zie je dat elke keuze een prijs heeft:

• Kies je voor sociale factoren? Dan krijgen veel mensen onnodige medicijnen.
• Kies je voor een 'neutrale' lijst zonder ras? Dan krijgen sommige mensen die het nodig hebben, geen medicijnen.

Het is alsof je een schaduw probeert te vangen. Als je de zon (het ras) weghaalt, verdwijnt de schaduw, maar je ziet ook niet meer waar de obstakels zaten. Als je de schaduw vervangt door een andere vorm (sociale factoren), zie je de obstakels, maar is de vorm niet helemaal hetzelfde.

Conclusie in Gewone Taal

De auteurs concluderen dat er geen perfecte oplossing is.

• Het verwijderen van 'ras' uit medische software klinkt mooi en eerlijk, maar het kan onbedoeld leiden tot het missen van mensen die echt hulp nodig hebben.
• Het vervangen van 'ras' door 'sociale factoren' klinkt logisch, maar kan leiden tot onnodige behandelingen.

De boodschap is: We moeten niet blindelings kiezen voor één manier. Artsen en ziekenhuizen moeten weten dat elke keuze voor een computerprogramma een afweging is tussen "te veel medicijnen geven" en "te weinig medicijnen geven". Vooral voor zwarte patiënten, die al een zwaardere last dragen, is het cruciaal om te weten welke afweging we maken.

Kortom: Een eerlijk algoritme is niet alleen een kwestie van wat je weglaat, maar van wat je vervangt en welke gevolgen dat heeft voor de echte mensen die op de stoel zitten.

Technische samenvatting

Probleemstelling

Gezondheidszorgsystemen stappen steeds vaker over op "raceneutrale" modellen voor het voorspellen van cardiovasculaire risico's, vaak gedreven door ethische bezorgdheden dat het gebruik van ras als variabele ongelijkheden in de zorg kan versterken. Een veelgepleit alternatief is het vervangen van ras door Social Determinants of Health (SDoH), zoals sociaaleconomische status en discriminatie-ervaringen. Echter, er is tot nu toe weinig empirisch onderzoek gedaan naar hoe deze ontwerpkeuzes de verdeling van preventieve behandelingen beïnvloeden op het moment van klinische besluitvorming.

De kernvraag is of het verwijderen van ras of het vervangen ervan door SDoH leidt tot eerlijkere uitkomsten, of dat het juist nieuwe vormen van onder- of overbehandeling creëert, met name voor zwarte patiënten die al een disproportioneel zware cardiovasculaire last dragen. Bestaande evaluaties focussen vaak te narrowly op algemene prestatie en kalibratie, zonder de volledige verdeling van klinisch voordeel en schade te analyseren.

Methodologie

De auteurs voerden een retrospectieve cohortstudie uit met behulp van data van de CARDIA-studie (Coronary Artery Risk Development in Young Adults).

• Populatie: 3.241 volwassenen (46% zwart, 54% blank) zonder bekende cardiovasculaire ziekte (CVD) bij baseline (jaar 25, 2010). De follow-up duurde 10 jaar tot 2021.
• Doel: Voorspelling van incidentele CVD (myocardinfarct, beroerte, hartfalen of coronaire revascularisatie) binnen 10 jaar.
• Modelontwerp: Drie voorspellende modellen werden ontwikkeld en vergeleken:
  1. Model 1 (Ras): Klinische variabelen + Ras.
  2. Model 2 (SDoH): Klinische variabelen + Gedetailleerde SDoH-maatstaven (in plaats van ras).
  3. Model 3 (Klinisch alleen): Alleen klinische variabelen (geen ras, geen SDoH).
• Technische Specificaties:
  • Gebruik van LASSO-geregulariseerde logistische regressie met 10-voudige cross-validatie.
  • Omgaan met class-imbalance door upsampling binnen trainingsvouwen.
  • Log Loss als primaire tuning-metriek om miscalibratie te straffen.
  • Besluitniveaus: Risicovoorspellingen werden vertaald naar behandeladviezen op basis van de ACC/AHA drempel van 7,5% (standaard voor statine-therapie).
• Evaluatiemetrics:
  • Prestatie: AUC, sensitiviteit, specificiteit, log loss.
  • Kalibratie: Of voorspelde kansen overeenkomen met werkelijke risico's.
  • Fairness: Zeven groepsgebonden eerlijkheidsmetrieken (bijv. demografische pariteit, gelijke kansen, disparate impact).
  • Realized Utility: Een nieuw kader om de daadwerkelijke klinische gevolgen te kwantificeren (overtreatment vs. undertreatment) bij de klinische drempel, in plaats van alleen te kijken naar verwachte nut.

Belangrijkste Resultaten

1. Algemene Prestatie:
   De algemene voorspellende kracht (AUC) was vergelijkbaar voor alle drie de modellen (0,762 tot 0,768). Er was geen statistisch significant verschil in de totale nauwkeurigheid.

2. Verschillen per Rasgroep en Foutpatronen:
   Hoewel de totale prestatie gelijk was, verschoven de foutpatronen aanzienlijk:

   • Model 2 (SDoH vervangt Ras): Verhoogde de sensitiviteit voor zwarte deelnemers licht, maar leidde tot een systematische onderpredictie van het absolute risico. Dit resulteerde in een significante toename van overtreatment (behandeling van mensen die geen CVD zouden ontwikkelen), geconcentreerd onder zwarte deelnemers.
   • Model 3 (Ras volledig verwijderd): Verbeterde de pariteitsmetrieken (eerlijkheidsscores) het meest, maar leidde tot een daling van de sensitiviteit voor zwarte deelnemers. Dit resulteerde in undertreatment: vier nieuwe gevallen van onbehandelde CVD bij zwarte deelnemers die onder Model 1 wel behandeld zouden zijn.

3. Fairness Metrics vs. Klinische Realiteit:

   • Pariteitsmetrieken (zoals disparate impact) verbeterden wanneer ras werd verwijderd of vervangen. De auteurs stellen echter dat dit deels een mechanisch effect is: door ras uit te sluiten, kan het model minder goed stratificeren, waardoor de meetbare kloof in classificatiepercentages kleiner wordt zonder dat de onderliggende eerlijkheid of nauwkeurigheid per se verbetert.
   • De verbetering in "eerlijkheid" op papier ging vaak gepaard met een verslechtering van de kalibratie (Model 2) of een toename van schadelijke undertreatment (Model 3).

4. Realized Utility (Klinische Gevolgen):

   • De analyse van de "realized utility" toonde aan dat kleine verschuivingen in voorspelde risico's rond de 7,5%-drempel leiden tot grote veranderingen in wie behandeling krijgt.
   • Model 2 verlaagde undertreatment bij zwarte patiënten, maar tegen de prijs van een grote toename in overtreatment.
   • Model 3 creëerde nieuwe gevallen van undertreatment bij zwarte patiënten zonder compenserende voordelen elders.
   • Geen enkel model optimaliseerde gelijktijdig nauwkeurigheid, kalibratie, pariteit en klinische uitkomsten.

Belangrijkste Bijdragen

• Holistische Evaluatie: De studie introduceert een geïntegreerde evaluatiebenadering die voorspellende prestaties, kalibratie, groepsfairness en realized clinical utility combineert. Dit onthult trade-offs die onzichtbaar blijven bij het kijken naar slechts één metriek (zoals alleen AUC of alleen kalibratie).
• Empirische Validatie van Trade-offs: Het onderzoek levert empirisch bewijs dat het verwijderen van ras of het vervangen ervan door SDoH niet automatisch leidt tot betere uitkomsten voor kwetsbare groepen. Het toont aan dat SDoH-data (zelfs in een rijke dataset als CARDIA) de contextuele ongelijkheden die ras proxyt, niet volledig kunnen vangen.
• Kritiek op "Race-Neutral" Aannames: De auteurs betogen dat de keuze voor race-neutrale modellen vaak gebaseerd is op conceptuele redenering, terwijl de empirische gevolgen voor de verdeling van klinisch voordeel en schade complexer en soms schadelijker zijn dan gedacht.

Significantie en Conclusie

De studie concludeert dat er geen "one-size-fits-all" oplossing is voor het gebruik van ras in risicomodellen.

• Het gebruik van ras kan helpen bij het identificeren van hoog-risico zwarte individuen door structurele nadelen te proxyen, maar roept ethische vragen op over het coden van groepsaansluiting als directe input.
• Het vervangen door SDoH kan de pariteitsmetrieken verbeteren, maar leidt vaak tot systematische onderpredictie en overbehandeling.
• Het volledig verwijderen van ras kan leiden tot onderbehandeling van de groepen die het meest kwetsbaar zijn.

De auteurs pleiten ervoor dat gezondheidszorgsystemen niet blindelings over moeten stappen op race-neutrale modellen op basis van conceptuele argumenten alleen. In plaats daarvan is een geïntegreerde empirische evaluatie nodig die alle dimensies (prestatie, kalibratie, eerlijkheid en klinische uitkomsten) omvat, zodat clinicians, patiënten en beleidsmakers de specifieke trade-offs kunnen begrijpen en bewust kunnen afwegen voordat ze beslissingen nemen die de gezondheid van kwetsbare populaties beïnvloeden.