Persistent Proxy Discrimination in HIV Testing Prediction Models: A National Fairness Audit of 386,775 US Adults

Deze nationale audit van bijna 387.000 volwassenen in de VS toont aan dat het afdwingen van demografische pariteit bij HIV-testvoorspellingsmodellen ongeschikt is voor klinische contexten met een ongelijk ziektedrukte, omdat dit leidt tot een aanzienlijke daling van de detectie bij risicogroepen en daarom pleit het voor het gebruik van meer geschikte eerlijkheidsmetrieken zoals gelijke kansen.

De kern

De "Gerechtigheidsval" in de Medische Wereld: Waarom "Iedereen Evenveel" Soms Slecht Is

Stel je voor dat je een brandweercommandant bent. Je hebt een enorme brand in een dorp, maar de brandweerwagens zijn beperkt. Je hebt een slimme computer die je vertelt waar de brand het hevigst is.

• De realiteit: De brand woedt het hevigst in de wijk "Zwarte Straat" (waar veel mensen wonen die al langere tijd in de problemen zitten). In de wijk "Witte Straat" brandt het nauwelijks.
• De slimme computer: Die kijkt naar de rook en zegt: "Stuur 80% van de wagens naar Zwarte Straat en 20% naar Witte Straat." Dit is logisch, want daar is de brand het grootst.

Nu komt er een fairness-auditor (een controleur voor eerlijkheid) langs. Die kijkt naar de computer en zegt: "Hé, dat is niet eerlijk! Jij stuurt veel meer wagens naar de ene wijk dan naar de andere. Echte eerlijkheid betekent dat je aan elke wijk exact hetzelfde aantal wagens geeft, ongeacht of er wel of geen brand is."

Als je luistert naar die auditor en je doet wat hij zegt, krijg je een ramp:

• In Zwarte Straat (waar de grote brand woedt) krijg je ineens te weinig wagens. De huizen branden af.
• In Witte Straat (waar nauwelijks brand is) krijg je te veel wagens. De brandweer staat daar te wachten met bluswater, terwijl er niets te blussen is.

Dit is precies wat dit wetenschappelijke artikel over HIV-testen laat zien.

Hier is de uitleg in gewone taal, zonder moeilijke statistieken:

1. Het Probleem: De "Demografische Pariteit" Valstrik

In de wereld van kunstmatige intelligentie (AI) willen we vaak dat algoritmen "eerlijk" zijn. Een populaire manier om dat te meten, heet Demografische Pariteit. Dit betekent simpelweg: "Ongeacht wie je bent (zwart, wit, man, vrouw), de computer moet aan iedereen even vaak zeggen: 'Ga een HIV-test doen'."

De auteurs van dit artikel zeggen: "Dit is een fout idee in de medische wereld."

Waarom? Omdat HIV niet overal even vaak voorkomt. In de Verenigde Staten hebben bijvoorbeeld zwarte mannen een veel hoger risico op HIV dan witte mannen. Dit komt niet door hun genen, maar door sociale factoren zoals armoede, discriminatie en minder toegang tot zorg.

Als je een AI-trainingsprogramma maakt dat moet voorspellen wie een HIV-test heeft gedaan, en je dwingt die AI om aan zwarte en witte mensen even vaak te zeggen "ga testen", dan doe je iets verschrikkelijks:

• Je verminderd het aantal testen voor de groep die het meest nodig heeft (zwarte gemeenschappen).
• Je verhoogt het aantal testen voor de groep die het minder nodig heeft.

Je lost het probleem van "ongelijkheid" op, maar je creëert een nieuw probleem: mensen die ziek kunnen zijn, worden niet gevonden.

2. Wat deed de onderzoekers?

Ze gebruikten een enorme database (BRFSS) met bijna 400.000 Amerikanen. Ze lieten verschillende computermodellen leren wie er een HIV-test had gedaan.

• De oorspronkelijke modellen: Deze zagen dat zwarte mensen vaker getest waren (omdat er meer risico is en meer campagnes zijn geweest). Ze zeiden dus vaker: "Jij moet testen." Dit leek op een groot verschil in "eerlijkheid", maar het was eigenlijk een correcte weergave van de werkelijkheid.
• De "Eerlijke" modellen: Toen ze de computer dwongen om aan iedereen even vaak te zeggen "ga testen" (Demografische Pariteit), gebeurde er iets gruwelijks:
  • De kans dat een zwart persoon met HIV gemist werd, steeg enorm (van 22% naar 70% gemist!).
  • De computer stopte met het aanbevelen van testen voor de mensen die het hardst nodig hadden.

3. De Analogie van de Regenjas

Stel je voor dat het regent.

• In regio A (de bergen) regent het 10 uur per dag.
• In regio B (de woestijn) regent het 1 uur per dag.

Een slimme verkoper zegt: "Ik verkoop regenjassen aan de mensen in de bergen, want daar is het nodig."
Een "eerlijkheids"-verkoper zegt: "Nee, dat is niet eerlijk! Jij verkoopt 10 keer meer jassen aan de bergen dan aan de woestijn. Je moet aan iedereen evenveel jassen verkopen."

Als je dat doet, krijgen de mensen in de bergen (die nat worden) te weinig jassen, en krijgen de mensen in de woestijn (die droog blijven) jassen die ze niet nodig hebben. Dat is "statistische eerlijkheid", maar het is geen goede zorg.

4. Wat is dan de oplossing?

De auteurs zeggen dat we andere maatstaven voor eerlijkheid moeten gebruiken, zoals Equalized Odds (Gelijke Kansen).

In plaats van te vragen: "Krijgt iedereen even vaak een test?", moeten we vragen:
"Als iemand wel HIV heeft, heeft hij dan evenveel kans om dat te ontdekken, ongeacht zijn huidskleur?"
"Is de voorspelling van de computer even betrouwbaar voor iedereen?"

Dit betekent dat de computer mag zeggen: "Voor deze groep is het risico zo hoog, dat we 80% van hen moeten testen, terwijl we voor die andere groep maar 20% moeten testen." Dat is eerlijk, omdat het rekening houdt met de echte behoefte.

5. De Grootste Les

Het artikel waarschuwt artsen, beleidsmakers en programmeurs:
Gebruik geen "one-size-fits-all" regels voor eerlijkheid.

In het bankwezen (waar je een lening krijgt) mag je niet discrimineren op basis van ras; daar is "gelijke behandeling" goed. Maar in de gezondheidszorg, waar ziektes ongelijk verspreid zijn, is "gelijke behandeling" soms onrechtvaardig.

Als je probeert om een computer "eerlijk" te maken door iedereen exact hetzelfde te behandelen, kun je per ongeluk de mensen die het hardst hulp nodig hebben, in de steek laten.

Kortom:
Echte eerlijkheid in de zorg betekent niet dat iedereen hetzelfde krijgt. Het betekent dat iedereen krijgt wat hij nodig heeft om gezond te blijven. En soms betekent dat dat je meer aandacht moet geven aan de groepen die het zwaarst getroffen zijn.

Technische samenvatting

Probleemstelling

In de gezondheidszorg wordt machine learning (ML) steeds vaker ingezet om patiënten te identificeren die screening of behandeling nodig hebben. Een centrale uitdaging is het kiezen van de juiste fairness-metriek (eerlijkheidsmaatstaf). De auteurs stellen dat demografische pariteit (demographic parity) — het vereisen van gelijke voorspellingssnelheden (selectie-rates) voor verschillende demografische groepen, ongeacht de uitkomst — in klinische contexten met ongelijke ziektebelasting (zoals HIV) schadelijk kan zijn.

In situaties waar de basisvoorkomen (base rate) van een ziekte significant verschilt tussen groepen (bijvoorbeeld een veel hogere HIV-prevalentie bij Black/Afrikaans-Amerikaanse populaties), leidt het afdwingen van gelijke selectie-rates tot een inversie van publieke gezondheidsprioriteiten: het model zou screening moeten verminderen voor groepen met de hoogste behoefte en verhogen voor groepen met een lagere behoefte, puur om een statistische "gelijkheid" te bereiken.

Methodologie

De studie gebruikt een case study van HIV-testvoorspelling met de volgende aanpak:

• Data: Gebruik van de BRFSS 2024 dataset (Behavioral Risk Factor Surveillance System), een nationaal representatief telefoononderzoek van de CDC. De analyse omvatte 386.775 volwassenen.
  • Doelvariabele: Geschiedenis van HIV-testen (ja/nee).
  • Predictoren: Leeftijd, geslacht, ras/etniciteit (8 categorieën), inkomen, depressiediagnose, kostenbarrières en geografische regio.
  • Validatie: Data uit de Ryan White HIV/AIDS Program en CDC AtlasPlus werden gebruikt om de reële ziektebelasting te valideren.
• Modellen: Vier standaard ML-classifiers werden getraind:
  1. Logistische Regressie (LR)
  2. Random Forest (RF)
  3. Gradient Boosting (GB)
  4. XGBoost (XGB)
• Fairness-Metrieken:
  • Demografische Pariteit Difference (DPD): Verschil in positieve voorspellingssnelheden tussen groepen.
  • Equalized Odds Difference (EOD): Verschil in True Positive Rates (TPR) en False Positive Rates (FPR), geconditioneerd op de werkelijke uitkomst.
  • Calibratie: Of de voorspelde kansen dezelfde betekenis hebben voor alle groepen.
• Mitigatiestrategieën:
  • Threshold Optimization: Aanpassen van classificatiedrempels per groep om DPD te minimaliseren.
  • Exponentiated Gradient: Een in-processing methode die fairness-beperkingen direct in het trainingsproces integreert.
  • Race-blind modellen: Modellen getraind zonder ras als feature om te zien of correlaties via sociaaleconomische factoren (proxy's) de dispariteit behouden.

Belangrijkste Resultaten

1. Baseline Dispariteiten:
   De modellen vertoonden van nature grote verschillen in selectie-rates (DPD 0.519 - 0.634), die sterk correleerden met de werkelijke HIV-testfrequentie en ziektebelasting. Bijvoorbeeld: Black respondenten hadden een selectie-ratio van 66,0% versus 12,1% voor Aziaten. Dit weerspiegelde de werkelijke epidemiologische realiteit en niet per se een algoritmische bias.

2. Schade door Demografische Pariteit:
   Het afdwingen van demografische pariteit had ernstige klinische gevolgen:

   • De True Positive Rate (TPR) voor Black respondenten daalde van 78,2% naar 30,0% (een relatieve daling van 61,6%).
   • Dit resulteerde in 1.610 extra gemiste individuen in de testset alleen.
   • Voor Hispanic respondenten daalde de TPR van 62,6% naar 28,3%.
   • Tegelijkertijd nam de selectie voor groepen met lagere belasting (zoals White en Asian) toe, wat leidt tot een inefficiënte verdeling van schaarse screeningmiddelen.

3. Kosten van Optimalisatie:

   • Het gebruik van Exponentiated Gradient voor demografische pariteit verlaagde de modelprestaties (AUC) met 11,8% (van 0,671 naar 0,592).
   • Zelfs "race-blind" modellen behielden 70% van de oorspronkelijke dispariteit, omdat sociaaleconomische factoren (inkomen, toegang tot zorg, regio) sterk gecorreleerd zijn met ras en ziektebelasting.

4. Intersectionaliteit en Trade-offs:

   • Het optimaliseren voor ras alleen verergerde de ongelijkheid op basis van geslacht met 71%.
   • Multi-objectieve optimalisatie (ras x geslacht) kon de intersectie-dispariteit verminderen, maar deed dit ten koste van dezelfde hoge selectie-rates voor de hoog-risicogroepen.

5. Calibratie:
   De modellen waren minder goed gekalibreerd voor minderheidsgroepen (vooral Hispanic patiënten), wat een reëel eerlijkheidsprobleem is dat losstaat van selectie-rates en opgelost moet worden zonder de screening voor hoog-risicogroepen te verminderen.

Kernbijdragen

• Kritiek op Demografische Pariteit in de Zorg: Het artikel demonstreert dat demografische pariteit een ongeschikte fairness-metriek is voor klinische scenario's met ongelijke ziektebelasting. Het verwarren van "gelijke toegang" met "gelijke selectie-rates" leidt tot het onderdrukken van screening voor de groepen die het meest nodig hebben.
• Aanbeveling voor Alternatieve Metrieken: De auteurs pleiten voor het gebruik van Equalized Odds (gelijke nauwkeurigheid voor alle groepen) en Calibratie als prioritaire metrieken in de gezondheidszorg. Deze zorgen ervoor dat het model even accuraat is voor iedereen, maar staan toe dat groepen met een hogere ziektebelasting vaker worden geselecteerd.
• Klinische Impact van Fairness Audits: Het onderzoek toont aan dat het blind toepassen van fairness-algoritmen (zoals die ontwikkeld voor leningen of sollicitaties) op medische data directe schade kan veroorzaken door het misleiden van publieke gezondheidsprioriteiten.
• Stakeholder Involvement: De keuze voor een fairness-metriek is een normatieve, klinische beslissing die niet alleen door datawetenschappers, maar in overleg met clinici en gemeenschapsvertegenwoordigers moet worden genomen.

Significantie

De studie is van groot belang voor de ontwikkeling en implementatie van AI in de gezondheidszorg. Het waarschuwt ervoor dat het "oplossen" van dispariteiten door het afdwingen van statistische gelijkheid (demografische pariteit) in feite de bestaande ongelijkheden kan verergeren door de zorgverlening weg te halen van de kwetsbaarste populaties.

De conclusie is dat fairness in de zorg niet betekent dat iedereen hetzelfde behandeld wordt, maar dat iedereen de zorg krijgt die hij/zij nodig heeft op basis van de klinische realiteit. Voor HIV-screening betekent dit dat modellen die vaker Black en Hispanic patiënten screenen, juist eerlijker en effectiever zijn dan modellen die proberen de selectie-rates gelijk te trekken.