Subgroup AUROC-gap tests are not evidence of unfairness in clinical prediction models: case-mix differences make the equal-discrimination null false
Dit artikel toont aan dat standaard subgroup AUROC-gap-testen ongeldig zijn voor het beoordelen van eerlijkheid in klinische voorspellingsmodellen omdat verschillen in casemix-distributies van nature AUROC-dispariteiten produceren, zelfs in perfect eerlijke modellen, terwijl kalibratietesten robuust blijven voor het onderscheiden van werkelijke oneerlijkheid van geometrische artefacten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
In het moderne ziekenhuis worden algoritmen steeds vaker gebruikt om te voorspellen wie waarschijnlijk ernstig ziek zal worden, wat artsen helpt te beslissen wie urgente zorg nodig heeft. Deze instrumenten worden getraind op enorme hoeveelheden patiëntgegevens en leren patronen herkennen die mensen misschien over het hoofd zien. Maar omdat deze modellen zijn gebouwd op basis van echte wereldgegevens, kunnen ze soms de ongelijkheden uit de samenleving overnemen, waardoor ze goed presteren voor sommige groepen mensen terwijl ze falen voor anderen. Om dit te detecteren, voeren ziekenhuizen en toezichthouders nu routinematig "eerlijkheidsaudits" uit. Deze audits splitsen de patiëntenpopulatie op in groepen — op basis van leeftijd, ras of geslacht — en controleren of het model even goed presteert voor iedereen. De standaardmanier om prestaties te meten is een score genaamd de area under the curve, die in essentie vraagt: als je willekeurig een zieke persoon en een gezonde persoon kiest, hoe vaak rangschikt het model de zieke persoon dan correct hoger? Als het model eerlijk is, zou deze score voor elke groep gelijk moeten zijn.
Jarenlang was de aanname dat als deze scores verschillen tussen groepen, het model oneerlijk is. Onderzoekers en toezichthouders hebben verschillende statistische tests ontwikkeld om te zien of het verschil groot genoeg is om een probleem te vormen, waarbij een model vaak als bevooroordeeld wordt gemarkeerd als de scores onder een bepaalde drempelwaarde zakken of als de score van één groep minder dan 80 procent van die van een andere groep is. De logica leek sluitend: een perfect model zou iedereen hetzelfde moeten behandelen, dus zou het uitkomsten met dezelfde nauwkeurigheid moeten voorspellen voor iedereen. Echter, een nieuwe studie daagt dit hele fundament uit en stelt dat de tests die gebruikt worden om oneerlijkheid te vinden, vaak worden misleid door iets veel onschuldigers: de natuurlijke verschillen in de soorten patiënten die verschillende groepen bevatten.
De onderzoekers achter deze studie, die werkten met gegevens van vijf verschillende klinische cohorten en duizenden computersimulaties uitvoerden, wilden zien wat er gebeurt wanneer een perfect eerlijk model wordt getest op groepen die van elkaar verschillen. Ze bouwden een model dat wiskundig perfect was, wat betekent dat het de exacte waarschijnlijkheid van ziekte voor elke individuele patiënt kende en niemand anders behandelde op basis van identiteit. Vervolgens voedden ze dit perfecte model aan verschillende demografische groepen, maar lieten ze de groepen verschillende "case mixes" hebben. In gewone taal betekent dit dat de patiënten in de ene groep een breder scala aan risicofactoren kunnen hebben dan de patiënten in een andere groep, ook al was het model zelf identiek en eerlijk.
Wat zij vonden was verbijsterend. Toen ze de standaard eerlijkheidstests op dit perfecte model uitvoerden, gaven de tests vaak aan dat het model oneerlijk was. In simulaties waarin de groepen matige verschillen vertoonden in hun patiëntprofielen, markeerden de tests het perfecte model bijna 92 procent van de tijd als bevooroordeeld. Wanneer de verschillen groter waren, markeerden de tests het met een AUC van 1. De onderzoekers ontdekten dat de statistische tests niet oneerlijkheid detecteerden, maar de natuurlijke spreiding van gegevens. Een groep met een breder scala aan patiëntrisico's is eigenlijk makkelijker door een model te scheiden in "zieke" en "gezonde" categorieën, wat leidt tot een hogere prestatiescore. Een groep met een smaller bereik aan risico's is moeilijker te scheiden, wat leidt tot een lagere score. De tests interpreteerden dit natuurlijke verschil in moeilijkheidsgraad als een teken van bias, terwijl het model in werkelijkheid precies deed zoals het hoorde.
De studie ging verder door te meten hoeveel van dit verschil in "case mix" daadwerkelijk bestaat in echte ziekenhuisgegevens. Ze keken naar 21 verschillende demografische splitsingen over vijf echte datasets. Ze ontdekten dat in veel van deze groepen de natuurlijke verschillen in patiëntprofielen groot genoeg waren zodat een perfect eerlijk model nog steeds een prestatiekloof zou laten zien die lijkt op een schending van de eerlijkheidsregels. Bijvoorbeeld, in sommige leeftijdsgebonden groepen zou een eerlijk model van nature een verschil in prestaties laten zien dat groot genoeg is om een eerlijkheidsalarm te triggeren, zelfs als het model niets fout deed. De onderzoekers probeerden de geobserveerde kloven in echte data te analysen om te zien hoeveel daarvan te wijten was aan deze natuurlijke verschillen en hoeveel aan werkelijke oneerlijkheid, maar ze vonden de wiskunde te instabiel om een precies antwoord te geven. De kloof was een mix van beide, en de beschikbare instrumenten konden hen niet scheiden.
Dit leidt tot een moeilijke conclusie voor iedereen die probeert medische AI eerlijk te maken. Het artikel betoogt dat het simpelweg vergelijken van prestatiescores tussen groepen en het uitvoeren van een statistische test geen geldige manier is om te bewijzen dat een model oneerlijk is. De tests worden te gemakkelijk misleid door de natuurlijke diversiteit van patiëntenpopulaties. De onderzoekers suggereren dat in plaats van te proberen alle groepen een exact dezelfde prestatiescore te geven — een doel dat wiskundig gezien onmogelijk kan zijn als de groepen verschillend zijn — men naar andere zaken moet kijken. Ze bevelen aan om de prestatiescores te rapporteren samen met een beschrijving van de patiëntgroepen zelf, zodat artsen kunnen zien of een lagere score simpelweg komt doordat die groep moeilijker te voorspellen is. Ze suggereren ook om te controleren of de voorspellingen van het model goed gekalibreerd zijn, wat betekent: als het model een AUC van 0,2 voorspelt, gebeurt dat dan ook daadwerkelijk 0,2 van de tijd? In tegen tegenstelling tot de prestatiescoretests, lieten hun simulaties zien dat kalibratiecontroles niet werden misleid door deze natuurlijke verschillen in patiëntengroepen.
De studie beweert niet dat medische modellen altijd eerlijk zijn, noch zegt het dat bias niet bestaat. Het laat simpelweg zien dat de meest gebruikelijke manier waarop we het proberen te vinden, kapot is. De onderzoekers benadrukken dat hun bevindingen voortkomen uit simulaties en specifieke datasets, en dat zij geen nieuwe magische test aanbieden om de oude te vervangen. In plaats daarvan dringen ze aan op een verschuiving in hoe we over eerlijkheid denken. In plaats van te eisen dat een model identiek presteert voor een groep jonge mensen en een groep oudere mensen, wat door de verschillende aard van hun gezondheidsrisico's misschien onmogelijk is, zouden we moeten eisen dat het model accuraat en gekalibreerd is op basis van hun eigen kenmerken. Het artikel dient als een waarschuwing dat, zonder het begrijpen van de onderliggende verschillen in de patiëntenpopulaties, we het risico lopen perfecte instrumenten als defect te bestempelen, of erger nog, echte problemen te missen omdat we naar de verkeerde cijfers kijken.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.