Population representativeness cannot be assessed for most FDA-authorized AI medical devices targeting high-disparity conditions
Deze studie onthult dat voor 76,6% van de door de FDA geautoriseerde AI-medische hulpmiddelen gericht op aandoeningen met een hoge mate van ongelijkheid, de representativiteit van de populatie niet kan worden beoordeeld op basis van openbare gegevens vanwege niet-gerapporteerde gegevens over ras, een tekortkoming die blijft bestaan zelfs bij het bestuderen van de onderliggende peer-reviewed literatuur en dat de tekortkoming van de huidige richtlijnen voor openbaarmaking onderstreept om de beoordelbaarheid van gelijkheid te waarborgen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Kunstmatige intelligentie is stilletjes een standaardinstrument geworden in de moderne geneeskunde, waarbij het artsen helpt bij het lezen van röntgenfoto's, het opsporen van tumoren en het voorspellen van hartrisico's. Deze hulpmiddelen zijn geen magie; het zijn computerprogramma's die getraind zijn op enorme hoeveelheden patiëntgegevens om patronen te herkennen. Voor een programma om goed te functioneren voor iedereen, moet het getraind worden op een mix van mensen die lijken op de patiënten die het uiteindelijk zal behandelen. Als een hulpmiddel alleen leert van één type persoon, kan het falen wanneer het wordt gebruikt op iemand die anders is, wat potentieel kan leiden tot gemiste diagnoses of onjuiste behandelingen. Dit is een kwestie van eerlijkheid en veiligheid. Wanneer een medisch apparaat wordt goedgekeurd voor gebruik, publiceert de overheidsinstantie die het reguleert, de Food and Drug Administration, een samenvatting van het bewijs. Deze documenten zijn bedoeld als het openbare verslag, waarin wordt getoond wie er getest is en hoe het apparaat presteerde. De kritische vraag is of deze samenvattingen het volledige verhaal vertellen over wie er met het apparaat is getest, vooral voor ziekten die bepaalde raciale en etnische groepen ernstiger treffen.
Een team van onderzoekers zette zich in om deze vraag te beantwoorden door bijna elk medisch apparaat op basis van kunstmatige intelligentie dat tot het einde van 2025 in de Verenigde Staten is goedgekeurd, te onderzoeken. Ze bekeken 1.428 apparaten, variërend van hulpmiddelen die hersenbeelden scannen tot die welke hartritmes analyseren. Hun doel was om te zien of de publieke documenten iedereen in staat stelden om te beoordelen of de mensen op wie de apparaten zijn getest, overeenkwamen met de mensen die daadwerkelijk lijden aan de ziekten waar de apparaten voor bedoeld zijn. De onderzoekers vonden een aanzienlijke kloof in de beschikbare informatie. Voor ongeveer drie op de vier apparaten die ontworpen zijn voor aandoeningen waarbij raciale ongelijkheden bekend zijn, rapporteerden de publieke documenten niet de ras of etniciteit van de mensen in de testdata. Zonder deze basisinformatie is het onmogelijk om te bepalen of het apparaat is getest op een eerlijke mix van patiënten of dat het alleen is getest op een groep die niet representatief is voor de bredere populatie.
De onderzoekers ontwikkelden een specifieke checklist om deze documenten te evalueren, waarbij ze letten op details zoals de ras, leeftijd en locatie van de patiënten die bij de testen betrokken waren. Ze ontdekten dat hoewel sommige informatie aanwezig was, de meest cruciale gegevens met betrekking tot ras en etniciteit in de overgrote meerderheid van de gevallen ontbraken. Deze ontbrekende informatie was niet alleen een kwestie van de samenvattingen die te kort waren; de onderzoekers groeven dieper en bekeken de oorspronkelijke wetenschappelijke studies achter de apparaten. Zelfs toen ze de volledige wetenschappelijke artikelen vonden, ontbrak de data nog steeds in de meeste gevallen. Dit suggereert dat het probleem niet alleen ligt in hoe de overheid de informatie samenvat, maar in het onderzoek zelf. De studies die worden gebruikt om te bewijzen dat deze apparaten werken, bevatten vaak niet genoeg detail over de demografie van de betrokken patiënten.
De studie onthulde ook dat wanneer de data wel aanwezig waren, deze vaak lieten zien dat de testgroepen niet overeenkwamen met de groepen die het meest door de ziekte worden getroffen. Bijvoorbeeld, sommige apparaten ontworpen voor het detecteren van huidkanker, een aandoening die moeilijker te diagnosticeren kan zijn bij mensen met een donkere huid, werden bijna volledig getest op mensen met een lichte huid. In andere gevallen werden apparaten voor hartcondities getest op populaties die de hogere percentages hartziekten in bepaalde minderheidsgemeenschappen niet weerspiegelden. De onderzoekers merkten op dat hoewel sommige apparaten uitstekende, gedetailleerde informatie over hun testgroepen boden, dit de uitzondering was en niet de regel. Meestal bevatte het openbare verslag simpelweg niet de cijfers die nodig zijn om een eerlijk oordeel te vellen.
Een van de meest opvallende bevindingen was dat de onderzoekers de eerlijkheid van de apparaten niet betrouwbaar konden beoordelen op basis van de tekst alleen. Ze ontdekten dat wanneer zij gevraagd werd om vage beschrijvingen te interpreteren of te beoordelen hoe goed een patiëntengroep overeenkwceem met een ziekte, verschillende experts vaak van mening verschilden. Ze konden echter wel betrouwbaar instemmen met eenvoudige, binaire feiten: of een getal werd gerapporteerd of niet. Dit leidde het team tot de conclusie dat het huidige systeem van rapporteren onvoldoende is om gelijkheid te waarborgen. De documenten zijn te vaak zwijgzaam over de details die het meest cruciaal zijn voor eerlijkheid. De onderzoekers stellen een nieuwe, eenvoudige standaard voor deze rapporten voor, waarbij fabrikanten worden vereist om specifieke aantallen te vermelden over de ras, leeftijd en achtergrond van de geteste mensen, in plaats van alleen algemene verklaringen te schrijven.
De implicaties van dit werk zijn duidelijk voor patiënten, artsen en ziekenhuizen. Als een ziekenhuis een nieuw kunstmatige intelligentie-instrument wil kopen om een ziekte te helpen diagnosticeren, kan het momenteel de publieke goedkeuringsdocumenten niet gebruiken om te zien of dat instrument is getest op mensen zoals hun eigen patiënten. Ze laten het aan het toeval over. De studie toont aan dat voor de meest voorkomende en dodelijke ziekten, de instrumenten die worden ingezet vaak zijn gebouwd op data die niet de realiteit weerspiegelen van de mensen die ze het hardst nodig hebben. De onderzoekers benadrukken dat dit geen probleem is dat kan worden opgelost door simpelweg om meer tekst te vragen; de industrie moet beginnen met het rapporteren van specifieke, gestructureerde data. Tot die tijd blijft het openbare verslag incompleet, wat een kritiek blinde vlek vormt in de veiligheid en eerlijkheid van de medische technologie die de Amerikaanse gezondheidszorg in toenemende mate vormgeeft.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.