Gender bias in AI-based model according to the sex composition of the training sets: the case of a model triaging patients requiring referral to hospital emergencies among those seeking emergency or unscheduled care by phone

Wanneer iemand om medische hulp belt, wordt de eerste beslissing vaak genomen door een stem aan de andere kant van de lijn. Deze centralist moet snel beslissen of de beller een ambulance nodig heeft, een huisbezoek van een arts, of simpelweg advies om te wachten. In de afgelopen jaren zijn ziekenhuizen en spoeddiensten begonnen met het gebruik van kunstmatige intelligentie om deze moeilijke taak te ondersteunen. Deze computerprogramma's luisteren naar het gesprek, lezen de gesproken woorden en berekenen hoe urgent de situatie is. De hoop is dat machines informatie sneller en consistenter kunnen verwerken dan mensen, vooral wanneer de beller in pijn verkeert of in nood is. Echter, een hardnekkig probleem in de geneeskunde is dat vrouwen vaak andere zorg ontvangen dan mannen, soms tot hun nadeel. Zij moeten soms langer wachten op pijnstilling of worden minder serieus genomen bij het beschrijven van symptomen. De kritische vraag voor het nieuwe tijdperk van medische technologie is of deze computerprogramma's simpelweg die oude menselijke fouten zullen herhalen, of dat ze zo gebouwd kunnen worden dat ze iedereen eerlijk behandelen.

Een team van onderzoekers in Frankrijk zette zich af om precies dit vraagstuk te onderzoeken binnen de context van medische spoedcentrales. Ze werkten samen met een grote organisatie genaamd SOS Médecins Grand Paris, die dagelijks duizenden oproepen afhandelt van mensen die op dezelfde dag medische hulp nodig hebben. De onderzoekers richtten zich op een specifiek type oproep: die waarbij een arts uiteindelijk het huis van de patiënt bezocht. Aan het einde van elk bezoek legde de arts vast of de patiënt naar een spoedeisende hulp in het ziekenhuis werd gestuurd of naar huis werd gestuurd. Dit verslag diende als de 'ground truth' voor de studie, waardoor de onderzoekers konden zien welke oproepen daadwerkelijk dringende ziekenhuiszorg vereisten. Ze verzamelden gegevens van bijna twee miljoen oproepen gedaan tussen 2018 en 2023, waarbij de audio-opnames van de initiële telefoongesprekken werden gekoppeld aan de uiteindelijke medische dossiers van de patiënten. Na het opschonen en koppelen van de gegevens hadden ze een enorme collectie van meer dan één miljoen gekoppelde oproepen en uitkomsten om mee te werken.

De onderzoekers bouwden vervolgens drie verschillende computermodellen om te zien hoe de mix van mannen en vrouwen in de trainingsdata de resultaten beïnvloedde. Ze bouwden niet zomaar één model en testten dat; ze creëerden drie verschillende versies om het effect van de genderbalans te isoleren. Het eerste model werd uitsluitend getraind op gegevens van mannen. Het tweede werd uitsluitend getraind op gegevens van vrouwen. Het derde model werd getraind op een perfect gebalanceerde mix van mannen en vrouwen, maar met de helft van het totale aantal voorbeelden vergeleken met de andere twee. Ze testten vervolgens elk model op nieuwe, ongeziene oproepen om te zien hoe goed het kon voorspellen wie naar het ziekenhuis moest. Het doel was om te zien of een model dat getraind is op een gebalsteerde groep even goed zou presteren voor beide geslachten, of dat de samenstelling van de trainingsdata zou veranderen hoe de machine mannen en vrouwen "zag".

De resultaten onthulden een verrassend en complex beeld van hoe deze machines leren. Het model dat uitsluitend op mannen was getraind, presteerde goed voor mannen, maar had aanzienlijke problemen wanneer het op vrouwen werd toegepast. Het slaagde er niet in om veel vrouwen te identificeren die daadwerkelijk spoedeisende zorg nodig hadden, wat een duidelijke kloof in prestaties liet zien. In tegenstelling hiermee presteerde het model dat uitsluitend op vrouwen was getraind goed voor vrouwen en, misschien wel verrassender, presteerde het even goed voor mannen. Het leek geen nauwkeurigheid te verliezen wanneer het op de mannelijke populatie werd toegepast. Het derde model, dat getraind was op een gebalanceerde mix van mannen en vrouwen, viel ergens in het midden. Het presteerde beter voor mannen dan voor vrouwen, maar de kloof was kleiner dan in het model dat alleen op mannen was getraind. Cruciaal was dat de onderzoekers ontdekten dat het simpelweg balanceren van de aantallen mannen en vrouwen in de trainingsdata niet genoeg was om eerlijkheid te garanderen. Zelfs het gebalanceerde model vertoonde een lichte voorkeur voor mannen, wat suggereert dat het probleem niet alleen gaat over het hebben van gelijke aantallen voorbeelden, maar over iets diepers in hoe de symptomen en uitkomsten met elkaar verband houden voor verschillende geslachten.

Om te begrijpen waarom dit gebeurde, keken de onderzoekers nauwgezet naar de woorden die de modellen het belangrijkst vonden bij het nemen van hun beslissingen. Ze ontdekten dat de taal die gebruikt werd om een noodsituatie te beschrijven, een verschillende impact had afhankelijk van het model. Zo waren woorden gerelateerd aan vallen of kortademigheid belangrijk voor beide groepen, maar andere termen zoals "pijn" en "buik" waren zeer invloedrijk voor het vrouwelijke model, terwijl "bloed" en "duizeligheid" de beslissingen van het mannelijke model aanstuurden. Dit geeft aan dat de relatie tussen wat een patiënt zegt en of hij/zij een ziekenhuis nodig heeft, niet identiek is voor mannen en vrouwen. De computermodellen waren niet alleen niet in staat om genoeg voorbeelden van vrouwen te zien; ze leerden dat de tekenen van een noodsituatie er anders uitzien afhankelijk van het geslacht van de beller. Een enkel model dat probeert te leren van beide groepen tegelijk, eindigt in een compromis dat de patronen van de meerderheidsgroep bevoordeelt, wat in dit geval neigde naar mannen.

De studie concludeert dat het oplossen van genderbias in kunstmatige intelligentie niet zo eenvoudig is als ervoor zorgen dat de trainingsdata een gelijk aantal mannen en vrouwen bevat. Hoewel het balanceren van de data helpt, lost het het probleem niet automatisch op. De onderzoekers suggereren dat de verschillen in hoe mannen en vrouwen ziekte ervaren en beschrijven, structureel en fundamenteel zijn. Vanwege deze reden lijkt een model dat specifiek voor vrouwen is gebouwd, robuust genoeg om mannen te kunnen behandelen, maar een model dat voor mannen is gebouwd, vertaalt zich niet goed naar vrouwen. Deze bevinding daagt de algemene aanname uit dat een enkel, gebalanceerd algoritme iedereen gelijk kan behandelen. In plaats daarvan suggereert het dat eerlijkheid in medische AI vereist dat deze diepe verschillen vanaf het begin van het ontwerpproces worden erkend, in plaats van ze later te proberen te corrigeren met eenvoudige aanpassingen in de data. Het werk benadrukt dat voor deze instrumenten werkelijk veilig en effectief te zijn, ze gebouwd moeten worden met het begrip dat de menselijke ervaring van ziekte niet uniform is over de geslachten heen.