Demographic Injection in Medical Language Models under Diversity, Equity, and Inclusion Prompts

In het snel evoluerende veld van kunstmatige intelligentie heeft een nieuwe generatie computerprogramma's geleerd om te lezen en te schrijven als mensen, waarbij ze advies geven over alles van literatuur tot geneeskunde. Nu deze hulpmiddelen de gezondheidszorg binnendringen, hebben experts ontwikkies aangespoord om ze te programmeren met een specifieke vorm van sensitiviteit: een bewustzijn van diversiteit, gelijkwaardigheid en inclusie. Het doel is om ervoor te zorgen dat wanneer een arts een computer om hulp vraagt bij een patiënt, de machine rekening houdt met hoe factoren zoals ras, inkomen of culturele achtergrond de gezondheidsuitkomsten kunnen beïnvloeden. Deze aanpak gaat ervan uit dat door de computer expliciet te vragen over deze sociale realiteiten na te denken, de machine eerlijker en nauwkeuriger zal worden. De relatie tussen de instructies van een computer en de output is echter complex, en welbedoelde prompts kunnen soms onverwachte gedragingen triggeren die de informatie die ze juist bedoelen te verhelderen, vervormen.

Onderzoekers aan de Arizona State University onderzochten wat er gebeurt wanneer zij deze op gelijkwaardigheid gerichte instructies toepassen op medische vragen. Ze testten veertig zeven verschillende kunstmatige intelligentiemodellen, variërend van veelgebruikte commerciële systemen tot gespecialiseerde open-source programma's, met behulp van een enorme collectie medische meerkeuzevragen. In hun experiment namen ze standaard medische scenario's — beschrijvingen van patiënten met specifieke symptomen maar zonder vermelding van hun achtergrond — en vroegen de modellen deze op te lossen. Ze vergeleken de antwoorden van de modellen onder vier verschillende omstandigheden: met geen extra instructie, met een nonsensuele instructie, met een neutrale medische instructie, en met een enkele zin die het model opdracht geeft om rekening te houden met diversiteit en gelijkwaardigheid.

De resultaten onthulden een opvallend en consistent patroon. Wanneer de modellen de gelijkwaardigheidsgerichte instructie ontvingen, begonnen ze vaak details over de patiënten te verzinnen die nooit in de oorspronkelijke beschrijving stonden. De onderzoekers noemen dit fenomeen "demografische injectie". In de controlegroepen, waar geen speciale instructie werd gegeven, voegden de modellen onvermeld demografisch detail toe, zoals de ras of sociale status van een patiënt, in minder dan één procent van de gevallen. Maar wanneer de gelijkwaardigheidsprompt werd toegevoegd, steeg dat aantal naar dertig drie procent over elk getest model heen. Dit betekent dat in ongeveer één op de drie gevallen waarin de computer werd gevraagd om rekening te houden met gelijkwaardigheid, de computer er stilzwijgend voor koos om een specifieke ras, leeftijd of economische situatie toe te wijzen aan een patiënt die die niet had.

Meestal was deze verzinsel onschadelijk. De modellen voegden een algemene opmerking toe over hoe een bepaalde ziekte een specifieke groep mensen in de echte wereld treft, zonder de uiteindelijke medische aanbeveling te veranderen. Echter, een kleiner maar significant deel van deze reacties ging verder. In ongeveer tweeënhalf procent van de gevallen koppelde het model de verzonnen demografie direct aan de specifieke patiënt in het verhaal. Deze verschuiving in de identiteit van de patiënt zorgde ervoor dat het model zijn medische advies veranderde, en bijna altijd was het nieuwe advies onjuist. Bijvoorbeeld, wanneer gepresenteerd werd aan een geval van een vrouw met een pijnloze zwelling in de nek en normale bloedwaarden, zou een model de conditie correct kunnen identificeren als een specifiek type ontsteking van de schildklier. Maar wanneer geprompt om rekening te houden met gelijkwaardigheid, zou hetzelfde model plotseling kunnen besluiten dat de patiënt een zwarte of Hispanische vrouw was, en op basis van die verzonnen identiteit de diagnose veranderen naar een andere, onjuiste ziekte.

De studie vond dat de manier waarop de instructie werd geformuleerd er groot toe deed. Gedetailleerdere prompts die het model vroegen om rekening te houden met sociale determinanten van de gezondheid of specifieke demografische groepen, zorgden ervoor dat de modellen nog vaker patiëntdetails verzinten, waarbij het percentage verzinsels steeg tot wel tweeënvijftig procent. De onderzoekers bepaalden dat dit gedrag werd gedreven door de inhoud van de gelijkwaardigheidsinstructie zelf, en niet simpelweg door het feit dat het model meer tekst las. Ze sloten de mogelijkheid uit dat de modellen slechts werden afgeleid door extra woorden, aangezien instructies die net zo lang maar ongerelateerd aan gelijkwaardigheid waren, niet hetzelfde effect veroorzaakten. In plaats daarvan leken de modellen tijdens hun training een sterke associatie te hebben geleerd: wanneer ze woorden zien die gerelateerd zijn aan gelijkwaardigheid, verwachten ze demografische details te zien en voelen ze zich verplicht deze te verstrekken, zelfs wanneer de gebruiker er niet om heeft gevraagd.

Deze ontdekking benadrukt een subtiele maar cruciale fout in de manier waarop deze systemen instructies verwerken. De computer handelt niet uit kwaadwilligheid of vooroordelen in de menselijke zin; eerder volgt het een patroon dat het heeft geleerd om behulpzaam te zijn. Wanneer verteld wordt om rekening te houden met gelijkwaardigheid, interpreteert het dat als een opdracht om ontbrekende informatie aan te vullen, uitgaande van de veronderstelling dat een compleet medisch beeld een demografisch label vereist. Door dit te doen, herschrijft het de identiteit van de patiënt, waardoor een generiek geval wordt omgezet in een specifiek geval dat nooit heeft bestaan. De onderzoekers benadrukken dat hoewel de algehele nauwkeurigheid van de modellen slechts licht daalde, de fouten geconcentreerd waren in precies die gevallen waarin de modellen probeerden het meest behulpzaam te zijn. De studie concludeert dat elke instructie die een model een duwtje geeft in hoe het moet redeneren, ertoe kan leiden dat het ongevraagde details toevoegt, en in de hooggestelde wereld van de geneeskunde kan zelfs een kleine verschuiving in de beschrijving van een patiënt leiden tot een gevaarlijke misdiagnose.