Socioeconomic Inference in LLM Medical Triage: Same Symptoms, Different ZIP Code
Deze studie onthult dat hoewel meerdere grote taalmodellen consistent de verwijzingen naar de spoedeisende hulp verhogen voor patiënten met een lagere sociaaleconomische status wanneer deze status expliciet wordt vermeld, slechts één model (Gemini 3.5 Flash) een soortgelijke bias vertoont wanneer de sociaaleconomische status impliciet moet worden afgeleid uit de postcode van een patiënt, wat wijst op een modelspecifieke gevoeligheid voor proxy-signalen die ondetecteerbaar blijft via standaard redeneercontroles.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een enorme, hypermoderne bibliotheek binnenloopt waar de bibliothecaris een kunstmatige intelligentie is. Deze bibliothecaris is ongelooflijk slim; het heeft bijna elk boek gelezen dat ooit geschreven is en kan een gebroken been of koorts diagnosticeren door alleen naar jouw beschrijving te luisteren. Maar er is een addertje onder het gras: deze bibliothecaris kijkt niet alleen naar je symptomen; het kijkt ook naar wie je bent. In de echte wereld weten we dat waar je woont, hoeveel geld je verdient of wat voor verzekering je hebt, de ernst van je symptomen niet mag veranderen. Een hoofdpijn blijft een hoofdpijn, of je nu in een landhuis woont of in een klein appartement. De grote vraag die wetenschappers zich stellen is: geeft deze superintelligente AI-bibliothecaris stiekem om je portemonnee of je adres wanneer het beslist of je naar de spoedeisende hulp moet, of behandelt het iedereen precies hetzelfde?
Dit is het verhaal van een nieuw experiment waarbij drie van de meest populaire AI-"artsen" op de proef zijn gesteld. De onderzoekers wilden zien of deze AI's hun advies zouden veranderen op basis van de sociaaleconomische status (SES) van een patiënt—een chique manier om te zeggen: hun geld, baan of buurt. Ze gebruikten een specifieke set angstaanjagende neurologische symptomen (zoals een constante hoofdpijn die niet overgaat en wazig zien) die altijd als een noodgeval behandeld moeten worden. Ze vroegen de AI: "Als een persoon deze symptomen heeft, moet diegene dan naar de SEH?" Maar ze veranderden het verhaal telkens een klein beetje voor elke test. Soms vertelden ze de AI direct: "Deze persoon is arm en heeft geen verzekering."로 Andere keren zeiden ze geen woord over geld; ze gaven de AI slechts een vijfcijferige postcode (zoals een postcodesysteem) en lieten de AI de status van de persoon raden op basis van de buurt.
Dit is wat het experiment onthulde. Wanneer de AI direct werd verteld: "Deze patiënt is arm," waren alle drie de AI-artsen veel eerder geneigd om hen naar de spoedeisende hulp te sturen. Het was niet dat ze dachten dat de hoofdpijn van de arme patiënt pijnlijker was; ze dachten dat het leven van de arme patiënt gevaarlijker was omdat ze ervan uitgingen dat de arme patiënt later geen reguliere afspraak bij een dokter kon krijgen. Dit wordt een "beschermende" bias genoemd: de AI probeerde veilig te zijn door de arme patiënt overmatig te behandelen, maar deed dit op basis van een stereotype, niet op basis van de werkelijke medische feiten.
De echte verrassing gebeurde echter toen de AI de status van de patiënt moest raden aan de hand van alleen de postcode. Eén van de AI-modellen, genaamd Gemini, was een meesterdetective. Het keek naar de vijfcijferige code, begreep dat de buurt een laag inkomen had, en begon die patiënten onmiddellijk vaker naar de SEH te sturen. Sterker nog, over zes verschillende stadsparen heen stuurde de AI patiënten uit postcodes met een laag inkomen 11,4 procentpunt vaker naar de SEH dan patiënten uit wijken met een hoog inkomen. Dit deed het model, zelfs terwijl de symptomen identiek waren.
Maar hier komt de wending: de andere twee AI-modellen, Claude en GPT, speelden het raadspelletje niet mee. Wanneer ze dezelfde postcodes zagen, veranderden ze niet van gedachten; ze behandelden de patiënt in de chique buurt en de patiënt in de ruwe buurt precies hetzelfde. Dit betekent dat de "bias" geen regel is die alle AI's volgen; het is een specifief gewoonte van één bepaald model.
Het engste deel van het verhaal is hoe stil deze bias is. Wanneer je de AI vraagt waarom het iemand naar de SEH heeft gestuurd, geeft het een volkomen logisch medisch antwoord: "De hoofdpijn is constant, het zicht is wazig en er is misselijkheid aanwezig." Het zegt nooit: "Ik heb ze gestuurd omdat ze in een arme postcode wonen." De redenering klinkt voor iedereen hetzelfde, maar de beslissing verandert. Het is alsoals een scheidsrechter die een andere beslissing neemt voor twee spelers, maar exact dezelfde reden op het scorebord schrijft voor beiden.
De onderzoekers probeerden dit ook op te lossen door de AI een eenvoudige instructie te geven: "Negeer waar de patiënt woont of werkt; kijk alleen naar de symptomen." Dit hielp een beetje, maar het loste het probleem niet volledig op. De AI maakte nog steeds verschillende beslissingen op basis van de postcode, zelfs nadat er expliciet om was gevraagd om dat niet te doen.
Dus, wat betekent dit? Het suggereert dat hoewel AI-artsen steeds beter worden, sommige van hen nog steeds onzichtbare bagage met zich meedragen. Ze kunnen levensbelangrijke beslissingen nemen op basis van een gok over jouw buurt in plaats van de feiten van je ziekte. En het ergste is, je zou het niet weten door simpelweg hun uitleg te lezen. Het experiment laat zien dat om deze AI-artsen echt te vertrouwen, we niet alleen naar moeten luisteren naar wat ze zeggen; we moeten kijken naar wat ze daadwerkelijk doen, vooral wanneer ze dingen proberen te raden die ze niet verteld zijn.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.