Rare Diseases, Common Dilemmas: LLMs Prioritize Equal Resource Distribution over Patient Benefit in Decision-Making

In de hooggestoken wereld van de geneeskunde worden artsen vaak geconfronteerd met keuzes waar geen enkel juist antwoord bestaat. Wanneer een patiënt kritiek ziek is of een zeldzame aandoening heeft, moet het medische team verschillende concurrerende morele plichten in evenwicht brengen. Ze moeten proberen de patiënt te helpen, schade te voorkomen, het recht van de patiënt om zijn eigen pad te kiezen te respecteren en ervoor zorgen dat middelen eerlijk worden verdeeld onder iedereen die ze nodig heeft. Deze plichten, bekend als weldoen, niet-schaden, autonomie en rechtvaardigheid, trekken regelmatig in verschillende richtingen. Een behandeling die bijvoorbeeld een leven zou kunnen redden, kan ook enorme pijn veroorzaken, of een schaars, duur medicijn kan één persoon diep helpen terwijl velen anderen zonder zorg blijven. Nu kunstmatige intelligentie steeds gebruikelijker wordt in de gezondheidszorg, beginnen mensen zich af te vragen hoe deze computersystemen dergelijke moeilijke, waarde-geladen beslissingen nemen. De zorg gaat niet alleen over de vraag of de machine de feiten kent, maar of zij de zwaarte van de morele afwegingen begrijpt.

Een nieuwe studie onderzoekt hoe grote taalmodellen, de krachtige AI-systemen die in staat zijn tot het genereren van mensachtige tekst, deze ethische keuzes maken bij de zorg voor patiënten met zeldzame ziekten. Zeldzame ziekten vormen een unieke uitdaging omdat ze een klein aantal mensen treffen, vaak met beperkte medische gegevens beschikbaar. In deze situaties moeten families en artsen vaak beslissingen nemen onder diepe onzekerheid, waarbij ze imperfecte opties tegen elkaar afwegen. De onderzoekers creëerden een test om te zien of AI door deze troebele wateren kon navigeren. Ze bouwden een collectie van 208 realistische medische verhalen, of vignettes, gebaseerd op echte zeldzame ziekten en hun specifieke genetische en klinische details. Elk verhaal presenteerde een echt dilemma waarbij twee verschillende vervolgstappen beide medisch redelijk waren, maar ethisch tegenovergesteld. Bijvoorbeeld: één optie zou de directe behoeften van een individuele patiënt prioriteit geven, terwijl de andere optie zich richtte op de eerlijke verdeling van een beperkt middel over een groep. De onderzoekers vroegen vervolgens aan elf verschillende geavanceerde AI-modellen om tussen deze twee opties te kiezen.

De resultaten onthulden een opvallend patroon. Over alle verschillende geteste AI-modellen heen, ongeacht wie ze had gebouwd of hoe ze waren getraind, kozen de systemen consequent voor de optie die rechtvaardigheid prioriteit gaf. In de context van deze medische verhalen betekende dit dat de AI bijna altijd de voorkeur gaf aan een gelijke verdeling van middelen boven de specifieke, urgente behoeften van een individuele patiënt. De modellen leken rechtvaardigheid te behandelen als een kwestie van iedereen een gelijk deel geven, in plaats van meer te geven aan degenen die zieker zijn of een grotere medische noodzaak hebben. Deze voorkeur voor gelijkheid leek een oppervlakkige reactie op het concept van rechtvaardigheid, een reactie die de ernst van de toestand van de patiënt over het hoofd zag. De studie suggereert dat deze AI-systemen niet diepgaand nadenken over de morele complexiteit van de situatie, maar in plaats daarvan terugvallen op een eenvoudige regel van gelijke verdeling.

De onderzoekers ontdekten ook dat de keuze van de AI sterk afhankelijk was van wie er werd beschreven als de persoon die de uiteindelijke beslissing neemt. Wanneer het verhaal de beslissing frameerde als behorend tot een commissie of een ziekenhuisbestuur, gaf de AI sterk de voorkeur aan rechtvaardigheid en gelijke verdeling van middelen. Echter, wanneer de beslissing werd geframed als behorend tot een individuele arts of de patiënt zelf, veranderde de voorkeur van de AI. In die gevallen bewogen de modellen weg van strikte gelijkheid en begonnen ze de eigen wensen van de patiënt of hun onmiddellijke welzijn prioriteit te geven. Dit geeft aan dat de AI zeer gevoelig is voor de sociale rol die aan de besluitvormer wordt toegewezen, wat menselijke intuïties over hoe autoriteit werkt weerspiegelt. Het lijkt erop dat de AI heeft geleerd dat commissies verantwoordelijk zijn voor rechtvaardigheid, terwijl individuen verantwoordelijk zijn voor zorg en keuze.

Dit gedrag roept belangrijke vragen op over hoe deze tools in echte ziekenhuizen gebruikt kunnen worden. De studie suggereert dat AI-beslissingsondersteunende systemen bestaande machtsstructuren eerder stilzwijgend kunnen versterken dan een nieuw, principieel perspectief bieden. Als een arts een AI om advies vraagt bij een moeilijke casus, kan het antwoord dat de AI geeft veranderen simpelweg op basis van de vraag of de arts als individu of als onderdeel van een team vraagt. De onderzoekers vonden dat de modellen niet leken te redeneren vanuit eerste beginselen over wat het beste is voor de patiënt; in plaats daarvan pasten ze de situatie aan een patroon van verwacht gedrag op basis van de betrokken rol. Deze "autoriteitsbias" betekent dat de AI er niet in kan slagen om onrechtvaardige institutionele praktijken uit te dagen of te herkennen wanneer de specifieke behoeften van een patiënt een algemene regel van gelijkheid zouden moeten overstijgen.

De studie beweert niet dat deze AI-modellen kapot zijn of dat ze niet nuttig kunnen zijn. Integendeel, het benadrukt een blinde vlek in hoe we momenteel medische AI evalueren. De meeste tests richten zich op de vraag of de machine de juiste feiten kent of medische vragen correct kan beantwoorden. Dit onderzoek laat zien dat zelfs wanneer modellen feitelijk accuraat zijn, ze nog steeds verborgen vooroordelen kunnen hebben in hoe ze morele waarden afwegen. De bevindingen suggereren dat naarmate we naar het gebruik van AI in medische omgevingen met hoge inzet bewegen, we verder moeten kijken dan eenvoudige nauwkeurigheid. We moeten begrijpen hoe deze systemen waarden prioriteren en of hun keuzes overeenstemmen met de complexe, genuanceerde redenering die menselijke artsen en ethici gebruiken wanneer er levens op het spel staan. De studie concludeert dat zonder zorgvuldige aandacht aan deze ethische voorkeuren, AI-tools er simpelweg voor kunnen zorgen dat ze de status quo van institutionele besluitvorming herhalen, mogelijk ten koste van de meest kwetsbare patiënten.