Technische Samenvatting: Auditing van Pluralisme in de Klinische Ethiek van Taalmodellen

Probleemstelling

Geneeskunde is inherent pluralistisch; de klinische praktijk omvat routinematig het navigeren door conflicten tussen fundamentele ethische principes – autonomie, weldadigheid, niet-schade en rechtvaardigheid – zonder één juiste weging. Waar menselijke clinici deze spanningen navigeren via gedeelde besluitvorming en waarde-diversiteit, worden Large Language Models (LLM's) in toenemende mate ingezet in medische contexten (bijvoorbeeld triage, patiëntondersteuning) zonder systematisch onderzoek naar hun onderliggende ethische waardeprioriteiten.

Huidige evaluaties van medische AI richten zich op redeneernauwkeurigheid en het vermijden van schade, maar falen in het adresseren van waardepluralisme. Specifiek ontbreekt er inzicht in:

1. Of LLM's de "distributionele pluraliteit" vertonen die wordt gezien bij panelen van menselijke artsen (d.w.z. variërende beslissingen op basis van de mate van ethische onenigheid).
2. Welke specifieke waardeprioriteiten in geavanceerde modellen zijn "ingebakken" wanneer zij concrete klinische beslissingen nemen.
3. Of het ecosysteem van modellen een divers scala aan ethische standpunten vertegenwoordigt of een "algoritmische monocultuur" die patiëntenzorg systematisch kan vertekenen naar één enkele, niet onderzochte ethische houding.

Methodologie

De auteurs stellen een kader voor het auditeren van waardepluralisme voor, bestaande uit een door clinici geverifieerde benchmark en een methode voor waarde-attributie.

1. De Benchmark

De studie introduceert een dataset van 50 klinische dilemma's die diverse domeinen bestrijken (intensieve zorg, psychiatrie, palliatieve zorg, enz.).

• Structuur: Elk geval presenteert een klinische casus en twee wederzijds uitsluitende aanbevelingen ($c_1, c_2$).
• Waarde-labeling: Een labelmatrix ($T_i$) codeert hoe elke keuze verhoudt tot de vier principlistische waarden (Autonomie, Weldadigheid, Niet-schade, Rechtvaardigheid), gecategoriseerd als bevordert, schendt of neutraal.
• Beperkingen: Cases zijn ontworpen om echte ethische afwegingen te waarborgen (geen dominante keuze, ten minste twee waarden in conflict).
• Validatie: Cases werden gegenereerd via een LLM-pijplijn, verfijnd met rubrics, en gevalideerd door een geblindeerde interdisciplinaire review door twee artsen per geval.
• Pluralistische Eigenschappen: De benchmark is multi-objectief, stuurbaar in afwegingen en jury-pluralistisch, met echte normatieve onenigheid binnen een panel van 20 artsen (Fleiss' $\kappa = 0,236$).

2. Datacollectie

• LLM's: 12 geavanceerde modellen (waaronder GPT-5.2, Claude Opus 4.5, Gemini 3 Pro, enz.) werden 10 keer per geval bevraagd bij een temperatuur van 1,0.
• Artsen: 20 artsen voltooiden een geblindeerde enquête en maakten één binaire beslissing per geval.
• Parsing: Een secundaire LLM parseerde vrijeteksantwoorden naar binaire beslissingen en filterde weigeringen eruit.

3. Analysekader

• Besluitconsistentie: Gemeten via de Shannon-entropie van herhaalde modelbeslissingen om te beoordelen of modellen de onenigheid van artsen volgen (distributionele pluraliteit).
• Waarde-attributie: Een logistische regressiemodel leidt waarde-prioriteitsgewichten ($w$) af voor elke besluitnemer op basis van hun selectiefrequentie over de benchmark. De log-odds van het selecteren van $c_1$ worden gemodelleerd als een lineaire functie van het waarde-differentievector ($\Delta_i$). Gewichten worden genormaliseerd via temperatuur-geschaalde softmax om een waardeprofiel ($\pi$) te produceren.
• Calibratie: Modelwaardeprofielen worden vergeleken met het consensusprofiel van artsen met behulp van Jensen-Shannon-divergentie (JSD). Een bootstrap-referentieverdeling van JSD-waarden tussen artsen en consensus bepaalt of een model een uitschieter is.
• Overton-pluralisme: De auteurs meten of modellen concurrerende waarden bespreken in hun vrijeteksredenering voordat ze een beslissing nemen (met behulp van dekking- en nadruk-metrics).
• Ecosysteemdiversiteit: Paarsgewijze JSD tussen alle besluitnemers wordt berekend om te testen op een "algoritmische monocultuur" (d.w.z. of modellen homogener zijn dan artsen).

Belangrijkste Resultaten

1. Modellen zijn consistent maar niet pluralistisch

• Bijna-deterministische beslissingen: 11 van de 12 modellen vertoonden bijna nul besluitentropie (mediaan 0). Modellen gaven in 82–86% van de gevallen identieke aanbevelingen bij herhaalde bevragingen.
• Falend distributioneel pluralisme: De besluitentropie van modellen was niet gecorreleerd met de onenigheid van artsen ($\rho \approx 0$). In tegenstelling tot menselijke panelen moduleren modellen hun onzekerheid niet op basis van de mate van ethische contestatie in een geval.
• Robuustheid: Beslissingen waren robuust tegen oppervlakkige formuleringvariaties (flip-rate <9%) maar gevoelig voor substantiële waardeomkeringen, wat bevestigt dat consistentie coherent besluitvorming weerspiegelt en niet formuleringartefacten.

2. Duidelijke en toegewijde waardeprofielen

• Systematische prioriteiten: Waarde-attributie onthulde dat zowel LLM's als artsen toegewijde, niet-uniforme ethische prioriteiten hanteren. De meeste modellen (10/12) en het artsenconsensus verwierpen de nulhypothese van uniforme weging ($p < 0,05$).
• Calibratie: De meeste geavanceerde modellen (8/12) vielen binnen het natuurlijke bereik van variatie tussen artsen (JSD < 95e percentiel van de artsen-bootstrapverdeling).
• Uitschieters: Drie modellen (OpenAI GPT 5.2, X-AI Grok 4, Perplexity Sonar Pro) weken significant af van het artsenconsensus, voornamelijk door patiëntautonomie substantieel te onderschatten (toewijzing van 6,1%–12,8% gewicht versus 44,4% voor het artsenconsensus).

3. Overton-pluralisme versus beslissingsmonocultuur

• Redenering: Modellen vertoonden een hoog Overton-pluralisme in hun vrijeteksredenering (gemiddelde dekking = 0,86), waarbij ze concurrerende waarden aan beide kanten van een dilemma erkenden voordat ze zich vastlegden.
• Actie: Ondanks deze discursieve pluraliteit, losten modellen dilemma's elke keer op met één enkele, consistente aanbeveling.

4. Ecosysteemdiversiteit

• Geen algoritmische monocultuur: De diversiteit van waardeprofielen over de 12 LLM's (gemiddelde paarsgewijze JSD = 0,0916) was statistisch niet te onderscheiden van de diversiteit onder de 20 artsen (gemiddelde paarsgewijze JSD = 0,1089). Het ecosysteem van geavanceerde modellen bestrijkt een divers scala aan ethische standpunten dat vergelijkbaar is met een panel van praktiserende artsen.

Betekenis en Claims

Het artikel betoogt dat terwijl het ecosysteem van modellen divers is, de inzet van een enkel model een significant risico vormt.

• Risico van inzetmonocultuur: Omdat individuele modellen bijna-deterministisch zijn en toegewijde waardeprioriteiten hanteren, kan de inzet van een enkel model zonder rekening te houden met zijn specifieke ethische defaults die prioriteiten "op schaal versterken". Als een model autonomie systematisch onderschat, kan het dit doen voor elke patiënt die het bedient, en zo klinisch pluralisme effectief vervangen door een "inzetmonocultuur".
• Beperkingen van huidige uitlijning: De studie benadrukt een kloof tussen "Overton-pluralisme" (het bespreken van alle waarden) en "distributioneel pluralisme" (variëren van beslissingen om populatie-onesigheid te matchen). Huidige modellen bereiken het eerste maar falen in het laatste.
• Stuurbaarheid als weg vooruit: De auteurs suggereren dat stuurbaar pluralisme – de mogelijkheid om het waardeprofiel van een model op verzoek aan te passen om te matchen met de waarden van een specifieke patiënt – de noodzakelijke oplossing kan zijn om inzetrisico's te mitigeren, hoewel huidige aanwijzingen suggereren dat stuurbaarheid beperkt is.
• Regulatorische en financiële implicaties: Het artikel merkt op dat artsenwaarden regionale zorguitgaven bepalen; evenzo zullen de waarden die in algoritmen zijn gecodeerd, vergoedingen en zorgpatronen sturen, waardoor het auditeren van deze prioriteiten een financieel en regulatorisch imperatief wordt.

De auteurs concluderen dat verantwoordelijke inzet van medische AI expliciete inspanningen vereist om ethische perspectieven in evenwicht te brengen, mogelijk via multi-model "jury's" of stuurbaarheidsmechanismen, in plaats van te vertrouwen op één enkel, niet onderzocht model.