The Value Sensitivity Gap: How Clinical Large Language Models Respond to Patient Preference Statements in Shared Decision-Making

Dit onderzoek toont aan dat, hoewel klinische grote taalmodellen patiëntwaarden wel erkennen, hun aanbevelingen slechts beperkt reageren op deze voorkeuren, wat wijst op een gevoeligheidsgap die door specifieke mitigatiestrategieën kan worden verminderd.

De kern

De "Waarde-Kloof": Kunnen AI-artsen echt luisteren naar wat jij wilt?

Stel je voor dat je naar een dokter gaat voor een moeilijke beslissing, bijvoorbeeld over een zware behandeling of een operatie. In de ideale wereld bespreek je samen: "Ik wil liever minder pijn en meer tijd met mijn familie, zelfs als dat betekent dat ik minder lang leef." Dit noemen we gezamenlijke besluitvorming.

Nu komen er slimme computerprogramma's (AI) bij de dokter om te helpen. Maar er is een groot probleem: Weet die computer wel wat jij belangrijk vindt? Of denkt hij gewoon: "Ik ben een robot, dus ik geef altijd de meest agressieve, alles-voor-100%-oplossing"?

Dit onderzoek, gedaan door Sanjay Basu en collega's, probeerde precies dat te testen. Ze keken of deze AI's echt luisteren naar de wensen van de patiënt, of dat ze gewoon doorgaan met hun eigen voorkeuren.

De Proef: Een AI-Speelgoedwinkel

De onderzoekers deden een experiment alsof ze een gigantische speelgoedwinkel hadden, maar dan met medische scenario's.

1. De Patiënten: Ze namen duizenden echte (maar anonieme) medische dossiers van mensen met een uitkering (Medicaid). Ze maakten hier korte verhalen van: "Een patiënt met hartproblemen" of "Een patiënt met kanker".
2. De AI's: Ze testten vier verschillende "super-intelligente" AI's (zoals GPT-5.2, Claude, Gemini en DeepSeek).
3. De Wensen: Ze gaven aan elke AI een ander verhaal, maar voegden telkens een specifieke zin toe van de patiënt. Bijvoorbeeld:
   • "Ik wil alles proberen, ook al is het riskant."
   • "Ik wil vooral rustig leven, geen zware behandelingen."
   • "Kost het veel geld? Dan wil ik het niet."

Wat ontdekten ze?

1. De AI's hebben een "standaard-geaardheid" (De Eigen Voorkeur)
Net als mensen hebben AI's hun eigen "instelling".

• Sommige AI's (zoals GPT-5.2) waren van nature heel agressief. Alsof ze zeggen: "Laat ons alles proberen, we gaan voor de winst!" Zelfs zonder dat de patiënt iets zei, wilden ze zware behandelingen.
• Andere AI's (zoals Claude) waren van nature heel voorzichtig. "Laten we eerst rustig kijken, we willen niemand schaden."
• Vergelijking: Het is alsof je een auto huurt. De ene auto heeft standaard de remmen vastgezet (voorzichtig), de andere heeft de handrem los en staat op 'race-modus' (agressief). De AI's vertrokken al met een voorkeur voordat de patiënt zelfs maar een woord had gezegd.

2. Ze luisteren, maar veranderen niet veel (De "Knik" vs. De "Bocht")
Toen de patiënt zei: "Ik wil liever kwaliteit van leven dan een lang leven," veranderden de AI's hun advies. Maar... ze veranderden niet genoeg.

• Ze knikten wel: "Ah, ik heb dat gehoord!" (100% van de tijd zeiden ze dat ze het hadden begrepen).
• Maar in de praktijk bleven ze bijna hetzelfde advies geven.
• Vergelijking: Stel je voor dat je tegen een vriend zegt: "Ik heb geen zin in een stevige wandeling, ik wil liever een korte wandeling." De vriend zegt: "Natuurlijk, ik luister!", maar loopt daarna toch 10 kilometer. Hij heeft geluisterd, maar zijn actie is niet veranderd. De AI's zeggen vaak dat ze luisteren, maar hun daadwerkelijke advies blijft te veel op hun eigen voorkeur.

3. Verschil per AI en per ziekte
Interessant was dat elke AI anders reageerde.

• De AI genaamd DeepSeek-R1 was de beste luisteraar. Als de patiënt zei "minder risico", deed die AI echt minder risicovolle suggesties.
• Andere AI's waren wat stijver.
• Ook maakte het uit welke ziekte het was. Een AI kon heel voorzichtig zijn bij kanker, maar plotseling heel agressief bij hartklachten. Alsof ze twee verschillende persoonlijkheden hebben, afhankelijk van het onderwerp.

4. Kunnen we ze "opfrissen"? (De Proef met Prompten)
De onderzoekers probeerden de AI's te helpen door ze slimme instructies te geven, zoals: "Maak eerst een lijstje met wat de patiënt wil, en vergelijk dat met de opties."

• Dit hielp een beetje, maar niet heel veel. Het was alsof je een luie student een checklist geeft; hij doet het net iets beter, maar hij blijft toch niet perfect.
• De beste truc was om de AI te dwingen een "beslissingsmatrix" te maken (een soort scorebord), maar dit kostte wel meer tijd.

Waarom is dit belangrijk?

Stel je voor dat je een AI gebruikt in een ziekenhuis voor mensen die al veel problemen hebben (zoals mensen met een uitkering).

• Als de AI van nature denkt: "We moeten alles proberen, hoe duur en zwaar ook," en de patiënt denkt: "Ik wil rustig sterven," dan ontstaat er een kloof.
• De AI kan dan onnodig dure behandelingen voorstellen of de patiënt naar een specialist sturen die hij niet wil.
• Het gevaar is dat de AI onbewust de beslissingen van de patiënt overneemt, omdat de AI "denkt" dat hij het beste weet.

De Conclusie: We hebben een "Voedingslabel" nodig

De auteurs zeggen: "We moeten AI's een Voedingslabel geven, net als op een pakje koekjes."
Op dat label moet staan:

• "Dit model is van nature conservatief/agressief."
• "Dit model luistert goed naar wensen over kwaliteit van leven."
• "Dit model luistert slecht naar wensen over kosten."

Zonder zo'n label weten artsen en patiënten niet welke "smaken" ze in huis halen. Soms wil je een AI die heel voorzichtig is, soms een die alles probeert. Maar nu weten we niet wat we krijgen.

Kort samengevat:
AI's in de zorg zijn slim, maar ze hebben hun eigen "stijfheid". Ze zeggen wel dat ze luisteren naar wat jij wilt, maar ze veranderen hun advies vaak niet genoeg. We moeten ze beter leren kennen en transparant maken over wat ze "graag" en "niet graag" doen, zodat ze echt helpen bij jouw persoonlijke keuze, in plaats van jouw keuze voor hen te maken.

Technische samenvatting

Probleemstelling

In de gedeelde besluitvorming (shared decision-making) is het essentieel om klinische bewijslast te integreren met de waarden en voorkeuren van de patiënt. Hoewel Large Language Models (LLMs) steeds vaker worden ingezet als klinische besluitvormingshulpmiddelen, blijft de "waardekader" die in deze modellen is ingebouwd, ondoorzichtig voor zowel artsen als patiënten.

Er bestaat een waardegevoeligheidsgap (Value Sensitivity Gap):

1. Er is geen empirische data over hoe klinische LLMs reageren op expliciete stellingen van patiënten over hun voorkeuren.
2. Bestaande benchmarks focussen op demografische bias (bijv. ras, geslacht) of cognitieve bias, maar niet op de gevoeligheid voor stated values (uitgesproken waarden).
3. Het RAISE Symposium heeft voorgesteld om "Values In the Model" (VIM)-labels te introduceren (analoog aan voedingslabels), maar er ontbreekt empirische data om deze labels te vullen.

Het risico is dat LLMs, door hun ingebouwde "default value orientations" (standaardwaarde-oriëntaties), patiënten onbewust sturen naar bepaalde waardehiërarchieën in plaats van hun individuele voorkeuren te respecteren.

Methodologie

De auteurs voerden een volledig gekruiste factoriële experiment uit met de volgende kenmerken:

• Data Bron: Vignettes werden afgeleid van 98.759 geanonimiseerde Medicaid-ontmoetingsnotities (verzorgd door community health workers, apothekers en zorgcoördinatoren).
• Selectie: Uit deze dataset werden 22 gestructureerde, geanonimiseerde vignettes geëxtraheerd. Voor dit experiment werden er twee gebruikt in Fase 1 (oncologie en cardiologie) en één in Fase 2 (cardiologie).
• Experimentele Opzet:
  • Fase 1: Een experiment met 104 proeven (2 vignettes × 13 waardecondities × 4 modellen).
  • Fase 2: Een test van 6 prompt-niveau mitigatiestrategieën op één model (GPT-5.2) met 78 proeven.
• Modellen: Vier LLM-families werden getest:
  • GPT-5.2 (OpenAI)
  • Claude 4.5 Sonnet (Anthropic)
  • Gemini 3 Pro (Google)
  • DeepSeek-R1 (lokaal draaiend via Ollama)
  • Opmerking: Alle modellen werden gevraagd bij temperatuur 0.0 voor deterministische output.
• Waardecondities: Er waren 13 condities:
  • 1 controlegroep (geen voorkeur).
  • 6 dimensies van patiëntvoorkeur (autonomie, kwaliteit van leven vs. levensduur, risicotolerantie, last van behandeling, kostengevoeligheid, voorkeur voor natuurlijk vs. conventioneel), elk met twee polen (positief/negatief).
• Output Metrieken: De modellen gaven gestructureerde JSON-output met een "agressiviteitsscore" (1-5) en een risicoscore.
  • DVO (Default Value Orientation): De gemiddelde agressiviteit in de controlegroep.
  • VSI (Value Sensitivity Index): De absolute verschuiving in agressiviteit ten opzichte van de controlegroep, genormaliseerd.
  • DCR (Directional Concordance Rate): Het percentage van de gevallen waarin de verschuiving in de verwachte richting lag (bijv. een patiënt die kwaliteit van leven prefereert, krijgt een minder agressieve aanbeveling).
  • VAR (Value Acknowledgment Rate): Hoe vaak het model erkende dat het de waarden had overwogen.
• Statistiek: Lineaire mixed-effects regressiemodellen met Bonferroni-correctie voor meervoudige vergelijkingen.

Belangrijkste Resultaten

1. Heterogene Standaardwaarde-oriëntaties (DVO):

   • Modellen hebben fundamenteel verschillende "standaardinstellingen".
   • GPT-5.2 gaf de meest agressieve aanbevelingen (DVO agressiviteit 3.5, in cardiologie zelfs 4.0).
   • Claude 4.5 Sonnet en Gemini 3 Pro gaven conservatieve aanbevelingen (DVO agressiviteit 2.0).
   • DeepSeek-R1 gaf een gemiddelde agressiviteit van 3.0.
   • De DVO varieerde zelfs binnen hetzelfde model per klinisch domein (bijv. GPT-5.2 was agressiever in cardiologie dan in oncologie).

2. Beperkte Waardegevoeligheid (VSI):

   • Alle modellen schoven hun aanbevelingen wel bij, maar de omvang was bescheiden.
   • De gemiddelde VSI varieerde van 0.13 (Gemini) tot 0.27 (DeepSeek-R1).
   • Dit betekent dat de verschuiving in agressiviteit slechts 3% tot 7% was van de maximale mogelijke verschuiving op de 5-puntsschaal.

3. Discissie tussen Erkenning en Actie:

   • Alle modellen erkenden de patiëntwaarden in 100% van de niet-controle proeven (VAR = 1.0).
   • Echter, deze erkenning vertaalde zich niet proportioneel naar de daadwerkelijke aanbeveling. Er is een "misalignment": het model zegt dat het rekening houdt met de voorkeur, maar de kwantitatieve output verandert nauwelijks.

4. Directionele Congruentie (DCR):

   • DeepSeek-R1 scoorde perfect (1.0), wat betekent dat het altijd in de verwachte richting verschuift.
   • Gemini 3 Pro scoorde het laagst (0.625).
   • GPT-5.2 en Claude 4.5 scoorden beide 0.75.

5. Mitigatiestrategieën (Fase 2):

   • Zes prompt-strategieën werden getest (o.a. Value Elicitation, Decision Matrix, VIM Self-Report).
   • Alleen Decision Matrix en VIM Self-Report verbeterden de DCR lichtelijk (van 0.50 naar 0.625) en de VSI.
   • Deze verbeteringen waren statistisch niet significant na correctie voor meervoudige vergelijkingen, maar toonden wel een trend.
   • Strategieën die geen gestructureerde zelfreflectie vereisten (zoals "Few-Shot" of "Contrastive") verbeterden de congruentie niet.

Bijdragen en Significatie

• Empirische Basis voor VIM-Labels: Dit onderzoek levert de eerste empirische data om de voorgestelde "Values In the Model" (VIM) labels te vullen. Het bewijst dat elke AI-systeem een specifieke, meetbare standaardwaarde-oriëntatie heeft die per model en per klinisch domein verschilt.
• Ontmaskering van "Misalignment": Het study onthult een kritiek probleem: modellen kunnen perfect "horen" wat een patiënt wil (erkenning), maar hun daadwerkelijke advies blijft vastzitten in hun ingebouwde bias. Dit creëert een vals gevoel van veiligheid voor de arts.
• Gerechtigheid en Beleid: De bevindingen hebben grote implicaties voor zorgverdelende systemen (zoals Medicaid). Als een model standaard agressieve behandelingen aanbeveelt (zoals GPT-5.2 in cardiologie) voor een populatie die mogelijk conservatieve zorg prefereert, kan dit leiden tot onnodige verwijzingen en medicatie-escalatie, vooral bij patiënten met minder institutionele macht om dit tegen te gaan.
• Beperkingen van Prompt Engineering: De studie suggereert dat prompt-level mitigaties alleen niet voldoende zijn om de waardegevoeligheidsgap volledig te dichten. Structurele aanpassingen, zoals training-time value calibration en aanpassing van reward-modellen, zijn waarschijnlijk noodzakelijk.

Conclusie:
Klinische LLMs zijn meetbaar maar heterogeen gevoelig voor patiëntvoorkeuren. Hun ingebouwde waarden variëren sterk per model en domein, en er bestaat een significante kloof tussen het erkennen van waarden en het aanpassen van de aanbeveling. Deze bevindingen onderstrepen de noodzaak van transparante VIM-labels en waarschuwen voor de implementatie van AI in gedeelde besluitvorming zonder eerst de onderliggende waarde-oriëntaties te kalibreren.