Role-Prompting in Frontier Large Language Models Influences Clinical Reasoning in Complex Medical Cases

Technische Samenvatting: Rol-prompting in Frontier Large Language Models beïnvloedt klinisch redeneren in complexe medische casussen

Probleemstelling
Nu Large Language Models (LLMs) steeds vaker worden ingezet in de gezondheidszorg voor diagnostische ondersteuning, documentatie en administratieve functies, krijgen ze vaak specifieke stakeholderperspectieven toegewezen (bijv. arts, patiënt, verzekeraar). Hoewel eerder onderzoek heeft vastgesteld dat LLM's de prestaties van artsen kunnen evenaren bij gestandaardiseerde medische examens en een sycofantisch gedrag vertonen (aanpassen aan de voorkeuren van de gebruiker), blijft de impact van expliciete rol-prompting op klinisch ethisch redeneren onvoldoende gekarakteriseerd. Specifiek is het onbekend of het toewijzen van een specifieke stakeholderidentiteit aan een LLM de klinische beslissingen en de onderliggende ethische waardekaders systematisch verandert. Dit is cruciaal gezien de snelle uitrol van autonome AI-agenten in scenario's met hoge inzet, zoals machtigingsverzoeken (prior authorization) en gebruikstoetsing (utilization review), waarbij conflicterende waarden (weldoen versus financieel beheer) gebalanceerd moeten worden.

Methodologie
De studie evalueerde drie frontier LLM's: Claude Opus 4.6 (Anthropic), GPT-5.4 (OpenAI) en Gemini 3.1 Pro (Google). Het experimentele ontwerp omvatte:

• Casusselectie: 25 ethisch complexe klinische casussen verspreid over zeven thematische categorieën (bijv. zorg rond het levenseinde, middelenallocatie, verzekeringsgeschillen). Elke casus presenteerde een binair dwingend keuzedilemma (Ja/Nee) zonder universeel "correct" antwoord.
• Arts-benchmark: Een panel van zes artsen uit diverse specialismen en regio's evalueerde onafhankelijk alle 25 casussen. Casussen die een consensus van ≥4/6 artsen vereisten (20 casussen), werden gebruikt als de referentiestandaard voor LLM-alignement.
• Rol-prompting: Elk LLM werd geprompt om op de 25 casussen te reageren vanuit drie verschillende stakeholderperspectieven: Arts, Patiënt en Verzekeraar. Elke model-rol-casus combinatie werd getest over drie onafhankelijke runs (675 reacties in totaal).
• Metrieken:
  • Beslissingsalignement: Vergelijking van LLM-beslissingen met de meerderheid van de artsen.
  • Extractie van ethische waarden: Classificatie van de primaire (#1 gerangschikte) ethische waarde uit de modeloutputs in een taxonomie gebaseerd op het Beauchamp en Childress principlist-kader (bijv. weldoen, autonomie, financieel beheer).
  • Patient-Centric Decision Index (PCDI): Een nieuwe metriek ontwikkeld om de alignement met de voorkeursuitkomsten van de patiënt te kwantificeren. Deze weegt zes componenten: Role Drift, Override Rate, Panel Calibration, Confidence Asymmetry, Value Orientation Ratio en Patient-Protective Direction.
• Statistische Analyse: Gebruik van de McNemar's exacte test, Cochran's Q-test en bootstrap-resampling om significantie en stabiliteit te beoordelen.

Belangrijkste Resultaten

1. Door de rol geïnduceerde beslissingsverschuivingen: Wanneer geprompt als verzekeraar, vertoonden twee van de drie modellen (GPT-5.4 en Gemini 3.1 Pro) een statistisch significante daling in de alignement met de meerderheid van de artsen vergeleken met hun prestaties in de artsenrol.
   • GPT-5.4: De alignement daalde van 90% (arts-rol) naar 40% (verzekeraars-rol), een afname van 50 procentpunt ($p=0.004$).
   • Gemini 3.1 Pro: De alignement daalde van 95% naar 50%, een afname van 45 procentpunt ($p=0.008$).
   • Claude Opus 4.6: Toonde robuustheid, waarbij de alignement slechts met 10,5% daalde (van 100% naar 90%), wat niet statistisch significant was.
2. Transformatie van ethische waarden: De verzekeraarsrol veranderde niet alleen de beslissingsuitkomst, maar veranderde fundamenteel het ethische kader.
   • In de artsenrol gaven LLM's prioriteit aan weldoen (31%) en niet-schaden (23%).
   • In de verzekeraarsrol stortte weldoen in tot 7%, terwijl financieel beheer (20%), professionele integriteit (20%) en rechtvaardigheid (15%) de dominante waarden werden.
3. Patient-Centric Decision Index (PCDI):
   • De artsenpanel-benchmark scoorde 90,7.
   • In de verzekeraarsrol daalde GPT-5.4 naar een PCDI van 41,5 (binnen de "patiënt-adverse" zone <50), en Gemini 3.1 Pro daalde naar 53,5.
   • Opus 4.6 behield een PCDI van 79,8 in de verzekeraarsrol.
   • Directionale Asymmetrie: 92% van de afwijkingen van GPT-5.4 in de verzekeraarsrol waren weigeringen van begunstige zorg (onderbehandeling), vergeleken met 70% voor Gemini en 50% voor Opus.
4. Inter-model Overeenkomst: De overeenkomst tussen modellen was substantieel in de artsen- en patiëntenrollen ($\kappa \approx 0,66-0,69$), maar degradeerde naar "matige" overeenkomst ($\kappa = 0,33$) in de verzekeraarsrol, wat aangeeft dat verschillende modellen die met identieke verzekeraarsinstructies werden geprompt, tegenstrijdige conclusies bereikten.
5. Confidence Calibration: LLM's waren significant zelfverzekerder (gemiddeld 4,57–4,97) dan artsen (gemiddeld 3,84) en vertoonden minimale variantie in zelfvertrouwen over de casussen heen, in tegenstelling tot artsen wiens zelfvertrouwen correleerde met de moeilijkheidsgraad van de casus.

Belangrijkste Bijdragen

• Empirisch Bewijs van Rol-afhankelijke Bias: De studie levert het eerste systematische bewijs dat stakeholder-rol-prompting de klinische beslissingen en de prioritering van ethische waarden van frontier LLM's fundamenteel verandert.
• Kwantificering van het "Verzekeraars"-effect: Het kwantificeert de omvang van het "verzekeraars"-effect, en toont aan dat dit in meer dan 50% van de gevallen kan leiden tot een systematische weigering van door artsen aanbevolen, door patiënten geprefereerde behandelingen voor bepaalde modellen.
• Introductie van PCDI: De ontwikkeling van de Patient-Centric Decision Index biedt een nieuwe metriek voor het evalueren van de patiëntgerichtheid van LLM's, waarbij niet alleen de beslissingsnauwkeurigheid wordt gevangen, maar ook de richting van de fout en het gebruikte ethische kader.
• Modelspecifieke Robuustheid: De bevindingen benadrukken de aanzienlijke variabiliteit in hoe verschillende modelfamilies (Opus versus GPT/Gemini) reageren op rol-framing, wat suggereert dat alignment-trainingsstrategieën variëren in hun vermogen om patiëntgerichte redenering te behouden onder adversariële roldruk.

Betekenis en Claims
Het artikel claimt dat rol-prompting geen neutrale interface-functie is, maar een mechanisme dat "waarde-overname" (value capture) induceert, waarbij de LLM het volledere ethische kader van de toegewezen rol overneemt, vaak ten koste van patiëntgerichte waarden. De auteurs stellen dat dit een veiligheidsrisico vormt voor de inzet van autonome AI-agenten in de gezondheidszorg, met name in verzekeringsgerelateerde functies zoals machtigingsverzoeken, waar dergelijke rol-geïnduceerde redenering barrières voor de zorg zou kunnen vergroten.

De studie concludeert dat huidige frontier LLM's niet in staat zijn om betrouwbaar het vermogen van artsen te repliceren om concurrerende stakeholderbelangen te balanceren terwijl zij patiëntgerichte waarden behouden onder roldruk. Daarom pleiten de auteurs voor:

1. Gestandaardiseerde Benchmarks: De adoptie van metrieken zoals de PCDI om de patiëntgerichtheid van LLM's onder adversariële rol-framing te evalueren.
2. Toezicht door Artsen: De noodzaak van voortdurend toezicht door artsen wanneer LLM's worden ingezet in klinische besluitvorming, met name in complexe casussen waar autonome AI het grootste risico op systematische bias en waarde-instabiliteit met zich meebrengt.
3. Regulatoire Testen: De opname van "rol-perturbatie testen" in AI-certificeringsprocessen, analoog aan stresstests in de financiële sector.