The Clinician's Veto: Navigating Trust, Liability, and Uncertainty in Autonomous AI Prescribing

Technische Samenvatting: Het Veto van de Clinicus

Probleemstelling
Het artikel behandelt de opkomende regulatoire en ethische uitdaging van de transitie van autonome AI-systemen van adviserende rollen naar volledig autonome agenten die in staat zijn medicatie voor te schrijven zonder directe menselijke controle. Recente beleidsontwikkelingen, zoals het voorgestelde Amerikaanse wetsvoorstel H.R. 238 en het Utah-pilprogramma voor herhaalrecepten, signaleren een verschuiving naar het verlenen van "agentische" voorschrijvende autoriteit aan AI. De huidige regelgevende kaders en technische architecturen missen echter consensus over de voorwaarden die vereist zijn voor veilige implementatie. De auteurs identificeren een kritieke kloof: bestaande richtlijnen richten zich op geaggregeerde prestatie-indicatoren van modellen op het moment van goedkeuring, maar adresseren niet de zekerheid per voorspelling, het onderscheid tussen typen onzekerheid, of de mechanismen die nodig zijn voor de toewijzing van aansprakelijkheid. Zonder deze elementen riskeert autonoom voorschrijven een verantwoordelijkheidsvacuüm te creëren waarbij clinici aansprakelijk worden gehouden voor uitkomsten die zij niet kunnen controleren of verifiëren, wat potentieel kan leiden tot automatiseringbias en catastrofale veiligheidsfouten.

Methodologie
Om empirisch te testen welke specifieke technische architecturen noodzakelijk zijn voor veilig autonoom voorschrijven, hebben de auteurs een enquête uitgevoerd onder 136 Amerikaanse voorschrijvende clinici (artsen, verpleegkundig specialisten en physician assistants). De studie was gestructureerd rond drie kernhypothesen afgeleid van technische en ethische argumenten:

1. H1 (Gekalibreerde Actieafbakening): Of clinici gekalibreerde vertrouwensdrempels beschouwen als een vereiste voor veiligheid, specifiek waarbij de AI wordt vereist om zich te onthouden van een besluit en onzekere beslissingen te escaleren voor menselijke beoordeling.
2. H2 (Gedifferentieerde Communicatie van Onzekerheid): Of clinici onderscheid maken tussen epistemische onzekerheid (modelonwetendheid door schaarse of bevooroordeelde data) en aleatorische onzekerheid (onherleidbare klinische ambiguïteit) en of hun voorkeur voor de interface-respons verandert op basis van de bron.
3. H3 (Inferentiële Transparantie en Aansprakelijkheid): Of de toewijzing van aansprakelijkheid verschuift op basis van de aanwezigheid van inferentiële transparantie (redenering per voorspelling) en of clinici persoonlijke aansprakelijkheid alleen accepteren wanneer zij een besluit van de AI substantieel kunnen beoordelen onder erkende onzekerheid.

De enquête maakte gebruik van scenario's (vignettes) en Likert-schaalvragen om de bereidheid om autonoom voorschrijven toe te staan, de waargenomen patiëntveiligheid, de voorkeursinhoud van de interface tijdens escalatie, en de toewijzing van verantwoordelijkheid over vijf partijen (het AI-bedrijf, de toezichthoudende instantie, het zorgsysteem, de clinicus en de patiënt) in scenario's met ongunstige uitkomsten te meten.

Kernbijdragen en Technische Vereisten
Het artikel betoogt dat drie architecturale kenmerken de minimale technische vereisten vormen voor de veilige en ethische inzet van autonoom AI-voorschrijven. De auteurs stellen dat het voldoen aan deze voorwaarden de conventionele definitie van autonomie effectief "implodeert", waardoor het systeem transformeert van een onafhankelijke agent naar een zwaar gesuperviseerde besluitvormingsondersteuningstool.

1. Gekalibreerde, Actie-gestuurde Vertrouwensdrempels:
   Het systeem moet gebruikmaken van gekalibreerde betrouwbaarheidsscores waarbij een hoge waarschijnlijkheid overeenkomt met een hoge nauwkeurigheid. Cruciaal is dat het systeem over een "actie-afbakingsmechanisme" beschikt: als het vertrouwen onder een gedefinieerde drempel valt, moet de agent zich onthouden van het voorschrijven en de casus escaleren naar een clinicus. De auteurs stellen dat in volledig autonome settings, waar de clinicus structureel afwezig is bij de initiële beslissing, de interne betrouwbaarheidsschatting van het model de enige veiligheidsinfrastructuur is. Misgekalibreerde modellen die er niet in slagen zich te onthouden bij onzekerheid, vormen een direct veiligheidsrisico.

2. Gedifferentieerde Communicatie van Onzekerheid:
   Bij escalatie moet het systeem het onderscheid maken tussen de bron van de onzekerheid.

   • Aleatorische Onzekerheid (Klinische Ambiguïteit): Wanneer de casus inherent ambigu is maar het model soortgelijke data heeft gezien, moet het systeem een "samenvatting van concurrerende opties" presenteren om het klinische oordeel te ondersteunen.
   • Epistemische Onzekerheid (Modelonwetendheid): Wanneer het model onvoldoende gevalideerde trainingsdata heeft voor de casus, moet het systeem zich onthouden van het aanbieden van een geprefereerde aanbeveling. Het tonen van een aanbeveling in deze staat riskeert het induceren van automatiseringbias, omdat de clinicus geneigd kan zijn te vertrouwen op een suggestie die het model niet kan valideren.

3. Inferentiële Transparantie:
   In tegenstelling tot geaggregeerde "documentatietransparantie" (bijv. modelkaarten die vooraf aan de inzet worden vrijgegeven), moet het systeem op het moment van de beslissing "inferentiële transparantie" bieden. Dit houdt per voorspelling traceerbaarheid in, waarbij de redenering en de herkomst van de data voor elke specifieke output worden blootgelegd. Dit is noodzakelijk voor realtime auditing en voor het bepalen van de aansprakelijkheid bij ongunstige gebeurtenissen, om te garanderen dat de verantwoordelijkheid niet onterecht bij de clinicus terechtkomt wanneer het systeem buiten zijn gevalideerde grenzen handelde.

Resultaten
De enquête onder 136 clinici leverde de volgende bevindingen op die de voorgestelde hypothesen ondersteunen:

• Ondersteuning voor H1: 84,4% van de clinici gaf aan geen toestemming te geven voor autonoom voorschrijven zonder een gekalibreerd vertrouwensgebaseerd escalatiemechanisme. Zij beoordeelden gekalibreerde agenten als aanzienlijk veiliger (gemiddelde 3,71) dan ongekalibreerde agenten (gemiddelde 2,06) ten opzichte van een baseline zonder escalatie. Er was geen consensus over wie de drempelwaarde zou moeten instellen, hoewel organisatorische instanties (toezichthouders, zorgsystemen) de voorkeur genoten boven AI-bedrijven.
• Ondersteuning voor H2: Clinici maakten een significant onderscheid in hun voorkeuren op basis van het type onzekerheid. In aleatorische scenario's gaf 71,0% de voorkeur aan een samenvatting van concurrerende opties. In epistemische scenario's verschoof de voorkeur aanzienlijk naar onthouding (46,9%) en weg van concurrerende opties (36,9%), wat overeenkomt met de noodzaak om automatiseringbias te voorkomen wanneer het model geen gevalideerde basis heeft.
• Ondersteuning voor H3: In scenario's met ongunstige uitkomsten legden clinici consequent een hogere verantwoordelijkheid toe aan organisatorische actoren (AI-bedrijven, toezichthoudende instanties, zorgsystemen) dan aan individuen (clinici, patiënten). Echter, wanneer de AI inferentiële transparantie bood (vertrouwen communiceerde en escaleerde voor beoordeling), waren clinici bereid meer persoonlijke verantwoordelijkheid te aanvaarden. Daarentegen, in scenario's zonder escalatie, legden clinici de minste verantwoordelijkheid bij patiënten, zelfs wanneer toestemming was gedocumenteerd, waarmee zij het idee verwierpen dat toestemming een betekenisvolle overdracht van aansprakelijkheid impliceert.

Betekenis en Claims
Het artikel claimt dat de voorgestelde architecturale vereisten niet louter optionele verbeteringen zijn, maar noodzakelijke voorwaarden voor de ethische inzet van autonoom AI-voorschrijven. De auteurs stellen dat deze vereisten de mate van autonomie fundamenteel beperken. Een systeem dat aan deze standaarden voldoet, functioneert minder als een autonome agent en meer als een "zwaar gesuperviseerde besluitvormingsondersteuningstool".

De betekenis van dit werk ligt in het bieden van een technische en door clinici gesteunde framework om wetgeving (zoals H.R. 238) en het beleid van toezichthoudende instanties te sturen. De auteurs betogen dat zonder deze beperkingen, de huidige koers van autonoom voorschrijven het risico loopt een "voorspelbaar aansprakelijkheidspatroon" te creëren waarbij clinici aansprakelijk worden voor AI-acties die zij niet kunnen verifiëren. Door de aansprakelijkheid af te stemmen op de institutionele actoren die het systeemontwerp en de inzet controleren, en door technische kenmerken te verplichten die deze afstemming mogelijk maken, biedt het voorgestelde framework een pad naar veiligere en meer acceptabele systemen voor autonoom voorschrijven. Het artikel concludeert dat, hoewel de basissteun voor volledig autonoom voorschrijven laag blijft, deze technische beperkingen essentieel zijn om toekomstige adoptie als veilig en rechtvaardig te kunnen beschouwen.