Algorithm Design and Physician Liability

Technische Samenvatting: Algoritmeontwerp en Aansprakelijkheid van Artsen

Probleemstelling
Het artikel onderzoekt de evenwisseffecten van regelgeving met betrekking tot aansprakelijkheid bij gebruik op het ontwerp en de adoptie van klinische kunstmatige intelligentie (AI). Terwijl de bestaande literatuur algoritmisch ontwerp en menselijke adoptie vaak als gescheiden domeinen behandelt, adresseert dit werk hun onderlinge afhankelijkheid. Specifiek wordt onderzocht hoe aansprakelijkheidsregels—zoals de bepaling in Section 1557 van de U.S. Centers for Medicare & Medicaid Services met betrekking tot klinische besluitvormingsondersteuning—de prikkels voor zowel AI-bedrijven (upstream) als artsen (downstream) hervormen. De kernspanning ontstaat wanneer een enkel algoritme ongelijke nauwkeurigheid levert over verschillende patiëntengroepen heen (bijv. bevoorrechte vs. benadeelde groepen), wat een aansprakelijkheidsrisico creëert voor artsen die dergelijke uiteenlopende instrumenten gebruiken voor benadeelde patiënten. Het artikel vraagt zich af of dergelijke aansprakelijkheidsregels succesvol investeringen in het verminderen van ongelijkheid stimuleren, of onbedoeld de adoptie en het ontwerp verstoren op manieren die de groepen schaden die ze juist willen beschermen.

Methodologie
De auteurs construeren een tweefasig speltheoretisch model bestaande uit een AI-bedrijf en een arts.

1. Spelers en Structuur:

   • AI-bedrijf: Een winstmaximaliserende entiteit die een klinisch algoritme ontwerpt voor twee patiënttypen: een bevoorrechte groep ($x$) en een benadeelde groep ($y$). Het verbeteren van de nauwkeurigheid voor groep $y$ is kostbaarder ($\kappa_y > \kappa_x$) vanwege gegevensschaarsheid en meetfricties. Het bedrijf kiest tussen een disparate ontwerp ($\rho_x > \rho_y$) en een gelijke-nauwkeurigheidsontwerp ($\rho_x = \rho_y$).
   • Arts: Een deskundige intermediair die beslist of hij de AI-tool gebruikt voor een specifieke patiëntencasus en, indien gebruikt, of hij de aanbeveling opvolgt. De arts weegt de gezondheidsuitkomsten van de patiënt af tegen niet-klinische doelstellingen (vergoeding $r$) en aansprakelijkheidsblootstelling ($\ell$).
   • Patiënt: Twee typen met observeerbare kenmerken. De arts heeft een voorafgaande overtuiging ($\alpha$) over de passende behandeling, die via de regel van Bayes wordt bijgewerkt na ontvangst van een AI-signaal.

2. Aansprakelijkheidsmechanisme:
   Het model incorporeert een specifiek aansprakelijkheidskanaal: als een arts een onjuiste aanbeveling opvolgt van een disparat algoritme voor een benadeelde patiënt ($y$), wordt hij geconfronteerd met een aansprakelijkheidskost $\ell$. Deze kosten zijn niet van toepassing als het algoritme een gelijke nauwkeurigheid heeft over de groepen heen of als de patiënt tot de bevoorrechte groep behoort.

3. Oplossingsconcept:
   Het spel wordt opgelost via backward induction (achterwaartse inductie). Eerst worden de optimale gebruiks- en behandelbeslissingen van de arts afgeleid, gegeven de vaste algoritmische nauwkeurigheden. Vervolgens anticipeert het AI-bedrijf op deze downstream gedragingen om de optimale nauwkeurigheidsniveaus en het ontwerpregime (disparat versus gelijk) te kiezen om de winst te maximaliseren.

Belangrijkste Bijdragen

• Integratie van Ontwerp en Adoptie: Het artikel overbrugt de kloof tussen de literatuur over algoritmisch ontwerp onder beperkingen en de literatuur over mens-AI-interactie, door aan te tonen hoe downstream regelgevende beperkingen terugkoppelen naar upstream productontwerp.
• Aansprakelijkheid als Tweesnijdend Zwaard: Het formaliseert hoe aanspelijkheidsregels, bedoeld om benadeelde groepen te beschermen, paradoxaal genoeg de toegang tot AI kunnen beperken door de "schaduwkosten" van afhankelijkheid voor artsen te verhogen.
• Niet-monotoniciteit: De studie identificeert een niet-monotone relatie tussen aansprakelijkheidsniveaus en AI-benutting voor benadeelde patiënten, gedreven door de wisselwerking tussen directe afschrikking en endogene ontwerpresponsen.
• Welvaartsimplicaties van Mandaten: Het daagt de aanname uit dat het verplichten van gelijke algoritmische nauwkeurigheid inherent de welvaart verbetert, door aan te tonen dat dergelijke mandaten investeringsprikkels en benuttingsbeslissingen kunnen verstoren, wat potentieel beide groepen schaadt.

Belangrijkste Resultaten

1. Disparate Gebruik van AI:
   Zelfs wanneer de nauwkeurigheid van het algoritme vaststaat, induceert de aansprakelijkheidsregel disparate benutting. Artsen zijn minder geneigd AI te gebruiken voor benadeelde patiënten omdat de verwachte juridische blootstelling fungeert als een extra kostenpost. Bijgevolg kan de beleid die bedoeld is om benadeelde patiënten te beschermen tegen ongelijke prestaties, hun toegang tot AI geheel beperken.

2. Niet-monotoon Effect van Aansprakelijkheid:
   De impact van het verhogen van de aansprakelijkheid ($\ell$) op het AI-gebruik voor benadeelde patiënten is niet-monotoon:

• Lage Aansprakelijkheid: Het directe afschrikkingseffect domineert. Artsen verminderen het AI-gebruik voor benadeelde patiënten, waardoor de benuttingskloof groter wordt.
• Intermediaire Aansprakelijkheid: Het bedrijf reageert endogeen door middelen te heralloceren om de nauwkeurigheid voor de benadeelde groep te verbeteren om de winstgevendheid te waarborgen. Dit vermindert de verwachte aansprakelijkheidsblootstelling van de arts, wat het AI-gebruik potentieel herstelt of verhoogt.
• Hoge Aansprakelijkheid: Voorbij een drempelwaarde ($\bar{\ell}$) schakelt het bedrijf over naar een ontwerp met gelijke nauwkeurigheid om het door dispariteit getriggerde aansprakelijkheidskanaal volledig te elimineren. In dit regime wordt de benutting onafhankelijk van de aansprakelijkheidsniveaus.

3. Appropriate vs. Inappropriate Gebruik:
   Het artikel definieert "passend gebruik" (appropriate use) relatief aan een altruïstische arts ($\theta=0$).

• Onder ontwerpen met gelijke nauwkeurigheid kunnen vergoedingsprikkels ($r$) leiden tot overmatig gebruik van AI voor beide groepen, aangezien de aansprakelijkheidsbeperking is weggevallen.
• Onder disparate ontwerpen kan de arts bij intermediaire aansprakelijkheidsniveaus tot ondergebruik van AI komen voor benadeelde patiënten uit angst voor juridische blootstelling, zelfs wanneer de klinische onzekerheid hoog is.
• Een tri-fase patroon (overmatig gebruik $\to$ ondergebruik $\to$ overmatig gebruik) kan ontstaan voor benadeelde patiënten naarmate de aansprakelijkheid toeneemt.

4. Welvaartseffecten van Gelijke Nauwkeurigheidsmandaten:
   Het verplichten van gelijke nauwkeurigheid ($\rho_x = \rho_y$) garandeert geen verbetering van de welvaart.

• Nauwkeurigheidstrad-off: Omdat het verbeteren van de nauwkeurigheid voor de benadeelde groep kostbaarder is, wordt pariteit vaak bereikt door de nauwkeurigheid voor de bevoorrechte groep aanzienlijk te verlagen, terwijl deze slechts marginaal stijgt voor de benadeelde groep.
• Benuttingsverstoring: Het mandaat versoepelt de aansprakelijkheidsbeperking voor benadeelde patiënten, wat potentieel overmatig gebruik induceert waar de klinische winsten klein zijn ten opzicht van de kosten van gebruik ($c$). Tegelijkertijd vermindert het het gebruik voor bevoorrechte patiënten die de voordelen van nauwkeurigheid verliezen.
• Geaggregeerde Schade: In intermediaire parameterregio's (specifiek met betrekking tot vergoedingspercentages en aansprakelijkheidsniveaus) kan een uniforme nauwkeurigheidseis de geaggregeerde welvaart voor beide patiëntengroepen verminderen.

Betekenis en Claims
Het artikel stelt dat het ontwerp van regelgeving cruciaal is omdat hetzelfde juridische doel zeer verschillende evenwisseffecten kan genereren, afhankelijk van de prikkelstructuren. De auteurs betogen dat:

• Aansprakelijkheidsnormen die gericht zijn op het verminderen van algoritmische dispariteit, gepaard moeten gaan met complementaire instrumenten (bijv. vergoedingsontwerp, richtlijnen voor benutting) om passende klinische afhankelijkheid te waarborgen.
• Het gelijk trekken van gemeten algoritmische prestaties iets anders is dan het waarborgen van passende klinische afhankelijkheid; het eerste realiseert het laatste niet automatisch.
• Het beschreven mechanisme generaliseerbaar is buiten de gezondheidszorg naar elk domein waar deskundige intermediairs (bijv. rechters, kredietverstrekkers) verantwoordelijk zijn voor beslissingen die worden geïnformeerd door algoritmen die groepsspecifieke prestatieverschillen vertonen.

Het artikel concludeert dat zonder de gezamenlijke prikkels van ontwerp en implementatie aan te pakken, beleid dat uitsluitend gericht is op algoritmische prestatiemetrieken, er niet in kan slagen de patiëntwelvaart te verbeteren en zelfs onbedoeld de verschillen in toegang en uitkomsten kan vergroten.