Deployment of AI-Assisted Interventions: Capacity Constraints and Noisy Compliance

1. Probleemstelling

In sectoren zoals gezondheidszorg, onderwijs en werving worden AI-tools steeds vaker gebruikt om gerichte interventies te sturen. Het standaardproces werkt als volgt: algoritmen scoren individuen, alerten worden verstuurd aan personen boven een bepaalde drempelwaarde (bijv. hoog risico), en deze personen worden aangemoedigd om een dienst aan te vragen. Providers leveren vervolgens de dienst aan degenen die reageren.

De huidige praktijk kiest drempelwaarden en algoritmen puur op basis van voorspellende nauwkeurigheid (bijv. het maximaliseren van AUC of sensitiviteit), met de aanname dat betere voorspellingen leiden tot betere uitkomsten. De auteurs tonen echter aan dat deze aanpak suboptimaal is in systemen met twee cruciale beperkingen:

1. Beperkte capaciteit: Er is een vast aantal diensten dat kan worden verleend (bijv. aantal artsen, consultatieplekken).
2. Ruige naleving (Noisy Compliance): Mensen reageren probabilistisch op alerts. Niet iedereen die wordt gealerteerd, vraagt de dienst aan, en mensen zonder alert kunnen ook spontaan een aanvraag doen.

Dit creëert een "trechter" tussen de voorspelling en de daadwerkelijke levering. Als te veel mensen worden gealerteerd, ontstaat er cannibalisatie: de beperkte capaciteit wordt opgeslokt door minder waardevolle aanvragen (zowel van niet-gealerteerden als van lager scorende gealerteerden), waardoor hoogwaardige individuen geen dienst krijgen. Als te weinig mensen worden gealerteerd, ontstaat er ondervulling: de capaciteit blijft leeg staan.

2. Methodologie

De auteurs ontwikkelen een wiskundig model om de systemische effectiviteit (het totaal aan waarde van de verleende diensten) te maximaliseren.

• Modelopzet:

  • Gedrag: Individuen hebben een basiswaarschijnlijkheid ($p_0$) om een dienst aan te vragen zonder alert. Een alert verhoogt deze kans met $\Delta P$.
  • Capaciteit: Het systeem heeft een maximale capaciteit $M$. Als het totaal aantal aanvragen $M$ overschrijdt, worden plekken willekeurig toegewezen (tenzij anders gespecificeerd).
  • Algoritme: Een algoritme $A$ levert een voorspelde score $\hat{r}$. De beleidsmaker kiest een quantiel-drempel $\tau$ om de top $(1-\tau)$ van de bevolking te flaggen.
  • Doelfunctie: Maximaliseren van de verwachte totale waarde van de verleende diensten ($W$).

• Vloeistofbenadering (Fluid Model):
  Vanwege de complexiteit van het stochastische model gebruiken de auteurs een deterministische benadering (vloeistofmodel) voor grote systemen. Hierin worden het aantal aanvragen en de kwantielen vervangen door hun verwachtingen. Dit stelt hen in staat om analytische oplossingen voor de optimale drempel af te leiden.

• Analyse van Drempels:
  Ze analyseren twee natuurlijke, maar vaak suboptimale strategieën:

  1. Voorspellingsgebaseerde drempels: Gebaseerd op statische metrics zoals sensitiviteit of specificiteit, zonder rekening te houden met capaciteit.
  2. Capaciteitsmatchende drempels: Zet de drempel zo dat het verwachte aantal aanvragen exact gelijk is aan de capaciteit.

3. Belangrijkste Bijdragen

A. Karakterisering van de Optimale Drempel

De auteurs bewijzen dat de optimale drempel een eenvoudige tweepuntsstructuur heeft. Het is het minimum van twee interpreteerbare drempels:

1. Score-optimale drempel ($\tau^*_{score}$): Deze drempel maximaliseert de effectiviteit per verleende dienst (vermijdt cannibalisatie door alleen de hoogste waarden te flaggen).
2. Capaciteitsmatchende drempel ($\tau_c$): Deze drempel zorgt ervoor dat de volledige capaciteit wordt benut (vermijdt ondervulling).

De optimale beleidsregel is: $\tau^* = \min(\tau^*_{score}, \tau_c)$.

• Als de capaciteit overvloedig is, bindt de capaciteitsmatchende drempel (focus op het vullen van de plekken).
• Als de capaciteit schaars is, bindt de score-optimale drempel (focus op het selecteren van de beste kandidaten om cannibalisatie te voorkomen).

B. Suboptimaliteit van Bestaande Praktijken

• Voorspellingsgebaseerde drempels zijn over het algemeen suboptimaal omdat ze operatieve beperkingen negeren. Ze kunnen leiden tot verliezen in systeem-effectiviteit van tot wel 40% in vergelijking met de optimale drempel.
• Capaciteitsmatchende drempels zijn suboptimaal wanneer cannibalisatie een rol speelt (bij lage capaciteit of hoge basisvraag), omdat ze geen onderscheid maken tussen hoog- en laagwaardige aanvragen.

C. Algorithmeselectie en OpAUC

De auteurs tonen aan dat de standaard metric AUC (Area Under the Curve) misleid kan zijn bij het kiezen van een algoritme. AUC weegt alle mogelijke drempels gelijk, terwijl een systeem in de praktijk slechts een subset van drempels gebruikt (bepaald door de capaciteit).

• Ze introduceren een nieuwe metric: Operational AUC (OpAUC).
• OpAUC meet de prestaties van een algoritme specifiek over de drempels die daadwerkelijk worden gebruikt in het operationele domein.
• Ze bewijzen dat het kiezen van het algoritme met de hoogste OpAUC leidt tot de maximale systeem-effectiviteit, zelfs als dat algoritme een lagere totale AUC heeft dan een concurrent.

4. Resultaten en Case Study

De auteurs valideren hun theorie via simulaties en een case study met data van het NewYork-Presbyterian (NYP) ziekenhuis over een sepsis-early warning system.

• Simulatie Resultaten:

  • Het gebruik van de optimale drempel (in plaats van voorspellingsgebaseerde drempels) kan de effectiviteit van het systeem met tot 40% verhogen.
  • Een model met een lagere AUC (0.806) kan een model met een hogere AUC (0.826) overtreffen in systeem-effectiviteit met tot 22,8%, mits beide worden ingezet op hun respectievelijke optimale drempels binnen een beperkte capaciteit.

• Case Study (Sepsis):

  • Ze vergeleken het standaard Epic-model (AUC 0.826) met een getraind XGBoost-model (AUC 0.806).
  • Bij beperkte capaciteit (weinig verpleegkundige uren) presteerde het XGBoost-model beter omdat het in het relevante drempelgebied een hogere True Positive Rate (TPR) had.
  • De OpAUC voor XGBoost was hoger dan voor Epic in dit scenario, wat de juiste keuze bevestigde.
  • De studie toont ook aan dat de tweepuntsdrempel robuust blijft, zelfs als verpleegkundigen de hoogste scores deels prioriteren (in plaats van volledig willekeurig toe te wijzen).

5. Betekenis en Conclusie

Dit artikel verschuift de focus van AI-implementatie van modelontwikkeling naar modelimplementatie.

• Praktische Toepasbaarheid: Beoefenaars hoeven geen nieuwe modellen te trainen om betere resultaten te behalen. Door de drempelwaarde aan te passen aan de beschikbare capaciteit en het gedrag van de gebruikers, kunnen ze bestaande AI-tools aanzienlijk verbeteren.
• Algorithmeselectie: Bij het kiezen tussen modellen moet men niet blindelings vertrouwen op AUC, maar op OpAUC, rekening houdend met de operationele context.
• Algemene Toepassing: De inzichten zijn breed toepasbaar in elk systeem waar AI dient als "nudge" in plaats van directe toewijzing, en waar schaarste en menselijk gedrag de uitkomst bepalen (bijv. triage in zorg, studiebegeleiding, werving).

Samenvattend demonstreert de paper dat voorspellende nauwkeurigheid niet synoniem is met operationele succes. De optimale strategie vereist een dynamische afweging tussen het vullen van capaciteit en het vermijden van cannibalisatie, wat leidt tot een eenvoudige maar krachtige tweepuntsregel voor drempelbepaling en een nieuwe metric voor algoritmekeuze.