Measuring and reducing intervention misalignment in next best action selection for care management: a within-patient natural experiment

Stel je voor dat je een casemanager bent, een superheld in een medisch uniform, belast met het helpen van patiënten die tegelijkertijd met meerdere problemen worstelen: een hoge bloeddruk, angstgevoelens, een gebrek aan voedsel en geen manier om bij de dokter te komen. Je hebt slechts 15 minuten per patiënt. Je kunt niet alles tegelijk oplossen. Je moet kiezen één ding om als eerste aan te pakken. Dit is het "Next Best Action"-probleem (de beste volgende actie).

Jarenlang was het systeem als een verkoopautomaat die aan iedereen dezelfde snack uitdeelt. Als een patiënt binnenkomt, zegt de computer: "Hier, neem een verwijzing voor geestelijke gezondheidszorg!" of "Hier, neem een ticket voor zorgtoegangscoördinatie!" Het kijkt echter niet echt of die specifieke snack ook echt degene is die de patiënt het meest nodig heeft om beter te worden.

De auteurs van dit artikel, Sanjay Basu, Parth Sheth en Sadiq Patel, besloten te meten hoe vaak deze "verkoopautomaat" het fout heeft. Ze noemen deze fout interventie-misalignment (interventie-mismatch). Het is het percentage patiënten dat een actie krijgt die niet de actie is die naar verwachting de grootste gezondheidswinst zou opleveren.

De grote onthulling: De verkoopautomaat is kapot

Het team onderzocht 34.971 Medicaid-patiënten met een verhoogd risico in drie staten tussen 2023 en 2025. Ze gebruikten een slimme truc genaamd een "within-patient natural experiment" (een natuurlijk experiment binnen de patiënt). Denk er zo over na: omdat het zorgprogramma op verschillende momenten aan verschillende groepen mensen werd uitgerold (vanwege logistiek, niet omdat de patiënten zieker of gezonder waren), konden de onderzoekers dezelfde persoon vergelijken vóórdat ze hulp kregen versus ná het krijgen van hulp. Dit stelde hen in staat om te achterhalen wat de patiënt daadwerkelijk nodig had zonder te vertrouwen op gokwerk.

Hier is het schokkende deel: onder het huidige systeem kreeg 27,0% van de patiënten (dat zijn er meer dan 1 op de 4) de verkeerde "volgende beste actie".

Maar het echte verhaal is wat er mis was. Het huidige systeem was geobsedeerd door twee zaken: "zorgtoegangscoördinatie" en "verwijzingen voor geestelijke gezondheidszorg". Samen vormden deze 80,3% van alle ondernomen acties.

Ondertussen schreeuwden de werkelijke behoeften van de patiënten om iets anders. De gegevens toonden aan dat patiënten het meeste baat zouden hebben gehad bij sociale behoeften zoals transport, voedselzekerheid, huisvesting en financiële voordelen.

• Het huidige systeem koos voor transport slechts 1,9% van de tijd als hoogste prioriteit, terwijl de eigen gegevens van de patiënten suggereerden dat dit 5,1% van de tijd de beste keuze zou moeten zijn. Dat is een gat van 25,5 keer.
• Voor voedselzekerheid koos het systeem hiervoor in 1,9% van de gevallen, terwijl de patiënten dit 5,2% van de tijd nodig hadden. Dat is een gat van 17,3 keer.
• Voor huisvesting was het gat 12,5-voudig.

Het artikel betoogt expliciet tegen het idee dat dit slechts een simpel "arme mensen hebben meer hulp nodig"-gradiënt is. De mismatch was hoog over alle inkomensniveaus en rassen heen, wat aantoont dat het systeem systematisch de sociale behoeften van iedereen negeert, niet alleen die van de meest behoeftigen.

De oplossing: PEARL

De onderzoekers hebben niet alleen het probleem aangewezen; ze hebben een nieuwe "verkoopautomaat" gebouwd genaamd PEARL (Policy Evolution through Aligned Retrospective Learning).

PEARL is als een superintelligente coach die leert van de "natuurlijke experimenten" uit het verleden. Het heeft drie geheime ingrediënten:

1. Het binnen-patiënt signaal: Het leert van de specifieke geschiedenis van elke patiënt (wat voor hen eerder werkte).
2. Groepgestratificeerde eerlijkheid: Het zorgt ervoor dat het niet per ongeluk bepaalde groepen mensen bevoordeelt.
3. Een veertien-expert router: Het heeft een team van 14 verschillende "experts" (één voor elk type hulp, zoals hypertensie of huisvesting) die stemmen over de beste zet.

Toen ze PEARL testten, was het een gamechanger.

• Het verminderde de interventie-misalignment van 27,0% naar slechts 2,0%.
• Dat is een reductie van 92,6% richting de perfect mogelijke score.
• Het artikel merkt op dat het "binnen-patiënt signaal" alleen al het meeste werk heeft gedaan, waardoor de misalignment daalde naar 4,4%. Echter, als je het "eerlijkheid"-gedeelte weglaat, wordt het systeem juist slechter dan voorheen (een sprong naar 38,7–42,4%). Dit bewijst dat eerlijkheid niet zomaar een extraatje is; het is essentieel om het systeem te laten werken.

Wat ze hebben uitgesloten

Het artikel is zeer voorzichtig over wat het niet beweert.

• Het is geen wondermiddel voor iedereen: Ze testten 13 verschillende beleidsregels. Sommige, zoals "Conservative Q-learning" (een type AI), verbeterden het algemene aantal ziekenhuisbezoeken, maar losten het "verkeerde actie"-probleem niet op. Het verminderde het aantal gebeurtenissen, maar hield de misalignment hoog op 32,0%.
• Het gaat niet alleen over "aardig zijn": Simpele imitatie van eerdere beslissingen (behavioral cloning) zonder de aanpassing voor eerlijkheid maakte het juist slechter.
• De Camden Coalition Trial: De auteurs hebben een beroemde eerdere studie geheranalyseerd (de Camden Coalition) waarbij iedereen exact dezelfde intensieve hulp kreeg. Ze vonden dat in die trial 90,9% van de patiënten de "verkeerde" actie kreeg omdat ze allemaal hetzelfde kregen. In een simulatie toonden ze aan dat als PEARL in plaats daarvan was gebruikt, het aantal heropnames 15,1 procentpunt lager had kunnen zijn. Maar de auteurs benadrukken dat dit een simulatie is op basis van hun model, en geen bewijs dat de Camden-trial er met zekerheid succesvoller onder zou zijn geweest.

Hoe zeker zijn we?

De auteurs zijn vrij zelfverzekerd over hun cijfers, maar ze zijn ook eerlijk over de beperkingen.

• Ze hebben de misalignment gemeten met een robuuste methode genaamd "doubly robust counterfactual modeling".
• Ze hebben 20 verschillende gevoeligheidsanalyses uitgevoerd (waarbij de regels licht werden gewijzigd om te zien of het resultaat standhoudt), en PEARL bleef in bijna alle gevallen op 2,0% staan.
• Ze berekenden een "E-waarde" van 11,92. Dit is een chique manier om te zeggen: "Om onze resultaten onjuist te maken, zou er een verborgen factor moeten zijn die zo krachtig is dat deze zowel de actie als de uitkomst 11,92 keer beter voorspelt dan welke factor dan ook die wij daadwerkelijk hebben gemeten." Dat is enorm, dus ze zijn vrij zeker dat het resultaat echt is.
• Ze geven echter toe dat de "within-patient natural experiment" het effect van het krijgen van zorg versus het niet krijgen van zorg meet, en niet noodzakelijkerwijs de directe strijd tussen "Huisvesting versus Voeding" in een perfect laboratorium. Ze meten de kwaliteit van de keuze, niet het uitvoeren van een nieuwe klinische trial om te bewijzen dat de keuze in real-time werkt (hoewel ze een nieuwe trial plannen om dat precies te doen).

De kern van het zaak

Het artikel concludeert dat "interventie-misalignment" een echt, meetbaar fenomeen is dat we kunnen oplossen. Het huidige systeem negeert sociale behoeften zoals voedsel en huisvesting met een enorme marge, zelfs wanneer dat precies de dingen zijn die patiënten het meest nodig hebben. Door een nieuwe methode (PEARL) te gebruiken die luistert naar de eigen geschiedenis van de patiënt en iedereen eerlijk behandelt, kunnen we deze mismatch oplossen.

De auteurs bereiden nu een nieuwe, grootschalige experiment voor over 24 zorgteams om te zien of deze nieuwe manier van het kiezen van acties daadwerkelijk het aantal ziekenhuisbezoeken vermindert in de echte wereld. Tot die tijd suggereert de data dat als we patiënten willen helpen, we moeten stoppen met gokken en moeten gaan luisteren naar de signalen die ons vertellen wat zij als eerste nodig hebben.