Measuring and reducing intervention misalignment in next best action selection for care management: a within-patient natural experiment

Stellen Sie sich vor, Sie sind eine Case Managerin, eine Superheldin im Kittel, die damit beauftragt ist, Patienten zu helfen, die gleichzeitig mit mehreren Problemen kämpfen: Bluthochdruck, Angstzustände, Nahrungsmangel und keine Möglichkeit, zum Arzt zu kommen. Sie haben nur 15 Minuten pro Patient. Sie können nicht alles auf einmal lösen. Sie müssen eine Sache auswählen, die Sie zuerst angehen. Das ist das „Next Best Action“-Problem.

Jahrelang glich das System einem Verkaufsautomaten, der jedem die gleiche Süßigkeit ausspuckt. Wenn ein Patient reinkommt, sagt der Computer: „Hier, nimm eine Überweisung für psychische Gesundheit!“ oder „Hier, nimm ein Ticket für die Koordination des Zugangs zur Versorgung!“ Es schaut jedoch nicht wirklich darauf, ob diese spezifische Süßigkeit auch diejenige ist, die der Patient tatsächlich am dringendsten braucht, um gesund zu werden.

Die Autoren dieser Arbeit, Sanjay Basu, Parth Sheth und Sadiq Patel, beschlossen zu messen, wie oft dieser „Verkaufsautomat“ falsch liegt. Sie nennen diesen Fehler Interventions-Fehlbelegung (intervention misalignment). Es ist der Prozentsatz der Patienten, die eine Maßnahme erhalten, die nicht diejenige ist, von der erwartet wird, dass sie den größten gesundheitlichen Schub gibt.

Die große Enthüllung: Der Verkaufsautomat ist kaputt

Das Team untersuchte 34.971 Medicaid-Patienten mit erhöhtem Risiko in drei Bundesstaaten zwischen 2023 und 2025. Sie nutzten einen cleveren Trick namens „innerhalb-des-Patienten-natürliches Experiment“. Denken Sie an Folgendes: Da das Pflegeprogramm zu unterschiedlichen Zeiten bei verschiedenen Gruppen von Menschen eingeführt wurde (aus logistischen Gründen, nicht weil die Patienten kränker oder gesünder waren), konnten die Forscher dieselbe Person vergleichen, vor sie Hilfe erhielt, im Vergleich zu nachdem sie Hilfe erhielt. Dies ermöglichte es ihnen, herauszufinden, was der Patient tatsächlich brauchte, ohne auf bloßes Raten angewiesen zu sein.

Hier ist der schockierende Teil: Unter dem aktuellen System erhielten 27,0 % der Patienten (das sind mehr als 1 von 4) die falsche „nächste beste Aktion“.

Aber die wahre Geschichte ist, was falsch war. Das aktuelle System war besessen von zwei Dingen: „Koordination des Zugangs zur Versorgung“ und „Überweisungen für psychische Gesundheit“. Zusammen machten diese 80,3 % aller durchgeführten Maßnahmen aus.

Unterdessen schrien die tatsächlichen Bedürfnisse der Patienten jedoch nach etwas anderem. Die Daten zeigten, dass die Patienten am meisten von sozialen Bedürfnissen wie Transport, Ernährungssicherheit, Wohnraum und finanziellen Leistungen profitiert hätten.

• Das aktuelle System wählte Transport nur in 1,9 % der Fälle als Priorität, obwohl die Daten der Patienten selbst nahelegten, dass dies in 5,1 % der Fälle die erste Wahl hätte sein müssen. Das ist eine 25,5-fache Lücke.
• Für Ernährungssicherheit wählte das System dies in 1,9 % der Fälle, aber die Patienten benötigten es in 5,2 % der Fälle. Das ist eine 17,3-fache Lücke.
• Für Wohnraum betrug die Lücke das 12,5-fache.

Die Arbeit argumentiert ausdrücklich dagegen, dass dies nur ein einfacher „arme Menschen brauchen mehr Hilfe“-Gradient ist. Die Fehlbelegung war über alle Einkommensschichten und Ethnien hinweg hoch, was zeigt, dass das System soziale Bedürfnisse systematisch für alle ignoriert, nicht nur für die am stärksten Benachteiligten.

Die Lösung: PEARL

Die Forscher haben nicht nur das Problem aufgezeigt; sie haben einen neuen „Verkaufsautomaten“ namens PEARL (Policy Evolution through Aligned Retrospective Learning) gebaut.

PEARL ist wie ein superintelligenter Coach, der aus den „natürlichen Experimenten“ der Vergangenheit lernt. Es hat drei Geheimzutaten:

1. Das innerhalb-des-Patienten-Signal: Es lernt aus der spezifischen Geschichte jedes Patienten (was früher ihm/ihr geholfen hat).
2. Gruppen-stratifizierte Fairness: Es stellt sicher, dass es nicht versehentlich eine Gruppe von Menschen gegenüber einer anderen bevorzugt.
3. Ein Vierzehn-Experten-Router: Es hat ein Team von 14 verschiedenen „Experten“ (einer für jede Art der Hilfe, wie z. B. Bluthochdruck oder Wohnraum), die über den besten nächsten Schritt abstimmen.

Als sie PEARL testeten, war es ein Wendepunkt.

• Es reduzierte die Interventions-Fehlbelegung von 27,0 % auf nur noch 2,0 %.
• Das ist eine Reduktion der Fehlbelegung um 92,6 % in Richtung des perfekten möglichen Scores.
• Die Arbeit stellt fest, dass das „innerhalb-des-Patienten-Signal“ allein den Großteil der schweren Arbeit geleistet hat und die Fehlbelegung auf 4,4 % senkte. Wenn man jedoch den Teil der „Fairness“ entfernt, wird das System tatsächlich schlechter als zuvor (ein Sprung auf 38,7–42,4 %). Dies beweist, dass Fairness nicht nur ein nettes Extra ist, sondern essenziell dafür, dass das System überhaupt funktioniert.

Was sie ausgeschlossen haben

Die Arbeit ist sehr vorsichtig mit dem, was sie nicht behauptet.

• Es ist kein Allheilmittel für jeden: Sie testeten 13 verschiedene Strategien. Einige, wie „Conservative Q-learning“ (eine Art von KI), verbesserten zwar die Gesamtzahl der Krankenhausbesuche, lösten aber das Problem der „falschen Aktion“ nicht. Es reduzierte die Ereignisrate, hielt aber die Fehlbelegung bei 32,0 % hoch.
• Es geht nicht nur darum, „nett“ zu sein: Das einfache Kopieren vergangener Entscheidungen (Behavioral Cloning) ohne die Fairness-Anpassung machte die Sache sogar schlechter.
• Der Camden Coalition Trial: Die Autoren analysierten einen berühmten vergangenen Versuch (den Camden Coalition) neu, bei dem jeder die exakt gleiche intensive Hilfe erhielt. Sie fanden heraus, dass in diesem Versuch 90,9 % der Patienten die „falsche“ Aktion erhielten, weil alle das Gleiche bekamen. In einer Simulation zeigten sie, dass, wenn statt der herkömmlichen Methode PEARL eingesetzt worden wäre, die Wiederaufnahmerate um 15,1 Prozentpunkte niedriger hätte ausfallen können. Die Autoren stellen jedoch klar: Dies ist eine Simulation basierend auf ihrem Modell, kein Beweis dafür, dass der Camden-Trial dadurch definitiv erfolgreich gewesen wäre.

Wie sicher sind wir?

Die Autoren sind sehr zuversichtlich in ihre Zahlen, aber sie sind auch ehrlich über die Grenzen.

• Sie haben die Fehlbelegung mit einer robusten Methode namens „doubly robust counterfactual modeling“ gemessen.
• Sie führten 20 verschiedene Sensitivitätsanalysen durch (indem sie die Regeln leicht änderten, um zu sehen, ob das Ergebnis standhält), und PEARL blieb in fast allen Fällen bei 2,0 %.
• Sie berechneten einen „E-Wert“ von 11,92. Dies ist eine abstrakte Art zu sagen: „Damit unsere Ergebnisse falsch wären, müsste es einen verborgenen Faktor geben, der sowohl die Aktion als auch das Ergebnis 11,92-mal besser vorhersagt als jeder Faktor, den wir tatsächlich gemessen haben.“ Das ist enorm viel, daher sind sie recht sicher, dass das Ergebnis real ist.
• Dennoch geben sie zu, dass das „innerhalb-des-Patienten-natürliche Experiment“ den Effekt von Erhalten von Pflege vs. Nicht-Erhalten von Pflege misst, nicht unbedingt den direkten Schlagabtausch von „Wohnraum vs. Lebensmittel“ in einem perfekten Labor-Setting. Sie messen die Qualität der Entscheidung, nicht die Durchführung einer neuen klinischen Studie, um zu beweisen, dass die Entscheidung in Echtzeit funktioniert (obwohl sie planen, eine neue Studie genau dazu durchzuführen).

Das Fazbeitwort

Die Arbeit kommt zu dem Schluss, dass „Interventions-Fehlbelegung“ eine reale, messbare Größe ist, die wir korrigieren können. Das aktuelle System ignoriert soziale Bedürfnisse wie Lebensmittel und Wohnraum in massivem Ausmaß, selbst wenn dies die Dinge sind, die die Patienten am dringendsten benötigen. Durch die Verwendung einer neuen Methode (PEARL), die auf die eigene Geschichte des Patienten hört und jeden fair behandelt, können wir diese Diskrepanz beheben.

Die Autoren bereiten nun ein neues, groß angelegtes Experiment über 24 Pflegeteams vor, um zu sehen, ob diese neue Art der Auswahl von Maßnahmen in der realen Welt tatsächlich die Krankenhausaufenthalte reduziert. Bis dahin deuten die Daten darauf hin, dass wir, wenn wir Patienten helfen wollen, aufhören müssen zu raten und statfangen müssen, auf die Signale zu hören, die uns sagen, was sie als Erstes wirklich brauchen.