📊 statistics

Triage Score: A Counterfactual Risk Assessment Instrument

Dieses Paper schlägt „Triage-Scores“ vor, eine neue Klasse von Instrumenten zur Risikobewertung auf Basis additiver kontrafaktischer Nutzen, welche die Einschränkungen traditioneller Risikoscores überwinden, indem sie potenzielle Ergebnisse unter Intervention einbeziehen, um eine ethisch und praktisch fundiertere Entscheidungsfindung zu ermöglichen.

Ursprüngliche Autoren: Kosuke Imai, Sooahn Shin, D. James Greiner, Ryan Halen

Veröffentlicht 2026-06-23

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Kosuke Imai, Sooahn Shin, D. James Greiner, Ryan Halen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Arzt, der entscheiden muss, ob er einen Patienten auf die Intensivstation (ITS) verlegt.

Der alte Weg: Der „Risiko-Score“
Derzeit verwenden viele Krankenhäuser einen „Risiko-Score“. Das ist wie eine Wettervorhersage, die nur vorhersagt, ob es regnen wird, wenn man den Regenschirm zu Hause lässt.

Er betrachtet einen Patienten und sagt: „Wenn wir nichts unternehmen, besteht eine 80-prozentige Wahrscheinlichkeit, dass diese Person sehr schwer erkrankt.“
Weil der Score hoch ist, wird der Patient auf die Intensivstation verlegt.

Das Problem:
Der Risiko-Score hat einen blinden Fleck. Er sagt Ihnen, was passiert, wenn Sie nicht eingreifen, aber er sagt Ihnen nicht, was passiert, wenn Sie doch eingreifen.

Vielleicht wäre der Patient auch ohne die Intensivstation schwer erkrankt.
Vielleicht war der Patient eigentlich gesund, und die Aufnahme auf die Intensivstation hat nur Stress und Infektionen verursacht (ein „Backlash“ oder Rückschlag).
Der Risiko-Score behandelt alle mit einem hohen Score gleich und ignoriert dabei, dass einige Menschen die Intensivstation gar nicht benötigen, während andere durch sie gerettet werden könnten.

Der neue Weg: Der „Triage-Score“
Die Autoren dieses Papers schlagen ein neues Werkzeug vor, das einen Triage-Score nennt. Betrachten Sie dies nicht als eine Wettervorhersage, sondern als einen Simulator, der für jeden einzelnen Patienten zwei Filme gleichzeitig abspielt:

Film A: Was passiert, wenn wir sie in Ruhe lassen?
Film B: Was passiert, wenn wir sie auf die Intensivstation bringen?

Der Triage-Score vergleicht diese beiden Filme, um einen „Score“ zu berechnen, der Reue (Regret) berücksichtigt.

Der „sichere“ Patient: Wenn Film A (keine Intensivstation) zeigt, dass sie gesund bleiben, und Film B (Intensivstation) ebenfalls zeigt, dass sie gesund bleiben, sagt der Triage-Score: „Schicken Sie sie nicht auf die Intensivstation. Das ist eine Verschwendung von Ressourcen und könnte ihnen schaden.“
Der „verhütbare“ Patient: Wenn Film A zeigt, dass sie schwer erkranken, aber Film B zeigt, dass sie gesund bleiben, sagt der Triage-Score: „Schicken Sie sie auf die Intensivstation! Das ist der einzige Weg, sie zu retten.“
Der „hoffnungslose“ Patient: Wenn Film A zeigt, dass sie schwer erkranken, und Film B ebenfalls zeigt, dass sie schwer erkranken (vielleicht ist die Krankheit zu weit fortgeschritten), sagt der Triage-Score: „Die Intensivstation wird nicht helfen. Wir sollten uns auf die Palliativversorgung konzentrieren.“

Der Realitätscheck: Das Kautionssystem
Die Autoren testeten diese Idee anhand eines echten Experiments in Utah, das Richter und Kautionsentscheidungen untersuchte.

Der Aufbau: Richter wurden zufällig entweder einer Standard-„Public Safety Assessment“ (PSA) Risiko-Score zugewiesen oder erhielten gar keinen. Das PSA sagte ihnen, wie wahrscheinlich es ist, dass ein Angeklagter nach einer Entlassung eine neue Straftat begeht.
Der Fehler im alten System: Das PSA betrachtete nur das Risiko einer erneuten Straftat, falls der Angeklagte freigelassen würde. Es fragte nicht: „Wenn wir sie ins Gefängnis stecken, werden sie dann aufhören, Verbrechen zu begehen? Oder werden sie nur wütender und begehen mehr Verbrechen, wenn sie wieder herauskommen?“
Der Triage-Ansatz: Die Autoren nutzten ihre neue Mathematik, um die „Was-wäre-wenn“-Szenarien zu betrachten. Sie fragten:
- Wer würde auf jeden Fall erneut straffällig werden? (Hoffnungslos)
- Wer würde nur bei einer Freilassung erneut straffällig werden, aber aufhören, wenn er im Gefängnis ist? (Verhütbar)
- Wer würde nur bei einer Inhaftierung erneut straffällig werden, aber sauber bleiben, wenn er freigelassen wird? (Backlash/Rückschlag)

Die große Entdeckung
Als die Autoren die Logik des Triage-Scores auf die Daten anwandten, fanden sie heraus, dass sich die „beste“ Entscheidung änderte, je nachdem, wie viel man über bestimmte Dinge beachten wollte.

Wenn man nur darauf bedacht ist, Verbrechen zu verhindern (der alte Weg des Risiko-Scores), würde man vielleicht viele Menschen einsperren.
Aber wenn man den Triage-Score verwendet und sagt: „Ich bereue es wirklich sehr, jemanden ins Gefängnis gesteckt zu haben, der ohnehin kein Verbrechen begangen hätte“, dann ändert sich die optimale Strategie. Man würde vielleicht mehr Menschen freilassen, weil man erkennt, dass die Inhaftierung das Verbrechen gar nicht stoppt – sie verschwendet nur Geld und verursacht stattdessen Schaden.

Das Fazit
Das Paper argumentiert, dass wir aufhören müssen, Entscheidungen basierend auf einer einzigen Vorhersage zu treffen (was passiert, wenn wir nichts tun). Stattdessen benötigen wir einen Triage-Score, der den Unterschied zwischen Handeln und Nicht-Handeln abwägt. Er ermöglicht es Entscheidungsträgern, klüger darüber zu entscheiden, wer tatsächlich Hilfe braucht, wer durch Hilfe geschädigt werden könnte und wer gar keine Hilfe benötigt, was letztlich zu besseren Ergebnissen für alle Beteiligten führt.

Technische Zusammenfassung: Triage-Score: Ein Instrument zur kontrafaktischen Risikobewertung

Problemstellung
Instrumente zur Risikobewertung (Risiko-Scores) werden in hochsensiblen Bereichen wie der Strafjustiz und der Medizin weit verbreitet eingesetzt, um die Wahrscheinlichkeit eines unerwünschten Ereignisses (z. B. Rückfall oder Erkrankung) unter der Baseline-Entscheidung „keine Intervention“ vorherzusagen. Während hohe Scores typischerweise Interventionen auslösen (z. B. Kaution oder Intensivpflege), leidet dieser Ansatz unter einer grundlegenden Diskrepanz zur Maximierung des Wohlbefindens (Welfare Maximization). Risiko-Scores sagen Ergebnisse nur unter einer einzigen Baseline voraus (keine Intervention) und berücksichtigen dabei nicht die kontrafaktischen Ergebnisse unter alternativen Entscheidungen. Folglich können sie nicht zwischen Personen unterscheiden, für die eine Intervention die Ergebnisse maßgeblich verändern würde, und solchen, für die dies nicht der Fall wäre. Diese Einschränkung verschleiert ethische und praktische Abwägungen, wie etwa das Bedauern (Regret), das mit der unnötigen Inhaftierung einer Person verbunden ist, die bei einer Freilassung nicht rückfällig geworden wäre. Bestehende Frameworks verlassen sich häufig auf „selektive Labels“ (Ergebnisse, die nur für diejenigen beobachtet werden, die eine bestimmte Entscheidung erhalten haben), was die Evaluierung alternativer Politiken erschwert.

Methodik
Die Autoren schlagen ein Framework vor, das auf Triage-Scores basiert – einer Klasse von kontrafaktischen Risikobewertungs-Instrumenten, die darauf ausgelegt sind, die Entscheidungsfindung mit dem Ziel der Maximierung des erwarteten Nutzens in Einklang zu bringen. Im Gegensatz zu Standard-Risiko-Scores, die ausschließlich auf dem Baseline-Potenzialergebnis $Y(d_0)$ beruhen, werden Triage-Scores aus additiven kontrafaktischen Nutzenfunktionen konstruiert, die von der gemeinsamen Verteilung potenzieller Ergebnisse unter alternativen Entscheidungen abhängen.

Kontrafaktisches Nutzen-Framework:
- Das Framework nutzt die Prinzipielle Stratifizierung (Frangakis und Rubin, 2002) und definiert Strata basierend auf der gemeinsamen Verteilung der potenziellen Ergebnisse $(Y(0), Y(1), \dots, Y(K_D-1))$ . In einem binären Setting umfassen diese Strata: Safe (kein Ereignis unter irgendeiner Entscheidung), Backlash (Ereignis nur unter Intervention), Preventable (Ereignis nur unter Nicht-Intervention) und Hopeless (Ereignis unter jeder Entscheidung).
- Nutzenfunktionen werden additiv definiert: $u(d, y) = u^d_{y_d} + \sum_{d' \neq d} \tilde{u}^{d'}_{y_{d'}}$ . Der erste Term repräsentiert den Standardnutzen des realisierten Ergebnisses, während der zweite Term den kontrafaktischen Nutzen (oder das „Bedauern“) im Zusammenhang mit dem Ergebnis darstellt, das unter einer alternativen Entscheidung $d'$ eingetreten wäre.
- Diese additive Struktur ermöglicht es, zwischen Fällen zu unterscheiden, in denen eine Intervention tatsächlich präventiv wirkt, und Fällen, in denen sie unnötig ist (z. B. die Auferlegung einer Kaution für einen „Safe“-Angeklagten).
Identifikation und Schätzung:
- Unter der Annahme der Unconfoundedness (bedingte Unabhängigkeit von potenziellen Ergebnissen und Entscheidungen gegeben beobachtete Kovariaten) legen die Autoren dar, dass der erwartete kontrafaktische Nutzen punktidentifizierbar ist, selbst ohne die vollständige gemeinsame Verteilung der potenziellen Ergebnisse zu beobachten.
- Das Paper verwendet Augmented Inverse Probability Weighting (AIPW)-Schätzer, um die erwarteten Nutzen zu schätzen. Dieser Ansatz ist doppelt robust und erfordert eine konsistente Schätzung sowohl des Entscheidungsmodells (Propensität der richterlichen Entscheidung) als das Ergebnismodells.
- Um mit hochdimensionalen, unstrukturierten Textdaten (speziell Probable-Cause-Affidavits, die richterliche Entscheidungen konfundieren) umzugehen, integriert das Framework GenAI-gestützte Inferenz (GPI). Unter Verwendung von Large Language Models (z. B. Llama3) und Architekturen wie DragonNet extrahieren sie niedrigdimensionale Deconfunder aus dem Text, um für die nicht beobachtete Heterogenität zu kontrollieren und die Annahme der Unconfoundedness plausibler zu erfüllen als durch strukturierte Kovariaten allein.
Policy Learning:
- Das Framework ermöglicht das Erlernen optimaler Entscheidungsregeln durch das Lösen eines empirischen Nutzenmaximierungsproblems. Für binäre Entscheidungen wird dies als gewichtetes Klassifikationsproblem umformuliert; für Multiklassen-Entscheidungen erfolgt die Auswahl der Entscheidung mit dem höchsten geschätzten erwarteten Nutzen für jedes Kovariatenprofil.

Empirische Anwendung und Ergebnisse
Die Methodik wird auf eine randomisierte kontrollierte Studie (RCT) in Utah angewendet, welche den Public Safety Assessment (PSA), einen Risiko-Score für die Vorverhandlung, evaluiert. In dieser Studie wurden Richter zufällig zugewiesen, um entweder PSA-Empfehlungen zu erhalten oder nicht. Der Datensatz umfasst 9.855 Erstverhaftungen, wobei die Ergebnisse als Neue kriminelle Aktivität (NCA), Neue gewalttätige kriminelle Aktivität (NVCA) und Nichterscheinen (FTA) gemessen wurden.

Nutzen-Spezifikation: Die Autoren definieren Nutzenparameter, die die Kosten von Entscheidungen (z. B. Kosten einer Kaution), die Kosten unerwünschter Ergebnisse und Regret-Parameter für kontrafaktische Ergebnisse einbeziehen.
Vergleichende Analyse: Die Studie vergleicht drei Systeme: Mensch allein, Mensch mit PSA sowie eine durch das Triage-Score-Framework abgeleitete optimale Entscheidungsbaum-Policy.
Wesentliche Erkenntnisse:
- Sensitivität gegenüber Nutzenparametern: Die bevorzugte Entscheidungsregel (Mensch vs. Mensch+PSA) reagiert hochsensibel auf die Spezifikation der Nutzenparameter, insbesondere auf die Kosten der Kaution und das Bedauern im Zusammenhang mit unnötiger Inhaftierung.
- Divergenz von Risiko-Scores: Unter dem Standard-Risiko-Score-Framework (das Strata basierend auf der Baseline-Risiko zusammenfasst) weicht die optimale Policy oft signifikant von der unter dem Triage-Score-Framework abgeleiteten Policy ab. Das Triage-Score-Framework identifiziert, dass eine Kaution für „Safe“-Angeklagte (die unabhängig von der Entscheidung nicht rückfällig würden) kontraproduktiv sein kann – eine Nuance, die bei Standard-Risiko-Scores verloren geht.
- Politische Implikationen: Die Analyse zeigt, dass Schlussfolgerungen bezüglich des Wertes algorithmischer Empfehlungen nicht absolut sind, sondern von der ethischen Gewichtung kontrafaktischer Ergebnisse abhängen. Wenn beispielsweise das Bedauern über unnötige Inhaftierung hoch ist, bevorzugt das Triage-Framework oft Politiken, die den Einsatz von Kautionen im Vergleich zu Standard-Risiko-Ansätzen reduzieren.

Beiträge und Bedeutung
Das Paper leistet drei primäre Beiträge:

Theoretische Verallgemeinerung: Es führt den Triage-Score als Verallgemeinerung von Standard-Risiko-Scores ein und verlagert den Fokus von der Vorhersage eines einzelnen Baseline-Ergebnisses auf die Bewertung von Entscheidungen basierend auf der gemeinsamen Verteilung potenzieller Ergebnisse. Dies ermöglicht die explizite Einbeziehung ethischer Erwägungen wie des „Regrets“.
Methodische Weiterentwicklung: Es bietet ein statistisches Entscheidungstheorie-Framework zur Evaluierung und zum Erlernen optimaler Politiken unter kontrafaktischen Nutzen und etabliert Identifikationsergebnisse unter Unconfoundedness sowie entwickelt semiparametrische Schätzer (AIPW), die hochdimensionale Text-Konfounder mittels GenAI berücksichtigen können.
Empirische Demonstration: Durch die Utah-RCT illustriert das Paper, dass konventionelle Evaluierungen von Risiko-Scores substantielle Unterschiede aufweisen und potenziell suboptimal sein können im Vergleich zu Triage-basierten Ansätzen. Es hebt hervor, dass die „beste“ Entscheidungsregel von der spezifischen Nutzenstruktur (ethische und praktische Abwägungen) abhängt, die der Entscheidungsträger wählt.

Ansprüche und Limitationen
Die Autoren positionieren den Triage-Score nicht als ein spezifisches Werkzeug für einen einzelnen Kontext, sondern als ein allgemeines Entscheidungsunterstützungs-Framework. Sie stellen explizit klar, dass sie keinen spezifischen Triage-Score für die Anwendung in Utah entwickeln, sondern vielmehr die Fähigkeit des Frameworks demonstrieren, reichhaltige Nutzenstrukturen zu erfassen. Das Paper räumt ein, dass die Validität der Ergebnisse von der Unconfoundedness-Annahme abhängt, welche in ihrer Anwendung durch die Verfügbarkeit vollständiger richterlicher Informationen (einschließlich der PC-Affidavits) und den Einsatz von GPI zur Anpassung an textbasierte Konfounder plausibel gemacht wird. Die Autoren schlagen vor, dass zukünftige Arbeiten auf die reale Ermittlung von Nutzenparametern mit politischen Entscheidungsträgern und die Erweiterung des Frameworks auf dynamische, sequentielle Entscheidungssettings fokussieren sollten.

Mehr davon