📊 statistics

Triage Score: A Counterfactual Risk Assessment Instrument

Dit artikel stelt "triage scores" voor, een nieuwe klasse risicobeoordelingsinstrumenten gebaseerd op additieve contrafactische nutten die de beperkingen van traditionele risicoscores overwinnen door potentiële uitkomsten onder interventie te incorporeren om meer ethisch en praktisch geïnformeerde besluitvorming mogelijk te maken.

Oorspronkelijke auteurs: Kosuke Imai, Sooahn Shin, D. James Greiner, Ryan Halen

Gepubliceerd 2026-06-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Kosuke Imai, Sooahn Shin, D. James Greiner, Ryan Halen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een arts bent die moet beslissen of een patiënt wordt opgenomen op de intensive care (IC).

De Oude Manier: De "Risicoscore"
Momenteel gebruiken veel ziekenhuizen een "Risicoscore". Dit is als een weersvoorspelling die alleen voorspelt of het gaat regenen als je je paraplu thuis laat.

Het kijkt naar een patiënt en zegt: "Als we niets doen, is er een kans van 80% dat deze persoon ernstig ziek wordt."
Omdat de score hoog is, neemt de arts de patiënt op op de IC.

Het Probleem:
De Risicoscore heeft een blinde vlek. Het vertelt je wat er gebeurt als je niets doet, maar het vertelt je niet wat er gebeurt als je wel ingrijpt.

Misschien zou de patiënt toch al ziek zijn geworden, zelfs met de IC.
Misschien was de patiënt eigenlijk prima, en zorgde de IC-opname alleen maar voor stress en infecties (een "backlash").
De Risicoscore behandelt iedereen met een hoge score hetzelfde, waarbij er geen rekening wordt gehouden met het feit dat sommige mensen de IC helemaal niet nodig hebben, terwijl anderen door de IC juist gered kunnen worden.

De Nieuwe Manier: De "Triage Score"
De auteurs van dit artikel stellen een nieuw hulpmiddel voor genaamd een Triage Score. Zie dit niet als een weersvoorspelling, maar als een simulator die voor elke patiënt twee films tegelijkertijd afspeelt:

Film A: Wat gebeurt er als we hen met rust laten?
Film B: Wat gebeurt er als we hen naar de IC sturen?

De Triage Score vergelijkt deze twee films om een "score" te berekenen die rekening houdt met berouw (regret).

De "Veilige" Patiënt: Als Film A (geen IC) laat zien dat ze gezond blijven, en Film B (wel IC) ook laat zien dat ze gezond blijven, zegt de Triage Score: "Stuur ze niet naar de IC. Het is een verspilling van middelen en kan hen schaden."
De "Voorkombare" Patiënt: Als Film A laat zien dat ze ziek worden, maar Film B laat zien dat ze gezond blijven, zegt de Triage Score: "Stuur ze naar de IC! Dit is de enige manier om hen te redden."
De "Hopeloze" Patiënt: Als Film A laat zien dat ze ziek worden, en Film B ook laat zien dat ze ziek worden (misschien is de ziekte te ver gevorderd), zegt de Triage Score: "De IC zal niet helpen. We moeten ons concentreren op comfortzorg."

De Praktijktest: Het Bailsysteem
De auteurs testten dit idee met behulp van een echt experiment in Utah waarbij rechters en beslissingen over borgtocht (bail) betrokken waren.

De Opzet: Rechters werden willekeurig toegewezen aan het zien van ofwel een standaard "Public Safety Assessment" (PSA) risicoscore, ofwel helemaal geen score. De PSA vertelde hen hoe groot de kans was dat een verdachte een nieuw misdrijf zou plegen als deze vrij zou komen.
De Gebreken in het Oude Systeem: De PSA keek alleen naar het risico op recidive als de verdachte vrij zou komen. Het vroeg niet: "Als we hen in de gevangenis zetten, zullen zij dan stoppen met het plegen van misdrijven? Of worden ze juist bozer en plegen ze méér misdrijven wanneer ze vrijkomen?"
De Triage-aanpak: De auteurs gebruikten hun nieuwe wiskunde om naar de "wat als"-scenario's te kijken. Ze vroegen zich af:
- Wie zou ongeacht alles opnieuw een misdrijf plegen? (Hopeloos)
- Wie zou alleen opnieuw een misdrijf plegen als zij vrij waren, maar stoppen als zij in de gevangenis zaten? (Voorkombaar)
- Wie zou alleen opnieuw een misdrijf plegen als zij in de gevangenis zaten, maar clean blijven als zij vrij waren? (Backlash)

De Grote Ontdekking
Toen de auteurs de logica van de Triage Score toepasten op de data, ontdekten ze dat de "beste" beslissing veranderde afhankelijk van hoeveel je om verschillende zaken geeft.

Als je alleen maar geeft om het voorkomen van criminaliteit (de oude Risicoscore-manier), zul je veel mensen in de gevangenis zetten.
Maar als je de Triage Score gebruikt en zegt: "Ik krijg echt berouw als ik iemand in de gevangenis zet die toch geen misdrijf zou hebben gepleegd," dan verandert de optimale strategie. Je zult meer mensen vrijlaten omdat je beseft dat hen opsluiten het misdrijf niet daadwerkelijk stopt — het verspilt alleen geld en veroorzaakt bovendien schade.

De Kernboodschap
Het artikel betoogt dat we moeten stoppen met beslissingen te nemen op basis van een enkele voorspelling (wat er gebeurt als we niets doen). In plaats daarvan hebben we een Triage Score nodig die het verschil weegt tussen iets doen en niets doen. Het stelt besluitvormers in staat om slimmer te zijn over wie daadwerkelijk hulp nodig heeft, wie door hulp mogelijk schade ondervindt, en wie helemaal geen hulp nodig heeft, wat uiteindelijk leidt tot betere resultaten voor iedereen.

Technische Samenvatting: Triage Score: Een Instrument voor Counterfactuele Risicobeoordeling

Probleemstelling
Risicobeoordelingsinstrumenten (risicoscores) worden breed ingezet in domeinen met hoge inzet, zoals het strafrecht en de geneeskunde, om de waarschijnlijkheid van een ongewenste uitkomst te voorspellen (bijv. recidive of ziekte) onder een baseline-beslissing van geen interventie. Hoewel hoge scores doorgaans interventies triggeren (bijv. borgstelling of intensieve zorg), lijdt deze aanpak aan een fundamentele mismatch met welvaartsmaximalisatie. Risicoscores voorspellen uitkomsten alleen onder een enkele baseline (geen interventie), en houden geen rekening met counterfactuele uitkomsten onder alternatieve beslissingen. Hierdoor kunnen ze niet onderscheid maken tussen individuen voor wie een interventie de uitkomsten betekenisvol zou veranderen en individuen voor wie dat niet het geval zou zijn. Deze beperking vertroebelt ethische en praktische afwegingen, zoals de spijt die gepaard gaat met het onnodig detineren van een persoon die niet opnieuw de fout in zou zijn gegaan als deze was vrijgelaten. Bestaande kaders vertrouwen vaak op "selectieve labels" (uitkomsten die alleen geobserveerd worden voor hen die een specifieke beslissing ontvingen), wat de evaluatie van alternatieve beleidsmaatregelen bemoeilijkt.

Methodologie
De auteurs stellen een raamwerk voor op basis van triage scores, een klasse van counterfactuele risicobeoordelingsinstrumenten die ontworpen zijn om besluitvorming af te stemmen op het doel van het maximaliseren van het verwachte nut. In tegenstelling tot standaard risicoscores, die uitsluitend afhangen van de baseline potentiële uitkomst $Y(d_0)$ , worden triage scores geconstrueerd vanuit additieve counterfactuele nutten die afhankelijk zijn van de gezamenlijke verdeling van potentiële uitkomsten onder alternatieve beslissingen.

Counterfactueel Nuttenraamwerk:
- Het raamwerk maakt gebruik van principaal stratificatie (Frangakis en Rubin, 2002), waarbij strata worden gedefinieerd op basis van de gezamenlijke potentiële uitkomsten $(Y(0), Y(1), \dots, Y(K_D-1))$ . In een binaire setting omvatten deze strata: Veilig (geen uitkomst onder enige beslissing), Backlash (uitkomst alleen onder interventie), Voorkombaar (uitkomst alleen onder geen interventie), en Hopeloos (uitkomst onder elke beslissing).
- Nutten worden additief gedefinieerd: $u(d, y) = u^d_{y_d} + \sum_{d' \neq d} \tilde{u}^{d'}_{y_{d'}}$ . De eerste term vertegenwoordigt het standaard nut van de gerealiseerde uitkomst, terwijl de tweede term het counterfactuele nut (of de "spijt") weergeeft dat geassocieerd is met de uitkomst die onder een alternatieve beslissing $d'$ zou hebben plaatsgevonden.
- Deze additieve structuur stelt het raamwerk in staat om onderscheid te maken tussen gevallen waar een interventie daadwerkelijk preventief is versus gevallen waar een interventie onnodig is (bijv. het opleggen van borgstelling aan een "veilige" verdachte).
Identificatie en Schatting:
- Onder de aanname van unconfoundedness (conditionele onafhankelijkheid van potentiële uitkomsten en beslissingen gegeven geobserveerde covariaten), stellen de auteurs vast dat het verwachte counterfactuele nut punt-geïdentificeerd is, zelfs zonder de volledige gezamenlijke verdeling van potentiële uitkomsten te observeren.
- Het paper gebruikt Augmented Inverse Probability Weighting (AIPW) schatters om verwachte nutten te schatten. Deze aanpak is dubbel robuust en vereist een consistente schatting van zowel het beslissingsmodel (de propensity van de beslissing van de rechter) als het uitkomstmodel.
- Om om te gaan met hoogdimensionale, ongestructureerde tekstgegevens (specifiek verklaringen voor een verdenking van een misdrijf/probable-cause affidavits) die de beslissingen van rechters verstoren (confound), integreren de auteurs GenAI-gestuurde inferentie (GPI). Door gebruik te maken van Large Language Models (bijv. Llama3) en architecturen zoals DragonNet, extraheren zij laagdimensionale deconfounders uit de tekst om te corrigeren voor niet-geobserveerde heterogeniteit, waardoor aan de unconfoundedness-aanname plausibeler kan worden voldaan dan met enkel gestructureerde covariaten.
Beleid aanleren (Policy Learning):
- Het raamwerk maakt het mogelijk om optimale beslisregels te leren door een empirisch nutmaximalisatieprobleem op te lossen. Voor binaire beslissingen wordt dit geherformuleerd als een gewogen classificatieprobleem; voor multiclass-beslissingen houdt dit het selecteren in van de beslissing met het hoogste geschatte verwachte nut voor elk covariatenprofiel.

Empirische Toepassing en Resultaten
De methodologie wordt toegepast op een gerandomiseerde gecontroleerde studie (RCT) in Utah die de Public Safety Assessment (PSA) evalueert, een risicoscore voor de pre-trial fase. In deze studie werden rechters willekeurig toegewezen aan het wel of niet ontvangen van PSA-aanbevelingen. De dataset bevat 9.855 gevallen van eerste arrestaties met uitkomsten gemeten als Nieuwe Criminele Activiteit (NCA), Nieuwe Gewelddadige Criminele Activiteit (NVCA) en Niet verschijnen voor de rechtbank (FTA).

Nut-specificatie: De auteurs definiëren nut-parameters die de kosten van beslissingen (bijv. de kosten van borgstelling), de kosten van ongewenste uitkomsten en spijt-parameters voor counterfactuele uitkomsten bevatten.
Vergelijkende Analyse: De studie vergelijt drie systemen: Mens alleen, Mens + PSA, en een Optimaal Beslisboombeleid afgeleid van het triage score-raamwerk.
Belangrijkste Bevindingen:
- Gevoeligheid voor Nut-parameters: De geprefereerde beslisregel (Mens vs. Mens+PSA) is zeer gevoelig voor de specificatie van de nut-parameters, met name de kosten van borgstelling en de spijt geassocieerd met onnodige detentie.
- Divergentie van Risicoscores: Onder het standaard risicoscore-raamwerk (dat strata samenvoegt op basis van de baseline risico), verschilt het optimale beleid vaak significant van dat dat is afgeleid onder het triage score-raamwerk. Het triage score-raamwerk identificeert dat borgstelling contraproductief kan zijn voor "veilige" verdachten (die ongeacht de beslissing niet opnieuw de fout in zouden gaan), een nuance die verloren gaat bij standaard risicobeoordeling.
- Beleidsimplicaties: De analyse toont aan dat conclusies over de waarde van algoritmische aanbevelingen niet absoluut zijn, maar afhangen van het ethische gewicht dat aan counterfactuele uitkomsten wordt toegekend. Wanneer de spijt voor onnodige detentie hoog is, bevoordeelt het triage-raamwerk vaak beleid dat het gebruik van borgstelling vermindert vergeleken met standaard risicogebaseerde benaderingen.

Bijdragen en Betekenis
Het paper levert drie primaire bijdragen:

Theoretische Generalisatie: Het introduceert de triage score als een generalisatie van standaard risicoscores, waarbij de focus verschuift van het voorspellen van een enkele baseline uitkomst naar het evalueren van beslissingen op basis van de gezamenlijke verdeling van potentiële uitkomsten. Dit maakt de expliciete incorporatie van ethische overwegingen zoals spijt mogelijk.
Methodologische Vooruitgang: Het biedt een statistisch besluitvormings-theoretisch raamwerk voor het evalueren en leren van optimale beleidsmaatregelen onder counterfactuele nutten, waarbij identificatieresultaten worden vastgesteld onder unconfoundedness en semiparametrische schatters (AIPW) worden ontwikkeld die hoogdimensionale tekst-confounders via GenAI kunnen accommoderen.
Empirische Demonstratie: Door de Utah RCT te gebruiken, illustreert het paper dat conventionele risicoscore-evaluaties substantieel andere en potentieel suboptimale beleidsaanbevelingen kunnen opleveren vergeleken met triage-gebaseerde benaderingen. Het benadrukt dat de "beste" beslisregel contingent is aan de specifieke utiliteitsstructuur (ethische en praktische afwegingen) die door de besluitvormer is gekozen.

Claims en Beperkingen
De auteurs positioneren de triage score niet als een specif kind van een specifieke setting, maar als een algemeen besluitvormingsraamwerk. Ze stellen expliciet dat ze geen specifieke triage score voor de Utah-toepassing ontwikkelen, maar eerder de capaciteit van het raamwerk demonstreren om rijke utiliteitsstructuren te vatten. Het paper erkent dat de geldigheid van de resultaten rust op de unconfoundedness-aanname, die in hun toepassing plausibel wordt gemaakt door de beschikbaarheid van volledige gerechtelijke informatie (inclusclusief de verklaringen voor een verdenking) en het gebruik van GPI om tekstgebaseerde confounders te corrigeren. De auteurs suggereren dat toekomstig werk zich moet richten op de real-world elicitatie van nut-parameters met beleidsmakers en de uitbreiding van het raamwerk naar dynamische, sequentiële besluitvormingsomgevingen.

Meer zoals dit