The Likelihood Ratio Wall: Structural Limits on Accurate Risk Assessment for Rare Violence
Dit artikel betoogt dat instrumenten voor risicobeoordeling voorafgaand aan het proces geconfronteerd worden met een fundamentele "Likelihood Ratio-muur", waarbij de zeldzaamheid van gewelddadige recidive en structurele vertekeningen zoals overmatige politiewerkzaamheden wiskundig hoge-betrouwbaarheidsvoorspellingen op individueel niveau onmogelijk maken, waardoor huidige instrumenten vatbaar zijn voor hoge rates van vals-positieve uitslagen die niet kunnen worden opgelost door recalibratie.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een rechter bent die moet beslissen of een verdachte voorafgaand aan zijn proces in voorarrest blijft. Je hebt een nieuwe "Risicotool" die hun geschiedenis scant en hen een label geeft: "Hoog risico op geweld".
De tool zou je moeten vertellen: "Als we deze persoon laten gaan, is er een goede kans dat ze een gewelddadige misdaad plegen."
Dit artikel betoogt dat, wiskundig gezien, deze tool je bijna altijd liegt wanneer hij iemand "Hoog risico" noemt voor zeldzame gewelddadige misdrijven. Zelfs als de tool er op papier indrukwekkend uitziet, is de realiteit dat de meeste mensen die hij als "gevaarlijk" aanmerkt, in werkelijkheid vredig waren gebleven als ze waren vrijgelaten.
Hier is de uiteenzetting van waarom dit gebeurt, met behulp van eenvoudige analogieën.
1. Het "Naald in een Hooiberg"-probleem (De Basisratio)
Geweldige herarrestaties zijn zeer zeldzaam. Op de meeste plaatsen plegen slechts ongeveer 2 tot 5 van de 100 vrijgelaten verdachten een nieuwe gewelddadige misdaad.
Stel je voor dat je een beveiliger bent op een enorm stadion met 10.000 mensen. Je bent op zoek naar één persoon die in het geheim een wapen draagt (de "gewelddadige dader").
- De "Risicotool" is een metaaldetector.
- Het probleem is dat de metaaldetector niet perfect is. Hij piept soms voor onschadelijke dingen zoals riemgespen of sleutels (valse alarmen).
Omdat de "slechte jongen" zo zeldzaam is (1 op de 10.000), zal zelfs een zeer goede metaaldetector veel vaker piepen voor onschuldige mensen dan voor de daadwerkelijke bedreiging. Het artikel noemt dit de Likelihood Ratio-muur.
2. De Muur die je niet kunt Beklimmen
De auteurs bewijzen een wiskundige regel: Om 50% van de tijd gelijk te hebben (wat betekent dat als de tool "Hoog risico" zegt, er een muntworp-kans is dat de persoon inderdaad gevaarlijk is), moet de tool ongelooflijk goed zijn in het opsporen van de naald.
- De Realiteit: Huidige tools zijn als een metaaldetector die 10 keer piept voor een riemgesp voor elke echte pistool die hij vindt.
- De Eisen: Om de helft van de tijd gelijk te hebben, zou de tool 30 tot 50 keer beter moeten zijn in het opsporen van het pistool dan de riemgesp.
De Analogie: Stel je voor dat je probeert een specifiek zandkorreltje op een strand te vinden. Als je "zandzoeker" 100 zandkorrels oppikt voor elke 1 gouden korrel, en goud is ongelooflijk zeldzaam, zul je uiteindelijk een emmer vol zand vasthouden terwijl je denkt dat je goud hebt gevonden. De tool is niet "kapot"; het is gewoon dat het goud te zeldzaam is voor de tool om goed te werken.
Het artikel toont aan dat huidige tools verre van goed genoeg zijn om deze muur te overwinnen. Wanneer ze iemand als "Hoog risico" aanmerken, hebben ze meestal ongelijk.
3. Waarom "Aanpassen" van de Tool niet Helpt (Hercalibratie)
Je zou kunnen denken: "Kunnen we de instellingen van de tool niet gewoon aanpassen om hem accurater te maken?"
De auteurs zeggen nee. Ze bewijzen dat het veranderen van de cijfers (hercalibratie) is als het opnieuw schilderen van de metaaldetector. Je kunt hem er chiquer laten uitzien of het volume van de piep veranderen, maar je kunt niet veranderen dat hij nog steeds piept voor riemgespen.
Als de onderliggende data (de geschiedenis van arrestaties, eerdere aanklachten, enz.) niet sterk genoeg is om het gewelddadige van het niet-gewelddadige te scheiden, kan geen enkel wiskundig trucje dat signaal uit het niets creëren. De "Muur" is een structurele limiet, geen softwarefout.
4. Het "Toezichtplafond" (Waarom Bepaalde Groepen Vaker worden Aangemerkt)
Het artikel wijst ook op een wrede ironie: Overpolitiekering maakt de tool slechter voor bepaalde groepen.
Stel je twee buurten voor, Buurt A en Buurt B.
- Buurt A wordt normaal gepolitieerd.
- Buurt B wordt overpolitiekerd. De politie is er constant, controleert ieders zakken en dossiers.
Zelfs als mensen in Buurt B niet gewelddadiger zijn dan mensen in Buurt A, verzamelen ze meer "risicofactoren" (zoals eerdere arrestaties of het niet verschijnen voor de rechtbank) simpelweg omdat ze nauwkeuriger in de gaten worden gehouden.
De Analogie:
- In Buurt A krijgt een persoon misschien pas een "risicofactor" als ze echt iets verkeerds doen.
- In Buurt B krijgt een persoon een "risicofactor" gewoon omdat ze op de verkeerde plaats op het verkeerde moment waren, of voor een kleine overtreding die de politie in Buurt A zou hebben genegeerd.
Het artikel bewijst dat Buurt B, omdat het meer "valse markers" heeft (onschuldige mensen die door het systeem worden aangemerkt), de tool minder accuraat maakt voor hen. De tool stuit op een "Toezichtplafond" waar het simpelweg niet nauwkeurig kan zijn, hoe slim het algoritme ook is. Het eindigt met het aanmerken van onschuldige mensen in Buurt B op een veel hoger tempo, waardoor het label "Hoog risico" voor hen nog minder betrouwbaar wordt.
5. Het "Aantal Dat moet worden Vastgehouden" (De Menselijke Kosten)
De auteurs vertalen deze wiskundige problemen naar een reële kostenpost: Hoeveel mensen moeten we opsluiten om één gewelddadige misdaad te voorkomen?
- Als de tool 11% van de tijd gelijk heeft (wat de wiskunde aangeeft dat gebeurt bij de huidige prestatieniveaus), betekent dit dat je 9 mensen moet vasthouden om 1 gewelddadige misdaad te voorkomen.
- Dit impliceert dat 8 van die 9 mensen onschuldig waren aan toekomstig geweld en onnodig van hun vrijheid werden beroofd.
De Conclusie
Het artikel concludeert dat voor zeldzame gewelddadige misdrijven de data die we momenteel hebben (strafblad, arrestatiegeschiedenis) niet sterk genoeg is om beslissingen over het opsluiten van mensen met een hoog vertrouwen te ondersteunen.
Wanneer een rechter een label "Hoog risico op geweld" ziet, wordt hen verteld dat de persoon waarschijnlijk gevaarlijk is. Maar de wiskunde zegt dat dat label ongeveer 8 of 9 keer op de 10 verkeerd is.
De Aanbeveling:
De auteurs suggereren dat als we deze tools blijven gebruiken, we eerlijk moeten zijn over de onzekerheid. In plaats van alleen te zeggen "Hoog risico", zouden de rapporten moeten zeggen:
"Deze persoon is aangemerkt als hoog risico, maar op basis van de huidige data is er slechts een kans van 11% dat deze aanmerking correct is. Om één gewelddadige misdaad te voorkomen, zouden we waarschijnlijk 9 mensen vasthouden die geen misdaad zouden hebben gepleegd."
Het artikel betoogt dat we, totdat we data hebben die 30 tot 50 keer beter is dan wat we nu hebben, moeten stoppen met het behandelen van deze "Hoog risico"-labels als bewijs dat iemand gevaarlijk is.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.