Using Fine-Tuned LLMs to Identify Indicators of Vulnerability in UK Police Incident Logs
Deze studie toont aan dat hoewel gefinetunede open-source LLM's de prevalentie van kwetsbaarheidsindicatoren in Britse politielogboeken op populatieniveau kunnen schatten, hun outputs uitgebreide menselijke beoordeling en statistische correctie vereisen om verdedigbare metingen te worden, wat hen ongeschikt maakt voor individuele operationele beslissingen vanwege aanhoudende instabiliteit en fouten.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van naar een plaats delict te staren, staar je naar een berg handgeschreven politienotities. Deze notities zitten vol verhalen over mensen die de politie om hulp hebben gebeld. Sommige verhalen gaan over verloren katten, sommige over luidruchtige buren, en sommige gaan over mensen die erg ziek zijn, worstelen met verslaving, of nergens kunnen slapen. In de wereld van data science worden deze notities "ongestructureerde tekst" genoemd omdat ze geen nette lijstjes of selectievakjes zijn; het zijn rommelige, vrij vloeiende verhalen. Lange tijd waren computers slecht in het lezen van deze verhalen om specifieke patronen te vinden, zoals "is deze persoon dakloos?" of "worstelen zij met mentale gezondheid?". Ze konden alleen de nette selectievakjes lezen, wat de echte verhalen vaak miste.
Maak kennis met Large Language Models (LLM's). Denk aan deze als super-slimme, digitale leesmachines die bijna alles op het internet hebben gelezen. Ze zijn geweldig in het begrijpen van context, nuance en het verschil tussen een grap en een serieuze schreeuw om hulp. Maar hier komt de adder onder het gras: alleen omdat een robot een verhaal kan lezen, betekent niet dat hij ook altijd de waarheid kan vertellen over wat er in dat verhaal gebeurt. Soms wordt de robot te enthousiast en ziet hij problemen waar die niet zijn, of raakt hij in de war door straattaal of afkortingen. Dit artikel stelt een grote vraag: kunnen we deze digitale leesmachines leren om nauwkeurig te tellen hoe vaak mensen in politieverhalen te maken hebben met moeilijke levenssituaties, en kunnen we de cijfers die ze ons geven vertrouwen?
Het Experiment: Een Robot Leren Lezen over Politieverhalen
De onderzoekers in deze studie besloten te testen of ze een gefinetunede LLM (een robot die specifiek is getraind op voorbeelden) konden gebruiken om bijna 3.000 politierapportages van een Britse politiekracht te lezen. Deze rapportages zijn het dagelijkse verslag van het politiewerk, in realtime geschreven door agenten en medewerkers van de meldkamer. Het doel was om te ontdekken hoe vaak deze logboeken melding maakten van vier specifieke problemen: mentale gezondheidsproblemen, middelengebruik, alcoholafhankelijkheid en dakloosheid.
Ze vroegen de robot niet alleen om een verhaal één keer te lezen en dan een antwoord te geven. In plaats daarvan bouwden ze een zorgvuldige, meerstaps pijplijn. Eerst trainden ze een kleinere, lokale versie van de robot (zodat de gegevens veilig bleven en niet naar de cloud werden gestuurd) met behulp van voorbeelden uit Amerikaanse politiedata. Daarna lieten ze de robot elk verhaal vijf keer lezen. Waarom vijf keer? Omdat, net als een mens die moe of afgeleid kan zijn, de robot soms van gedachten verandert. Als de robot vijf keer achter elkaar zegt: "Ja, deze persoon is dakloos", dan is dat een sterk signaal. Als hij drie keer "Ja" zegt en twee keer "Nee", dan is dat een signaal van verwarring.
De Bevindingen: De Robot is Goed in "Nee" Zeggen, maar Slecht in "Ja" Zeggen
De resultaten waren een mix van goed nieuws en een grote waarschuwing.
Ten eerste was de robot ongelooflijk goed in het herkennen wanneer er niets aan de hand was. Als een verhaal alleen over een verkeersongeval of een verloren portemonnee ging, zei de robot vol vertrouwen en correct: "Geen kwetsbaarheid hier." Het fungeerde als een betrouwbaar filter dat de saaie zaken eruit filterde.
Echter, wanneer de robot probeerde de problemen te vinden, werd hij een beetje te enthousiast. Hij begon "dakloosheid" te zien in verhalen over mensen die in hotels verblijven, of "mentale gezondheidsproblemen" in verhalen over ziekenhuisbezoeken die niets met mentale gezondheid te maken hadden. Het was als een detective die een schaduw ziet en onmiddellijk denkt dat het een monster is, zelfs als het gewoon een jassenrek is.
Om dit op te lossen, brachten de onderzoekers menselijke beoordelaars in het spel. Ze lieten een mens naar een steekproef van het werk van de robot kijken om te zien waar het misging. Ze ontdekten dat de robot systematisch de problemen overschatte. Zo dacht de robot aanvankelijk dat 12,8% van de verhalen te maken had met middelengebruik. Maar na de menselijke beoordeling en wat statistische wiskunde (een chique manier om de fouten van de robot te corrigeren), was het werkelijke aantal waarschijnlijk veel lager, rond de 5,0%.
De Definitieve Cijfers
Na alle correcties en dubbelchecks produceerde de studie enkele nieuwe schattingen van hoe vaak deze kwetsbaarheden voorkomen in politiewerk:
- Mentale gezondheidsproblemen: Gevonden in ongeveer 23% van de incidenten (ongeveer één op vijf).
- Alcoholafhankelijkheid: Gevonden in ongeveer 8% van de incidenten.
- Middelengebruik: Gevonden in ongeveer 5% van de incidenten.
- Dakloosheid: Gevonden in ongeveer 3% van de incidenten.
De Belangrijkste Les: Vertrouw de Robot Niet Alleen
De belangrijkste les van dit artikel is dat je niet zomaar een robot de politielogboeken kunt laten lezen en de cijfers kunt vertrouwen die hij uitspuugt. Als je dat zou doen, krijg je een verkeerd beeld van hoe groot het probleem is. De robot is een krachtig hulpmiddel, maar hij heeft een menselijke leraar nodig om zijn huiswerk te controleren.
De onderzoekers lieten zien dat hoewel een robot duizenden verhalen in seconden kan lezen — iets waar een menselijk team jaren over zou doen — hij een specifieke fout maakt: hij ziet problemen waar ze misschien niet bestaan. Om een betrouwbaar antwoord te krijgen, heb je een "meerstaps pijplijn" nodig. Dit betekent dat je de robot meerdere keren laat draaien, mensen laat een steekproef van zijn werk controleren en statistiek gebruikt om de fouten te corrigeren.
Het artikel concludeert dat hoewel we een goede schatting kunnen krijgen van het algemene beeld (zoals weten dat mentale gezondheidsproblemen een groot deel van het politiewerk uitmaken), we de robot niet kunnen vertrouwen om beslissingen te nemen over individuele personen. Als een robot één specifiek persoon als "risicovol" markeert, kan hij ernaast zitten. Maar als we deze methode gebruiken om de grote trends te begrijpen, geeft het ons een veel duidelijker beeld van de wereld dan de oude, rommelige selectievakjes ooit konden. Het is een krachtige nieuwe lens, maar er moet een vaste, voorzichtige hand aan worden vastgehouden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.