Using Fine-Tuned LLMs to Identify Indicators of Vulnerability in UK Police Incident Logs
Diese Studie zeigt, dass fein abgestimmte Open-Source-LLMs zwar die Prävalenz von Vulnerabilitätsindikatoren in britischen Polizeieinsatzprotokollen auf Bevölkerungsebene abschätzen können, ihre Ergebnisse jedoch eine umfangreiche menschliche Überprüfung und statistische Korrektur erfordern, um zu verteidigbaren Messwerten zu werden, was sie aufgrund anhaltender Instabilität und Fehlerhaftigkeit für operative Entscheidungen im Einzelfall ungeeignet macht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber anstatt einen Tatort zu untersuchen, starren Sie auf einen Berg handgeschriebener Polizeinotizbücher. Diese Notizbücher sind voller Geschichten über Menschen, die die Polizei um Hilfe gebeten haben. Einige Geschichten handeln von verlorenen Katzen, manche von lauten Nachbarn, und wieder andere involvieren Menschen, die sehr krank sind, mit Sucht kämpfen oder nirgendwo schlafen können. In der Welt der Datenwissenschaft werden diese Notizbücher als „unstrukturierter Text“ bezeichnet, weil sie keine ordentlichen Listen oder Kontrollkästchen sind, sondern ungeordnete, frei fließende Geschichten. Lange Zeit waren Computer schlecht darin, diese Geschichten zu lesen, um spezifische Muster zu finden, wie zum Beispiel: „Ist diese Person obdachlos?“ oder „Leidet sie unter psychischen Problemen?“ Sie konnten nur die ordentlichen Kontrollkästchen lesen, wodurch der eigentliche Kern der Geschichte oft verloren ging.
Hier kommen Large Language Models (LLMs) ins Spiel. Betrachten Sie diese als superintelligente, digitale Lesemaschinen, die fast alles im Internet gelesen haben. Sie sind hervorragend darin, Kontext, Nuancen und den Unterschied zwischen einem Witz und einem ernsthaften Hilferuf zu verstehen. Aber hier ist der Haken: Nur weil ein Roboter eine Geschichte lesen kann, bedeutet das nicht, dass er auch immer die Wahrheit darüber sagen kann, was darin geschieht. Manchmal wird der Roboter zu enthusiastisch und sieht Probleme, wo keine sind, oder er wird durch Slang und Abkürzungen verwirrt. Dieses Paper stellt eine große Frage: Können wir diese digitalen Lesemaschinen dazu bringen, genau zu zählen, wie viele Menschen in Polizeigeschichten mit schwierigen Lebenssituationen zu kämpfen haben, und können wir den Zahlen vertrauen, die sie uns liefern?
Das Experiment: Einem Roboter das Lesen von Polizeigeschichten beibringen
Die Forscher in dieser Studie beschlossen zu testen, ob sie ein fein abgestimmtes (fine-tuned) LLM (ein Roboter, der speziell an Beispielen trainiert wurde) nutzen können, um fast 3.000 Einsatzprotokolle einer britischen Polizeikraft zu lesen. Diese Protokolle sind das tägliche Tagebuch der Polizeiarbeit, die von Beamten und Mitarbeitern der Leitstelle in Echtzeit geschrieben wurden. Das Ziel war herauszufinden, wie oft diese Protokolle vier spezifische Belastungen erwähnten: psychische Erkrankungen, Substanzmissbrauch, Alkoholabhängigkeit und Obdachlosigkeit.
Sie ließen den Roboter nicht einfach nur einmal lesen und eine Antwort geben. Stattdessen bauten sie eine sorgfältige, mehrstufige Pipeline auf. Zuer Sie trainierten eine kleinere, lokale Version des Roboters (damit die Daten sicher blieben und nicht in die Cloud gelangten) unter Verwendung von Beispielen aus US-Polizeidaten. Dann ließen sie den Roboter jede Geschichte fünfmal lesen. Warum fünfmal? Weil, genau wie ein Mensch, der müde oder abgelenkt sein könnte, ändert der Roboter manchmal seine Meinung. Wenn er fünfmal hintereinander sagt: „Ja, diese Person ist obdachlos“, ist das ein starkes Signal. Wenn er dreimal „Ja“ und zweimal „Nein“ sagt, ist das ein Signal der Verwirrung.
Die Ergebnisse: Der Roboter ist gut darin, „Nein“ zu sagen, aber schlecht darin, „Ja“ zu sagen
Die Ergebnisse waren eine Mischung aus guten Nachrichten und einer großen Warnung.
Erstens war der Roboter unglaublich gut darin, zu erkennen, wenn nichts faul war. Wenn eine Geschichte nur von einem Verkehrsunfall oder einem verlorenen Portemonnaie handelte, sagte der Roboter selbstbewusst und korrekt: „Keine Vulnerabilität vorhanden.“ Er fungierte wie ein zuverlässiger Filter, der das Unwesentliche aussortierte.
Wenn der Roboter jedoch versuchte, die Probleme zu finden, wurde er etwas zu eifrig. Er sah plötzlich „Obdachlosigkeit“ in Geschichten über Menschen, die in Hotels übernachteten, oder „psychische Probleme“ in Berichten über Krankenhausbesuche, die nichts mit psychischer Gesundheit zu tun hatten. Es war wie ein Detektiv, der einen Schatten sieht und sofort an ein Monster denkt, obwohl es nur ein Kleiderständer ist.
Um dies zu beheben, brachten die Forscher menschliche Prüfer ins Spiel. Sie ließen einen Menschen eine Stichprobe der Arbeit des Roboters prüfen, um zu sehen, wo er Fehler machte. Sie fanden heraus, dass der Roboter die Probleme systematisch überschätzte. Zum Beispiel glaubte der Roboter anfangs, dass 12,8 % der Geschichten Substanzmissbrauch betrafen. Doch nach der menschlichen Überprüfung und einiger statistischer Mathematik (eine schicke Art, die Fehler des Roboters zu korrigieren) lag die wahre Zahl wahrscheinlich viel niedriger, nämlich bei etwa 5,0 %.
Die endgültigen Zahlen
Nach all den Korrekturen und Doppelprüfungen lieferte die Studie neue Schätzungen dazu, wie oft diese Vulnerabilitäten in der Polizeiarbeit auftreten:
- **Psychische Erkrankungen:**로 Gefunden in etwa 23 % der Einsätze (ungefähr jeder fünfte).
- Alkoholabhängigkeit: Gefunden in etwa 8 % der Einsätze.
- Substanzmissbrauch: Gefunden in etwa 5 % der Einsätze.
- Obdachlosigkeit: Gefunden in etwa 3 % der Einsätze.
Die wichtigste Lektion: Vertrauen Sie nicht allein dem Roboter
Die wichtigste Erkenntnis aus diesem Paper ist, dass man einen Roboter nicht einfach die Polizeiprotokolle lesen lassen und dann den Zahlen vertrauen darf, die er ausspuckt. Wenn man dies täte, würde man ein falsches Bild von der Größe des Problems bekommen. Der Roboter ist ein mächtiges Werkzeug, aber er braucht einen menschlichen Lehrer, der seine Hausaufgaben kontrolliert.
Die Forscher zeigten, dass der Roboter zwar tausende Geschichten in Sekunden lesen kann – eine Aufgabe, für die ein menschliches Team Jahre bräuchte –, aber er macht eine ganz spezifische Art von Fehler: Er sieht Probleme, wo vielleicht gar keine sind. Um eine vertrauenswürdige Antwort zu erhalten, benötigt man eine „mehrstufige Pipeline“. Das bedeutet, den Roboter mehrmals laufen zu lassen, die Arbeit des Roboters durch Menschen prüfen zu lassen und Statistiken zu verwenden, um die Fehler zu korrigieren.
Das Paper kommt zu dem Schluss, dass wir zwar eine gute Schätzung des Gesamtbildes erhalten können (wie etwa zu wissen, dass psychische Probleme ein wesentlicher Teil der Polizeiarbeit sind), wir dem Roboter aber nicht zutrauen können, Entscheidungen über einzelne Personen zu treffen. Wenn ein Roboter eine bestimmte Person als „gefährdet“ markiert, kann er falsch liegen. Aber wenn wir diese Methode nutzen, um große Trends zu verstehen, liefert sie uns ein viel klareres Bild der Welt als die alten, unordentlichen Kontrollkästchen es je könnten. Es ist eine kraftvolle neue Linse, die jedoch von einer steten, vorsichtigen Hand gehalten werden muss.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.