Validating Large Language Model Extraction of Actuarial Variables from Unstructured Claims Documents
Diese Studie evaluiert eine Pipeline aus großen Sprachmodellen zur Extraktion von 14 versicherungsmathematischen Variablen aus Arbeitnehmerentschädigungsansprüchen, wobei eine moderate Gesamteinigkeit mit menschlichen Prüfern (quadratisches gewichtetes Kappa von 0,53) sowie eine signifikante Variabilität über die Dimensionen hinweg festgestellt wurde, was die Notwendigkeit einer Kalibrierung und einer phasenweisen Bereitstellung vor der formellen Validierung unterstreicht.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine riesige Bibliothek mit Versicherungsansprüchen vor. Diese Dateien sind chaotisch: Sie enthalten handschriftliche Arztnotizen, Telefonprotokolle, juristische Schreiben und medizinische Unterlagen. Seit Jahrzehnten müssen Versicherungsexperten (Aktuare) diese chaotischen Dateien von Hand lesen, um herauszufinden, wie viel Geld sie für zukünftige Auszahlungen zurücklegen müssen. Das ist langsam, teuer und anfällig für menschliche Fehler.
Dieses Paper stellt eine einfache Frage: Kann ein superintelligenter Computer (ein Large Language Model, oder LLM) diese chaotischen Dateien lesen und die spezifischen Zahlen und Fakten extrahieren, die Aktuare benötigen, genau so gut wie ein Mensch?
Hier ist die Aufschlüsselung ihres Experiments, einfach erklärt:
Der Aufbau: Ein „Fake“-Bibliothekstest
Die Forscher wollten nicht das Risiko eingehen, mit echten privaten medizinischen Daten von Menschen zu experimentieren, also bauten sie eine simulierte Bibliothek. Sie nutzten ein Computerprogramm, um 20 „falsche“ Versicherungsansprüche zu generieren. Da der Computer diese erstellt hatte, kannten die Forscher die „richtigen“ Antworten (die Grundwahrheit) für jeden einzelnen Fakt in diesen Dateien.
Sie speisten diese fiktiven Dateien in ihr KI-System ein. Die KI hatte die Aufgabe, 14 spezifische Informationen zu extrahieren, wie zum Beispiel: „Wie schwer war die Verletzung?“ oder „Besteht das Risiko einer Klage?“.
Die Richter: Die menschlichen Prüfer
Um zu sehen, ob die KI gute Arbeit leistete, engagierten sie zwei menschliche Experten (Pharmazeuten mit fortgeschrittenen Abschlüssen), um die Arbeit der KI zu bewerten. Sie nutzten ein Zeugnis mit 10 verschiedenen Kategorien, wie zum Beispiel:
- Relevanz: Hat die KI über das Richtige gesprochen?
- Genauigkeit: Hat sie die Fakten richtig wiedergegeben?
- Halluzination: Hat die KI Fakten erfunden, die nicht in der Datei standen?
- Fehlende Informationen: Hat die KI vergessen, etwas Wichtiges zu erwähnen?
Wenn die beiden menschlichen Richter stark voneinander abwichen (um mehr als 2 Punkte auf einer 5-Punkte-Skala), trat ein dritter Richter ein, um die endgültige Entscheidung zu treffen.
Die Ergebnisse: „Das Gute, das Schlechte und das Seltsame“
1. Die Gesamtbewertung: „Okay, aber nicht perfekt“
Die beiden Richter stimmten in 51 % der Fälle in der exakten Punktzahl überein. Wenn man berücksichtigt, dass sie „nah beieinander“ lagen (innerhalb eines Punktes), stimmten sie in 81 % der Fälle überein. In der Welt der Statistik gilt dies als „moderate“ Übereinstimmung. Es ist wie zwei Wettervorhersager, die sich einig sind, dass es regnen wird, aber der eine sagt „leichter Nieselregen“ und der andere „starker Sturm“.
2. Die gute Nachricht: Die KI beherrscht die Grundlagen
Die Richter stimmten fast perfekt darüber überein, ob die KI relevant (über das richtige Thema sprechend) und angemessen (klar schreibend) war. Wenn die KI sagte: „Der Patient hat ein Bein gebrochen“, stimmten die Richter zu, dass dies das richtige Thema war.
3. Die schlechte Nachricht: Die KI kämpft mit „Was fehlt“ und „Was erfunden ist“
Hier stritten die Richter am meisten.
- Fehlende Informationen: Ein Richter könnte denken, die KI habe ein entscheidendes Detail übersehen, während der andere denkt, die KI habe alles erfasst. Sie stimmten in 40 % der Fälle nicht überein. Es ist, als würden zwei Personen ein Puzzle betrachten; einer denkt, ein Teil fehlt, der andere denkt, das Bild sei vollständig.
- Halluzinationen: Die KI hat manchmal Dinge erfunden. Die Richter hatten Schwierigkeiten zu entscheiden, wie schlimm die erfundenen Fakten waren.
- Kontext: Die KI hat manchmal medizinische Fachbegriffe missverstanden, und die Richter konnten sich nicht einig werden, wie verwirrt die KI tatsächlich war.
4. Der „grimmige“ Richter
Einer der menschlichen Richter war konsistent strenger als der andere. Wenn sie sich uneinig waren, entschied der dritte Richter (der Entscheidungsträger/Tie-Breaker) in 10 von 15 Fällen zugunsten des „lockeren“ Richters (desjenigen, der höhere Punktzahlen vergab). Dies deutet darauf hin, dass der „strenge“ Richter übervorsichtig war, vielleicht zu besorgt darüber, Dinge zu vermissen, die eigentlich gar nicht fehlten.
Was bedeutet das für die Zukunft?
Die Forscher ziehen basierend auf ihren Ergebnissen eine klare Linie:
- Die „Triage“-Zone (Sicher für den Moment): Die KI ist zuverlässig genug, um als Sortierer eingesetzt zu werden. Stellen Sie sich ein Postlager vor, in dem die KI einen Stapel Briefe scannt und sagt: „Hey, dieser hier sieht dringend aus, legen Sie ihn oben auf den Schreibtisch des Menschen.“ Die KI ist gut darin, das Offensichtliche zu erkennen.
- Die „Geld“-Zone (Noch nicht bereit): Die KI ist nicht bereit, um die endgültige Berechnung durchzuführen, wie viel Geld die Versicherung zurücklegen muss. Da die KI manchmal Details übersieht oder Fakten erfindet – und da sich Menschen nicht einmal darüber einig werden können, ob diese Fehler aufgetreten sind –, kann man der KI noch nicht vertrauen, um die endgültige Mathematik allein zu bewältigen.
Das Fazit
Das Paper kommt zu dem Schluss, dass wir unsere menschlichen Richter besser kalibrieren müssen, bevor wir der KI vertrauen können. Im Moment ist die KI ein hilfreicher Praktikant, der die schwere Arbeit beim Lesen der Dateien übernehmen kann, aber ein erfahrener Experte muss die endgültigen Zahlen immer noch kontrollieren, insbesondere um sicherzustellen, dass der Praktikant nichts übersehen oder erfunden hat.
Die Forscher merkten auch an, dass der „Confidence Score“ der KI (eine Zahl, die sie sich selbst gibt, nach dem Motto „Ich bin mir zu 90 % sicher!“) nicht sehr nützlich war, da er immer hoch war, selbst wenn die KI falsch lag. Es ist wie ein Schüler, der immer sagt: „Ich bin sicher, ich habe eine Eins“, selbst wenn er nur eine Drei hat.
Zusammenfassend lässt sich sagen: Die Technologie ist vielversprechend und funktioniert gut beim Sortieren und Kennzeichnen von Ansprüchen, benötigt aber mehr Training und bessere menschliche Aufsicht, bevor man ihr die eigentlichen Geldkalkulationen anvertrauen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.