Automating the triage of rheumatology outpatient referrals: a comparative evaluation of 23 large language models under simple and advanced prompting

Jeden Tag schreiben tausende Menschen mit Gelenkschmerzen, Schwellungen oder Steifheit an Rheumatologen, um Hilfe zu bitten. Diese Briefe, bekannt als Überweisungen, treffen in einer Flut ein, die Spezialisten sortieren müssen. Das Ziel dieses Sortierens, genannt Triage, ist es zu entscheiden, wer sofort gesehen werden muss, weil sein Zustand ein Organ oder das Leben bedrohen könnte, und wer sicher Wochen oder Monate warten kann. Diese Aufgabe fällt auf erfahrene Ärzte zurück, die komplexe, unstrukturierte Texte lesen müssen, um eine Entscheidung zu treffen. Es ist eine arbeitsintensive, mental erschöpfende Aufgabe, die Zeit raubt, die eigentlich für das Sehen von Patienten und die Behandlung von Krankheiten vorgesehen ist. Wenn das System gut funktioniert, erhalten die schwerstkranken Menschen schnell Hilfe. Wenn es versagt, könnte ein Patient mit einer sich schnell verschlechternden Autoimmunerkrankung zu lange warten und dadurch bleibende Schäden riskieren. Doch selbst wenn dies von erfahrenen menschlichen Ärzten durchgeführt wird, ist dieser Sortierprozess nicht perfekt; Experten sind sich oft uneinig, und dringende Fälle werden manchmal übersehen oder verzögert.

Da die Zahl der Überweisungen schneller wächst als die Zahl der verfügbaren Spezialisten, suchen Kliniken nach Wegen, künstliche Intelligenz einzusetzen, um zu helfen. Speziell testen sie große Sprachmodelle, also Computerprogramme, die auf riesigen Mengen an Text trainiert wurden und menschliche Sprache verstehen sowie generieren können. Diese Modelle werden bereits eingesetzt, um medizinische Fragen zu beantworten und bei der Diagnose zu assistieren, aber es war unklar, ob sie auch die spezifische, hochriskante Aufgabe der Sortierung von Rheumatologie-Überweisungen zuverlässig bewältigen können. Die zentrale Frage war nicht nur, ob ein Computer dies tun konnte, sondern ob er es ebenso gut wie ein menschliches Team tun konnte, und ob der Einsatz der leistungsfähigsten, teuersten Computer notwendig war, um die Aufgabe richtig zu erledigen.

Ein Forscher am Monash Health in Australien setzte sich zum Ziel, diese Fragen zu beantworten, indem er dreiundzwanzig verschiedene große Sprachmodelle einem strengen Test unterzog. Er erstellte zwanzig realistische Überweisungsszenarien basierend auf echten Fällen, die das gesamte Spektrum der Dringlichkeit abdeckten – von lebensbedrohlichen Notfällen bis hin zu Routinebeschwerden. Um einen Goldstandard für die richtige Antwort zu etablieren, bewerteten vier unabhängige Rheumatologen jeden einzelnen Fall, ohne zu wissen, was die anderen entschieden hatten, und einigten sich schließlich auf einen Konsens über den Dringlichkeitsgrad für jeden Fall. Der Forscher bat dann jedes der dreiundzwanzig Computermodelle, dieselben zwanzig Fälle zu triagieren. Um sicherzustellen, dass die Ergebnisse stabil waren und nicht nur Glückstreffer, wurde jedes Modell aufgefordert, die Entscheidung drei Mal für jeden Fall zu treffen. Das Experiment wurde zweimal durchgeführt: einmal mit einer sehr einfachen Anweisung, die das Modell anwies, die Überweisungen zu sortieren, und ein zweites Mal mit einer viel detaillierteren Anweisung, die genau erklärte, wie es über das Problem nachdenken sollte, Beispiele dafür lieferte, wie jedes Dringlichkeitsniveau aussah, und das Modell dazu anleitete, sich auf spezifische medizinische Anzeichen zu konzentrieren, während weniger relevante Faktoren wie das Schmerzniveau ignoriert wurden.

Die Ergebnisse zeigten ein klares Muster darin, wie diese Maschinen denken. Wenn ihnen nur eine einfache Anweisung gegeben wurde, performten die Modelle sehr unterschiedlich. Die größten, fortschrittlichsten und teuersten Modelle waren signifikant genauer als die kleineren, günstigeren. In diesem einfachen Setting kaufte man sich mit einem größeren Modell eine bessere Leistung. Die Geschichte änderte sich jedoch völlig, als der Forscher zu den fortgeschrittenen, detaillierten Anweisungen wechselte. Mit dieser besseren Anleitung verschwand die Leistungsdifferenz zwischen den Modellen. Die kleineren, günstigeren Modelle holten die teuren ein, und die Verbindung zwischen Kosten und Genauigkeit verschwand. Die detaillierten Anweisungen lehrten die kleineren Modelle im Wesentlichen, wie sie durch das Problem denken sollten, was es ihnen ermöglichte, genauso gut wie die Giganten zu performen, jedoch ohne den hohen Preis zu zahlen.

Selbst mit den besten Anweisungen waren die Computer nicht fehlerfrei. Sie machten immer noch Fehler, schlugen manchmal vor, dass ein Patient kränker sei, als er war, und manchmal, dass er weniger krank sei. Der Forscher stellte fest, dass der Fehler der Unter-Triage – also das Übersehen eines dringenden Falls – die gefährlichste Art von Fehler war, da er eine kritische Versorgung verzögern könnte. Trotz dieses Risikos entsprachen die leistungsfähigsten Modelle beim Großteil der Fälle dem menschlichen Konsens und stimmten oft in allen drei Versuchen mit dem korreksten Dringlichkeitsgrad überein. Dieses Leistungsniveau ordnete sie innerhalb oder sogar über dem Genauigkeitsbereich ein, der bei menschlichen Ärzten berichtet wird, die bekanntlich bei etwa einem Drittel der Fälle uneinig sind und ihren Dringlichkeitsstatus nach dem Sehen des Patienten häufig ändern.

Die Studie legt nahe, dass die Werkzeuge zur Automatisierung dieser administrativen Last bereits existieren und möglicherweise erschwinglicher sind als bisher angenommen. Die zentrale Erkenntnis ist, dass die Art und Weise, wie eine Frage an den Computer gestellt wird, ebenso wichtig ist wie der Computer selbst. Durch die Verwendung eines gut gestalteten Prompts, der klare Regeln und Beispiele enthält, könnten Kliniken in der Lage sein, kleinere, günstigere Modelle einzusetzen, um Ergebnisse zu erzielen, die denen der teuersten Systeme in nichts nachstehen. Dies könnte es medizinischen Diensten ermöglichen, wertvolle Zeit an erfahrene Ärzte zurückzugeben, damit diese sich weniger mit dem Sortieren von Briefen und mehr auf die Behandlung von Patienten konzentrieren können können. Während die Technologie vielversprechend ist, betont der Forscher, dass jedes im realen Einsatz befindliche System sorgfältig überwacht werden muss, um sicherzustellen, dass es keine dringenden Fälle übersieht, und dass menschliche Ärzte weiterhin in den Prozess eingebunden bleiben müssen, um die kritischsten Entscheidungen zu überprüfen. Der Weg nach vorne besteht darin, diese Werkzeuge an echten, lebenden Überweisungen zu testen und die Anweisungen zu verfeinern, um die Sicherheit zu gewährleisten, aber die Daten deuten darauf hin, dass ein zuverlässiger, automatisierter Assistent für die Rheumatologie-Triage kein ferner Traum mehr ist.