When Verification Passes the Wrong Calculator: A Human-Adjudicated Study of a Guarded Local LLM Pipeline

In der Welt der modernen Medizin verlassen sich Ärzte oft auf spezialisierte Werkzeuge, um aus rohen Patientendaten klare Antworten zu gewinnen. Diese Werkzeuge, bekannt als klinische Rechner, nehmen spezifische Zahlen – wie das Gewicht, das Alter oder die Ergebnisse eines Bluttests einer Person – und wenden eine feste Regel auf, um einen Score oder eine Kategorie zu erzeugen, die bei der Behandlungsentscheidung hilft. Jahrelang wurden diese Werkzeuge von Computern betrieben, die strikten, unveränderlichen Anweisungen folgten, was sicherstellte, dass die Mathematik immer perfekt war. Vor kurzem ist eine neue Art von Computerprogramm entstanden: Large Language Models. Dies sind Systeme, die auf riesigen Mengen an Text trainiert wurden, die eine Patientengeschichte lesen, den Kontext verstehen und versuchen können, den richtigen Rechner auszuwählen und die Mathematik für Sie durchzuführen. Die Hoffnung ist, dass diese Systeme als intelligente Assistenten fungieren können, die die Lücke zwischen einem unordentlichen medizinischen Narrativ und einem präzisen numerischen Ergebnis schließen. Es bleibt jedoch eine kritische Frage: Wenn ein Computerprogramm behauptet, es habe die Rechnung korrekt durchgeführt, bedeutet das, dass es zuerst das richtige Werkzeug für die Aufgabe gewählt hat?

Ein Team von Forschern der University of South Florida setzte sich zum Ziel, genau diese Frage mit einem speziellen Typ von Computersystem zu testen, das darauf ausgelegt ist, besonders vorsichtig zu sein. Sie bauten eine Pipeline, die wie ein bewachter Torwächter fungiert. Wenn ein Patientenfall präsentiert wird, entscheidet das System zuerst, welchen Rechner es verwenden soll. Es extrahiert dann die notwendigen Zahlen aus dem Text, führt die Berechnung unter Verwendung eines starren, fehlerfreien Computerprogramms durch und überprüft schließlich seine eigene Arbeit, indem es versucht, das Ergebnis auf eine andere Weise darzustellen, um zu sehen, ob die Zahlen weiterhin übereinstimmen. Die Forscher wollten wissen, ob diese interne Prüfung auf Konsistenz ausreichte, um Sicherheit zu gewährleisten. Ihre Studie, die den Test des Systems an über tausend Datensätzen und einem separaten Satz realer medizinischer Fallberichte beinhaltete, offenbarte einen überraschenden und potenziell gefährlichen Fehler. Das System konnte alle seine internen Prüfungen bestehen und eine mathematisch konsistente Antwort liefern, selbst wenn es den völlig falschen Rechner für den Zustand des Patienten ausgewählt hatte.

Die Forscher bewerteten ihr System, das sie CIBB-Guard nannten, im Vergleich zu einer Standardmethode, bei der man das Computerprogramm direkt fragt. In einem großen Test mit über tausend Datensätzen, von denen die meisten synthetisch oder computergeneriert waren, schnitt das bewachte System signifikant besser ab. Es lieferte für etwa sechzig Prozent der Fälle die richtige Antwort, während der direkte Ansatz nur in etwa zehn Prozent erfolgreich war. Diese Verbesserung resultierte aus der Fähigkeit des Systems, eine Regel auszuwählen, Daten zu extrahieren und die Mathematik zu verifizieren. Die wahre Prüfung kam jedoch, als die Forscher Fälle untersuchten, in denen überhaupt kein Rechner hätte verwendet werden dürfen. Sie nahmen siebenundsiebzig anonymisierte medizinische Fallberichte und ließen sie von menschlichen Experten als entweder geeignet oder ungeeignet für die getesteten Rechner klassifizieren. In den Fällen, in denen die Rechner nicht anwendbar waren, lehnte das bewachte System die Angabe einer Antwort in einundzwanzig von zweiunddreißig Fällen korrekt ab. In den verbleibenden zwölf Fällen lieferte das System jedoch selbstbewusst eine Antwort, und diese Antwort bestand seine eigenen internen Verifizierungsprüfungen.

Hier liegt die Kernentdeckung. In jenen zwölf unpassenden Fällen hatte das System einen Rechner ausgewählt, der nicht zur Geschichte des Patienten passte, dennoch war die von ihm durchgeführte Mathematik intern konsistent. Das System überprüfte seine Arbeit, indem es die Zahlen in einer alternativen Form darstellte, und beide Versionen stimmten überein. Diese Übereinstimmung bestätigte, dass der Computer die gewählte Regel korrekt ausgeführt hatte, aber sie bestätigte nicht, dass die Regel auch die richtige war, die zu verwenden sei. Tatsächlich bestand die interne Prüfung in fast allen dieser falschen Antworten erfolgreich. Die Studie fand heraus, dass das Sicherheitsnetz des Systems, das darauf ausgelegt war, Rechenfehler abzufangen, blind für den Fehler der Wahl des falschen Werkzeugs war. Als das System in Fällen getestet wurde, in denen ein Rechner tatsächlich angemessen war, gelang es ihm nur, vier korrekte Antworten von insgesamt zweiundvierzig zu liefern – ein Ergebnis, das sich statistisch nicht signifikant vom direkten Ansatz unterschied, was verdeutlicht, dass das System immer noch mit der komplexen Aufgabe kämpft, eine Patientengeschichte der richtigen Regel zuzuordnen.

Die Forscher betonen, dass ihre Ergebnisse nicht bedeuten, dass das System nutzlos ist, sondern vielmehr, dass es unvollständig ist. Die Studie verwendete eine einzige, eingefrorene Version eines Computermodells und eine spezifische Bibliothek von zwölf Rechnern. Die Ergebnisse zeigen, dass das System zwar die Genauigkeit der mathematischen Ausführung verbessern und zufällige Fehler reduzieren kann, aber noch nicht in der Lage ist, ohne menschliche Aufsicht zu bestimmen, ob ein Rechner für einen spezifischen Patienten anwendbar ist. Die Tatsache, dass das System seine internen Prüfungen bei falschen Antworten bestand, deutet darauf darauf hin, dass es nicht ausreicht, sich allein auf mathematische Konsistenz zu verlassen, um die klinische Sicherheit zu gewährleisten. Die Autoren kommen zu dem Schluss, dass vor dem Einsatz eines solchen Systems in einem Krankenhaus eine separate, unabhängige Prüfung erfolgen muss, um zu verifizieren, dass der gewählte Rechner tatsächlich für den Fall angemessen ist, anstatt nur zu prüfen, ob die Mathematik aufgeht. Die Arbeit dient als mahnender Hinweis darauf, dass ein Computer vollkommen konsistent sein kann, während er den Kontext völlig falsch interpretiert – und dass in der Medizin das Finden des richtigen Werkzeugs genauso wichtig ist wie das korrekte Durchführen der Rechnung.