Deployment protocol and base model jointly determine residual risk in rule-based clinical LLM supervision

Stellen Sie sich vor, Sie hätten gerade einen superintelligenten Roboter-Assistenten gebaut, der medizinische Akten lesen und Behandlungen vorschlagen kann. Sie sind begeistert, aber Sie wissen auch, dass selbst die klügsten Roboter manchmal Fakten erfinden, gefährliche Ratschläge geben oder bei kniffligen Fragen durcheinanderkommen können. Dies ist die Welt der klinischen Large Language Models (LLMs): leistungsstarke KI-Werkzeuge, die darauf ausgelegt sind, Ärzten zu helfen, aber auch das reale Risiko bergen, Fehler zu machen, die Patienten verletzen könnten. Um die Sicherheit zu gewährleisten, bauen Wissenschaftler „Guardrails“ – digitale Sicherheitsnetze, die die Antworten des Roboters prüfen, bevor sie jemand sieht. Aber hier stellt sich die große Frage: Funktioniert ein Sicherheitsnetz bei jedem Roboter auf die gleiche Weise? Und was passiert, wenn man den menschlichen Backup-Plan entfernt? Diese Arbeit untersucht genau das, indem sie testet, ob ein spezifisches Set aus regelbasierten Sicherheitsprüfungen verschiedene KI-Modelle sicher halten kann und wie viel Risiko verbleibt, wenn man versucht, sie völlig allein arbeiten zu lassen.

Die Forscher errichteten einen digitalen „Sentinel“ – einen strengen, regelbefolgenden Schiedsrichter aus fünf verschiedenen Toren –, um fünf verschiedene KI-Modelle (von kleineren Open-Source-Modellen bis hin zu massiven, erstklassigen kommerziellen Modellen) zu überwachen. Sie testeten diese Modelle in zwei Arten von medizinischen Szenarien: ausgedachten Fällen, die darauf ausgelegt waren, die KI in die Irre zu führen, und realen Fällen, die aus Krankenhausakten entnommen wurden. Sie führten die Tests in zwei sehr unterschiedlichen Modi durch. Der erste Modus, „Handoff-On“, ist so, als stünde ein menschlicher Supervisor direkt neben dem Roboter. Wenn der Sentinel eine schlechte Antwort erkennt, blockiert er diese und leitet sie an einen menschlichen Arzt weiter, damit dieser sie korrigieren oder überprüfen kann. Der zweite Modus, „Handoff-Off“, ist der „autonome“ Modus: Der Roboter muss die Aufgabe völlig eigenständig bewältigen. Wenn der Sentinel hier eine schlechte Antwort erkennt, gibt es keinen Menschen, der rettet; die ursprüngliche, potenziell gefährliche Antwort könnte dennoch durchgehen, oder das System muss einfach mit dem Chaos umgehen.

Die Ergebnisse waren eine Mischung aus „großen Neuigkeiten“ und „Vorsicht, mit Bedacht vorgehen“. Wenn der menschliche Supervisor anwesend war (Handoff-On), funktionierte das Sicherheitsnetz für alle Modelle hervorragend. Unabhängig davon, welches KI-Modell getestet wurde, blieb die Rate der gefährlichen Antworten, die den Nutzer tatsächlich erreichten, unter 6 %. Es war, als hätte man einen Türsteher im Club, der fast jeden Unruhestifter erwischt. Die Kosten dieser Sicherheit variierten jedoch stark. Schwächere Modelle (wie Qwen 7B und Llama 8B) mussten in fast der Hälfte der Fälle gestoppt und zur Hilfe an einen Menschen übergeben werden. Stärkere Modelle (wie Sonnet 4.5 und Gemma 4) benötigten kaum Hilfe und ließen über 99 % ihrer Antworten direkt passieren.

Aber als sie den menschlichen Supervisor ausschalteten (Handoff-Off), änderte sich die Geschichte komplett. Die Sicherheit des Systems hing plötzlich ganz davon ab, welchen Roboter man verwendete. Die stärksten Modelle blieben sicher, wobei die gefährlichen Antworten sehr niedrig blieben (etwa 0 % bis 2 %). Aber die schwächeren Modelle? Ihre Sicherheit brach zusammen. Ohne einen Menschen, der sie auffängt, sprang die Rate der gefährlichen Antworten auf zwischen 13 % und fast 50 %. Die Arbeit fand heraus, dass der Schlüssel zu diesem Unterschied darin lag, wie gut die KI „selbstkorrigieren“ konnte. Wenn der Sentinel einem starken Modell sagte: „Hey, du hast einen Fehler gemacht, versuch es nochmal“, korrigierte das starke Modell den Fehler meistens. Die schwächeren Modelle hingegen konnten ihre eigenen Fehler oft nicht korrigieren, insbesondere wenn sie die grundlegende Formatierung ihrer Antwort missachtet hatten.

Die Forscher testeten auch, was passiert, wenn man versucht, ein Modell zu „feintunen“ (nachzutrainieren), um es bei spezifischen Aufgaben besser zu machen. Überraschenderweise machte dies das Modell manchmal schlechter darin, Sicherheitsregeln zu befolgen, was dazu führte, dass es seine eigenen Formatierungsregeln brach. Dennoch war der regelbasierte Sentinel stark genug, um die Fehler abzufangen und den endgültigen Output sicher zu halten. Sie testeten sogar ein massives 70-Milliarden-Parameter-Modell in fast 3.000 realen Szenarien aus drei verschiedenen Krankenhäusern, und dies bestätigte den Trend: Mit einem menschlichen Backup war es perfekt sicher; ohne einen war es zwar immer noch sehr sicher, aber nicht ganz so perfekt wie die führenden kommerziellen Modelle.

Ein letztes, entscheidendes Experiment beinhaltete einen menschlichen Arzt, der die endgültigen Antworten der KI überprüfte. Der Arzt stellte fest, dass die Sicherheitsregeln zwar offensichtliche Fehler abfing, aber subtile, aber gefährliche Fehler in der medizinischen Argumentation übersah. Zum Beispiel konnte die KI alle Sicherheitsregeln perfekt befolgen und dennoch die falsche Medikamentendosis vorschlagen, weil sie ein Laborergebnis missverstanden hatte. Dies beweist, dass der regelbasierte Sentinel zwar ein fantastisches Sicherheitsnetz zum Abfangen struktureller Fehler ist, aber kein Ersatz für das Gehirn eines Arztes sein kann. Die Arbeit kommt zu dem Schluss, dass wir, wenn wir diese KI-Werkzeuge in Krankenhäusern einsetzen wollen, das richtige Modell für die jeweilige Aufgabe wählen und ehrlich damit umgehen müssen, ob wir einen Menschen bereitstehen haben, der einschreiten kann. Man kann nicht einfach davon ausgehen, dass ein Sicherheitsnetz für jeden Roboter gleich funktioniert, und man kann die schwächsten Roboter definitiv nicht allein das Ruder übernehmen lassen.