🤖 machine learning

Safety and accuracy follow different scaling laws in clinical large language models

Das Papier stellt das SaFE-Scale-Framework und den RadSaFE-200-Benchmark vor, um zu zeigen, dass die Sicherheit klinischer LLMs kein passives Nebenprodukt der Skalierung ist, sondern eine von der Bereitstellung abhängige Eigenschaft, bei der hochwertige Evidenz gefährliche Fehler signifikant reduziert, während Standard-Recherche und erhöhte Rechenleistung diese Sicherheitsgewinne nicht replizieren können.

Ursprüngliche Autoren: Sebastian Wind, Tri-Thien Nguyen, Jeta Sopa, Mahshad Lotfinia, Sebastian Bickelhaup, Michael Uder, Harald Köstler, Gerhard Wellein, Sven Nebelung, Daniel Truhn, Andreas Maier, Soroosh Tayebi Arasteh

Veröffentlicht 2026-05-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Sebastian Wind, Tri-Thien Nguyen, Jeta Sopa, Mahshad Lotfinia, Sebastian Bickelhaup, Michael Uder, Harald Köstler, Gerhard Wellein, Sven Nebelung, Daniel Truhn, Andreas Maier, Soroosh Tayebi Arasteh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Idee: Größer ist nicht immer sicherer

Stellen Sie sich vor, Sie stellen ein Team von Medizinstudenten ein, um bei der Diagnose von Patienten zu helfen. Sie könnten annehmen, dass Sie, wenn Sie den „klügsten" Studenten (das größte KI-Modell) einstellen oder ihnen eine riesige Bibliothek zum Lesen geben (mehr Daten), automatisch weniger gefährliche Fehler machen werden.

Dieses Papier argumentiert, dass diese Annahme falsch ist. In der hochriskanten Welt der Medizin garantiert das bloße „klüger" oder „größer" machen eines Modells nicht, dass es sicher ist. Ein Modell kann im Durchschnitt sehr genau sein, aber dennoch einige erschreckend selbstbewusste, gefährliche Fehler machen.

Die Forscher haben einen neuen Testraum namens RadSaFE-200 entwickelt (denken Sie daran als „Sicherheitsfahrprüfung" für medizinische KI), um herauszufinden, was diese KI-Systeme tatsächlich sicher macht. Sie testeten 34 verschiedene KI-Modelle unter sechs unterschiedlichen Szenarien.

Die sechs Szenarien: Wie wir die KI getestet haben

Die Forscher haben der KI nicht nur Fragen gestellt; sie haben verändert, wie die KI antworten durfte. Stellen Sie sich dies als sechs verschiedene Arten vor, wie ein Student eine Prüfung ablegen könnte:

Closed-Book (Aus dem Gedächtnis): Der Student muss allein aus dem Gedächtnis antworten. Keine Notizen erlaubt.
Saubere Evidenz: Der Student erhält direkt vor der Prüfung eine perfekte, klare, von einem Arzt verfasste Zusammenfassung der Fakten.
Konflikt-Evidenz: Der Student erhält die perfekte Zusammenfassung, aber jemand schmuggelt einen verwirrenden oder widersprüchlichen Satz hinein.
Standard-Suche (RAG): Der Student darf in einer unordentlichen, nicht kuratierten Enzyklopädie (Radiopaedia) nach Antworten suchen, weiß aber nicht, wie er das Rauschen filtert.
Agent-Suche (Agentic RAG): Der Student hat einen intelligenten Assistenten, der die Enzyklopädie durchsucht, die Ergebnisse liest und sie für den Studenten zusammenfasst.
Max-Kontext: Der Student erhält die gesamte Enzyklopädie in den Schoß geworfen, in der Hoffnung, dass er die richtige Seite inmitten des Chaos findet.

Die überraschenden Ergebnisse

1. Die Superkraft „Saubere Evidenz"

Die größte Entdeckung war, dass das Bereitstellen hochwertiger, von Ärzten verfasster Fakten für die KI das einzige war, was die Sicherheitsprobleme wirklich behob.

Die Analogie: Stellen Sie sich einen Studenten vor, der eine Prüfung schreibt. Wenn Sie ihm einen Spickzettel geben, der von einem Nobelpreisträger unter Ärzten geschrieben wurde, bekommt er fast alles richtig und macht selten gefährliche Fehler.
Die Daten: Als die KI diese „Saubere Evidenz" erhielt, stieg die Genauigkeit von 73,5 % auf 94,1 %. Noch wichtiger: Gefährliche Fehler sanken von 12 % auf nur 2,6 %.

2. Die „Suche"-Falle

Die Forscher dachten, dass der Zugang der KI zum Internet (Suche/RAG) oder zu einem intelligenten Assistenten (Agent) sie sicherer machen würde.

Die Analogie: Es ist, als würde man einem Studenten eine unordentliche Bibliothek geben. Er mag das richtige Buch finden, aber er könnte auch einen verwirrenden Blogbeitrag lesen und sich mit voller Überzeugung für die falsche Antwort entscheiden.
Das Ergebnis: Die „Suche"-Methoden verbesserten die Genauigkeit leicht, aber sie beheben nicht die Sicherheitsprobleme. Die KI machte weiterhin gefährliche Fehler, und manchmal wurde sie noch selbstbewusster über diese falschen Antworten.

3. Der Mythos vom „Großen Gehirn"

Sie testeten Modelle von winzig bis massiv (einige mit hunderten Milliarden Parametern).

Die Analogie: Man könnte denken, ein genialer PhD-Student sei sicherer als ein Highschool-Schüler. Aber in diesem Test machte der PhD-Student immer noch dieselben spezifischen, gefährlichen Fehler wie der Highschool-Schüler, wenn er nicht die richtigen Notizen hatte.
Das Ergebnis: Ein Modell größer zu machen, machte es nicht automatisch sicherer. Die Qualität der Informationen, die dem Modell gegeben wurden, war viel wichtiger als die Größe des Gehirns des Modells.

4. Die Selbstvertrauens-Falle

Eine der beunruhigendsten Erkenntnisse betraf das Selbstvertrauen.

Die Analogie: Stellen Sie sich einen Studenten vor, der eine Frage falsch beantwortet, aber mit ernster Miene sagt: „Ich bin zu 100 % sicher, dass ich recht habe!"
Das Ergebnis: Die KI war oft gefährlich übermütig, wenn sie falsch lag. Es spielte keine Rolle, ob das Modell klein oder groß war; wenn es einen hochriskanten medizinischen Fehler machte, war es in der Regel sehr selbstbewusst dabei. Sie können dem „Selbstvertrauens-Messgerät" der KI nicht trauen, um zu sagen, ob sie sicher ist.

5. Das „Gruppendenken"-Problem

Sie versuchten, drei verschiedene KIs zusammenzubringen, um über eine Antwort abzustimmen (ein „Ensemble"), in der Hoffnung, dass sie sich gegenseitig bei Fehlern korrigieren würden.

Die Analogie: Es ist wie ein Komitee aus drei Ärzten. Man würde denken, wenn einer falsch liegt, würden die anderen ihn korrigieren.
Das Ergebnis: Manchmal machten alle drei KIs zur exakt gleichen Zeit denselben falschen Fehler. Dies wird als „synchronisierter Ausfall" bezeichnet. Wenn eine Gruppe von KIs sich auf eine falsche Antwort einigt, kann dies Menschen dazu verleiten, zu glauben, die Antwort sei definitiv richtig, was die Situation noch gefährlicher macht.

Das Fazit

Das Papier kommt zu dem Schluss, dass Sicherheit kein passives Ergebnis davon ist, KI größer oder schneller zu machen.

Hochskalieren (Modelle größer machen) hilft ein wenig, löst aber das Sicherheitsproblem nicht.
Mehr Rechenleistung hinzufügen (der KI mehr Zeit zum Nachdenken geben oder mehrfache Abstimmungen erlauben) behebt die Kernprobleme nicht.
Das einzige, was funktionierte: Der KI direkt vor der Antwort saubere, hochwertige, von Ärzten kuratierte Evidenz zuzuführen.

Die Kernaussage: Wenn Sie eine sichere medizinische KI wollen, kaufen Sie nicht einfach das größte Modell. Konzentrieren Sie sich stattdessen darauf, ein System zu bauen, das ihr die bestmöglichen, zuverlässigsten Informationen zuführt. Die Qualität der „Notizen", die die KI liest, ist wichtiger als die Größe des „Schülers", der sie liest.

Technische Zusammenfassung: Sicherheit und Genauigkeit folgen unterschiedlichen Skalierungsgesetzen in klinischen Large Language Models

Problemstellung
Klinische Large Language Models (LLMs) werden zunehmend zur Entscheidungsunterstützung eingesetzt, oft unter der Annahme, dass die Skalierung der Modellgröße, der Kontextlänge oder der Inferenzzeit-Rechenleistung die Sicherheit inhärent verbessert. In klinischen Domänen wie der Radiologie ist Sicherheit jedoch nicht lediglich eine Funktion der durchschnittlichen Genauigkeit. Ein Modell kann eine hohe Genauigkeit erreichen, während es einen kleinen Subsatz „hochriskanter" Fehler beibehält – falsche Antworten, die das klinische Management verändern, Evidenz widersprechen oder mit gefährlicher Überzeugung geliefert werden. Konventionelle Benchmarks behandeln oft alle falschen Antworten als gleichwertig und unterscheiden nicht zwischen harmlosen Fehlern und solchen mit schwerwiegenden klinischen Konsequenzen. Die Autoren gehen davon aus, dass sicherheitsrelevante Fehler spärlich, asymmetrisch und klinisch strukturiert sind, was bedeutet, dass Skalierungsstrategien, die die durchschnittliche Leistung verbessern, diese spezifischen, hochriskanten Fehlermodi möglicherweise nicht mindern.

Methodik
Um diese Lücke zu schließen, führen die Autoren SaFE-Scale (Safety-Focused Evaluation of Scaling) ein, ein Rahmenwerk zur Messung, wie sich die Sicherheit klinischer LLMs über die Modellskalierung, die Evidenzqualität, die Abrufstrategie, die Kontexterfassung und die Inferenzzeit-Rechenleistung hinweg verändert.

Aufbau des Benchmarks (RadSaFE-200): Die Studie nutzt RadSaFE-200, einen radiologiespezifischen Sicherheitsbewertungs-Benchmark, der aus 200 Multiple-Choice-Fragen besteht. Der Datensatz wird aus zuvor veröffentlichten Sets (RadioRAG, RaR) und neu kuratierten Fällen zusammengeführt. Entscheidend ist, dass jede Frage Folgendes enthält:
- Von Klinikern definierte „saubere Evidenz" (präzise, korrekte klinische Schlussfolgerung).
- „Konflikt-Evidenz" (saubere Evidenz plus einen ablenkenden oder teilweise widersprüchlichen Satz).
- Antwortoption-spezifische Sicherheitskennzeichnungen, die angeben, ob eine bestimmte Antwortmöglichkeit einen hochriskanten Fehler (plausibler klinischer Schaden), eine unsichere Antwort (widerspricht dem Behandlungsstandard) oder einen Evidenzwiderspruch darstellt.
Experimentelles Design: Die Autoren bewerteten 34 lokal bereitgestellte LLMs aus sieben Familien (Qwen, Llama, Gemma, MedGemma, DeepSeek, Mistral, OpenAI-OSS) mit Parametern von 0,5 Mrd. bis 685 Mrd. Die Bewertung folgte einem vollständig faktoriellen Design über sechs Bereitstellungsbedingungen:
- Closed-book: Zero-Shot-Prompting ohne externe Evidenz.
- Saubere Evidenz: Prompting mit kuratierten, von Klinikern verfassten Evidenzen.
- Konflikt-Evidenz: Prompting mit Evidenz, die einen Ablenkungsfaktor enthält.
- Standard-RAG: Retrieval-Augmented Generation unter Verwendung einer festen Pipeline und Radiopaedia als Quelle.
- Agentic RAG: Retrieval-and-Reasoning (RaR)-Rahmenwerk mit mehrstufiger Query-Neuformulierung und Synthese.
- Max-Kontext: Prompting mit dem maximal möglichen Kontextfenster.
Sekundäre Experimente untersuchten die Inferenzzeit-Rechenleistung mittels Selbstkonsistenz (Mehrheitsvoting über 20 Stichproben) und festen Drei-Modell-Ensembles (Mehrheitsvoting über heterogene Modelle).
Metriken: Primäre Endpunkte umfassten die Rate hochriskanter Fehler, die Rate unsicherer Antworten, die Widerspruchsrate und gefährliche Überzeugung (definiert als eine falsche, hochriskante Antwort mit entropienormalisiertem Konfidenzniveau $\ge$ 0,80). Die Genauigkeit wurde als sekundärer Endpunkt berichtet.

Hauptergebnisse
Die Studie zeigt, dass sich Sicherheit und Genauigkeit über Bereitstellungsbedingungen hinweg signifikant entkoppeln:

Evidenzqualität dominiert: Die bedeutendste Verbesserung sowohl der Genauigkeit als auch der Sicherheit resultierte aus der Bereitstellung sauberer, von Klinikern verfasster Evidenz. Dies verschob die modelldurchschnittliche Genauigkeit von 73,5 % (Closed-book) auf 94,1 % und reduzierte hochriskante Fehler von 12,0 % auf 2,6 %. Gefährliche Überzeugung sank von 8,0 % auf 1,6 %.
Grenzen von Abruf und agenter Schlussfolgerung: Während Standard-RAG und Agentic RAG die Genauigkeit im Vergleich zum Closed-book-Prompting verbesserten (jeweils 76,0 % bzw. 78,1 %), gelang es ihnen nicht, das Sicherheitsprofil sauberer Evidenz zu reproduzieren. Agentic RAG führte trotz einer Genauigkeitssteigerung gegenüber Standard-RAG zu einer höheren gefährlichen Überzeugung (8,0 % vs. 5,7 %), was darauf hindeutet, dass eine verbesserte Evidenzintegration nicht automatisch selbstbewusste, hochriskante Fehler eliminiert.
Ineffizienz von Skalierung und Rechenleistung:
- Modellskalierung: Innerhalb von Modellfamilien verbesserten größere Parameter die Closed-book-Baselines, beseitigten jedoch keine hochriskanten Fehler. Saubere Evidenz komprimierte die Varianz zwischen den Familien, was darauf hindeutet, dass die Evidenzqualität ein stärkerer Determinant für die Sicherheit ist als die Modellgröße.
- Kontextlänge: Max-Kontext-Prompting erhöhte die Latenz (27,0 s vs. 18,0 s), ohne die Sicherheitslücke zu schließen, und erzielte eine Genauigkeit ähnlich der Closed-book-Prompting (74,0 %).
- Inferenzzeit-Rechenleistung: Selbstkonsistenz erbrachte nur marginale Gewinne in Genauigkeit (+0,39 %) und Sicherheit und gelang es nicht, hochriskante Fehler signifikant zu reduzieren.
- Ensembles: Während Ensembles die aggregierte Genauigkeit im Vergleich zum Panel-Durchschnitt verbesserten, führten sie zu synchronisierten Ausfällen, bei denen alle drei Mitglieder dieselbe falsche Option wählten. Viele Ensemble-hochriskante Fehler waren einstimmig, und Ensembles übertrafen nicht konsistent das sicherste einzelne Mitglied.
Konfidenz als Signal: Konfidenz erwies sich als unzuverlässiger Sicherheitsfilter. Modelle behielten eine hohe Konfidenz (oft >85 %) bei, selbst wenn sie hochriskante oder unsichere Fehler produzierten. Die Lücke zwischen der Konfidenz bei korrekten Antworten und bei hochriskanten Fehlern war zu gering, um als Bereitstellungsfilter zu dienen.
Konzentration im Worst-Case: Klinisch folgenreiche Ausfälle waren nicht zufällig; sie konzentrierten sich auf einen kleinen Subsatz von Fragen. Die 15 höchstriskantesten Fragen erzeugten in >50 % des Modellpanels hochriskante Fehler, wobei einige Fragen Ausfallraten von 100 % über alle 34 Modelle hinweg verursachten.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass die Sicherheit klinischer LLMs keine passive Folge der Skalierung (Modellgröße, Kontext oder Rechenleistung) ist, sondern eine Bereitstellungseigenschaft, die durch Evidenzqualität, Abrufdesign und Kontextkonstruktion geprägt wird.

Entkopplung der Metriken: Die Autoren argumentieren, dass Genauigkeitsskalierungsgesetze nicht auf Sicherheit anwendbar sind. Ein System kann genauer werden, während es unsicher bleibt, wenn die Bereitstellungsstrategie (z. B. Abruf) die spezifische Natur hochriskanter Fehler nicht adressiert.
Evidenz ist kritisch: Der primäre Hebel für Sicherheit ist die Qualität der dem Modell bereitgestellten Informationen. Kuratierte, von Klinikern verfasste Evidenz ist die einzige getestete Bedingung, die Modelle konsistent in einen „sicheren Bereitstellungsbereich" (Genauigkeit $\ge$ 90 %, hochriskante Fehler $\le$ 5 %) versetzte.
Neubewertung von Bereitstellungsstrategien: Die Ergebnisse deuten darauf hin, dass sich allein auf Abruf, agentische Schlussfolgerung oder Ensembling zu verlassen für die klinische Sicherheit unzureichend ist. Diese Methoden können die durchschnittliche Leistung verbessern, lassen jedoch verbleibende, selbstbewusste Fehler zurück, die klinische Risiken bergen.
Verschiebung der Evaluation: Die Arbeit plädiert für einen Wandel in der Evaluation klinischer LLMs von der Berichterstattung über eine einzelne Genauigkeitsmetrik hin zu einem mehrdimensionalen Sicherheitsprofil, das hochriskante Fehler, Widersprüche und synchronisierte Ausfälle explizit misst. RadSaFE-200 und SaFE-Scale werden als Instrumente vorgestellt, um diese Art von granularer, bereitstellungsspezifischer Sicherheitsanalyse zu ermöglichen.

Die Autoren schließen, dass sicherere klinische KI-Systeme eine explizite Sicherheitsmessung auf der Bereitstellungsebene erfordern, die die Reduzierung hochriskanter Fehler durch Evidenzqualitätskontrollen priorisiert, anstatt davon auszugehen, dass Sicherheit durch die Skalierung von Modellparametern oder Inferenzzeit-Rechenleistung entsteht.