Context-Window-Mediated Corruption of Large Multimodal Models in Clinical Medicine: A Systematic Review

In den modernen Krankenhäusern ist eine neue Art von Assistent angekommen. Dabei handelt es sich um große Sprach- und Sehmodelle, Computerprogramme, die auf riesigen Mengen an Text und Bildern trainiert wurden und in der Lage sind, Patientenakten zu lesen, Röntgenbilder zu interpretieren und Diagnosen vorzuschlagen. Sie arbeiten, indem sie einen Informationsstrom – was ein Arzt eintippt, was ein Patient sagt oder was ein Bild zeigt – aufnehmen und all dies als einen einzigen, kontinuierlichen Fluss verarbeiten. Das System weiß von Natur aus nicht, welche Teile dieses Flusses vertrauenswürdige Anweisungen sind und welche Teile nur Hintergrundrauschen oder versehentliche Kritzeleien darstellen. Für den Computer sehen eine vom Arzt geschriebene Anweisung und eine zufällige Notiz eines Patienten wie dieselbe Art von Daten aus. Dies schafft eine einzigartige Schwachstelle: Wenn die in die Maschine eingespeisten Informationen auch nur geringfügig verändert werden, kann sich der Output der Maschine dramatisch ändern, ungeachtet dessen, wie intelligent die Maschine selbst ist.

Dies ist kein Problem eines defekten oder schlecht gebauten Computers; es ist ein Problem der Art und Weise, wie er zuhört. Stellen Sie sich einen hochqualifizierten Übersetzer vor, der so begierig darauf ist, Anweisungen zu befolgen, dass er sofort aufhört, das zu tun, was er gerade tut, wenn ihm jemand während der Arbeit einen neuen Befehl ins Ohr flüstert, und stattdessen dem Flüstern folgt. In der Welt der künstlichen Intelligenz ist dies als „Prompt Injection“ bekannt, wobei der Input selbst das Verhalten des Systems kapert. Während Sicherheitsexperten schon lange besorgt darüber sind, dass böswillige Hacker diesen Trick anwenden könnten, stellt eine neue systematische Übersicht eine für das medizinische Fachgebiet weitaus beunruhigendere Frage: Benötigt die Gefahr überhaupt einen Hacker? Könnte eine einfache, versehentliche Markierung auf einem medizinischen Bild oder die dringliche, aber verwirrte Ausdrucksweise eines Patienten denselben Fehler auslösen?

Ein Team von Forschern des Beth Israel Deaconess Medical Center und der Universität Debrecen setzte sich zum Ziel, dies zu beantworten, indem sie jede verfügbare Studie sammelten, die getestet hat, wie diese medizinischen Modelle reagieren, wenn ihr Input manipuliert wird. Sie untersuchten zehn spezifische Studien, die zwischen 2025 und 2026 veröffentlicht wurden und alles abdeckten, von der Krebsdiagnose und der Analyse von Hautläsionen bis hin zur Patientenberatung und Medikamentenführung. Ihr Ziel war es zu sehen, ob diese leistungsstarken Werkzeuge korrumpiert werden könnten, indem man einfach das verändert, was sie lesen oder sehen, ohne dass jemand den internen Code des Computers hacken oder auf seine geheimen Trainingsdaten zugreifen muss.

Die Forscher fanden heraus, dass die Modelle in der Tat hochgradig anfällig sind und dass die Korruption keinen Bösewicht erfordert. Tatsächlich zeigten die Studien, dass massive Änderungen im Output auftraten, unabhängig davon, ob der Input ein gezielter Angriff eines Forschers war oder nicht-bösartiger Inhalt, der gewöhnlichem klinischem Material ähnelte. Die Übersicht stellt jedoch ausdrücklich fest, dass keine Studie natürlich vorkommende Inhalte mit einem gezielten Angriff unter identischen Bedingungen verglichen hat, weslich es unbewiesen bleibt, ob reale Unfälle dieselben Fehler verursachen. Das Team ordnete diese Ausfälle in vier Hauptkategorien ein. Die erste ist der Instruktions-Hierarchie-Fehler (instruction-hierarchy failure), bei dem ein verborgener Befehl die ursprüngliche Anfrage des Arztes überschreibt. Der zweite ist der Evidenz-Integritäts-Fehler (evidence-integrity failure), bei dem das Modell falsche Informationen oder erfundene Befunde als Wahrheit akzeptiert. Der dritte, der spezifisch für Modelle ist, die Bilder sehen können, ist die multimodale Interferenz (multimodal interference), bei der Text, der auf oder in einem medizinischen Bild geschrieben steht, die visuelle Evidenz des Bildes selbst überschreibt. Der vierte ist die interaktionale Sensitivität (interactional sensitivity), bei der der Ton einer Nachricht oder eine falsche Prämisse die Entscheidung des Modells verändert.

Die Ergebnisse waren drastisch. In einer Studie mit Hautkrebsbildern führte das Hinzufügen eines einzigen fabrizierten Labels zu einem Bild dazu, dass die diagnostische Genauigkeit des Modells von einem Bereich von 58 bis 62 Prozent auf 0,0 bis 1,9 Prozent abstürzte. In einer anderen Studie, als Forscher den Ton einer Patientenmeldung änderten, um sie dringlicher oder autoritärer klingen zu lassen, sprang die Rate, mit der das Modell die Einweisung eines Patienten in die Notaufnahme empfahl, von etwa 14 Prozent auf bis zu 82 Prozent. Vielleicht besorgniserregender war, dass diese Fehler bei verschiedenen Arten von Modellen auftraten, von älteren Versionen bis hin zu den neuesten, leistungsfähigsten Systemen. Kein einzelnes Modell erwies sich als konsistent sicher; ein System, das gegen eine Art von Fehler robust war, war oft am anfälligsten für eine andere Art.

Die Forscher testeten auch, ob irgendwelche aktuellen Abwehrmechanismen diese Probleme stoppen könnten. Sie untersuchten Strategien wie das Hinzufügen von Sicherheitsanweisungen zum Prompt, das Einsatz eines zweiten Modells zur Überprüfung der Arbeit des ersten oder das Retraining der Modelle anhand korrigierter Beispiele. Keine dieser Methoden konnte das Risiko eliminieren. Einige reduzierten die Fehler leicht, andere hatten gar keine Wirkung. Eine Verteidigung, die das Retraining des Modells beinhaltete, verbesserte zwar dessen Fähigkeit, falsche Informationen abzulehnen, führte aber auch dazu, dass das Modell begann, rechtmäßige Anfragen abzulehnen – es wurde im Grunde ein Fehler gegen einen anderen getauscht. Entscheidend war, dass keiner der getesteten Abwehrmechanismen gegen verschiedene Arten von Fehlern wirksam war; eine Lösung für ein Problem schützte nicht vor einem anderen.

Ein erheblicher Teil der Übersicht konzentrierte sich auf die Frage, ob diese Ausfälle einen böswilligen Angreifer erfordern. Die Antwort, basらierend auf den verfügbaren Beweisen, lautet, dass Forscher-konstruierter Inhalt, der darauf ausgelegt war, wie gewöhnliches, versehentliches klinisches Material auszusehen – wie etwa eine handschriftliche Notiz auf einem Objektträger oder die eigene dringliche Formulierung eines Patienten – ausreichte, um das System zu brechen. Das Papier stellt jedoch klar, dass diese Inhalte nicht aus der Routineversorgung stammten und keine Studie natürlich vorkommende Inhalte isoliert getestet hat. Dies deutet darauf hin, dass die Bedrohung nicht nur ein Cyberangriff ist, sondern eine grundlegende Schwäche in der Art und Weise, wie diese Modelle Informationen verarbeiten. Die Integrität der in das System eingespeisten Daten ist ebenso wichtig wie die Sicherheit des Modells selbst.

Die Autoren kommen zu dem Schluss, dass der aktuelle Ansatz bei der medizinischen künstlichen Intelligenz, der sich stark auf das Training des Modells und die Überwachung seines Outputs konzentriert, möglicherweise ein entscheidendes Puzzleteil übersieht. Wenn die in das System eingespeisten Informationen durch einfache, nicht-bösartige Mittel korrumpiert werden können, dann hängt die Sicherheit der gesamten klinischen Entscheidung von der Reinheit dieses Inputs ab. Bis wir garantieren können, dass die diese Modelle erreichenden Daten frei von versehentlicher oder absichtlicher Manipulation sind, und bis wir Abwehrmechanismen haben, die gegen alle Arten von Fehlern wirken, bleibt die Zuverlässigkeit dieser Werkzeuge in der realen Versorgung ungewiss. Die Ergebnisse dienen als frühe Warnung: Die Sicherheit dieser Systeme hängt nicht nur von der Intelligenz der Maschine ab, sondern von der Vertrauenswürdigkeit der Welt, die sie lesen soll.