Evaluating the Diagnostic Robustness of Vision-Language Models Under Visual and Textual Perturbations
Diese Studie zeigt auf, dass Vision-Language-Modelle unter visuellen und textuellen Perturbationen bei der Analyse von Hirn-MRT-Aufnahmen eine signifikante diagnostische Instabilität und Überkomittierung aufweisen, was verdeutlicht, dass Standard-Genauigkeitsmetriken nicht in der Lage sind, die für einen sicheren klinischen Einsatz notwendigen kritischen Zuverlässigkeitsausfälle zu erfassen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bringen einem Roboter bei, ein Detektiv zu sein. Sie zeigen ihm einen Haufen Indizien – Fotos, Notizen und Karten – und bitten ihn, ein Rätsel zu lösen. In der Welt der Künstlichen Intelligenz werden diese Roboter als Vision-Language-Modelle (VLMs) bezeichnet. Das sind superintelligente Programme, die Bilder „sehen“ und Texte „lesen“ können und dann diese beiden Fähigkeiten kombinieren, um Fragen zu beantworten oder Entscheidungen zu treffen. Lange Zeit haben Wissenschaftler diese Roboter getestet, indem sie ihnen Standardfragen stellten und prüften, ob sie die richtige Antwort geben. Es ist wie ein Multiple-Choice-Test: Wenn der Roboter „A“ wählt und „A“ richtig ist, bekommt er einen goldenen Stern.
Aber hier liegt der Haken: Die richtige Antwort in einem Test zu geben, bedeutet nicht immer, dass der Roboter das Rätsel wirklich verstanden hat. Manchmal rät ein Roboter nur basierend auf der Reihenfolge, in der die Indizien präsentiert werden, oder er lässt sich von der Art und Weise, wie die Frage formuliert ist, austricksen. Wenn man die Fotos durchmischt oder die Reihenfolge der Wörter in der Frage vertauscht, sollte ein wahrhaft kluger Detektiv den Fall immer noch auf die gleiche Weise lösen. Wenn der Roboter seine Meinung ändert, nur weil man ein Foto von oben nach unten im Stapel verschoben hat, ist er kein echter Detektiv; er ist nur ein Mustervergleicher. Diese Arbeit stellt eine sehr wichtige Frage: Sind unsere KI-Detektive wirklich zuverlässig oder sind sie nur gut darin, das Spiel „Rate die richtige Antwort“ zu spielen, ohne wirklich auf die Beweise zu achten?
Das große MRI-Durcheinander
In dieser Studie beschloss ein Team von Forschern, vier der fortschrittlichsten KI-Detektive dem ultimativen Test zu unterziehen. Sie verwendeten keinen Standard-Klassenzimmer-Test, sondern gaben ihnen ein reales medizinisches Rätsel: die Analyse von Hirn-MRT-Scans, um zwischen zwei Arten von Hirntumoren zu unterscheiden, dem Glioblastom (GBM) und der Hirnmetastase (MET). Dies sind schwierige Fälle, selbst für menschliche Ärzte, da die Tumore sehr ähnlich aussehen können.
Um sicherzustellen, dass die KI tatsächlich auf das Gehirn schaut und nicht nur rät, verwendeten die Forscher einen speziellen Datensatz, bei dem die „Wahrheit“ nach der Operation durch einen Labortest (Histopathologie) bestätigt wurde. Dann spielten sie eine Reihe von „Trick“-Spielen mit der KI, bei denen die Art und Weise der Informationspräsentation geändert wurde, ohne die tatsächlichen medizinischen Fakten zu verändern.
Die visuellen Tricks: Das Kartendeck mischen
Zuerit manipulierten die Forscher die Reihenfolge der Gehirnschnitte. Stellen Sie sich einen Film eines Gehirnscans vor, bei dem jedes Frame einen anderen Schnitt des Gehirns zeigt. Normalerweise werden diese Schnitte in der Reihenfolge von oben nach unten gezeigt.
- Das Umkehren: Sie spielten den Film rückwärts ab.
- Das Mischen: Sie mischten die Schnitte zufällig durch, wie beim Mischen eines Kartendecks.
- Das Verschieben: Sie nahmen die wichtigsten Schnitte (die mit dem Tumor) und setzten sie ganz an den Anfang oder ganz ans Ende der Liste.
Das Ergebnis? Die KI-Detektive wurden verwirrt. Wenn die Schnitte einfach nur umgekehrt wurden, änderten einige Modelle ihre Diagnose in bis zu 48,9 % der Fälle. Das bedeutet, fast die Hälfte der Zeit sagte der Roboter: „Oh, ich ändere meine Meinung, es ist der andere Tumor!“, nur weil die Bilder in einer anderen Reihenfolge präsentiert wurden. Noch schlimmer war es, wenn sie die Schnitte zufällig durchmischten; die Verwirrung stieg bei einigen Modellen noch weiter an. Es war, als hätte der Detektiv vergessen, wie der Tatort aussah, nur weil ihm die Fotos in einer anderen Reihenfolge überreicht wurden.
Die textuellen Tricks: Das Skript ändern
Als Nächstes ließen die Forscher die Bilder exakt gleich, änderten aber die Worte in den Anweisungen.
- Der Tausch: Sie tauschten die Namen der beiden Tumore im Prompt aus. Statt zu fragen „Ist es GBM oder MET?“, fragten sie „Ist es MET oder GBM?“.
- Die Umformulierung: Sie formulierten die Frage mit anderen Worten um, die aber dieselbe Bedeutung hatten.
Hier wurde es wirklich wackelig. Eines der Modelle, das speziell für die Medizin trainiert wurde, änderte seine Diagnose in 67,8 % der Fälle, nur weil sich die Reihenfolge der Wörter geändert hatte! Es ist wie ein Schüler, der den Lösungsschlüssel auswendig gelernt hat, aber verwirrt ist, wenn der Lehrer die Frage in einer anderen Schriftart an die Tafel schreibt. Die KI schien mehr auf den Text zu hören als auf die Gehirnscans zu schauen.
Der „Keine Beweise“-Test: Die überhebliche Vermutung
Schließlich spielten die Forscher ein „Negativkontroll“-Spiel. Sie nahmen die MRT-Scans und entfernten chirurgisch die Schnitte, die tatsächlich den Tumor enthielten. Sie ließen die KI nur mit den gesunden Teilen des Gehirns zurück. Ein kluger, vorsichtiger Detektiv sollte sich das ansehen und sagen: „Ich kann das nicht sagen; hier gibt es keine Beweise.“
Aber die KI hörte nicht auf. Stattdessen gab sie dennoch selbstbewusst eine Diagnose ab. In einem Fall gab ein Modell in 76,1 % der Fälle eine definitive Antwort, selbst nachdem die Tumorschnitte entfernt worden waren. Dies wird als „diagnostische Überverpflichtung“ (diagnostic overcommitment) bezeichnet. Es ist, als würde ein Detektiv in einen leeren Raum schauen und behaupten: „Der Dieb ist definitiv durch das Fenster eingestiegen!“, obwohl es keine Fußabdrücke, kein zerbrochenes Glas und gar kein Fenster gibt. Die KI war so bestrebt, eine Antwort zu geben, dass sie ignorierte, dass die Beweise fehlten.
Was dies für die Zukunft bedeutet
Die wichtigste Erkenntnis aus dieser Arbeit ist, dass hohe Punktzahlen in Standardtests irreführend sein können. Nur weil eine KI eine hohe Genauigkeitsrate in einem normalen Test erreicht, bedeutet das nicht, dass sie bereit ist, ein Assistent für Ärzte zu sein. Die Studie zeigt, dass diese Modelle überraschend fragil sind; sie lassen sich leicht durch die Reihenfolge der Bilder oder die Art der Fragestellung austricksen.
Die Forscher fanden heraus, dass selbst die fortschrittlichsten „State-of-the-Art“-Modelle Schwierigkeiten haben, konsistent zu bleiben, wenn sich die Präsentation ändert. Sie legen nahe, dass wir diese KI-Systeme nicht nur darauf testen müssen, ob sie die richtige Antwort geben, sondern auch, ob sie ruhig und konsistent bleiben, wenn die Welt um sie herum ein wenig chaotisch wird, bevor wir ihnen im echten Patientenwesen vertrauen. Bis wir diese „blinden Flecken“ beheben können, ist das Vertrauen in sie bei kritischen medizinischen Entscheidungen vielleicht ein wenig so, als würde man einem Kompass vertrauen, der wild herumspinnt, sobald man sich umdreht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.