Robustness Gap of Large Language Models in Nephrology

Künstliche Intelligenz hat damit begonnen, Unterstützung in der Medizin zu bieten, indem sie als Werkzeug fungiert, das riesige Textmengen lesen und Antworten auf komplexe Fragen vorschlagen kann. In Fachbereichen wie der Nierenheilkunde oder der Nephrologie müssen Ärzte ständig Laborergebnisse, die Krankengeschichte des Patienten und körperliche Anzeichen gegeneinander abwägen, um über Behandlungen zu entscheiden. Seit Jahren testen Forscher, ob diese Computerprogramme medizinische Prüfungen bestehen können, ein Standardverfahren, um zu sehen, ob sie genug Wissen besitzen, um nützlich zu sein. Ein hoher Wert in einem Multiple-Choice-Test bedeutet jedoch nicht zwangsläufig, dass das System die Logik hinter der Antwort wirklich versteht. Es könnte schlichtweg Muster in der Art und Weise erkennen, wie Fragen formuliert sind, oder raten, basierend darauf, welche Optionen am vertrautesten aussehen. Die entscheidende Frage für die Zukunft einer sicheren medizinischen Versorgung ist, ob diese Modelle in der Lage sind, ein Problem durch logisches Denken zu lösen, wenn die üblichen Abkürzungen entfernt werden, oder ob sie zusammenbrechen, wenn sie gezwungen sind, ohne eine vertraute Stütze zu denken.

Ein Forschungsteam der St. Marianna University School of Medicine in Japan setzte sich zum Ziel, genau diese Schwäche mit einer Methode zu testen, die einem Stresstest für den Verstand gleicht. Sie nahmen eine Sammlung von 145 echten Fragen, die in Japan zur Erneuerung der Facharztzertifizierung für Nephrologen verwendet werden. Diese Fragen decken das tiefe, komplexe Denken ab, das für das Management von Nierenerkrankungen erforderlich ist. Die Forscher erstellten daraufhin eine modifizierte Version jeder einzelnen Frage. In der Originalversion war eine spezifische Antwort korrekt. In der neuen Version ersetzten sie diese korrekte Antwort durch eine Phrase, die „keine der anderen Antworten“ bedeutet. Dies zwang die Computermodelle zu etwas Schwierigem: Anstatt die richtige Option aus einer Liste auszuwählen, mussten sie erkennen, dass jede andere Option falsch war und dass die einzige gültige Wahl diejenige war, die besagt, dass keine von ihnen passt. Wenn ein Modell die medizinischen Fakten wahrhaftig durchdringen würde, sollte es in der Lage gewesen sein, zu identifizieren, dass die ursprüngliche korrekte Antwort fehlte, und die Option „keine der oben genannten“ zu wählen. Wenn es nur basierend auf Mustern rät, würde es wahrscheinlich eine der verbleibenden falschen Optionen wählen.

Das Team testete vier der fortschrittlichsten verfügbaren Sprachmodelle, einschließlich Systemen von OpenAI und Google. Sie fütterten die Modelle mit den Originalfragen und den modifizierten Versionen getrennt und baten die Modelle jeweils, die beste Antwort auszuwählen. Die Ergebnisse zeigten eine klare und signifikante Lücke zwischen der Leistung der Modelle, wenn die korrekte Antwort vorhanden war, im Vergleich dazu, wenn sie verborgen war. Wenn die Modelle mit den Originalfragen konfrontiert wurden, schnitten sie recht gut ab, wobei das beste System fast 88 Prozent korrekt beantwortete. Sobald die korrekte Antwort jedoch durch „keine der anderen Antworten“ ersetzt wurde, sank ihre Leistung drastisch. Das System, das mit der höchsten Punktzahl begann, fiel auf etwa 73 Prozent zurück, ein statistisch signifikanter Rückgang. Andere Modelle verzeichneten noch steilere Einbrüche, wobei eines von etwa 66 Prozent korrekten Antworten auf nur 19 Prozent fiel. Das bedeutet, dass die Modelle, wenn das vertraute Muster einer korrekten Antwort entfernt wurde, Schwierigkeiten hatten, sich auf ihre eigene medizinische Logik zu verlassen, und oft eine falsche, aber plausibel erscheinende Option wählten, anstatt zuzugeben, dass die korrekte Wahl fehlte.

Die Studie legt nahe, dass neuere Modelle zwar robuster werden und besser darin sind, mit diesen kniffligen Änderungen umzugehen, aber noch nicht vollständig für die unabhängige klinische Entscheidungsfindung zuverlässig sind. Die Forscher fanden heraus, dass selbst die fortschrittlichsten Systeme dazu neigen, sich auf die Vorstellung zu verankern, dass eine der sichtbaren Optionen richtig sein muss, selbst wenn die Logik des Falles etwas anderes beweist. In einem realen Krankenhausumfeld könnte dieses Verhalten gefährlich sein. Wenn einem Arzt eine Information fehlt, wie etwa ein spezifischer Laborwert oder ein subtiles körperliches Anzeichen, sollte eine sichere künstliche Intelligenz erkennen, dass der Fall nicht beurteilt werden kann, und nach weiteren Daten fragen. Stattdessen füllen diese Modelle die Lücken oft mit einer selbstbewussten, aber falschen Vermutung. Die Autoren kommen zu dem Schluss, dass das Bestehen einer Multiple-Choice-Prüfung nicht ausreicht, um zu beweisen, dass ein Modell wie ein Arzt denken kann. Um für die Verwendung in der Nierenheilkunde wirklich sicher zu sein, müssen diese Systeme zeigen, dass sie mit Unsicherheit umgehen können und erkennen können, wenn eine Antwort schlichtweg nicht verfügbar ist, anstatt nur Muster abzugleichen, um die höchste Punktzahl in einem Test zu erreichen.