Preferred, Not Safer: Pairwise Preference Is a Poor Proxy for Clinical Safety

Stellen Sie sich vor, Sie versuchen, den besten Koch für eine neue Krankenhauskantine auszuwählen. Sie haben eine Liste berühmter Köche und bitten eine Gruppe von Ärzten, deren Gerichte zu verkosten. Die Ärzte stimmen darüber ab, welcher Teller am appetitlichsten aussieht und im Moment am besten schmeckt. Natürlich gehen Sie davon aus, dass der Koch mit den meisten Stimmen der sicherste und zuverlässigste ist, den man einstellen kann. Aber was wäre, wenn das „am besten aussehende“ Gericht eigentlich aus abgelaufenen Zutaten zubereitet wurde, oder der „selbstbewussteste“ Koch nur sehr gut darin war, über sein Essen zu sprechen, während er etwas Gefährliches servierte? Dies ist die komplizierte Welt der Large Language Models (LLMs) – superintelligenter Computerprogramme, die wie Menschen schreiben, chatten und Probleme lösen können. Wissenschaftler nutzen Paarpräferenzen (die Frage an Experten, ob sie „A oder B“ bevorzugen), um herauszufinden, welche KI die „beste“ ist. Doch gerade in hochsensiblen Bereichen wie der Medizin bedeutet der „Favorit“ nicht zwangsläufig auch den „Sichersten“. Wenn eine KI eine falsche medizinische Antwort gibt, sie aber mit großartigem Stil präsentiert, könnte sie die Abstimmung gewinnen, selbst wenn sie einem Patienten schaden könnte. Diese Arbeit stellt eine kritische Frage: Wenn Ärzte die KI wählen, die ihnen am besten gefällt, wählen sie dann tatsächlich diejenige, die keine gefährlichen Fehler macht?

Die Forscher hinter dieser Studie, die am LiGHT Laboratory in der Schweiz arbeiten, beschlossen, diese Annahme mithilfe einer massiven Plattform namens MOOVE (Massive Open Online Validation and Evaluation) auf die Probe zu stellen. Sie versammelten über 736 Ärzte aus mehr als 28 Ländern, die als Richter fungieren sollten. Diese Ärzte betrachteten 13 verschiedene KI-Modelle und mussten entscheiden, welche Antwort besser war (Paarpräferenz-Blindtest). Aber hier kommt der Clou: Während sie abstimmten, gaben die Ärzte jeder Antwort auch eine strenge Sicherheitsbewertung ab, ähnlich wie ein Zeugnis, das von -2 (sehr gefährlich) bis +2 (sehr sicher) reicht. Sie prüften dabei zwei spezifische Dinge: Unbedenklichkeit (hat die KI etwas Risikoreiches vorgeschlagen?) und Genauigkeit (war die medizinische Tatsache korrekt?).

Die Ergebnisse waren ein wenig schockierend. Die Studie fand heraus, dass die KI-Modelle, die die meisten „Popularitätsstimmen“ gewannen, oft dieselben waren, die die höchsten Raten an gefährlichen Fehlern aufwiesen. Es ist wie bei einem Schüler, der eine Eins für seine Handschrift und sein Selbstvertrauen bekommt, aber die Matheprüfung durchfällt, weil er die Zahlen falsch berechnet hat. Tatsächlich stellten die Forscher fest, dass das top-platzierte Modell der Studie (GPT-OSS) eine Fehlerrate von 18,0 % bei der Unbedenklichkeit hatte, was bedeutet, dass fast jede fünfte Antwort, die es gab, potenziell unsicher war. Ein anderes, vorsichtigeres und weniger „auffälliges“ Modell im Datensatz hatte hingegen eine deutlich geringere Fehlerrate von 7,2 %, belegte aber in der Popularitätsumfrage einen viel niedrigeren Platz. Die Studie stellt fest, dass wir aufgrund der Tatsache, dass diese Modelle auf unterschiedliche Arten von medizinischen Fragen getestet wurden, nicht sagen können, dass ein Modell im direkten Vergleich strikt „besser“ als ein anderes ist, aber die Lücke verdeutlicht eine entscheidende Warnung: Die Modelle, die die Menschen am meisten mochten, waren nicht unbedingt diejenigen mit der sichersten Erfolgsbilanz. Die Studie legt nahe, dass Ärzte oft durch oberflächliche Merkmale getäuscht wurden: Die KI, die längere, detailliertere und selbstbewusster klingende Antworten schrieb, gewann die Stimmen, selbst wenn diese Antworten medizinisch falsch oder riskant waren.

Die Forscher gingen der Sache noch tiefer auf den Grund, um zu verstehen, warum dies geschah. Sie entdeckten, dass das „Sicherheitssignal“ (die tatsächliche medizinische Korrektheit) oft vom „Stilsignal“ (wie lang und klar der Text aussah) übertönt wurde. In ihrer Analyse erklärten die Länge und Klarheit der Antwort etwas mehr darüber, warum ein Arzt einen Gewinner wählte, als die eigentliche Sicherheit der Antwort dies tat. Es ist, als würden die Richter für den Koch stimmen, der die längste Speisekarte geschrieben hat, während sie ignorieren, dass die Suppe kalt ist.

Noch besorgniserregender war, dass die Studie zeigte, dass diese Risiken nicht gleichmäßig verteilt sind, sondern sich in spezifischen „No-Go-Zonen“ konzentrieren. Wenn die KI beispielsweise versuchte, EKG-Bilder (Herzmonitor-Bilder) zu lesen, scheiterte sie in einem erschreckenden Ausmaß von 89,9 %. In anderen Bereichen, wie der allgemeinen Chirurgie, war sie fast perfekt. Das bedeutet, dass ein globaler „Leaderboard“, der einfach nur sagt „Modell X ist die Nummer 1“, gefährlich ist, weil er die Tatsache verbirgt, dass Modell X in spezifischen, kritischen Situationen ein Desaster sein kann.

Um dies zu beheben, schlagen die Autoren eine neue Art vor, diese Modelle zu ranken. Anstatt nur zu zählen, wer die meisten Stimmen gewonnen hat, schlagen sie ein Sicherheits-adjustiertes Leaderboard vor. Dieses System würde die Popularitätsstimmen nehmen und sie dann gegen die strengen Sicherheitsbewertungen prüfen. Wenn eine KI eine Stimme gewinnt, aber eine gefährliche Antwort gegeben hat, würde ihr Rang gesenkt werden. Als sie diese Korrektur anwandten, änderten sich die Rankings dramatisch. Einige Modelle, die zuvor am unteren Ende standen, schossen nach oben, weil sie tatsächlich sicherer waren, während die „auffälligen“ Gewinner nach unten fielen.

Das Paper kommt zu dem Schluss, dass wir „Popularitätswettbewerben“ nicht vertrauen können, um uns zu sagen, ob eine KI für den medizinischen Gebrauch sicher ist. Nur weil eine KI gut klingt oder klug wirkt, bedeutet das nicht, dass sie zuverlässig ist. Die Forscher schlagen vor, dass wir anstelle der Suche nach einem einzigen „besten“ Modell nach spezifischen Fehlerraten suchen und ehrlich darüber sein müssen, wo die KI versagen könnte. Sie warnen davor, dass das Vertrauen auf einfache Präferenzwerte so ist, als würde man einen Piloten einstellen, weil er die sanfteste Stimme hat, ohne zu prüfen, ob er tatsächlich das Flugzeug fliegen kann. In der Welt der medizinischen KI ist das, was am meisten beliebt ist, nicht dasselbe wie das, was am sichersten ist.